站长视角
用户至上

Google SEO搜索引擎已编入索引,尽管遭到 robots.txt 屏蔽

Google Search Console 的 覆盖率报告中出现:已编入索引,尽管遭到 robots.txt 屏蔽,怎么解决?最简单的解决方案:修改 robots.txt 文件,或直接将 URL 301 至有效页面。

一定有人好奇,为什么 URL 已经被 robots.txt 文件屏蔽,还是会被谷歌索引?

导致该问题的原因

因为这个链接有可能是通过不同的提交来源,或者是其他的引荐来源获取的,谷歌并没有事先进行 robots.txt 的判断就将 URL 编入了索引。包括但不仅限如下这些情况:

  • 这些链接出现在了其他的的网页上(例如外链,大概率都是因为这个)
  • 这些链接之前是没有被屏蔽的,但是你之后又设置了屏蔽。
  • 这些链接被它人通过特殊方式进行了提交(例如 Ping,不太可能发生)
  • 这些链接,被你自己通过 Sitemap 的方式,或者是手动提交的方式给提交了。

解决方案

浏览器中输入 域名/robots.txt 查看自己的 robots.txt 文件,并对比 URL,确认屏蔽是否合理。

如果合理则忽略该提示(因为随着时间,谷歌会主动删除你的链接);如果不合理,则删除 robots.txt 中对应的命令。

如果觉得等待谷歌判断花费的时间较长,而你又是个急性子,那么建议你直接将 URL 301 重定向至有效的页面,或是首页。

需要关注的重点

如果被你用 robots.txt 屏蔽的页面是你的核心页面(落地页、搜索流量入口页等)那么必须及时调整 robots.txt 文件。否则时间长了谷歌有可能会主动将该链接移出索引!

香港110M(含10M CN2)大带宽独服限量促销,香港E3-8G-1T硬盘-3IP,月付仅799!
赞(0) 打赏
版权声明:本文采用知识共享 署名4.0国际许可协议 [BY-NC-SA] 进行授权, 转载请注明出处。
文章名称:《Google SEO搜索引擎已编入索引,尽管遭到 robots.txt 屏蔽》
文章链接:https://cnidc.co/30062.html
【声明】:国外主机测评仅分享信息,不参与任何交易,也非中介,所有内容仅代表个人观点,均不作直接、间接、法定、约定的保证,读者购买风险自担。一旦您访问国外主机测评,即表示您已经知晓并接受了此声明通告。
【关于安全】:任何 IDC商家都有倒闭和跑路的可能,备份永远是最佳选择,服务器也是机器,不勤备份是对自己极不负责的表现,请保持良好的备份习惯。
标签:
广告位招租,欢迎骚扰
香港110M(含10M CN2)大带宽独服限量促销,香港E3-8G-1T硬盘-3IP,月付仅799!

觉得文章有用就打赏一下文章作者

非常感谢你的打赏,我们将继续给力更多优质内容,让我们一起创建更加美好的网络世界!

支付宝扫一扫打赏

微信扫一扫打赏