标签：Robots文件

国外主机测评博客本身流量也不多，而且现在谷歌重点偏向移动端，再加上百度人工干扰，让众多优秀内容的博主，无处容身，最近使用 site 看了下谷歌搜索引擎收录情况，居然发现很多网页都提示了：网页不适合在移动设备上浏览，然后就去查看了一下，主要有...

CNIDC测评2022-01-27阅读(2183)

robots.txt，是一个给搜索引擎机器人下指令的文本文件，用于SEO优化。 如果用对了，可以确保搜索引擎机器人（也叫爬虫或蜘蛛）正确抓取和索引你的网站页面。 如果用错了，可能会对SEO排名和网站流量造成负面影响，那怎么设置robots....

CNIDC测评2020-08-06阅读(3119)