标签：robots.txt 禁止爬虫

在 Google Search Consle 中看到其中一个 WordPress 网站的站内搜索被搜索了大量的垃圾信息，其中一些搜索结果页还被索引，这些垃圾信息一旦被索引，就有可能被收录。如果不想搜索结果页面被收录的话，可以使用 robot...

CNIDC测评2024-10-25阅读(49)