当拒绝的页面（机器人）仍在sitemap.xml中时会发生什么？

Question

我想防止页面及其资产（图像）被索引。

因此，如果我告诉搜寻器跳过该页面，但该页面仍在sitemap.xml中注册，那么该页面上的任何信息都会被索引吗？

Answer 1

robots.txt禁止抓取 ，而不是建立索引 。

如果您禁止抓取robots.txt中的URL，并且在站点地图中列出了该URL，则仍然不允许其被抓取。 站点地图中的发生不会更改此设置。

不过，该URL可能仍会被编入索引（无论是否在站点地图中）。

Answer 2

只需添加到上一个答案，您就可以在robots.txt文件中使用Noindex指令。 它不是标准AFAIK的一部分，但很常用，请参阅博客 -尽管对此似乎意见不一。 或者，您可以在网页中使用漫游器元标记 。

像往常一样，不能保证所有爬虫都遵守机器人指令，但是主要爬虫会遵守。