如何使用robots.txt禁用sitemap.xml

Question

我的网站有一个自定义的robots.txt。 我有兴趣禁止sitemap.xml，所以我的问题是：编写是否足够：

Disallow: /sitemap.xml ?

Answer 1

这个robots.txt

User-agent: *
Disallow: /sitemap.xml

允许所有漫游器抓取主机上的所有内容（路径以/sitemap.xml开头的URL /sitemap.xml 。 因此，例如，这些网址不应被抓取：

• http://example.com/sitemap.xml
• http://example.com/sitemap.xml.tar.gz
• http://example.com/sitemap.xml/
• http://example.com/sitemap.xml/foo

因此，如果您的站点地图位于http://example.com/sitemap.xml ，则符合条件的漫游器将不会对其进行爬网。