Google为什么不索引我的“ robots.txt”？

Question

我试图允许Googlebot网络爬虫将我的网站编入索引。 我的robots.txt最初看起来像这样：

User-agent: * 
Disallow: / 
Host: www.sitename.com 
Sitemap: https://www.sitename.com/sitemap.xml

我将其更改为：

User-agent: * 
Allow: / 
Host: www.sitename.com 
Sitemap: https://www.sitename.com/sitemap.xml 

只有Google仍未为我的链接编制索引。

Answer 1

我试图允许Googlebot网络爬虫将我的网站编入索引。

1. 机器人规则与索引无关！ 它们仅与爬行能力有关。 即使禁止爬网，也可以建立页面索引！

2. 仅 Yandex支持host指令。

3. 如果您希望所有漫游器都能够爬网您的网站，则应将robots.txt文件放在https://www.sitename.com/robots.txt下，状态代码为200，并包含：

   User-agent: * Disallow: Sitemap: https://www.sitename.com/sitemap.xml

Answer 2

从文档 ：

可以将Robots.txt语法视为robots.txt文件的“语言”。 您可能会在robots文件中遇到五个常用术语。 他们包括：

用户代理：您要向其提供爬网指令的特定Web爬网程序（通常是搜索引擎）。 可以在此处找到大多数用户代理的列表。

不允许：用于告诉用户代理不要抓取特定URL的命令。 每个URL仅允许一个“ Disallow：”行。

允许（仅适用于Googlebot）：告诉Googlebot可以访问页面或子文件夹的命令，即使可能不允许其父页面或子文件夹。

抓取延迟：抓取工具在加载和抓取页面内容之前应等待几秒钟。 请注意，Googlebot不认可此命令，但是可以在Google Search Console中设置抓取速度。

站点地图：用于调出与此URL关联的任何XML站点地图的位置。 请注意，只有Google，Ask，Bing和Yahoo支持此命令。

尝试在您的robots.txt指令中特别提及Googlebot ，例如：

User-agent: Googlebot 
Allow: /

或允许所有网络爬虫访问所有内容

User-agent: * 
Disallow: