ReadTheDocs robots.txt 和 sitemap.xml

Question

ReadTheDocs 为项目自动生成robots.txt和sitemap.xml 。 每次我部署项目的新次要版本（例如4.1.10 ）时，我都会隐藏以前的次要版本（例如4.1.9 ）。 ReadTheDocs 将所有版本的条目添加到sitemap.xml ，但隐藏版本也添加到robots.txt 。 结果是将站点地图提交到 Google Search Console，此时会导致“提交的 URL 被 robots.txt 阻止”错误，因为之前的站点地图条目现在被新生成的robots.txt阻止了。

ReadTheDocs 为每个版本生成一个站点地图 URL，因此我们为4.1.9有一个这样的条目，例如：

<url>
   <loc>https://pyngrok.readthedocs.io/en/4.1.9/</loc>
   <lastmod>2020-08-12T18:57:47.140663+00:00</lastmod>
   <changefreq>monthly</changefreq>
   <priority>0.7</priority>
</url>

当4.1.10发布并且隐藏之前的次要版本时，新生成的robots.txt得到：

Disallow: /en/4.1.9/ # Hidden version

我相信这个Disallow是导致 Google 爬虫抛出错误的原因。

实际上，我想要在sitemap.xml中的所有内容都是latest 、 develop和stable ，我不太在意抓取每个版本。 但正如我从 ReadTheDocs docs 理解的那样，我能够配置的只是一个静态robots.txt 。

我想要的是发布我自己的静态sitemap.xml而不是使用自动生成的。 有什么办法可以做到这一点吗？

Answer 1

在尝试了一些想法之后，这是我提出的其他解决方案。 由于这个问题经常被问到，并且经常作为针对 GitHub 上 ReadTheDocs 的错误打开（它不是，它只是似乎没有得到很好的支持和/或记录），我将在这里分享我的解决方法供其他人找到。

如上所述和文档中，虽然 ReadTheDocs 允许您覆盖自动生成的robots.txt并发布您自己的，但您不能使用sitemap.xml 。 不清楚为什么。 无论如何，您可以简单地发布一个不同的sitemap.xml ，我命名为我的sitemap-index.xml ，然后，告诉您的robots.txt指向您的自定义站点地图。

对于我的自定义sitemap-index.xml ，我只放置我关心的页面而不是生成的版本（因为stable和latest版本确实是我希望搜索引擎抓取的内容，而不是版本化页面）：

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
        xmlns:xhtml="http://www.w3.org/1999/xhtml">
    <url>
        <loc>https://pyngrok.readthedocs.io/en/stable/</loc>
        <changefreq>weekly</changefreq>
        <priority>1</priority>
    </url>
    <url>
        <loc>https://pyngrok.readthedocs.io/en/latest/</loc>
        <changefreq>daily</changefreq>
        <priority>0.9</priority>
    </url>
    <url>
        <loc>https://pyngrok.readthedocs.io/en/develop/</loc>
        <changefreq>monthly</changefreq>
        <priority>0.1</priority>
    </url>
</urlset>

我创建了我自己的robots.txt ，它告诉 Google 除了我的主要分支之外不要抓取任何东西，并指向我的自定义sitemap-index.xml 。

User-agent: *

Disallow: /

Allow: /en/stable

Allow: /en/latest

Allow: /en/develop

Sitemap: https://pyngrok.readthedocs.io/en/latest/sitemap-index.xml

我将这两个文件放在/docs/_html ，并添加到我的 Sphinx conf.py文件（在/docs ）：

html_extra_path = ["_html"]

这也显示在 repo 中， 以供参考。

ReadTheDocs 重建必要的分支后，将/en/latest/sitemap-index.xml给Google Search Console而不是默认的，要求 Google 重新处理您的robots.txt ，不仅会解决抓取错误，Google 还会正确索引隐藏以前次要版本的站点。