当 SSL 被强制时，如何排除某些文件夹被 ASP.net 中的搜索引擎索引？

Question

再会，

我已经进行了一些研究以寻找这个答案，但运气不佳。 希望有人能帮忙。。

情况是我正在处理的一个站点（在 ASP.net 中构建）在他们的大多数页面上强制 SSL 有一些文件夹（即site.com/dontindex ）包含绝对不应该被搜索引擎索引的文件. Google 在其索引中有指向这些文件的链接（即https://www.site.com/dontindex/file.pdf ）。

我的问题是我创建了一个 robots.txt 文件以禁止对这些文件夹进行索引，但从我所读到的内容来看，这不会阻止这些文件被索引 - 因为其中一些文件可能会通过安全页面被引用。 我在想只有非安全页面才会以这种方式被禁止。 Q1）这是否正确？

When I tested http://www.site.com/dontindex/file.pdf against the new robots file in Google Webmaster Tools, wit came back as "Blocked by line 5: Disallow: /dontindex/", but when I tried https://www.site.com/dontindex/file.pdf它以“不在域中”的形式返回。

据我所知，我应该在某处为安全文件/文件夹创建第二个 robots.txt 文件。 我已经读到如果站点运行的是 php，我可以做一些重写规则来解决这个问题，但是在我的 ASP.net 情况下该怎么办？ Q2）如果它适用于我有第二个机器人文件（鉴于它是一个 ASP.net 站点），我应该把这个文件放在哪里？

感谢您的任何帮助！

Answer 1

我认为问题更多与谷歌网站管理员工具有关，如http://site.com/robots.txt == https://site.com/robots.txt

我认为不在域中的错误是因为 Google 将 2 分类为单独的站点。 您需要添加 https 和 http 站点来检查机器人文件。