我可以阻止Apache Web服务器上每个站点的搜索爬虫吗？

Question

我在公共互联网上有一些登台服务器，运行一些网站的生产代码副本。 如果登台网站被编入索引，我真的不喜欢它。

有没有办法可以在登台服务器上修改我的httpd.conf来阻止搜索引擎爬虫？

由于我使用脚本将相同的代码库复制到两个服务器，因此更改robots.txt将无法正常工作。 此外，我宁愿不更改虚拟主机conf文件，因为有一堆网站，如果我建立一个新网站，我不想记得复制某个设置。

Answer 1

使用以下内容创建robots.txt文件：

User-agent: *
Disallow: /

将该文件放在登台服务器上的某个位置; 你的目录根是一个很好的地方（例如/var/www/html/robots.txt ）。

将以下内容添加到httpd.conf文件中：

# Exclude all robots
<Location "/robots.txt">
    SetHandler None
</Location>
Alias /robots.txt /path/to/robots.txt

可能不需要SetHandler指令，但是如果你使用像mod_python这样的处理程序可能需要它。

现在，将为服务器上的所有虚拟主机提供robots.txt文件，覆盖您可能拥有的各个主机的任何robots.txt文件。

（注意：我的答案基本上与ceejayoz的答案建议你做的一样，但我不得不花费额外的时间来弄清楚所有具体细节才能让它发挥作用。我决定把这个答案放在这里为了别人的利益谁可能偶然发现这个问题。）

Answer 2

您可以使用Apache的mod_rewrite来执行此操作。 假设您的真实主机是www.example.com，而您的暂存主机是staging.example.com。 创建一个名为“robots-staging.txt”的文件，并有条件地重写要转到该文件的请求。

这个示例适用于保护单个暂存站点，比您要求的更简单的用例，但这对我来说可靠：

<IfModule mod_rewrite.c>
  RewriteEngine on

  # Dissuade web spiders from crawling the staging site
  RewriteCond %{HTTP_HOST}  ^staging\.example\.com$
  RewriteRule ^robots.txt$ robots-staging.txt [L]
</IfModule>

您可以尝试将蜘蛛重定向到另一台服务器上的主robots.txt，但是一些蜘蛛在获得除HTTP请求中的“200 OK”或“404 not found”返回代码以外的任何内容后可能会犹豫不决，并且他们可能无法读取重定向的URL。

这是你如何做到这一点：

<IfModule mod_rewrite.c>
  RewriteEngine on

  # Redirect web spiders to a robots.txt file elsewhere (possibly unreliable)
  RewriteRule ^robots.txt$ http://www.example.com/robots-staging.txt [R]
</IfModule>

Answer 3

您是否可以将暂存虚拟主机上的robots.txt替换为托管在其他位置的限制性robots.txt？

Answer 4

要真正阻止页面被编入索引，您需要隐藏HTTP身份验证背后的网站。 您可以在全局Apache配置中执行此操作，并使用简单的.htpasswd文件。

唯一的缺点是，您现在必须在第一次浏览到登台服务器上的任何页面时键入用户名/密码。

Answer 5

根据您的部署方案，您应该寻找将不同的robots.txt文件部署到dev / stage / test / prod（或您拥有的任何组合）的方法。 假设你有不同的数据库配置文件或（或任何类似的）不同的服务器上，这应该遵循类似的过程（ 你有你的数据库不同的密码，对吧？）

如果你没有一步到位的部署过程，这可能是一个很好的动机来获得一个...有很多工具可用于不同的环境--Capistrano是一个相当不错的工具，并且在Rails /中受到青睐Django世界，但绝不是唯一的。

如果做不到这一点，您可以在Apache配置中设置一个全局Alias指令，该指令适用于所有虚拟主机并指向限制性robots.txt

Answer 6

尝试使用Apache来阻止坏机器人 。 您可以在线获取用户代理或仅允许浏览器，而不是试图阻止所有机器人。