禁用抓取子网域Google抓取工具

Question

我想知道如何禁止Google对我的子域进行爬网？

我做了我的webspace文件夹的图片。 awesom媒体文件夹是www.awesom-media.de主站点所在的文件夹。 文件夹

另一个曾经是子域。 我想知道的是，谷歌不应该抓取这个，但是我不知道怎么做。

我在awesom媒体文件夹中没有robot.txt，但正如您在/部分中所见。 并且robot.txt的内容是User-agent: * Disallow:

就是这样。

我该如何告诉Google不要抓取子网域

Answer 1

如果您的所有子域都直接路由到特定文件夹（例如，诸如automagazin.awesom-media.de使用文件夹auto-magazin ），只需将robots.txt放在

User-agent: *
Disallow: /

在您要禁止Google使用的子域的所有文件夹中。 我猜这些是auto-magazin和future-magazin （也许还有更多）。

目前，您将其放置在Google可能根本看不到的根文件夹中。 只需尝试加载[subdomain] .awesom-media.de / robots.txt，然后查看是否加载了robot.txt。