禁用抓取子網域Google抓取工具

Question

我想知道如何禁止Google對我的子域進行爬網？

我做了我的webspace文件夾的圖片。 awesom媒體文件夾是www.awesom-media.de主站點所在的文件夾。 文件夾

另一個曾經是子域。 我想知道的是，谷歌不應該抓取這個，但是我不知道怎么做。

我在awesom媒體文件夾中沒有robot.txt，但正如您在/部分中所見。 並且robot.txt的內容是User-agent: * Disallow:

就是這樣。

我該如何告訴Google不要抓取子網域

Answer 1

如果您的所有子域都直接路由到特定文件夾（例如，諸如automagazin.awesom-media.de使用文件夾auto-magazin ），只需將robots.txt放在

User-agent: *
Disallow: /

在您要禁止Google使用的子域的所有文件夾中。 我猜這些是auto-magazin和future-magazin （也許還有更多）。

目前，您將其放置在Google可能根本看不到的根文件夾中。 只需嘗試加載[subdomain] .awesom-media.de / robots.txt，然后查看是否加載了robot.txt。