如何從Google索引中刪除子域，該子域鏈接到主域

Question

誰能告訴我如何從Google索引中刪除該子域，該子域鏈接到主域。

可以說我的域名是www.myweb.com，而我的子域名是cdn.myweb.com。 現在，這里的子域的文檔根目錄與主域相同。 因此，我無法使用robot.txt停止對Google進行索引編制，因為它也會刪除對主要域鏈接的編制索引。

我也在google，bing和stackoverflow上搜索，但是我找不到這個問題的完美答案。 您有什么解決辦法嗎？

Answer 1

您可以為此使用動態robots.txt。 像這樣

httpd.conf（.htaccess）：

RewriteRule /robots\.txt$ /var/www/myweb/robots.php

robots.php：

<?php
header('Content-type: text/plain');

if($_SERVER['HTTP_HOST']=='cdn.myweb.com'){ 
    echo "User-agent: *\n";
    echo "Disallow: /\n";
}else{              
    include("./robots.txt");    
}

Answer 2

我正在使用nginx，並且在同一服務器塊中有多個子域。 我希望將www子域包含在Google的索引中，並將其余子域排除在外。

首先，在我的nginx配置服務器塊中，我添加了以下內容，以根據域在/robots.txt中提供2個不同的文件。

location ~ /robots.txt {
    if ($host = 'www.example.com') {
      rewrite ^/robots\.txt /robots.www.txt last;
    }
  }

然后在我網站的根目錄中，並具有以下2個文件：

• robots.txt會阻止抓取，並且是所有子域的默認值

# Do not crawl subdomain
User-Agent: *
Disallow: /

• robots.www.txt ，可抓取所有網站，僅在www.example.com/robots.txt上投放

User-agent: *
Disallow:

Answer 3

第一件事是添加robots.txt，但就我而言，由於我的頁面已被CDN子域索引，因此對於機器人來說為時已晚。 我發現最好的方法是轉到Google網站站長工具，添加我的cdn域（ cdn.mysite.com ）。 然后轉到Google索引->刪除URL並刪除/ URL。 生效花了幾天時間。