如何排除某些路徑以進行爬網/建立索引？

Question

我的網站上有以下網址結構：

用戶帳號：

http://www.mydomain.com/username

我的用戶包含以下項目：

http://www.mydomain.com/username/item/itemId

我必須在robots.txt中設置什么，以使用戶帳戶不會被編制索引，而所有項目都將被編制索引？

Answer 1

實際上，我認為robots.txt不可能做到這一點。 Google的通配符支持可能不支持如果username ， item和item-id可以是任意字符串。 您必須至少指定每個username 。

請查看Google的Robots.txt規范頁面。 可能還有其他方法可以做您想要的。