Robots.txt禁止方法

Question

我一直在通過不同的論壇，想知道這是否正確。 我試圖禁止漫游器僅在特定的子頁面（例如www.website.com/subpage/?query=sample）中抓取查詢。 我試圖確保/ subpage /也不會被禁止。 如果我錯了，請糾正我。

檔案：robots.txt

User-agent: *
Disallow: /subpage/*?

Answer 1

根據我在這里看到的，你很親近

User-agent: *
Disallow: /subpage/*?*
Allow: /subpage$

您可以使用適當的插件或擴展程序 ，在自己舒適的瀏覽器中進行測試。

Answer 2

我認為您不能在Disallow指定查詢字符串。 您為Disallow設置的值在文檔中被稱為Directory （而不是URI或URL ）。

但是，您可以使用Sitemap.xml來實現您的目標。 您可以從站點地圖中排除您不想索引的URL 。

Google網站管理員工具還對如何解釋查詢字符串參數提供了一些精細的控制。 不確定是否符合您的目的