不允許： /*？ 在 robots.txt 中需要解釋

Question

有人可以告訴我robots.txt中的以下規則是否允許谷歌抓取以下示例鏈接嗎？

允許：/搜索/

不允許： /*？

這是一個電子商務，我想了解在產品搜索欄中搜索時是否會抓取這樣的動態鏈接：

https://www.whateverwebsite.de/search/?q=hello

https://www.whateverwebsite.de/category.html?form_new=18658

https://www.whateverwebsite.de/search/?q=grand&productFilter=motive_design%3AGeometric

這些鏈接是通用示例，但我真的很想知道Disallow:/*? 不是因為“/”和“？”之間沒有任何內容，所以阻止了這種要被抓取的鏈接。 .

非常感謝，我期待着一些答案以繼續學習:)

Answer 1

您的問題在這里得到解答：

https://searchengineland.com/a-deeper-look-at-robotstxt-17573

不允許： /*？ # 阻止任何包含?

但是，您還應該考慮的是，通過優先考慮較長的規則來解決沖突的規則。 （這里比較Robots.txt優先題）

因此，請注意讓正確的規則獲得您想要的優先權。