如何在Wordpress的robots.txt中禁止字符串的一部分

Question

我的wordpress robots.txt文件中有以下設置。 由於某種原因，允許的部分不起作用？ 根據Google網站管理員工具，它不喜歡以下內容。

誰能告訴我為什么？

Disallow: /blog/author/*
Allow: /blog/author/admin

謝謝！ :)

Answer 1

后面的*是不必要的。 robots.txt約定是Disallow表達式將阻止以該表達式開頭的所有URL。 原始的robots.txt規范沒有通配符。 對於通配符， /blog/author/和/blog/author/*表示同一意思。

原始的robots.txt規范規定，漫游器將讀取robots.txt文件並應用第一個匹配規則 。 盡管原始規范未包含Allow指令，但早期的實現者仍繼續使用“第一匹配規則”規則。 如果Googlebot正在使用它，那么它將看到禁止行並假定它無法匹配/ blog / author / admin，因為它匹配了。

我建議將Allow移至Disallow上方，並從Disallow表達式中刪除星號。

Answer 2

我認為您在WordPress robots.txt中嘗試執行的操作與在這種情況下可以看到的webbingbcn.es/robots.txt相同，但允許/ wp-admin /。

• 允許：/ wp-admin /
• 禁止：/ author /