禁止robots.txt中的所有分頁頁面

Question

我不希望Google抓取所有分頁信息：

這里是示例：

http://sample.com/blog-page/page/1

http://sample.com/blog-page/page/2

http://sample.com/blog-page/page/3

好吧，我還有其他一些分頁，例如：

http://sample.com/product-category/product/page/1

http://sample.com/product-category/product/page/2

http://sample.com/product-category/product/page/3

這是我的robots.txt的代碼

User-agent:  *

Disallow: */page/*

Answer 1

User-agent:  *

Disallow: /blog-page/page/

您可以使用它來幫助您生成robots.txt

http://tools.seobook.com/robots-txt/generator/

Answer 2

我認為應該

User-agent: *
Disallow: /blog-page/page

不需要多個突擊，並且您必須確保包括整個路徑，因為/page將是您網站的根目錄