使用.htaccess阻止Googlebot阻止以4到6位数字结尾的网址，REGEX？

Question

我们如何编写.htaccess来阻止Googlebot UA访问以正斜杠（后跟4-6位数字）结尾的URL？

我们浪费了很多Googlebot抓取预算，因为它正在抓取“无索引”页面。

计划使用.htaccess阻止UA阻止以正斜杠（后接4-6位数字）结尾的URL。

例如：

https://example.com/folder/folder/12563
https://example.com/folder/folder/125637
https://example.com/folder/folder/1563

我认为REGEX看起来像这样：

\/\d{4,6}$

但是，如何仅针对特定的UA（googlebot）配置.htaccesss？

谢谢！

Answer 1

您可以使用此：

RewriteEngine on

RewriteCond ℅{HTTP_USER_AGENT} googlebot [NC]
RewriteRule /\d{4,6}$ - [F,L]

如果googlebot尝试访问您服务器上的受限网址，则会返回Forbidden HTTP 403 error 。