仅允许 Googlebot 将所有内容编入索引
[英]Allow only Googlebot to index everything
问题描述
我想禁止所有机器人抓取和索引网站。 除了谷歌机器人。 我想允许谷歌索引索引 (/) URL，但没有别的。 最好在 robots.txt 中。
您对如何实现这一目标有任何想法吗？ 谢谢！
1 个解决方案
解决方案1
1 2019-11-28 18:03:12
您需要使用robot.txt。
只需在网站的公共文件夹中创建一个并添加；
用户代理：Googlebot
允许： /
用户代理： *
不允许： /
这将允许谷歌爬虫索引所有页面并禁止整个网站的所有其他爬虫。
详情请参考： https : //support.google.com/webmasters/answer/6062596?hl=en
我知道这可能被认为是题外话，但仍然认为如果这有帮助我会回答。 正如约翰康德建议的那样，尝试网站管理员....
即使使用htaccess重定向，googlebot也会索引我的index.php吗？
[英]Will googlebot index my index.php even with an htaccess redirect?
为什么Google（或Googlebot）会将页面索引返回500错误？
[英]Why would Google (or Googlebot) index a page returning a 500 error?
我是否应该担心googlebot是否试图为营销URL编制索引？
[英]Should I be concerned if googlebot is trying to index marketing URLs?
如何使用robots.txt只允许抓取工具访问index.php？
[英]How to allow crawlers access to index.php only, using robots.txt?
允许搜索引擎索引文档，但只允许访问付费成员。 可能？
[英]Allow the search engines to index documents, but only allowed access to paid members. Possible?
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
相关问题
Googlebot是否将CSS背景图片编入索引？
如何检查googlebot是否会索引给定的网址？
Googlebot会自动尝试索引sitemap.xml吗？
仅在index.html上允许SE索引
即使使用htaccess重定向，googlebot也会索引我的index.php吗？
googlebot会在索引我的网站之前运行我的php代码吗？
为什么Google（或Googlebot）会将页面索引返回500错误？
我是否应该担心googlebot是否试图为营销URL编制索引？
如何使用robots.txt只允许抓取工具访问index.php？
允许搜索引擎索引文档，但只允许访问付费成员。 可能？
相关标签