使用 Selenium、Python 和 Headless Driver 进行网页抓取
[英]Web Scraping using Selenium, Python, and Headless Driver
问题描述
我正在使用 Selenium、Python 和无头 Web 驱动程序从网站上抓取网页。 看来我的 get 请求被阻止了，因为它返回错误，说请求不成功，并且错误消息与 ROBOTS 有关。
我认为该站点正在阻止请求，认为我是机器人，或者是严格的站点策略，是否有任何解决方案？
部分错误信息：
<meta content="NOINDEX, NOFOLLOW" name="ROBOTS"/>
Request unsuccessful. Incapsula incident ID: 1227000280131492303-162885230326908680
本网站的机器人文本文件：
User-agent: *
禁止：/pass 禁止：/item_dev 禁止：/OT03 禁止：/nbcot2 禁止：/tds_v5/documentation/SupervisorsManual-IBT.pdf 禁止：/tds_v5 禁止：/training 禁止：/eta/documents
0 个解决方案
使用 python selenium 将广告拦截器扩展与无头 chrome 驱动程序一起使用
[英]Using an adblocker extension with the headless chrome driver using python selenium
Headless Selenium 不使用 Chrome 驱动程序在 Python 中提取数据
[英]Headless Selenium is not extracting data in Python using Chrome driver
在 Python 中使用 Selenium 和 chromedriver 进行网页抓取
[英]Web scraping using Selenium and chromedriver in Python
使用 Selenium 进行 Python 网页抓取 - “onclick”下载
[英]Python Web scraping using Selenium - "onclick" to download
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
相关问题
用 selenium web 驱动刮
使用 Selenium 在 Python 中抓取网页
Python Web 使用 Selenium 抓取
使用 python selenium 将广告拦截器扩展与无头 chrome 驱动程序一起使用
Headless Selenium 不使用 Chrome 驱动程序在 Python 中提取数据
在 Python 中使用 Selenium 和 chromedriver 进行网页抓取
使用python在Web抓取中单击不适用于硒
使用 Selenium 进行 Python 网页抓取 - “onclick”下载
使用 Selenium + Python 进行网页抓取
Web 刮入 Selenium Python
相关标签