我正在尝试从javascript繁重的网站上抓取一些信息。 通常,我可以使用chrome的检查器或萤火虫拼凑某种方式从xhr标头信息中读取页面,但是到目前为止,我没有尝试过。

我可以使用硒或类似元素,但如果可能的话,我宁愿使用请求。

这是一个示例URL: https : //www.fedex.com/apps/fedextrack/? action = track & cntry_code = in & tracknumbers =770562143139我正在尝试获取交货状态和相关信息。

我希望带有适当参数的get或post的某种组合可以工作。 我意识到这里有很多类似的问题,例如使用python和/或scrapy的Scrape ajax网页,如何在没有浏览器仿真或无头浏览器的情况下从python脚本调用网页中的ajax?

  ask by foosion translate from so

本文未有回复,本站智能推荐:

1回复

在网页抓取期间发现了奇怪的,无休止的XHR请求

我打算从stooq.pl网页上删除库存数据。 我发现它们是实时更新的,因此必须要有一些AJAX请求才能完成,而且只需分析这个XHR而不是每隔~1秒为新数据抓取网页就更容易了。 然而,我发现的是一个奇怪的请求(唯一存在的):1。(几乎)永远不会结束; 2.直接在浏览器中打开时,返回ERR_E
1回复

如何使用python发出xhr发布请求

因此,即时通讯试图抓取一个需要发布请求才能检索数据的网站,但我没有运气..我的最后一次尝试是:从bs4的Requests导入Session导入BeautifulSoup 我想废弃betrebels.com上的所有足球联赛吗?
1回复

Python - 有没有办法从网络上的 XHR 选项卡中抓取信息?

我在网上做了大量的研究,阅读了许多关于 Stack Overflow 的类似问题,但找不到任何有用的东西。 我正在尝试从住房网站上抓取一些信息以撰写研究论文。 我不能使用请求(我不认为),因为他们的用户名和密码字段没有“名称”,而且它是一个需要登录的站点,所以我正在尝试使用 Selenium。 本
1回复

如何从通过 JavaScript 加载的页面的 XHR 请求中自动检索请求 URL(对于 python)

这是我试图抓取的 URL: https : //www.sec.gov/ix? doc =/ Archives/edgar/data/320193/000032019319000076 / a10-qq320196292019.htm 我正在尝试使用 Python抓取网页,这意味着我将需要此页面的
1回复

需要帮助来模拟 xhr 请求

我需要用“加载更多按钮”来抓取网站。 这是我用 Python 编写的蜘蛛代码: 这是我微薄的试炼。 我知道那是假的。 你能纠正我吗?
1回复

使用XHR进行Python爬取

我是新手,尝试刮开彩票网站,并使用信息(彩票号码和开奖号码)创建文件,这是链接https://www.polla.cl/es/view/resultados 我尝试 我尝试使用https://www.polla.cl/es/view/resultados 但我得到一个html
1回复

从具有相同链接的页面抓取网页

我试图从这个网站上抓取一些信息: https : //www.nordnet.se/marknaden/aktiekurser?sortField=name&sortOrder=asc&exchangeCountry=SE&exchangeList=se%3Alargecap
1回复

Scrapy搜寻器未处理XHR请求

我的蜘蛛只会抓取前10页,因此我假设它没有通过“请求”进入“加载更多”按钮。 我正在抓取此网站: http : //www.t3.com/reviews 。 我的蜘蛛代码: 我做错了什么? 抱歉,但是我很陌生。 感谢您的时间,耐心和帮助。