Python - 有没有办法 web 从网络上的 XHR 选项卡中抓取信息？

Question

我在网上做了很多研究，通读了 Stack Overflow 上的许多类似问题，但找不到任何有用的东西。

我正试图从一个住房网站上抓取一些信息来写一篇研究论文。 我不能使用请求（我不认为），因为他们的用户名和密码字段没有“名称”，而且这是一个需要登录的网站，所以我正在尝试使用 Selenium。该网站使用无限滚动显示他们的信息。

我看到我需要的所有信息都在开发人员工具的 XHR 选项卡中：

事实上，预览选项卡正是我需要的信息：

当我在页面上滚动时，推荐列表会弹出。

我只是想知道是否有任何方法可以使用 Python 访问此选项卡中的信息，以便我可以解析和分析数据？

有没有我没有想到的不同方法？

谢谢！

Answer 1

按照步骤：

1. 打开web控制台
2. Go 到网络并设置 XHR
3. 在顶部，您将看到“请求 URL”
4. 复制它并通过 requests/selenium 向这个 URL 发出请求