[英]Best way to scrape all the dynamically generated data from a drop down menu using python
我正在创建 webscraper，它将从这个网站上抓取动态生成的玩家数据
https://frozenpool.dobbersports.com/frozenpool_linecombo.php
我想创建一个循环，从下拉菜单中为玩家生成数据，抓取数据，然后在下拉菜单中遍历整个玩家列表。
我很好奇使用 selenium 与网站交互是否是最好的方法。 但我也注意到每个玩家的 URL 都遵循特定的模式，因此我考虑抓取初始页面以收集我需要的所有数据，然后使用该数据构建 URL 列表，然后遍历该 URL 列表并将它们视为静态页面。
是否有专为这种特定类型的网页抓取而构建的 Python 工具？
看起来您需要的所有信息都已加载到https://frozenpool.dobbersports.com/frozenpool_linecombo.php的请求中。 因为它不会提出额外的请求来获取更多信息，所以Selenium对这个项目来说可能有点矫枉过正，你可以坚持使用BeautifulSoup 。
我认为您使用结构 URL 遍历每个玩家的想法是正确的。 如果这是一次性抓取，则直接从页面的 html 复制玩家列表以获取玩家 ID，然后循环访问以下 URL，将PLAYER_ID替换为每个玩家标识符。
http://frozenpool.dobbersports.com/frozenpool_linecombo.php?select=F&forward= PLAYER_ID和游戏= 2019 - 2020％3AR％3A99＆期= ALL＆情况= ALL
在 Python 中使用 Selenium 从下拉菜单中检索数据的最佳方法是什么？
[英]What's the best way to retrieve data from a drop down menu using Selenium in Python?
如何使用带有 Python 的 Selenium Webdriver 抓取下拉菜单选项？
[英]How to scrape drop-down menu options using Selenium Webdriver with Python?
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
