[英]Best way to scrape all the dynamically generated data from a drop down menu using python
我正在創建 webscraper，它將從這個網站上抓取動態生成的玩家數據
https://frozenpool.dobbersports.com/frozenpool_linecombo.php
我想創建一個循環，從下拉菜單中為玩家生成數據，抓取數據，然后在下拉菜單中遍歷整個玩家列表。
我很好奇使用 selenium 與網站交互是否是最好的方法。 但我也注意到每個玩家的 URL 都遵循特定的模式，因此我考慮抓取初始頁面以收集我需要的所有數據，然后使用該數據構建 URL 列表，然后遍歷該 URL 列表並將它們視為靜態頁面。
是否有專為這種特定類型的網頁抓取而構建的 Python 工具？
看起來您需要的所有信息都已加載到https://frozenpool.dobbersports.com/frozenpool_linecombo.php的請求中。 因為它不會提出額外的請求來獲取更多信息，所以Selenium對這個項目來說可能有點矯枉過正，你可以堅持使用BeautifulSoup 。
我認為您使用結構 URL 遍歷每個玩家的想法是正確的。 如果這是一次性抓取，則直接從頁面的 html 復制玩家列表以獲取玩家 ID，然后循環訪問以下 URL，將PLAYER_ID替換為每個玩家標識符。
http://frozenpool.dobbersports.com/frozenpool_linecombo.php?select=F&forward= PLAYER_ID和游戲= 2019 - 2020％3AR％3A99＆期= ALL＆情況= ALL
在 Python 中使用 Selenium 從下拉菜單中檢索數據的最佳方法是什么？
[英]What's the best way to retrieve data from a drop down menu using Selenium in Python?
如何使用帶有 Python 的 Selenium Webdriver 抓取下拉菜單選項？
[英]How to scrape drop-down menu options using Selenium Webdriver with Python?
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
