在python中使用Selenium進行抓取時，只能獲得表中的第一行
[英]Can only get first row in table when scraping with Selenium in python
問題描述
我正試圖從BGG中獲取排名數據。
HTML的基本結構如下：
<table class = "collection_table"> <tbody> <tr></tr> <tr id="row_"></tr> <tr id="row_"></tr> <tr id="row_"></tr> <tr id="row_"></tr> <!--snip--> <tr id="row_"></tr> <tr id="row_"></tr> <tr id="row_"></tr> </tbody> </table>
請注意，除第一行（標題）之外的每一行都具有相同的ID，並且沒有額外的數據將其標記為唯一行。
我的（當前）代碼如下：
def bgg_scrape_rank_page(browser, bgg_data):
time.sleep(1)
table = browser.find_element_by_xpath("//table[@class='collection_table']/tbody")
row = table.find_element_by_xpath("//tr[@id='row_']")
while row:
rank = row.find_element_by_xpath("//td[1]").text
game_name = row.find_element_by_xpath("//td[3]/div[2]/a").text
game_page = row.find_element_by_xpath("//td[3]/div[2]/a").get_attribute("href")
print rank, game_name, game_page
row = row.find_element_by_xpath("//following-sibling::tr")
我也試過迭代使用
rows = browser.find_elements_by_xpath("/tr[@id='row_']")
for row in rows:
rank = row.find_element_by_xpath("//td[1]").text
game_name = row.find_element_by_xpath("//td[3]/div[2]/a").text
game_page = row.find_element_by_xpath("//td[3]/div[2]/a").get_attribute("href")
print rank, game_name, game_page
問題是，無論我怎樣嘗試，我總是只打印出第一行。 只是一排一排
1 "Pandemic Legacy: Season 1 https://boardgamegeek.com/boardgame/161936/pandemic-legacy-season-1".
1 個解決方案
解決方案1
0 已采納 2017-01-30 17:46:48
問題在於你的XPath ：你需要添加點作為.//指向你想要應用XPath確切上下文而不是只是//總是指向<html> 。 所以試試吧
def bgg_scrape_rank_page(browser, bgg_data):
time.sleep(1)
table = browser.find_element_by_xpath("//table[@class='collection_table']/tbody")
row = table.find_element_by_xpath(".//tr[@id='row_']")
while row:
rank = row.find_element_by_xpath(".//td[1]").text
game_name = row.find_element_by_xpath(".//td[3]/div[2]/a").text
game_page = row.find_element_by_xpath(".//td[3]/div[2]/a").get_attribute("href")
print rank, game_name, game_page
row = row.find_element_by_xpath(".//following-sibling::tr")
當使用 Python 和 Selenium 抓取 web 時，如何從單個頁面獲取所有 href 鏈接？
[英]How can I get all the href links from a single page when web scraping using Python and Selenium?
Python：當第一列並不總是相等時，抓取表格/獲取特定的列
[英]Python: Scraping table/ get a specific column when the first column is not always equal
Selenium Python遍歷在第一行停止的行表
[英]Selenium Python iterate over a table of rows it is stopping at the first row
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.