[英]Python Selenium Scraping Crashes, Can I Find Elements For Part of The Web Page?
我正在尝试从网站上抓取一些数据。 该网站上有一个“加载更多产品”按钮。 我正在使用:
driver.find_element_by_xpath("""//*[@id="showmoreresult"]""").click()
按下按钮,然后循环进行一定次数的迭代。
我遇到的问题是,一旦完成这些迭代次数,我想使用以下方法从网页中提取文本:
posts = driver.find_elements_by_class_name("hotProductDetails")
但是,这似乎会使Chrome崩溃,因此我无法获取任何数据。 我想做的是用每次迭代后加载的新产品填充帖子。
单击“加载更多”后,我想从刚加载的50种产品中获取文本,追加到我的列表中并继续。
我可以在每次迭代中运行以下代码行posts = driver.find_elements_by_class_name("hotProductDetails")
,但它每次都会posts = driver.find_elements_by_class_name("hotProductDetails")
页面上的每个元素,并确实减慢了该过程。
无论如何在Selenium中实现此目标还是使用该库受到限制?
这是完整的脚本:
import csv
import time
from selenium import webdriver
import pandas as pd
def CeXScrape():
print('Loading Chrome...')
chromepath = r"C:\Users\leonK\Documents\Python Scripts\chromedriver.exe"
driver = webdriver.Chrome(chromepath)
driver.get(url)
print('Prepping Webpage...')
time.sleep(2)
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
y = 0
BreakClause = ExceptCheck = False
while y < 1000 and BreakClause == False:
y += 1
time.sleep(0.5)
try:
driver.find_element_by_xpath("""//*[@id="showmoreresult"]""").click()
ExceptCheck = False
print('Load Count', y, '...')
except:
if ExceptCheck: BreakClause = True
else: ExceptCheck = True
print('Load Count', y, '...Lag...')
time.sleep(2)
continue
print('Grabbing Elements...')
posts = driver.find_elements_by_class_name("hotProductDetails")
cats = driver.find_elements_by_class_name("superCatLink")
print('Generating lists...')
catlist = []
postlist = []
for cat in cats: catlist.append(cat.text)
print('Categories Complete...')
for post in posts: postlist.append(post.text)
print('Products Complete...')
return postlist, catlist
prods, cats = CeXScrape()
print('Extracting Lists...')
cat = []
subcat = []
prodname = []
sellprice = []
buycash = []
buyvoucher = []
for c in cats:
cat.append(c.split('/')[0])
subcat.append(c.split('/')[1])
for p in prods:
prodname.append(p.split('\n')[0])
sellprice.append(p.split('\n')[2])
if 'WeBuy' in p:
buycash.append(p.split('\n')[4])
buyvoucher.append(p.split('\n')[6])
else:
buycash.append('NaN')
buyvoucher.append('NaN')
print('Generating Dataframe...')
df = pd.DataFrame(
{'Category' : cat,
'Sub Category' : subcat,
'Product Name' : prodname,
'Sell Price' : sellprice,
'Cash Buy Price' : buycash,
'Voucher Buy Price' : buyvoucher})
print('Writing to csv...')
df.to_csv('Data.csv', sep=',', encoding='utf-8')
print('Completed!')
使用XPATH并限制您获得的产品。 如果您每次获得50种产品,则使用如下所示的方法
"(//div[@class='hotProductDetails'])[position() > {} and position() <= {}])".format ((page -1 ) * 50, page * 50)
每次将为您提供50
产品,您可以增加页面编号以获得下一个批次。 一劳永逸地将其崩溃
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.