[英]I can't seem to scrape hrefs or text from web
我嘗試了各種方法,包括搜索完整的 xpath 並通過 class 查找,然后通過 a 標簽搜索 href。 我已經做了好幾個小時了,但我似乎無法理解。 任何幫助將不勝感激。
from selenium import webdriver
import time
namelist=[]
driver=webdriver.Chrome()
driver.get("https://waxpeer.com/")
time.sleep(15)
當我使用.text 時它不起作用
search=driver.find_elements_by_xpath('//*[@id="container"]/div/div/a')
print(search)
namelist.append(search)
嘿,您可以使用time
模塊延遲加載元素,以便它可以找到關聯標簽
正如您從這段代碼中提到的,您可以從div
標簽container
中提取href
鏈接
代碼:
from selenium import webdriver
import time
path="C:\Program Files (x86)\chromedriver.exe"
driver=webdriver.Chrome(path)
driver.get("https://waxpeer.com/")
time.sleep(10)
main_div=driver.find_elements_by_xpath('//*[@id="container"]')
for divs in main_div:
links=div.find_elements_by_tag_name("a")
for link in links:
print(link.get_attribute('href'))
Output:
https://waxpeer.com/sport-gloves-vice-field-tested/item/21642893513 ...
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.