BeautifulSoup 和 Selenium 在网站上找不到 div 或文本

Question

我正在尝试使用 BeautifulSoup 或 Selenium 在 betexplorer（下面的链接）上获取 Head to Head 文本或其 div，但努力没有结果。 如果我通过按 ctrl+U 在 chrome 上查看源代码，我可以清楚地看到它。 但是转到 VsCode 然后运行下面的脚本似乎没有显示转储源上的文本或 div。

这是我的代码

BeautifulSoup版

from bs4 import BeautifulSoup
import requests 

def getlistings(listingurl):
    headers = {'User-Agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:52.0) Gecko/20100101 Firefox/52.0'} # fetching the url,
    response = requests.get(listingurl, headers=headers) 
    soup = BeautifulSoup(response.text, "html.parser")
    print(soup)

getlistings("https://www.betexplorer.com/soccer/armenia/first-league/shirak-gyumri-2-lernayin-artsakh/E3lQ7tzK/")

Selenium版

from Selenium import webdriver

import time

driver=webdriver.Firefox()

driver.implicitly_wait(3)

driver.get("https://www.betexplorer.com/soccer/armenia/first-league/shirak-gyumri-2-lernayin-artsakh/E3lQ7tzK/")

js = driver.page_source

print(js)

提前致谢。

Answer 1

我假设您想要<head>和</head>之间的内容。 您可以使用.get_attribute('innerHTML')来获得它。 评论了原始答案，因为我误解了您的意思是“头对头”大声笑。 查看更新。

from Selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

import time

driver=webdriver.Firefox()

driver.implicitly_wait(3)

driver.get("https://www.betexplorer.com/soccer/armenia/first-league/shirak-gyumri-2-lernayin-artsakh/E3lQ7tzK/")

#head_inner_text_element = driver.find_element_by_xpath("//head")
#head_inner_text = head_inner_text_element.get_attribute('innerHTML')

#print(head_inner_text)

a = WebDriverWait(driver, 10).until(EC.element_to_be_clickable((By.XPATH, "//ul[@class='list-tabs list-tabs--secondary']//li//span[contains(text(), 'Head-to-head')]")))

print(a.text)

click_mutual = WebDriverWait(driver, 10).until(EC.element_to_be_clickable(
(By.XPATH, "//div[@id='mutual_div']//a[@href='javascript:void(0);']")))
click_mutual.click()

BeautifulSoup 和 Selenium 在网站上找不到 div 或文本

问题描述

1 个解决方案

解决方案1
0 已采纳 2020-06-16 18:23:20

BeautifulSoup 和 Selenium 在网站上找不到 div 或文本

问题描述

1 个解决方案

解决方案1 0 已采纳 2020-06-16 18:23:20

解决方案1
0 已采纳 2020-06-16 18:23:20