使用 selenium 获取完整的 html 源

Question

我想获取电报中帖子的查看次数。 当我获得页面源 javaScript 功能尚未执行，因此数据未启用。 有什么帮助吗？

from selenium import webdriver
from selenium.webdriver.common.keys import Keys

from selenium.webdriver.common.by import By
import selenium.webdriver.support.expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait    

driver = webdriver.Firefox()

driver.get("https://t.me/varzesh3/106369")

wait = WebDriverWait(driver, 30)
element = wait.until(EC.visibility_of_any_elements_located((By.CLASS_NAME,'tgme_widget_message_views')))

我什至用 Chrome 驱动程序尝试过，但没有改变。

Answer 1

它不起作用，因为您要检查的元素位于 iframe 内。 您需要先切换到 IFrame。

from selenium import webdriver
from selenium.webdriver.common.keys import Keys

from selenium.webdriver.common.by import By
import selenium.webdriver.support.expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait    

driver = webdriver.Chrome()

driver.get("https://t.me/varzesh3/106369")
iframe = driver.find_element(By.ID,"telegram-post-varzesh3-106369")
driver.switch_to.frame(iframe)
wait = WebDriverWait(driver, 30)
element = wait.until(EC.visibility_of_any_elements_located((By.CLASS_NAME,'tgme_widget_message_views')))

Answer 2

这里有一个更好的想法。 我可以将 bs4 与 url https://t.me/varzesh3/106369?embed=1一起使用。

更好，因为当您通过此 url 发送请求时，您现在拥有 iframe。

这是代码：

def generate_post_views(link):
   # https://t.me/varzesh3/106432
   html = requests.get(link + '?embed=1')
   plain_text = html.text
   soup = BeautifulSoup(plain_text, "html.parser")
   try:
       views = soup.find('span', {'class':'tgme_widget_message_views'}).get_text()
   except AttributeError:
       views = 0
   return views