Python 抓取不返回任何內容

Question

我正在嘗試使用 BeautifulSoup 從 HTML 頁面中取一個名稱：

import urllib.request
from bs4 import BeautifulSoup

nightbot = 'https://nightbot.tv/t/tonyxzero/song_requests'
page = urllib.request.urlopen(nightbot)
soup = BeautifulSoup(page, 'html5lib')

list_item = soup.find('strong', attrs={'class': 'ng-binding'})
print (list_item)

但是當我打印print(list_item)我得到了一個none作為回復。 有辦法解決嗎？

Answer 1

網頁由 javascript 呈現。 所以你必須使用像selenium這樣的包來得到你想要的。

你可以試試這個：

代碼：

import urllib.request
from bs4 import BeautifulSoup
from selenium import webdriver

driver = webdriver.Firefox()
driver.get('https://nightbot.tv/t/tonyxzero/song_requests')

html = driver.page_source

soup = BeautifulSoup(html, 'html.parser')

list_item = soup.find('strong', attrs={'class': 'ng-binding'})
print (list_item)

結果：

<strong class="ng-binding" ng-bind="$state.current.title">Song Requests: TONYXZERO</strong>