如何解決新聞網站抓取問題？

Question

我想從網站上抓取犯罪新聞文章，但是湯 object 沒有返回所需的“div”標簽，誰能給我一些理由？

import requests
from bs4 import BeautifulSoup 

page = requests.get("https://www.nst.com.my/news/crime-courts?page=1") 
soup = BeautifulSoup(page.text, 'html.parser')
print(soup)

Answer 1

這個問題的答案太寬泛，無法在此涵蓋。 您需要先學習使用Selenium web 驅動程序，或者任何其他可以讓您獲取源代碼 HTML 的方法，然后您可以使用美麗的湯來解析它。

或者，您可以檢查頁面上的 JavaScript 以更好地了解內容的提供方式。

搜索“ 使用 Selenium 和 Python 抓取動態 web 站點”