BeautifulSoup 找不到標簽

Question

我正在嘗試抓取網頁以收集財富 500 強公司的列表。 但是，當我運行此代碼時，BeautifulSoup 找不到<div class="rt-tr-group" role="rowgroup">標記。

import requests
from bs4 import BeautifulSoup

url = r'https://fortune.com/fortune500/2019/search/'
page = requests.get(url)
soup = BeautifulSoup(page.content, 'lxml')

data = soup.find_all('div', {'class': 'rt-tr-group'})

相反，我只得到一個空列表。 我嘗試更改解析器，但沒有看到任何結果。

標簽存在，可以在這里看到：

Answer 1

一段時間后，數據正在使用 JS 加載到該頁面上。 使用 Selenium 可以等待頁面完全加載，或者嘗試從 Javascript 獲取數據。

PS您可以檢查XHR請求並嘗試獲取JSON，而不需要解析。 這是一個請求

Answer 2

使用 JS 加載解析頁面的內容，您可以使用requests.get獲取空白頁面。