BeautifulSoup 找不到标签

Question

我正在尝试抓取网页以收集财富 500 强公司的列表。 但是，当我运行此代码时，BeautifulSoup 找不到<div class="rt-tr-group" role="rowgroup">标记。

import requests
from bs4 import BeautifulSoup

url = r'https://fortune.com/fortune500/2019/search/'
page = requests.get(url)
soup = BeautifulSoup(page.content, 'lxml')

data = soup.find_all('div', {'class': 'rt-tr-group'})

相反，我只得到一个空列表。 我尝试更改解析器，但没有看到任何结果。

标签存在，可以在这里看到：

Answer 1

一段时间后，数据正在使用 JS 加载到该页面上。 使用 Selenium 可以等待页面完全加载，或者尝试从 Javascript 获取数据。

PS您可以检查XHR请求并尝试获取JSON，而不需要解析。 这是一个请求

Answer 2

使用 JS 加载解析页面的内容，您可以使用requests.get获取空白页面。