無法指定要通過BeautifulSoup抓取的所需數據

Question

from bs4 import BeautifulSoup
import requests

url = "https://www.deribit.com/main#/options?tab=all"
content = requests.get(url).content
soup = BeautifulSoup(content,'html.parser')

我正在嘗試獲取頁面底部顯示“最近的交易呼叫”和“最近的交易PUTS”的所有數據。 我嘗試了以下變化：

soup.find_all(div', {'class': 'row'})
soup.find_all('tbody')

但無濟於事。 為了澄清，我想獲取整個表的數據，包括所有列（如（資產，價格等）。

Answer 1

這是動態數據，不包含在您請求的頁面中，但在初始頁面加載后由javascript加載...您會在實際獲取數據的同時在屏幕中間看到3個藍點，為此您有2個選項：

1. 使用Chrom / Firefox開發工具在網絡窗格上偵聽呼叫，以獲取所需的數據，並嘗試模擬這些呼叫，Cookie，標頭，參數等等。

2. 使用實際的瀏覽器將在抓取之前加載整個頁面，為此，您可以使用硒