使用請求和 BeautifulSoup 從網站的不同選項卡中抓取數據

Question

我正在嘗試從該網站的選項卡（概述、技術、基礎、性能、數據透視標簽）中抓取數據：

auto_url = https://www.moneycontrol.com/markets/indian-indices/top-nseauto-companies-list/52classic=true&categoryId=2&exType=N但我只能從第一個選項卡即概覽選項卡中獲取表格。

我正在嘗試這段代碼從技術選項卡中獲取數據，但它不起作用：

y = requests.get(auto_url,data={'id':'extraIdMT','value':'td52N'})

打印（y.內容）

任何人都可以幫助如何從技術選項卡中抓取表格。

提前致謝。

Answer 1

您可以嘗試使用瀏覽器中的開發人員工具來查看單擊選項卡時會發生什么。 使用網絡分析器時，可以看到點擊任意選項卡都會使用GET方法調用帶有特定參數的文件ChangeTableData。 對於技術選項卡，它將是此鏈接。 您可以簡單地從這些 URL 中獲取您的數據:)

網絡分析儀的外觀如下：