使用 python 請求和 BeautifulSoup 從帶有框架或 flexbox 的網站中抓取數據

Question

我一直試圖弄清楚這一點，但沒有運氣。 我發現了一個線程（ How to scrape data from flexbox element/container with Python and Beautiful Soup ）我認為這會有所幫助，但我似乎無法取得任何進展。

我要抓取的網站是...http://www.northwest.williams.com/NWP_Portal/。 特別是我想從“存儲級別”的選項卡/框架中獲取數據，但對於我來說，我似乎無法導航到正確的位置來獲取數據。 我已經嘗試了下面代碼的各種迭代，但沒有成功。 我已將“lxml”更改為“html.parser”，查找表，查找“tr”等，但代碼始終返回空。 我也試過查看網絡信息，但是當我點擊任何選項卡（系統狀態、PAL/系統平衡等）時，我看不到網絡活動有任何變化。 我敢肯定，我忽略了一些簡單的事情，但我就是不能把手指放在上面。

from bs4 import BeautifulSoup as soup
import requests

url = 'http://www.northwest.williams.com/NWP_Portal/'

r = requests.get(url)

html = soup(r.content,'lxml')

page = html.findAll('div',{'class':'dailyOperations-panels'})

如何“導航”到“存儲級別”框架/選項卡？ 我真正在尋找的 html 是什么？ 我可以只用請求和漂亮的湯來做到這一點嗎？ 我不反對使用 Selenium 但我以前沒有使用過它，如果可能的話，我寧願只使用請求和 BeautifulSoup。

提前致謝！

Answer 1

嘿，所以我注意到你正試圖從一個不起作用的 div 中獲取“dailyOperations-panels”。