使用 python 请求和 BeautifulSoup 从带有框架或 flexbox 的网站中抓取数据

Question

我一直试图弄清楚这一点，但没有运气。 我发现了一个线程（ How to scrape data from flexbox element/container with Python and Beautiful Soup ）我认为这会有所帮助，但我似乎无法取得任何进展。

我要抓取的网站是...http://www.northwest.williams.com/NWP_Portal/。 特别是我想从“存储级别”的选项卡/框架中获取数据，但对于我来说，我似乎无法导航到正确的位置来获取数据。 我已经尝试了下面代码的各种迭代，但没有成功。 我已将“lxml”更改为“html.parser”，查找表，查找“tr”等，但代码始终返回空。 我也试过查看网络信息，但是当我点击任何选项卡（系统状态、PAL/系统平衡等）时，我看不到网络活动有任何变化。 我敢肯定，我忽略了一些简单的事情，但我就是不能把手指放在上面。

from bs4 import BeautifulSoup as soup
import requests

url = 'http://www.northwest.williams.com/NWP_Portal/'

r = requests.get(url)

html = soup(r.content,'lxml')

page = html.findAll('div',{'class':'dailyOperations-panels'})

如何“导航”到“存储级别”框架/选项卡？ 我真正在寻找的 html 是什么？ 我可以只用请求和漂亮的汤来做到这一点吗？ 我不反对使用 Selenium 但我以前没有使用过它，如果可能的话，我宁愿只使用请求和 BeautifulSoup。

提前致谢！

Answer 1

嘿，所以我注意到你正试图从一个不起作用的 div 中获取“dailyOperations-panels”。