![](/img/trans.png)
[英]How should I properly extract and parse subject data from a webpage using python and BS4?
[英]How should I read this link with Python? Pandas or BS4?
我正在尝试阅读以下与Pandas的链接:
http://api.eia.gov/series/?api_key=3d82a096b5e846caa05ddc8e747a7fd&series_id=PET.WGIRIUS2.W
我试过使用pd.read_json()
,它返回错误ValueError: Mixing dicts with non-Series may lead to ambiguous ordering.
我尝试使用pd.read_csv
返回没有任何行的DataFrame,并且所有列都在列表中。
这是我的代码的第一部分:
import pandas as pd
eia_key='<private>'
def link_category(id_number):
return 'http://api.eia.gov/category/?api_key='+eia_key+'&category_id='+id_number
def link_series(id_number):
return 'http://api.eia.gov/series/?api_key='+eia_key+'&series_id='+id_number
'''U.S. Gross Inputs into Refineries, Weekly'''
page=link_series('PET.WGIRIUS2.W')
然后我尝试:
df=pd.read_csv(page)
我将所有表值作为列名弄乱了...但是如果我尝试
df=pd.read_json(page)
我得到上面提到的错误...
关于使用Python读取这些EIA数据集的最佳方法有何建议? 我愿意使用另一个库,例如BS4,如果那样会更好。
先感谢您!!!!
我相信您只是希望响应中没有data
字段。
import json, requests
d = json.loads(requests.get(page).text)
df = pd.DataFrame(d['series'][0]['data'])
df
将为您提供您想要的数据。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.