[英]How to fetch data from a website using Python that is being populated by Javascript?
[英]how to fetch text data from website and storing as excel file using python
我想创建一个脚本来获取以下网站中的所有数据: https : //www.bis.doc.gov/dpl/dpl.txt并将其存储在一个 excel 文件中并计算其中的记录数,使用python语言。 我试图通过将代码实现为:
import requests
import re
from bs4 import BeautifulSoup
URL = "https://www.bis.doc.gov/dpl/dpl.txt"
page = requests.get(URL)
soup = BeautifulSoup(page.text, "lxml")
print(soup)
我已经获取了数据,但不知道下一步将其存储为 excel 文件。 任何人请指导或分享您的宝贵想法。 先感谢您!
你可以很容易地用熊猫来做到这一点。 由于数据在制表符分隔值中。
注意:需要安装openpyxl
才能工作。
import requests
import io
import pandas as pd
URL = "https://www.bis.doc.gov/dpl/dpl.txt"
page = requests.get(URL)
df = pd.read_csv(io.StringIO(page.text), sep="\t")
df.to_excel(r'i_data.xlsx', index = False)
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.