我们如何从 URL 下载多个 Excel 文件？

Question

我正在尝试从 URL 下载所有 Excel 文件。

https://healthcare.ascension.org/price-transparency/price-transparency-files

这是我的hacky代码。

from bs4 import BeautifulSoup
import urllib.request


for numb in ('1', '10'):
    resp = urllib.request.urlopen("https://healthcare.ascension.org/price-transparency/price-transparency-files")
    soup = BeautifulSoup(resp, from_encoding=resp.info().get_param('charset'))

    for link in soup.find_all('a', href=True):
        if 'xls' in link['href']:
            print(link['href'])
            dls = link['href']
            urllib.request.urlretrieve(dls, str(numb) + ".xls")

我只是根据我刚刚做的一些谷歌搜索把它放在一起。 当我运行该代码时，我收到此错误。

ValueError: unknown url type: '/-/media/project/ascension/healthcare/price-transparency-files/al/630578923_ascension-saint-vincents-east_standardcharges.xlsx'

我刚刚循环了 1:10，因为我不确定如何获取 Excel 文件的实际名称，但查看页面后面显示 Excel URL 看起来像这样。

每个 Excel 文件都有一个名为“标准费用”的工作表。 我不确定是否必须下载每个文件，或者只是打开它并从名为“标准费用”的工作表中复制数据，但基本上我试图将“标准费用”中的所有内容放入一个数据框中。 当我查看一些表格时，我可以很快看出标题有时会略有不同，但我认为'pd.concat'应该能够非常无缝地处理它。 知道如何将所有内容放入一个数据框中吗？ 谢谢。

Answer 1

使用User-Agent获得成功的请求，您可以在 Network call 中找到

import requests
from bs4 import BeautifulSoup
headers={"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36"}
resp = requests.get("https://healthcare.ascension.org/price-transparency/price-transparency-files",headers=headers)
soup = BeautifulSoup(resp.text,"html.parser")

写入 Excel 文件的代码：

for link in soup.find_all('a', href=True):
    if 'xls' in link['href']:
        url="https://healthcare.ascension.org"+link['href']
        file="tmp/"+url.split("/")[-1].split(".")[0]+".xls"
        print(file)
        urllib.request.urlretrieve(url, file)  
    

此处 URL 将仅保留最后一部分，因此您必须与基础 url 连接以调用在本地下载 Excel 文件

Output：