我們如何從 URL 下載多個 Excel 文件？

Question

我正在嘗試從 URL 下載所有 Excel 文件。

https://healthcare.ascension.org/price-transparency/price-transparency-files

這是我的hacky代碼。

from bs4 import BeautifulSoup
import urllib.request


for numb in ('1', '10'):
    resp = urllib.request.urlopen("https://healthcare.ascension.org/price-transparency/price-transparency-files")
    soup = BeautifulSoup(resp, from_encoding=resp.info().get_param('charset'))

    for link in soup.find_all('a', href=True):
        if 'xls' in link['href']:
            print(link['href'])
            dls = link['href']
            urllib.request.urlretrieve(dls, str(numb) + ".xls")

我只是根據我剛剛做的一些谷歌搜索把它放在一起。 當我運行該代碼時，我收到此錯誤。

ValueError: unknown url type: '/-/media/project/ascension/healthcare/price-transparency-files/al/630578923_ascension-saint-vincents-east_standardcharges.xlsx'

我剛剛循環了 1:10，因為我不確定如何獲取 Excel 文件的實際名稱，但查看頁面后面顯示 Excel URL 看起來像這樣。

每個 Excel 文件都有一個名為“標准費用”的工作表。 我不確定是否必須下載每個文件，或者只是打開它並從名為“標准費用”的工作表中復制數據，但基本上我試圖將“標准費用”中的所有內容放入一個數據框中。 當我查看一些表格時，我可以很快看出標題有時會略有不同，但我認為'pd.concat'應該能夠非常無縫地處理它。 知道如何將所有內容放入一個數據框中嗎？ 謝謝。

Answer 1

使用User-Agent獲得成功的請求，您可以在 Network call 中找到

import requests
from bs4 import BeautifulSoup
headers={"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36"}
resp = requests.get("https://healthcare.ascension.org/price-transparency/price-transparency-files",headers=headers)
soup = BeautifulSoup(resp.text,"html.parser")

寫入 Excel 文件的代碼：

for link in soup.find_all('a', href=True):
    if 'xls' in link['href']:
        url="https://healthcare.ascension.org"+link['href']
        file="tmp/"+url.split("/")[-1].split(".")[0]+".xls"
        print(file)
        urllib.request.urlretrieve(url, file)  
    

此處 URL 將僅保留最后一部分，因此您必須與基礎 url 連接以調用在本地下載 Excel 文件

Output：