Pandas pd.read_html() Function 給我“HTTP 錯誤 403：禁止”

Question

我一直在使用 pandas 來抓取數據表。 使用 pd.read_html() 非常簡單，但是我嘗試使用的其中一個 url 不起作用。 這是我的代碼：

import pandas as pd
import requests

base_site = 'https://stats.ncaa.org/team/376/stats/15061'

r = requests.get(base_site)
r.status_code

tables = pd.read_html(base_site)

我導入了檢查狀態碼的請求，它輸出了 200，這很好。

這是 pd.read_html() 的 output：

---------------------------------------------------------------------------
HTTPError                                 Traceback (most recent call last)
<ipython-input-4-398e418f089e> in <module>()
----> 1 tables = pd.read_html(base_site, attrs = {'class' : 'dataTable', 'id' : 'statgrid'})

11 frames
/usr/lib/python3.6/urllib/request.py in http_error_default(self, req, fp, code, msg, hdrs)
    648 class HTTPDefaultErrorHandler(BaseHandler):
    649     def http_error_default(self, req, fp, code, msg, hdrs):
--> 650         raise HTTPError(req.full_url, code, msg, hdrs, fp)
    651 
    652 class HTTPRedirectHandler(BaseHandler):

HTTPError: HTTP Error 403: Forbidden

在查看 html 后，我嘗試添加參數以使調用更具體，但收到相同的錯誤無濟於事。

tables = pd.read_html(base_site, attrs = {'class' : 'dataTable', 'id' : 'statgrid'})

我錯過了一些明顯的東西嗎？ 其他站點會向我指定的表 object 返回一個列表，但我無法弄清楚為什么這對於我真正想要數據的站點不起作用。

Answer 1

您可能想查看 bs4 或 selenium 以獲取 web 抓取。

對於你的問題，嘗試更換

pd.read_html(base_site)

至

pd.read_html(r.text)