請求 HTTP 錯誤 403：禁止。 如何解決？

Question

我需要從 div 中提取數據，但這里有一些問題是我的代碼：

import urllib.request as urllib2
from bs4 import BeautifulSoup
import requests
url = 'https://ru.investing.com/crypto/bitcoin/btc-usd-technical'
headers={'User-Agent': 'Mozilla/5.0'}
req = requests.get(url=url, headers=headers)
soup = BeautifulSoup(urllib2.urlopen("https://ru.investing.com/crypto/bitcoin/btc-usd-technical"), 'html', req)
result = soup.find_all("div", {"class":"summary"})

print(result)

這是我得到的錯誤：

raise HTTPError(req.full_url, code, msg, hdrs, fp)
urllib.error.HTTPError: HTTP Error 403: Forbidden

Answer 1

此錯誤與 BeautifulSoup 無關，與 urllib 有關。 HTTP 403響應碼表示服務端不允許您訪問頁面或網站。 也許這是因為您發送了太多請求，或者您正試圖訪問一個特殊的網頁（如管理面板或其他東西）。 另外，我建議您使用 requests 庫，然后使用 urllib3。 也許至少你應該用 urllib3 go，我猜。