簡體   English   中英

"嘗試抓取網站時如何擺脫錯誤?"

[英]How do I get rid of an error when trying to scrape a site?

當我嘗試為雜貨價格數據抓取毛線時,我收到以下錯誤: urllib.error.HTTPError: HTTP Error 403: Forbidden<\/em>

這是我的代碼的樣子:

    session = requests.session()
url = "https://www.woolworths.com.au/shop/browse/fruit-veg"
headers = {"User-Agent":"Mozilla/5.0"}
req = session.get(url, headers = headers)
fruitAndVeg = BeautifulSoup(req.text)

嘗試使用完整的用戶代理,例如

headers = {"User-Agent" : "Mozilla/5.0 (iPhone; CPU iPhone OS 12_2 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) FxiOS/96.0 Mobile/15E148 Safari/605.1.15"}

暫無
暫無

聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM