您無權訪問此資源 Python webscraping

Question

我正在嘗試網絡抓取一個網站，當我這樣做時，我的輸出低於輸出。 有什么辦法可以抓取這個網站嗎？

url = "https://www.mustang6g.com/forums/threads/pre-collision-alert-system.132807/"

page = requests.get(url)
soup = BeautifulSoup(page.text, 'html.parser')
print(soup)

上面代碼的輸出如下

<!DOCTYPE HTML PUBLIC "-//IETF//DTD HTML 2.0//EN">

<html><head>
<title>403 Forbidden</title>
</head><body>
<h1>Forbidden</h1>
<p>You don't have permission to access this resource.</p>
</body></html>

Answer 1

網站服務器希望傳遞一個標頭：

import requests

headers = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) '\
           'AppleWebKit/537.36 (KHTML, like Gecko) '\
           'Chrome/75.0.3770.80 Safari/537.36'}

URL = 'https://www.mustang6g.com/forums/threads/pre-collision-alert-system.132807/'


httpx = requests.get(URL, headers=headers)

print(httpx.text)

通過傳遞標頭，我們告訴服務器我們是 Mozilla :)

您無權訪問此資源 Python webscraping

問題描述

1 個解決方案

解決方案1
2 已采納 2020-03-24 19:21:35

您無權訪問此資源 Python webscraping

問題描述

1 個解決方案

解決方案1 2 已采納 2020-03-24 19:21:35

解決方案1
2 已采納 2020-03-24 19:21:35