Python-如何為Cookie啟用帶有請求的Web抓取？

Question

我有一個腳本可以抓取一個可以在本地計算機上完美運行的網站。 當我將其部署到服務器時，相同的腳本無法從目標服務器獲取數據。

我啟用了調試，並注意到目標服務器給出了一條錯誤消息：“必須啟用Cookie”。

以下是代碼段。 Python版本2.7.3在本地計算機和服務器上均運行。

感謝您對解決方案的支持。

import requests

BASE_URL = 'https://targetsite.com'

CLIENT = requests.session()

detail_page = CLIENT.get(BASE_URL, headers=HEADERS, verify=False, allow_redirects=True)

Answer 1

問題似乎出在目標服​​務器上。 我已將用戶代理更改為搜索引擎，這已解決了問題。 我也了解它與Cookie無關，但目標服務器給出了錯誤的錯誤代碼。