Python 请求 Cookie 问题（网页抓取）

Question

我目前正在编写一个网络爬虫，为我的 Python Flask 服务器提供数据。 我的目标是向服务器发送 POST 请求并检索 JSON。 我的 Flask API 目前托管在运行 Linux 的 Heroku dyno 上。 不久前，服务器添加了 cookie 验证，这意味着我必须使用 cookie 发送我的 POST 请求。 但是，服务器最近还添加了某种 IP 匹配，这意味着我无法在我的 Windows 机器上为 Heroku 服务器使用相同的 cookie 字符串。 这是我在两台机器上运行的内容：

import requests

url = "https://coursebook.utdallas.edu/clips/clip-coursebook.zog" # POST endpoint

payload = "action=search&s%5B%5D=ecs+3390&s%5B%5D=term_20f" # "ecs 3390" is the query
headers = {
  'Connection': 'keep-alive',
  'Accept': '*/*',
  'DNT': '1',
  'X-Requested-With': 'XMLHttpRequest',
  'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.102 Safari/537.36',
  'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
  'Origin': 'https://coursebook.utdallas.edu',
  'Sec-Fetch-Site': 'same-origin',
  'Sec-Fetch-Mode': 'cors',
  'Sec-Fetch-Dest': 'empty',
  'Referer': 'https://coursebook.utdallas.edu/search',
  'Accept-Language': 'en-US,en;q=0.9,zh-CN;q=0.8,zh;q=0.7,zh-TW;q=0.6',
  'Cookie': 'PTGSESSID=052a6577047da9c404825cc393c56445'
}

response = requests.request("POST", url, headers=headers, data = payload)

print(response.text.encode('utf8'))

在我的 Windows 机器上，我收到了很好的响应； 但是，当我使用相同的代码在 MacOS 上运行它时，它会返回一个空白响应，因为 cookie 不匹配（您可以使用完全相同的代码尝试它）； 如果我然后在 Mac 上访问该网站并手动获取 cookie 字符串以正常方式发送请求，并将其替换为 Python 代码，它现在可以在 Mac 上运行。

但是，这需要我亲自打开浏览器，转到 url，然后单击按钮发送 POST 请求，然后从开发人员控制台获取 cookie 字符串。 这在 Heroku dynos 上显然是不可能的，这意味着我已经从我的 raspberry pi 运行这个服务器一段时间了。

我试图获取登录页面（ https://coursebook.utdallas.edu/search ），我可以在其中发送 GET 请求并从标题中获取 SET-COOKIES，但该 cookie 字符串似乎不起作用奇怪的。 我很确定这应该很简单，因为在网站上发送请求似乎一点也不难。 为长篇文章道歉，但如果您有任何想法，请告诉我！ 我的 raspberry pi 会感谢大家终于能够关闭。

Answer 1

通过使用无头 Selenium 获取 cookie 来解决，然后使用它直到它过期，在这种情况下，只需再次运行 get cookie 脚本。 这是我的代码片段： Github 链接

在 Selenium 上设置 Heroku 的链接（还检查更新的响应）： 中等链接