Web 使用請求進行抓取 - Python

Question

我正在嘗試使用 Resquest 庫獲取數據，但我做錯了。 我的解釋，手動搜索：

URL - https://www9.sabesp.com.br/agenciavirtual/pages/template/siteexterno=i。

我填寫“Informe o RGI”字段，然后單擊 Prosseguir 按鈕（如 Next）：

在此處輸入圖像描述

我得到這個結果：

在此處輸入圖像描述

在編碼之前，我進行了手動搜索並檢查了表單數據：

在此處輸入圖像描述

然后我用這段代碼試了一下：

import requests

data = { "frmhome:rgi1": "0963489410"}

url = "https://www9.sabesp.com.br/agenciavirtual/block/send-receive-updates"
res = requests.post(url, data=data)

print(res.text)

我的 output 是：

<session-expired/>

我究竟做錯了什么？

非常感謝。

Answer 1

當您使用瀏覽器 go 訪問該站點時，將創建 session 並將其存儲在您機器上的 cookie 中。 當您發出 POST 請求時，cookies 會隨請求一起發送。 您收到session-expired錯誤，因為您沒有隨請求發送任何 session 數據。

試試這個代碼。 它首先請求入口頁面並存儲 cookies。 cookies 然后隨 POST 請求一起發送。

import requests

session = requests.Session() # start session

# get entry page with cookies
response = session.get('https://www9.sabesp.com.br/agenciavirtual/pages/home/paginainicial.iface', timeout=30)
cks = session.cookies  # save cookies with Session data
print(session.cookies.get_dict())

data = { "frmhome:rgi1": "0963489410"}

url = "https://www9.sabesp.com.br/agenciavirtual/block/send-receive-updates"
res = requests.post(url, data=data, cookies=cks)  # send cookies with request

print(res.text)