無法使用Python請求會話模塊登錄網站

Question

我剛開始用網絡抓取。 對於我的第一個項目，我正在嘗試使用requests.Session（）登錄artofproblemsolving.com並訪問另一個用戶的帳戶。 這是我的代碼：

import requests

LOGIN_URL = 'https://www.artofproblemsolving.com/Forum/ucp.php?mode=login'
DATA_URL = 'https://www.artofproblemsolving.com/Forum/memberlist.php?mode=viewprofile&u=90586'

payload = {
    'username': '{{my_username}}',
    'password': '{{my_password}}'
}

with requests.Session() as s:
    s.post(LOGIN_URL, data=payload)
    r = s.get(DATA_URL)
    print r.text

但是當我在終端中運行它時，輸出HTML來自登錄頁面，而不是我試圖抓取的用戶配置文件。 我仔細檢查了LOGIN_URL是登錄表單中的POST操作，'username'和'password'是表單項的名稱，我的登錄信息是正確的。

感謝所有幫助，謝謝！

Answer 1

我不確定這是問題的直接原因。 但是表單還有另一個參數發送到登錄操作。

除了username ， password ，還傳遞以下參數：

'username': username,
'password': password,
'login': 'Login'.
'sid': sid,   # You need to parse the login page to get sid
'redirect': 'index.php',