使用登錄進行 Python 網頁抓取

Question

我正在嘗試通過受密碼保護的站點登錄以訪問受保護頁面，我有電子郵件和密碼名稱以及 csrf 令牌。但是當我嘗試訪問受保護頁面時，它不允許我並將我重定向回登錄。任何幫助都會很棒！我試圖訪問的站點是。

https://www.usertesting.com/users/sign_in

import requests
from lxml import html

session_requests = requests.session()

login_url = "https://www.usertesting.com/users/sign_in"
result = session_requests.get(login_url)

tree = html.fromstring(result.text)
authenticity_token = list(set(tree.xpath("//meta[@name='csrf-token']/@content")))[0]

userInfo = {
    "user[email]": "email", 
    "user[password]": "password", 
    "csrf-token": authenticity_token
}

result = session_requests.post(
    login_url, 
    data = userInfo, 
    headers = dict(referer=login_url)
)

url = 'https://www.usertesting.com/my_dashboard'

result = session_requests.get(
    url, 
    headers = dict(referer = url)
)

print result.content

Answer 1

嘗試查看此https://kazuar.github.io/scraping-tutorial/以獲得您正在尋找的答案。 總而言之，您將需要檢查網頁，在開始完整的抓取程序之前，您應該編寫另一個函數，輸入用戶名、密碼，然后進入站點。 完成后，開始完整的腳本編寫。