使用登录进行 Python 网页抓取

Question

我正在尝试通过受密码保护的站点登录以访问受保护页面，我有电子邮件和密码名称以及 csrf 令牌。但是当我尝试访问受保护页面时，它不允许我并将我重定向回登录。任何帮助都会很棒！我试图访问的站点是。

https://www.usertesting.com/users/sign_in

import requests
from lxml import html

session_requests = requests.session()

login_url = "https://www.usertesting.com/users/sign_in"
result = session_requests.get(login_url)

tree = html.fromstring(result.text)
authenticity_token = list(set(tree.xpath("//meta[@name='csrf-token']/@content")))[0]

userInfo = {
    "user[email]": "email", 
    "user[password]": "password", 
    "csrf-token": authenticity_token
}

result = session_requests.post(
    login_url, 
    data = userInfo, 
    headers = dict(referer=login_url)
)

url = 'https://www.usertesting.com/my_dashboard'

result = session_requests.get(
    url, 
    headers = dict(referer = url)
)

print result.content

Answer 1

尝试查看此https://kazuar.github.io/scraping-tutorial/以获得您正在寻找的答案。 总而言之，您将需要检查网页，在开始完整的抓取程序之前，您应该编写另一个函数，输入用户名、密码，然后进入站点。 完成后，开始完整的脚本编写。