Web 抓取 - 需要密码 | Python，BeautifulSoup，请求

Question

我正在尝试使用 Python、beatifulsoup 和请求执行 web 抓取。 我首先需要登录该页面，然后从我想要执行 web 抓取的页面请求以下页面。

我可以说我登录成功，因为状态码是 200。但是，当我登录后请求下一页时，我没有得到全部内容。

具体来说，我得到这一行而不是多个嵌套的 div。 <div id="app"></div>实际内容如下所示。

我的代码如下。 我想问你我是否缺少任何东西来获取所有嵌套的 div。

import requests
from bs4 import BeautifulSoup
import html5lib
headers={'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36'}

login_data = {
    'username': 'username',
    'password': 'password',
    'sp-login': 'false'
}

with requests.Session() as s:
    url = "https://api.private.zscaler.com/base/api/zpa/signin"
    r = s.get(url, headers=headers)
    soup = BeautifulSoup(r.content, 'html5lib')

    r = s.post(url, data=login_data, headers= headers)
    print(r.content)
    print(r.ok)
    print(r.status_code)

    r2 = requests.get("https://admin.private.zscaler.com/#dashboard/usersDashboard")
    print(r2.text)

Answer 1

您尝试抓取的web应用程序可能是使用 React \ Vue \ Angular 等构建的 SPA（单页应用程序）。

BeautifulSoup 在这种情况下不起作用，因为您需要在页面上运行 javascript 来构建 DOM。

您必须使用 Selenium 之类的东西来完成此操作。