urllib發出多個POST請求

Question

我有一個網站，我正在嘗試從中提取數據，但是要獲取數據，我需要瀏覽兩頁：登錄屏幕和第二個屏幕，我在其中選擇要讀取的數據。 我的代碼如下所示：

    import urllib
    from bs4 import BeautifulSoup

    url = 'http://website.com'
    values = {'userName' : 'tom',
              'Login' : 'submit'}
    data = urllib.parse.urlencode(values).encode('ascii')
    req = urllib.request.Request(url, data)
    page = urllib.request.urlopen(req)
    soup = BeautifulSoup(page,'html.parser')
    print(soup.text)

我的問題是，我將如何在登錄請求之后提交第二個POST請求，以便獲得即時通訊所需的數據？

Answer 1

通常，它始終取決於他們如何對用戶進行身份驗證以及如何存儲此會話，基於令牌的基於php的google身份驗證。 不知道所有這些信息就很難知道。 解決這種膨脹的常見方法是使用無頭Web瀏覽器。 可以通過代碼控制的瀏覽器。 允許您像平常一樣單擊頁面！

我建議將seleniumhq用於python！ http://www.seleniumhq.org/