使用Python的請求從受密碼保護的ASP網站獲取數據

Question

我正在嘗試使用Python的請求獲取受密碼保護的ASP網站的全部內容。

ASP站點的程序員告訴我，使用PowerShell，他可以使用以下腳本獲取數據：

$c = $host.UI.PromptForCredential('Your Credentials', 'Enter Credentials','','')
$r = Invoke-WebRequest 'https://server.com/app/login.aspx' -SessionVariable my_session
$form = $r.Forms[0]
$form.fields['xUsername']=$c.UserName
$form.fields['xPassword']=$c.GetNetworkCredential().Password
$r = Invoke-WebRequest -Uri ("https://server.com/app/login.aspx?ReturnUrl=%2Fapp%2FgetData.aspx%3Ftype%3DGETDATA%26id%3D123") -WebSession $my_session -Method POST -Body $form.Fields

我正在嘗試使用python的請求庫來實現此目的，但似乎無法正常工作。 我沒有獲取數據，而是獲得了在嘗試不使用密碼進行訪問時通常會看到的HTML代碼。

import getpass
import requests
requests.packages.urllib3.disable_warnings()
import re
from bs4 import BeautifulSoup

user="my_username"
password=getpass.getpass()

data = {"xUsername":user, "xPassword": password}
with requests.Session() as s:
    page = s.get('https://server.com/app/login.aspx',verify=False).content
    soup = BeautifulSoup(page)
    data["___VIEWSTATE"] = soup.select_one("#__VIEWSTATE")["value"]
    data["__VIEWSTATEGENERATOR"] = soup.select_one("#__VIEWSTATEGENERATOR")["value"]
    s.post('https://server.com/app/login.aspx', data=data)
    open_page = s.post(
        "https://server.com/app/login.aspx?ReturnUrl=/app/getData.aspx?type=GETDATA&id=123")

我究竟做錯了什么？

Answer 1

我發現以下問題：

1. 標頭不見了，我只是使用Chrome瀏覽器訪問了該網站並獲取了此信息。 在我的情況下：“ Mozilla / 5.0（Windows NT 10.0； Win64； x64）AppleWebKit / 537.36（KHTML，例如Gecko）Chrome / 63.0.3239.132 Safari / 537.36”

2. 在“表單數據”下找到的所有數據都必須包含在python請求中。 再次訪問Chrome並正常登錄該網站。 @Chrome：檢查>網絡>搜索login.asp>在底部，我找到了“表單數據”，在我看來，它是這樣的（在已解析的視圖上）：

   __EVENTTARGET：

   __EVENTARGUMENT：

   __VIEWSTATE：隨機長字符串

   __VIEWSTATEGENERATOR：隨機十六進制數

   __EVENTVALIDATION：隨機長字符串

   xUsername：用戶

   xPassword：密碼

   btnLogin：登錄

因此，正確的python代碼如下所示：

import getpass
import requests
requests.packages.urllib3.disable_warnings()
from bs4 import BeautifulSoup

user="my_username"
password=getpass.getpass()
url = "https://server.com/app/login.aspx?ReturnUrl=%2fapp%2fgetData.aspx%3ftype%3dGETDATA%26id%3d123"
data = {"xUsername":user, "xPassword": password}
with requests.Session() as s:
    headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"}
    r = s.get('https://server.com/app/login.aspx',verify=False,headers=headers)
    soup = BeautifulSoup(r.content)
    data["___VIEWSTATE"] = soup.select_one("#__VIEWSTATE")["value"]
    data["__VIEWSTATEGENERATOR"] = soup.select_one("#__VIEWSTATEGENERATOR")["value"]
    data["__EVENTTARGET"] = ""
    data["__EVENTARGUMENT"] = ""
    data["__EVENTVALIDATION"] = soup.select_one("#__EVENTVALIDATION")["value"]
    data["btnLogin"] = "Login"

    response = s.post(url,data=data, headers=headers, allow_redirects=True)
    print response.content

我必須以編碼形式包含URL，否則我將從服務器收到一條錯誤消息，提示缺少一個參數，即：

url = "https://server.com/app/login.aspx?ReturnUrl=/app/getData.aspx?type=GETDATA&id=123"
... SAME SCRIPT AS ABOVE ...
>>> print response.url
https://server.com/app/getData.aspx?type=GETUSER
>>> print response.content
ERROR   Some parameter is missing

也許有人知道無需解碼url的更好方法。