Python - 使用 Python 3 urllib 發出 POST 請求

Question

我正在嘗試向以下頁面發出 POST 請求： http : //search.cpsa.ca/PhysicianSearch

為了模擬單擊“搜索”按鈕而不填寫任何表單，從而向頁面添加數據。 在 Chrome 開發人員工具中查看網絡選項卡時，我通過單擊按鈕獲得了 POST 標頭信息。 我發布這個而不是僅僅從其他類似問題中復制解決方案的原因是我相信我可能沒有得到正確的標題信息。

它的格式是否正確，我是否獲取了正確的信息？ 我以前從未發出過 POST 請求。

這是我設法拼湊起來的：

import urllib.parse
import urllib.request


data = urllib.parse.urlencode({'Host': 'search.cpsa.ca', 'Connection': 'keep-alive', 'Content-Length': 23796,
                                     'Origin': 'http://search.cpsa.ca', 'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
                                     'Cahce-Control': 'no-cache', 'X-Requested-With': 'XMLHttpRequest',
                                     'X-MicrosoftAjax': 'Delta=true', 'Accept': '*/*',
                                     'Referer': 'http://search.cpsa.ca/PhysicianSearch',
                                     'Accept-Encoding': 'gzip, deflate',
                                     'Accept-Language': 'en-GB,en-US;q=0.8,en;q=0.6',
                                     'Cookie': 'ASP.NET_SessionId=kcwsgio3dchqjmyjtwue402c; _ga=GA1.2.412607756.1459536682; _gat=1'})


url = "http://www.musi-cal.com/cgi-bin/query?%s"

data = data.encode('ascii')
with urllib.request.urlopen("http://search.cpsa.ca/PhysicianSearch", data) as f:
    print(f.read().decode('utf-8'))

此解決方案輸出頁面的 HTML，但不輸出我想從 POST 請求中檢索的任何數據。

Answer 1

這就是你如何做到的。

from urllib import request, parse
data = parse.urlencode(<your data dict>).encode()
req =  request.Request(<your url>, data=data) # this will make the method "POST"
resp = request.urlopen(req)

Answer 2

謝謝C熊貓。 你真的讓我很容易學習這個模塊。

我發布了我們傳遞的字典，它沒有為我編碼。 我不得不做一個小的改變 -

from urllib import request, parse
import json

# Data dict
data = { 'test1': 10, 'test2': 20 }

# Dict to Json
# Difference is { "test":10, "test2":20 }
data = json.dumps(data)

# Convert to String
data = str(data)

# Convert string to byte
data = data.encode('utf-8')

# Post Method is invoked if data != None
req =  request.Request(<your url>, data=data)

# Response
resp = request.urlopen(req)

Answer 3

上面的代碼用一些額外的 \\" 編碼了 JSON 字符串，這給我帶來了很多問題。這看起來是一個更好的方法：

from urllib import request, parse

url = "http://www.example.com/page"

data = {'test1': 10, 'test2': 20}
data = parse.urlencode(data).encode()

req = request.Request(url, data=data)
response = request.urlopen(req)

print (response.read())

Answer 4

在request.Request()設置method="POST" 。

---

發送沒有正文的 POST 請求：

from urllib import request

req = request.Request('https://postman-echo.com/post', method="POST")
r = request.urlopen(req)
content = r.read()
print(content)

---

使用 json 正文發送 POST 請求：

from urllib import request

req = request.Request('https://postman-echo.com/post', method="POST")
req.add_header('Content-Type', 'application/json')
data = {
    "hello": "world"
}
data = json.dumps(data)
data = data.encode()
r = request.urlopen(req, data=data)
content = r.read()
print(content)

Answer 5

當我使用 urlencode 時它失敗了。 所以我使用以下代碼在 Python3 中進行 POST 調用：

from urllib import request, parse

data = b'{"parameter1": "test1", "parameter2": "test2"}'
req = request.Request("http://www.musi-cal.com/cgi-bin/query?%s", data)
resp = request.urlopen(req).read().decode('utf-8')
print(resp)