寻找相当于Mechanize功能的请求

Question

我有兴趣看看Requests是否可以处理我在Mechanize中主要做的一些任务。

Mechanize可以轻松处理填写表单和提交表单，我很难在Requests中尝试做同样的事情。

例如，

import mechanize
br = mechanize.Browser()
url = "https://www.euronext.com/en/data/download?ml=nyx_pd_stocks&cmd=default&formKey=nyx_pd_filter_values%3A18d1ee939a63d459d9a2a3b07b8837a7"
br.open(url)
br.select_form(nr=1)
br.form['format']=['2']
br.form['date_format']=['2']
response = br.submit().read()

请求是否等同于：

import requests
url = "https://www.euronext.com/en/data/download?ml=nyx_pd_stocks&cmd=default&formKey=nyx_pd_filter_values%3A18d1ee939a63d459d9a2a3b07b8837a7"
payload = {'format':'2','date_format':'2'}
r = requests.post(url, data=payload)

requests.post是否提交表格以下载页面上嵌入的CSV？

此外，有关其他信息，以下是页面上的表单：

for form in br.forms():
    print form

<POST https://www.euronext.com/en/data/download?ml=nyx_pd_stocks&cmd=default&formKey=nyx_pd_filter_values%3A18d1ee939a63d459d9a2a3b07b8837a7  application/x-www-form-urlencoded
    <TextControl(search_block_form=)>
    <SubmitControl(op=Search) (readonly)>
    <RadioControl(search_type=[*quote, site])>
    <HiddenControl(form_build_id=form-af2eb21e9b6448ffca4e358d0b52f499) (readonly)>
    <HiddenControl(form_id=search_block_form) (readonly)>
    <HiddenControl(search_target=search_instruments) (readonly)>
    <HiddenControl(search_language=&lan=) (readonly)>>
<POST https://www.euronext.com/en/data/download?ml=nyx_pd_stocks&cmd=default&formKey=nyx_pd_filter_values%3A18d1ee939a63d459d9a2a3b07b8837a7 application/x-www-form-urlencoded
  <RadioControl(format=[*1, 2, 3])>
  <RadioControl(layout=[*2, 1])>
  <RadioControl(decimal_separator=[*1, 2])>
  <RadioControl(date_format=[*1, 2])>
  <SubmitControl(op=Go) (readonly)>
  <SubmitControl(op=Cancel) (readonly)>
  <HiddenControl(form_build_id=form-37e81285a4dbf60e091037f904bac2eb) (readonly)>
  <HiddenControl(form_id=nyx_download_form) (readonly)>>

Answer 1

requests不会填充与Mechanize相同的角色。

Mechanize加载实际的HTML表单并解析它，让您填写表单中各种元素的值。 然后，当您要求Mechanize提交表单时，它将使用表单中的所有信息向服务器生成有效请求。 这包括您没有为其提供新值的任何表单元素，使用默认值（如果存在）。 这包括浏览器中不可见的任何隐藏表单元素。

使用像robobrowser这样的项目; 它包装requests以及BeautifulSoup来加载网页，解析表单元素，帮助您填写这些元素并再次提交。

如果你想用刚要求，你需要确保你通过发布形式定义的所有领域。 这意味着您需要查看method属性（默认为GET ）， action属性（默认为当前URL），以及所有input ， select ， textarea和button元素。 服务器也可能期望HTTP请求中的附加信息，例如cookie或Referer （sic）头。

例如，您打印的Mechanize信息表示它已从您未提供值的表单中解析了多个字段。 有问题的表单还包含一个名为form_build_id的隐藏输入字段，例如服务器可能依赖的字段。 Mechanize还会捕获与原始表单请求一起发送的任何cookie，并且服务器也可能需要这些cookie来接受请求。 robobrowser将考虑相同的上下文。

Answer 2

OP想要什么可以使用requests和BeautifulSoup完成，如下所示：

import requests
import urlparse
from bs4 import BeautifulSoup
url = "https://www.euronext.com/en/data/download?ml=nyx_pd_stocks&cmd=default&formKey=nyx_pd_filter_values%3A18d1ee939a63d459d9a2a3b07b8837a7"
resp = requests.get(url, allow_redirects=True)

soup = BeautifulSoup(resp.text, "lxml")
forms = soup.findAll("form")
params = dict([(parm.get("name"), parm.get("value")) for parm in forms[1].findAll("input")])
params.update({'format':'2','date_format':'2'})
formAction = forms[1].get("action")
# Make the relative URL absolute.
formAction = urlparse.urlunsplit(urlparse.urlsplit(url)[0:2] + urlparse.urlsplit(formAction)[2:])

resp = requests.post(formAction, data=params)