如何使用python和mechanize登錄網站

Question

我正在嘗試登錄網站http://www.magickartenmarkt.de並在會員區進行分析（ https://www.magickartenmarkt.de/?mainPage=showWants ）。 我看到了其他的例子，但我不知道為什么我的方法不起作用。 我確定了第一種方法的正確形式，但目前尚不清楚它是否有效。 在第二種方法中，returing網頁向我顯示我無法訪問成員區域。

我很樂意為你提供任何幫助。

import urllib2
import cookielib
import urllib
import requests
import mechanize
from mechanize._opener import urlopen
from mechanize._form import ParseResponse

USERNAME = 'Test'
PASSWORD = 'bla123'
URL      = "http://www.magickartenmarkt.de"

# first approach
request = mechanize.Request(URL)
response = mechanize.urlopen(request)
forms = mechanize.ParseResponse(response, backwards_compat=False)
# I don't want to close?!
#response.close()

# Username and Password are stored in this form
form = forms[1]

form["username"] = USERNAME
form["userPassword"] = PASSWORD

#proof entering data has worked
user = form["username"]  # a string, NOT a Control instance
print user
pw = form["userPassword"]  # a string, NOT a Control instance
print pw
#is this the page where I will redirected after login?
print urlopen(form.click()).read () 

#second approach
cj = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
login_data = urllib.urlencode({'username' : USERNAME, 'userPassword': PASSWORD})

#login
response_web = opener.open(URL, login_data)

#did it work? for me not....
resp = opener.open('https://www.magickartenmarkt.de/?mainPage=showWants')
print resp.read()

Answer 1

為什么不使用瀏覽器實例來方便導航？ Mechanize還可以選擇特定的表單（例如，nr = 0將選擇頁面上的第一個表單）

browser = mechanize.Browser()
browser.open(YOUR URL)
browser.select_form(nr = 0)
browser.form['username'] = USERNAME
browser.form['password'] = PASSWORD
browser.submit()

Answer 2

網絡自動化？ 絕對是“WEBBOT”

webbot甚至適用於動態更改id和類名的網頁，並且具有比selenium更多的方法和功能。

這是一個片段:)

from webbot import Browser 
web = Browser()
web.go_to('google.com') 
web.click('Sign in')
web.type('mymail@gmail.com' , into='Email')
web.click('NEXT' , tag='span')
web.type('mypassword' , into='Password' , id='passwordFieldId') # specific selection
web.click('NEXT' , tag='span') # you are logged in ^_^