![](/img/trans.png)
[英]How to get session_id when using Crawlera lua script in Scrapy Splash?
[英]How to handle form fill in splash using Lua
我正在嘗試使用 splash 和 lua 作為腳本登錄網頁( http://quotes.toscrape.com/login )。 但是,我無法登錄該網站。
script = """
function find_search_input(inputs)
if #inputs == 1 then
return inputs[1]
else
return inputs
end
end
function find_input(forms)
local potential = {}
for _, form in ipairs(forms) do
local inputs = form.node:querySelectorAll('input:not([type="hidden"])')
if #inputs ~= 0 then
local input = find_search_input(inputs)
if input then
return form, input
end
potential[#potential + 1] = {input=inputs, form=form}
end
end
return potential[1].form, potential[1].input
end
function main(splash)
local url = splash.args.url
assert(splash:go(url))
assert(splash:wait(10))
splash:set_viewport_full()
local forms = splash:select_all('form')
local form, input = find_input(forms)
input['username'] = 'foobar'
input['password'] = 'foobar'
assert(splash:wait(0))
assert(form:submit())
return {
html = splash:html()
}
end
"""
headers = {
'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.162 Safari/537.36'
}
yield SplashRequest('http://quotes.toscrape.com/login', self.parse, endpoint='execute', args={
'lua_source': script,
'wait': 5
}, splash_headers=headers, headers=headers)
形式是
<form action="/login" method="post" accept-charset="utf-8">
<input type="hidden" name="csrf_token" value="BJNFrtYLDnpzITvSyQWOXhqCwKbscUEkGReiVjlZfogxAdumaPHM">
<div class="row">
<div class="form-group col-xs-3">
<label for="username">Username</label>
<input type="text" class="form-control" id="username" name="username">
</div>
</div>
<div class="row">
<div class="form-group col-xs-3">
<label for="username">Password</label>
<input type="password" class="form-control" id="password" name="password">
</div>
</div>
<input type="submit" value="Login" class="btn btn-primary">
</form>
我的要求是根據輸入類型以表單形式獲取輸入。 假設在登錄表單中,如果我們獲得 email 或文本的輸入類型,那么我們會將用戶名設置為它的值。 同樣,如果字段類型是密碼,那么我們會將密碼作為它的值。 如果它包含一些像 csrf_tokem 這樣的隱藏字段,那么我們將從表單中獲取它的值,並將其與它一起傳遞。
input['type = email || type = text'] = 'our_user_name'
input['type = password'] = 'our_passwords'
input['type = hidden']= 'value_extracted from the form'
我希望這些可能是一些簡單的事情。 但我無法在 lu 中實施,因為我沒有這方面的經驗。 無論如何,提前感謝您幫助我解決這個問題。
我是 lua 的新手,感謝您的提問。 我只是在閱讀這個問題時得到了靈感。 如果您太忙而無法解決它,其他腳本應該會有所幫助。
function main(splash)
splash:set_viewport_size(1366, 768)
splash:set_user_agent('Splash bot')
assert(splash:go("http://quotes.toscrape.com/login"))
assert(splash:wait(0.5))
local form = splash: select('form')
local values = {
username = 'foobar',
password = 'foobar',
}
assert(form:fill(values))
assert(form:submit())
splash:wait(5)
return {
png = splash:png(),
}
end
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.