网络抓取使用Jquery创建动态表单的登录页面

Question

我必须尝试网络抓取此URL 超市登录页面

输入用户名（有效的用户电子邮件）和密码错误后，我才使用Chrome调试器进行查看。

我可以看到此页面引发如下调用：

Request URL: https://accounts.eu1.gigya.com/accounts.login?context=R1521042408&&saveResponseID=R1521042408
Request Method: POST

loginID: [my real email for testing]
password: [any word except my real password, to get ERROR p.e. Helloooo]
sessionExpiration: -1
targetEnv: jssdk
include: profile,data,emails,subscriptions,preferences,
includeUserInfo: true
loginMode: standard
lang: es
APIKey: 3_Ns3U5-wXeiSQL-vZtu1Fd2DpWBsEdB78mYs2dn0_kyFFwwSJAZZd1EHUm9kodfND
source: showScreenSet
sdk: js_latest
authMode: cookie
pageURL: https://www.carrefour.es/access?pagesitename=supermercado&redirect=https%3A%2F%2Fwww.carrefour.es%2Fsupermercado%2F%3FDPSLogout%3Dtrue&back=https%3A%2F%2Fwww.carrefour.es%2Fsupermercado%2F%3FDPSLogout%3Dtrue
format: jsonp
callback: gigya.callback
context: R1521042408
utf8: ✓

我试图用cURL创建一个PHP脚本来调用以下URL： https ://accounts.eu1.gigya.com/accounts.login?context=something&&saveResponseID =something

和POST参数...。但是我有一个问题...此页面在内部使用API​​生成具有以下结果的上下文：

回调：gigya.callback上下文：R1642825906

有人可以向我解释一下此页面的工作原理，因为我不知道如何重新生成此contextID来使用以下URI调用登录帐户： https ://accounts.eu1.gigya.com/accounts.login?context=something&&saveResponseID=something

请帮我！ 我需要尝试了解此页面的工作方式。 谢谢！

阿尼

Answer 1

登录POST中使用的API密钥被硬编码在config.js文件中，因此您可以使用Regex检索它，例如：

curl -s "https://www.carrefour.es/nlogin/resources/config.js?v=v1.0.24" | sed -rn 's/\s+val:\s+\x27(.*)\x27,.*/\1/p'

但这不是很好，使用像selenium这样的自动浏览器工具会更好

还有2个API可以用于登录：

• https://accounts.eu1.gigya.com/accounts.login上的POST，其中saveResponseID作为查询参数，并且登录名，密码和apiKey形式为网址编码
• https://accounts.eu1.gigya.com/socialize.getSavedResponse上的GET，以saveResponseID和APIKey作为参数（JSON格式的响应）

saveResponseID似乎是存储在服务器上的一种会话ID

使用curl ＆ sed的脚本：

USERNAME="your.email@gmail.com"
PASSWORD="test"
CONTEXT=responseId

API_KEY=$(curl -s "https://www.carrefour.es/nlogin/resources/config.js?v=v1.0.24" | sed -rn 's/\s+val:\s+\x27(.*)\x27,.*/\1/p')

curl "https://accounts.eu1.gigya.com/accounts.login?saveResponseID=$CONTEXT" \
     --data-urlencode "loginID=$USERNAME" \
     --data-urlencode "APIKey=$API_KEY" \
     --data-urlencode "password=$PASSWORD" \
     -c cookie.txt

curl "https://accounts.eu1.gigya.com/socialize.getSavedResponse?APIKey=$API_KEY&saveResponseID=$CONTEXT" -b cookie.txt

请注意，最后一个API（用于获取响应的API）需要/accounts.login API生成的cookie。

这个saveResponseID （上下文）似乎有大约2分钟左右的生存时间。 在您的情况下，如果仅在socialize.getSavedResponse重用了相同的内容而没有调用accounts.login ，则可能会解释一些请求错误。