使用Javascript与Scrapy登录网站

Question

我正在尝试使用Scrapy从其他页面提取更多信息。 我能够登录上一个项目，并在此之后对其进行建模。 但是，该特定站点的登录页面却大不相同。 这是包含相关信息的页面标记：

<div id="form" style="display:inline;">

    <form id="login" class="gfimaxrmform2" name="gfimaxform" action="" method="post" onsubmit="return attemptLogin(this);" >

        <label for="username">User name:</label>
        <input alt="blank" size="30" id="username" name="username" type="text" />

        <br />

        <label for="password">Password:</label>
        <input alt="blank" size="30" id="password" name="password" type="password"  />

        <br />
        <br />
        <script type="text/javascript">document.write("<input name='url' id = 'url' type='hidden' value = '"+document.URL+"'>")</script>
        <div class="formfields_belowfields">
            <button class="submit" type="submit">Login</button>
        </div>

    </form>
</div>

我正在尝试使用我的代码登录，然后转到另一个网站，但是我不确定如何使其"click"提交。 这是我正在处理的代码：

def parse(self, response):
    return[FormRequest.from_response(response, formdata = {"username" : user, "password": password}, callback = self.after_login)]

“ after_login”将仅确保我已登录，但是似乎没有单击“提交”按钮转到下一页。

编辑：指向我要登录的页面的链接是： 这里

Answer 1

我最终使用Selenium真正简化了此过程。 如果将来有人发现需要某种东西，我建议您使用它。