使用Javascript與Scrapy登錄網站

Question

我正在嘗試使用Scrapy從其他頁面提取更多信息。 我能夠登錄上一個項目，並在此之后對其進行建模。 但是，該特定站點的登錄頁面卻大不相同。 這是包含相關信息的頁面標記：

<div id="form" style="display:inline;">

    <form id="login" class="gfimaxrmform2" name="gfimaxform" action="" method="post" onsubmit="return attemptLogin(this);" >

        <label for="username">User name:</label>
        <input alt="blank" size="30" id="username" name="username" type="text" />

        <br />

        <label for="password">Password:</label>
        <input alt="blank" size="30" id="password" name="password" type="password"  />

        <br />
        <br />
        <script type="text/javascript">document.write("<input name='url' id = 'url' type='hidden' value = '"+document.URL+"'>")</script>
        <div class="formfields_belowfields">
            <button class="submit" type="submit">Login</button>
        </div>

    </form>
</div>

我正在嘗試使用我的代碼登錄，然后轉到另一個網站，但是我不確定如何使其"click"提交。 這是我正在處理的代碼：

def parse(self, response):
    return[FormRequest.from_response(response, formdata = {"username" : user, "password": password}, callback = self.after_login)]

“ after_login”將僅確保我已登錄，但是似乎沒有單擊“提交”按鈕轉到下一頁。

編輯：指向我要登錄的頁面的鏈接是： 這里

Answer 1

我最終使用Selenium真正簡化了此過程。 如果將來有人發現需要某種東西，我建議您使用它。