使用python進行網頁抓取。 從網站收集數據

Question

我正在從網站上抓取一些數據。 我正在寫一個腳本來自動化它。 為了轉到下一頁，我必須從按鈕中刪除此禁用的屬性。 我嘗試了很多事情，但到目前為止沒有任何幫助。

<button class="proceed" disabled="disabled" >Next</button>

碼：

binary = FirefoxBinary('/usr/lib/firefox/firefox')
driver = webdriver.Firefox(firefox_binary=binary)

driver.get("https://example.com/example/example")

my_url = Request('https://www.example.com/example/example', headers={'User-Agent': 'Mozilla/5.0'})
uClient = uReq(my_url)
page_html = uClient.read()
uClient.close()
page_soup = soup(page_html, "html.parser")

user = raw_input("enter your starting point : ")

user_box = driver.find_element_by_class_name("search")
user_box.send_keys(user)
#user_box.autocomplete = "on"
#user_box.submit()

login_button = driver.find_element_by_css_selector("button.proceed")
#login_button.submit()

#print (login_button.text)

Answer 1

使用JavascriptExecutor從按鈕中刪除此disabled屬性，如下所示：

login_button = driver.find_element_by_css_selector("button.proceed")
driver.execute_script("arguments[0].removeAttribute('disabled')", login_button)