如果需要使用硒登錄，如何抓取網站？

Question

我正嘗試在LinkedIn網站上抓取一些用戶個人資料。

我正在使用硒來實現瀏覽器自動化。

我需要https://www.linkedin.com/search/results/all/?keywords=director%20supply%20chain&origin=GLOBAL_SEARCH_HEADER&page=1下的所有配置文件

但是該網站要求登錄詳細信息。

我應該如何在代碼中提供我的登錄詳細信息？

Answer 1

您將需要找到用戶名和密碼框，然后輸入它們。我發現使用CSS元素ID最簡單。 硒具有find_element_by_id方法。 看看我做的這個小硒自動登錄項目： https : //github.com/bnorquist/auto_login/blob/master/scripts/login.py#L7

Answer 2

該代碼有效

driver.get("https://www.linkedin.com")
driver.implicitly_wait(6)
driver.find_element_by_xpath("""//*[@id="login-email"]""").send_keys(userid)
driver.find_element_by_xpath("""//*[@id="login-password"]""").send_keys(password)
driver.find_element_by_xpath("""//*[@id="login-submit"]""").click()
driver.get("https://www.linkedin.com/search/results/all/? 
keywords=director%20supply%20chain&origin=GLOBAL_SEARCH_HEADER&page=1")