如果需要使用硒登录，如何抓取网站？

Question

我正尝试在LinkedIn网站上抓取一些用户个人资料。

我正在使用硒来实现浏览器自动化。

我需要https://www.linkedin.com/search/results/all/?keywords=director%20supply%20chain&origin=GLOBAL_SEARCH_HEADER&page=1下的所有配置文件

但是该网站要求登录详细信息。

我应该如何在代码中提供我的登录详细信息？

Answer 1

您将需要找到用户名和密码框，然后输入它们。我发现使用CSS元素ID最简单。 硒具有find_element_by_id方法。 看看我做的这个小硒自动登录项目： https : //github.com/bnorquist/auto_login/blob/master/scripts/login.py#L7

Answer 2

该代码有效

driver.get("https://www.linkedin.com")
driver.implicitly_wait(6)
driver.find_element_by_xpath("""//*[@id="login-email"]""").send_keys(userid)
driver.find_element_by_xpath("""//*[@id="login-password"]""").send_keys(password)
driver.find_element_by_xpath("""//*[@id="login-submit"]""").click()
driver.get("https://www.linkedin.com/search/results/all/? 
keywords=director%20supply%20chain&origin=GLOBAL_SEARCH_HEADER&page=1")