我如何使用带有开放个人资料的 selenium 提取 LinkedIn 帖子喜欢会员姓名和名称？

Question

我想在打开每个配置文件的情况下提取喜欢该帖子的人的名称，在此处输入图片描述。

我尝试了这种方法，但现在得到了所有的名字。

我如何使用带有开放个人资料的 selenium 提取 LinkedIn 帖子喜欢会员姓名和名称？

将在while循环中使用

while True:

    time.sleep(5)
    
    show_more=show_likes.find_element_by_class_name("display-flex p5")
    
    print("show more output---\>",show_more)
    
    show_more.click()
    
    print(show_more)
    
    end = time.time()
    
    if round(end - start) \> 60:
        break

Answer 1

从动态列表中抓取数据的最佳方法是在抓取数据后从 HTML 中删除每个元素。 通常当剩下的元素很少时，会自动加载新元素（就像您向下滚动一样），但有时会单击“显示更多”按钮以加载新元素。

以下代码：

• 获取人员列表
• 如果列表为空（没有加载新元素）终止执行
• 如果有显示更多按钮，请单击它
• 遍历人员列表，打印姓名和工作，从 HTML 中删除人员

.

while 1:
    people = driver.find_elements(By.XPATH, "//ul[contains(@class,'artdeco-list')]/li")
    if not people:
        print('list "people" is empty')
        break
    show_more_btn = driver.find_elements(By.XPATH, '//div[@id="artdeco-modal-outlet"]//button[contains(@class,"load-button")]')
    if show_more_btn:
        show_more_btn[0].click()
    for person in people:
        name = person.find_element(By.XPATH, './/div[contains(@class,"artdeco-entity-lockup__title")]').text.split('\n')[0]
        job = person.find_element(By.XPATH, './/div[contains(@class,"artdeco-entity-lockup__caption")]').text
        print(name, '-' , job)
        time.sleep(0.5)
        driver.execute_script('var element = arguments[0]; element.remove();', person)