使用 BeautifulSoup 和 Selenium 的抓取问题

Question

我开始为自己编码，但我在代码行上被阻止了。 你能给我一些解释吗？

我想从这个 div 标签中抓取信息：

role = experience1_div('span', {'class' : 'mr1 t-bold'}) print(role)

输出 ：

[<span class="mr1 t-bold"> <span aria-hidden="true"><!-- -->Automation Engineer - Intern<!-- --></span><span class="visually-hidden"><!-- -->Automation Engineer - Intern<!-- --></span> </span>]

我怎样才能只获得 HTML 文本：“自动化工程师 - 实习生”

我试过这个函数.get_text().strip()但似乎span标签阻止了我的函数....

Answer 1

我不知道experience1_div是什么，但要获取所有文本使用role.text

role = experience1_div.find('span', {'class' : 'mr1 t-bold'}) 
print(role.text)

输出： Automation Engineer - InternAutomation Engineer - Intern

要从第一个嵌套跨度中获取文本，请使用role.span.text

或从第二个嵌套跨度role.contents[2].text

Answer 2

提供的信息中的主要问题是您已经生成了一个ResultSet - 要获取其文本，您必须直接选择元素或对其进行迭代。

role[0].span.get_text(strip=True)

或者

for e in role:
    print(e.span.get_text(strip=True))

输出：

Automation Engineer - Intern

---

更好的方法是选择更具体的元素（根据您的示例）：

experience1_div.select_one('span.mr1.t-bold > span').get_text(strip=True)

Answer 3

这是实现目标的最简单技术。

 role = experience1_div.select_one('span.mr1.t-bold >span').get_text(strip=True) print(role)