从 python 中的 selenium 获取多个同名类的所有文本数据

Question

我正在尝试使用 selenium 在 python 中制作 web 刮板，并希望从嵌入的 h3 标签中获取文本以及“a”标签中的文本。 网站的基本结构如下。

<div class="class_name">
        <h3>
             <a href="link that I do NOT want">Text That I want</a>
        </h3>
        <a href="Link that I want"></a>
</div>
<div class="class_name">
        <h3>
             <a href="link that I do NOT want">More text that I want</a>
        </h3>
        <a href="another link that I want"></a>
</div>

我将如何 go 这样做？ 我看过 xpath 解决方案以及使用

get_elements(By.CLASS_NAME, "class_name")

但我似乎无法得到任何工作。 我正在考虑获取每个 class 位置并分别遍历每个位置，但我不知道该怎么做。 任何帮助表示赞赏！

Answer 1

我设法通过.contents拉出第二个链接。 da['href']以某种方式引用<h3>中的内部链接？

from bs4 import BeautifulSoup

data = """

<html>
    <head>
        <meta http-equiv="Content-Type" content="text/html; charset=utf-8">
        <title>Web page example</title>
    </head>
    <body>
        <h1>Caption</h1>
        <!-- Comment -->
        <p>First paragraph.</p>
        <p>Second paragraph.</p>
        <div class="class_name">
            <h3>
                <a href="link that I do NOT want">Text That I want</a>
            </h3>
            <a href="Link that I want"></a>
        </div>
        <div class="class_name">
            <h3>
                <a href="link that I do NOT want">More text that I want</a>
            </h3>
            <a href="another link that I want"></a>
        </div>
    </body>
</html>
"""


soup = BeautifulSoup(data, features="lxml")
divs = soup.find_all('div', class_="class_name")

for d in divs:
    print(f"text = {d.h3.a.text}")
    print(f"text = {d.a['href']}?????????????")
    print(f"href = {d.contents[3]['href']}!!!")

text = Text That I want
text = link that I do NOT want?????????????
href = Link that I want!!!
text = More text that I want
text = link that I do NOT want?????????????
href = another link that I want!!!