使用 BeautifulSoup 获取 h2 标签下方的全文

Question

我正在尝试获取数据集的不同角色的描述和能力。 我遇到的问题是 h2 标签中似乎有一个 span 标签，在某些情况下，de p 标签之前有一个数字。 这是我面临的格式：

<h2><span class="mw-headline" id="Apariencia">Apariencia</span></h2>
<figure class="thumb tleft " style="width: 100px"> 
<p>...</p>
<p>...</p>
<p>...</p>
<h2><span class="mw-headline" id="Personalidad">Personalidad</span></h2>
<p>...</p>
<p>...</p>
<p>...</p>

我需要获取这些段落中的文本。

我尝试过类似的方法，但显然行不通。

import urllib.request
from bs4 import BeautifulSoup

fp = urllib.request.urlopen("https://jojo.fandom.com/es/wiki/Star_Platinum")
mybytes = fp.read()

html_doc = mybytes.decode("utf8")
fp.close()

soup = BeautifulSoup(html_doc, 'html.parser')

spans = soup.find_all('span', {"class": "mw-headline"})
for s in spans:
    print(s.nextSibling.getText)

Answer 1

您可以向后搜索以前的<h2>并将结果存储在字典中：

from bs4 import BeautifulSoup


html_doc = '''\
<h2><span class="mw-headline" id="Apariencia">Apariencia</span></h2>
<figure class="thumb tleft " style="width: 100px">
<p>T1 ...</p>
<p>T2 ...</p>
<p>T3 ...</p>
<h2><span class="mw-headline" id="Personalidad">Personalidad</span></h2>
<p>T4 ...</p>
<p>T5 ...</p>
<p>T6 ...</p>'''

soup = BeautifulSoup(html_doc, 'html.parser')

out = {}
for p in soup.select('p'):
    previous_h2 = p.find_previous('h2')
    out.setdefault(previous_h2.text, []).append(p.text)

print(out)

印刷：

{
    'Apariencia': ['T1 ...', 'T2 ...', 'T3 ...'], 
    'Personalidad': ['T4 ...', 'T5 ...', 'T6 ...']
}

Answer 2

我认为在这种情况下，带有.select选择器的 .select 会非常有用。

要获取所有节标题，您可以使用选择器h2:has(span.mw-headline[id]) ； 并通过嵌套在其中的span的id属性值（下面的hId ）获得特定的 header，您可以使用下面的选择器hSel 。

hId = 'Personalidad' # for example
hSel = f'h2:has(span.mw-headline[id="{hId}"])'

然后，要获取 header之后的所有标签，您可以使用f'{hSel}~*' ，但您还需要过滤掉下一个header 之后的标签，以便只获取该部分中的标签，因此完整选择器将是

sSel = f'{hSel}~*:not({hSel}~h2~*):not(h2)'

^{[ :not({hSel}~h2~*)过滤掉下一个 header 之后的标签，并且:not(h2)过滤掉下一个 header 标签本身。]}

---

利用这个，下面的 function 返回一个包含部分 header、文本和 html 的字典。

def get_wikiSection(header, wSoup, sec1Header='? Abstract ?'):
    sSel = 'h2:has(span.mw-headline[id])'
    sSel = f'*:has(~{sSel}):not({sSel}~*)'
    if not header: hId = hSel = None # [first section has no header]
    elif isinstance(header, str):
        hId, hSel = header, f'h2:has(span.mw-headline[id="{header}"])'
        header = wSoup.select_one(hSel)
        if not header: return {'errorMsg': f'Not found: {hSel}'} 
    else: hId = header.select_one('span.mw-headline[id]')['id'] 
    ## header SHOULD BE: None/hId/a tag containing span.mw-headline[id] ##

    if hId: 
        hSel = f'h2:has(span.mw-headline[id="{hId}"])'
        sSel = f'{hSel}~*:not({hSel}~h2~*):not(h2)'
        header = header.get_text(' ').strip()
    else: header = sec1Header
    
    sect = wSoup.select(sSel)
    sText = '\n'.join([s.get_text(' ').strip() for s in sect])
    sHtml = '\n'.join([''.join(s.prettify().splitlines()) for s in sect])
    if not sect: sText = sHtml = None
    return {'headerId': hId, 'sectionHeader': header, 
            'sectionText': sText, 'sectionHtml': sHtml}

例如， get_wikiSection('Personalidad', soup)将返回

{ 'headerId': 'Personalidad', 'sectionHeader': 'Personalidad', 'sectionText': 'Jotaro describió a Star Platinum como un ser muy violento. Suele ser silencioso, excepto cuando lanza golpes, gritando "ORA ORA ORA" en voz alta, bastante rápido y repetidamente. Con una cara relativamente humana ha demostrado tener expresiones tales como fruncir el ceño y sonreír.\nStar Platinum demuestra un tipo de interés en la auto-conservación, como se ve cuando detiene una bala que Jotaro dispara experimentalmente en su propia cabeza, protege a un Jotaro incapacitado de los ataques de DIO durante los efectos de su The World, y lo revive de cerca de la muerte directamente hacia latir su corazón (Sin embargo, considerando el papel pionero de Star Platinum en la serie, esta capacidad puede hablar principalmente de cualidades metafísicas o subconscientes genéricas para los usuarios de Stand).\nEn el manga original, Star Platinum desde el principio se ve con una sonrisa amplia y desconcertante. Más tarde, Star Platinum gana el rostro estoico de Jotaro, cualquier sonrisa futura va a advertir a la persona que se dirige a un gran dolor inminente.\nStar Platinum lleva el nombre de la carta del Tarot La Estrella, que simboliza el optimismo, el discernimiento y la esperanza.', 'sectionHtml': '<p> Jotaro describió a Star Platinum como un ser muy violento. Suele ser silencioso, excepto cuando lanza golpes, <a href="/es/wiki/Grito_de_Stand" title="Grito de Stand"> gritando </a> "ORA ORA ORA" en voz alta, bastante rápido y repetidamente. Con una cara relativamente humana ha demostrado tener expresiones tales como fruncir el ceño y sonreír.</p>\n<p> Star Platinum demuestra un tipo de interés en la auto-conservación, como se ve cuando detiene una bala que Jotaro dispara experimentalmente en su propia cabeza, protege a un Jotaro incapacitado de los ataques de <a href="/es/wiki/Dio_Brando" title="Dio Brando"> DIO </a> durante los efectos de su <a href="/es/wiki/The_World" title="The World"> The World </a>, y lo revive de cerca de la muerte directamente hacia latir su corazón (Sin embargo, considerando el papel pionero de Star Platinum en la serie, esta capacidad puede hablar principalmente de cualidades metafísicas o subconscientes genéricas para los usuarios de Stand).</p>\n<p> En el manga original, Star Platinum desde el principio se ve con una sonrisa amplia y desconcertante. Más tarde, Star Platinum gana el rostro estoico de Jotaro, cualquier sonrisa futura va a advertir a la persona que se dirige a un gran dolor inminente.</p>\n<p> Star Platinum lleva el nombre de la carta del Tarot <a class="extiw" href="http://en.wikipedia.org/wiki/es:La_Estrella_(Tarot)" title="wikipedia:es:La Estrella (Tarot)"> La Estrella </a>, que simboliza el optimismo, el discernimiento y la esperanza.</p>' }

---

如果你想要所有的部分：

h2Tags = soup.select('h2:has(span.mw-headline[id])')
wikiSections = [get_wikiSection(h, soup) for h in [None]+h2Tags]

^{生成的字典列表也可以像pd.DataFrame(wikiSections)一样简单地转换为 pandas DataFrame。}