在BeautifulSoup中将嵌套元素的文本用作选择器

Question

我正在寻找以下HTML结构：

<p><strong>ID:</strong>547</p>
<p><strong>Class:</strong>foobar</p>
<p><strong>Procedures:</strong>lorem ipsum.</p>
<p>dolor sit amet.</p>
...
<p><strong>Description:</strong>curabitur at orci posuere.</p>
<p>massa nec fringilla.</p>
...

我对使用BeautifulSoup不太自信，也不太确定如何处理给定节的标识符（id，类，过程和描述）嵌套在包含该节内容的第一段中的事实。

我正在尝试遵循以下路线：

{
    'id': 547,
    'class': 'foobar',
    'procedures': 'lorem ipsum. dolor sit amet.'
    'description': 'curabitur at orci posuere. massa nec fringilla.'
}

Answer 1

您可以使用element.next_sibling参考获取<strong>标记之后的文本。 对于没有strong标签的p标签，您必须附加到最后处理的键。

使用Element.find_all()方法选择所有<p>标记，循环并更新字典：

mapping = {}
key = None
for item in soup.find_all('p'):
    if item.strong:
        key = item.strong.get_text(strip=True).rstrip(':')
        value = item.strong.next_sibling.strip()
    else:
        value = mapping[key] + ' ' + item.get_text(strip=True)
    mapping[key] = value

演示：

>>> from bs4 import BeautifulSoup
>>> soup = BeautifulSoup('''\
... <p><strong>ID:</strong>547</p>
... <p><strong>Class:</strong>foobar</p>
... <p><strong>Procedures:</strong>lorem ipsum.</p>
... <p>dolor sit amet.</p>
... ...
... <p><strong>Description:</strong>curabitur at orci posuere.</p>
... <p>massa nec fringilla.</p>
... ''')
>>> mapping = {}
>>> key = None
>>> for item in soup.find_all('p'):
...     if item.strong:
...         key = item.strong.get_text(strip=True).rstrip(':')
...         value = item.strong.next_sibling.strip()
...     else:
...         value = mapping[key] + ' ' + item.get_text(strip=True)
...     mapping[key] = value
... 
>>> from pprint import pprint
>>> pprint(mapping)
{u'Class': u'foobar',
 u'Description': u'curabitur at orci posuere. massa nec fringilla.',
 u'ID': u'547',
 u'Procedures': u'lorem ipsum. dolor sit amet.'}

这不会将ID转换为整数。 如果您强烈希望转换表示整数的字符串，则可以使用try: value = int(value) ， except ValueError: pass组合except ValueError: pass 。