使用 BeautifulSoup 抓取两个标签之间的所有 HTML

Question

我有一些看起来像这样的 HTML：

<h1>Title</h1>

//a random amount of p/uls or tagless text

<h1> Next Title</h1>

我想将所有 HTML 从第一个 h1 复制到下一个 h1。 我该怎么做？

Answer 1

这是清晰的 BeautifulSoup 方式，当第二个h1标签是第一个的兄弟时：

html = u""
for tag in soup.find("h1").next_siblings:
    if tag.name == "h1":
        break
    else:
        html += unicode(tag)

Answer 2

我有同样的问题。 不确定是否有更好的解决方案，但我所做的是使用正则表达式来获取我正在寻找的两个节点的索引。 一旦我有了它，我就在两个索引之间提取 HTML 并创建一个新的 BeautifulSoup 对象。

示例：

m = re.search(r'<h1>Title</h1>.*?<h1>', html, re.DOTALL)
s = m.start()
e = m.end() - len('<h1>')
target_html = html[s:e]
new_bs = BeautifulSoup(target_html)

Answer 3

有趣的问题。 您无法仅使用 DOM 来选择它。 您必须遍历第一个 h1（包括）之前的所有元素并将它们放入 intro = str(intro)，然后将第二个 h1 之前的所有内容放入chapter1。 比使用从第 1 章中删除介绍

chapter = chapter1.replace(intro, '')

Answer 4

这是一个完整的最新解决方案：

temp.html内容：

<h1>Title</h1>
<p>hi</p>
//a random amount of p/uls or tagless text
<h1> Next Title</h1>

代码：

import copy

from bs4 import BeautifulSoup

with open("resources/temp.html") as file_in:
    soup = BeautifulSoup(file_in, "lxml")

print(f"Before:\n{soup.prettify()}")

first_header = soup.find("body").find("h1")

siblings_to_add = []

for curr_sibling in first_header.next_siblings:
    if curr_sibling.name == "h1":
        for curr_sibling_to_add in siblings_to_add:
            curr_sibling.insert_after(curr_sibling_to_add)
        break
    else:
        siblings_to_add.append(copy.copy(curr_sibling))

print(f"\nAfter:\n{soup.prettify()}")

输出：

Before:
<html>
 <body>
  <h1>
   Title
  </h1>
  <p>
   hi
  </p>
  //a random amount of p/uls or tagless text
  <h1>
   Next Title
  </h1>
 </body>
</html>

After:
<html>
 <body>
  <h1>
   Title
  </h1>
  <p>
   hi
  </p>
  //a random amount of p/uls or tagless text
  <h1>
   Next Title
  </h1>
  //a random amount of p/uls or tagless text
  <p>
   hi
  </p>
 </body>
</html>