用漂亮的汤从html标签中提取文本

Question

我有一些HTML页面可以从中抓取数据。 所以我需要像这样获得商品标题：“ Caliper Ring”。 我从显示标题的标签中获取数据：

item_title = base_page.find_all('h1', class_='itemTitle')

它包含以下标签结构：

> [<h1 class="itemTitle"> <div class="l1">Caliper</div>
>                                 Ball
>                             </h1>]

要提取“卡钳球”，我使用

    collector = []
    for _ in item_title:
        collector.append(_.text)

所以我在收集器列表中得到了如此丑陋的输出：

[u"\nCaliper\r\n                                Ball\r\n                            "]

我如何像这里的“ Caliper Ball”那样使输出清晰

Answer 1

不要使用regex 。 您为简单的事情增加了过多的开销。 BeautifulSoup4已经为此提供了一个名为stripped_strings东西。 请参阅下面的代码。

from bs4 import BeautifulSoup as bsoup

html = """[<h1 class="itemTitle"> <div class="l1">Caliper</div>
                               Ball
                           </h1>]"""
soup = bsoup(html)
soup.prettify()

item = soup.find("h1", class_="itemTitle")
base =  list(item.stripped_strings)
print " ".join(base)

结果：

Caliper Ball
[Finished in 0.5s]

说明： stripped_strings基本上将所有文本都放在指定标签内，将所有空格，换行符和所有内容都剥离掉。 它返回一个生成器，我们可以用list捕获它，因此它返回一个列表。 一旦成为列表，只需使用" ".join 。

让我们知道是否有帮助。

PS：只是为了纠正我自己-实际上不需要在stripped_strings的结果上使用list ，但是最好将上面的内容显示为这样，这样是明确的。

Answer 2

这个正则表达式将帮助您获得输出（ Caliper Ball ），

import re
str="""[<h1 class="itemTitle"> <div class="l1">Caliper</div>
                                 Ball 
                             </h1>]"""
regex = r'.*>([^<]*)<\/div>\s*\n\s*(\w*).*'
match = re.findall(regex, str)
new_data = (' '.join(w) for w in match)
print ''.join(new_data) # => Caliper Ball

Answer 3

您可以使用replace（）方法将\\ n和\\ r替换为空或空格，然后使用trim（）方法删除空格。