在python中解析嵌入在HTML中的固定格式数据

Question

我正在使用Google的Appengine API

from google.appengine.api import urlfetch

来获取网页。 的结果

result = urlfetch.fetch("http://www.example.com/index.html")

是html内容（在result.content中）的字符串。 问题是我要解析的数据不是真正的HTML格式，因此我认为使用python HTML解析器对我不起作用。 我需要解析html文档正文中的所有纯文本。 唯一的问题是urlfetch返回整个HTML文档的单个字符串，删除所有换行符和多余的空格。

编辑：好的，我尝试获取一个不同的URL，显然urlfetch不会剥离换行符，这是我试图解析的原始网页，以这种方式提供HTML文件... 结束编辑

如果文档是这样的：

<html><head></head><body>
AAA 123 888 2008-10-30 ABC
BBB 987 332 2009-01-02 JSE
...
A4A       288        AAA
</body></html>

在urlfetch提取它之后，result.content将是这样：

'<html><head></head><body>AAA 123 888 2008-10-30 ABCBBB 987     2009-01-02 JSE...A4A     288            AAA</body></html>'

使用HTML解析器不会帮助我处理body标记之间的数据，因此我打算使用常规表达式来解析我的数据，但是正如您所看到的，一行的最后一部分与下一行的第一部分组合在一起，而且我不知道如何拆分。 我试过了

result.content.split('\n')

和

result.content.split('\r')

但是结果列表全是1个元素。 我没有在Google的urlfetch函数中看到任何不删除换行符的选项。

有什么想法可以解析此数据吗？ 也许我需要以其他方式获取它？

提前致谢！

Answer 1

我只能想到的建议是将其解析为好像具有固定宽度的列。 HTML不考虑换行符。

如果您控制源数据，则将其放入文本文件而不是HTML。

Answer 2

我了解该文件的格式就是您发布的格式。 在那种情况下，我同意像Beautiful Soup这样的解析器可能不是一个好的解决方案。

我假设您已经使用正则表达式获取了有趣的数据（在BODY标签之间）

import re
data = re.findall('<body>([^\<]*)</body>', result)[0]

然后，它应该像下面这样简单：

start = 0
end = 5
while (end<len(data)):
   print data[start:end]
   start = end+1
   end = end+5
print data[start:]

（请注意：我没有针对边界情况检查此代码，但我确实希望它会失败。它只是在这里显示通用思想）

Answer 3

将正文文本作为一个长字符串组成后，可以按以下方式对其进行分解。 假定每个记录为26个字符。

body= "AAA 123 888 2008-10-30 ABCBBB 987     2009-01-02 JSE...A4A     288            AAA"
for i in range(0,len(body),26):
    line= body[i:i+26]
    # parse the line

Answer 4

编辑：阅读理解是可取的。 我错过了一些关于运行在一起的行的信息，它们之间没有分隔符，这很整个意思，不是吗？ 所以，没关系我的答案，这实际上无关紧要。

---

如果您知道每一行都是5个以空格分隔的列，那么（一旦您删除了html），您可以执行以下操作（未测试）：

def generate_lines(datastring):
    while datastring:
        splitresult = datastring.split(' ', 5)
        if len(splitresult) >= 5:
            datastring = splitresult[5]
        else:
            datastring = None
        yield splitresult[:5]

for line in generate_lines(data):
    process_data_line(line)

当然，您可以根据需要更改拆分字符和列数（甚至可以将它们作为附加参数传递到生成器函数中），并适当地添加错误处理。

Answer 5

有关将字符串s拆分为26个字符的块的更多建议：

作为列表：

>>> [s[x:x+26] for x in range(0, len(s), 26)]
['AAA 123 888 2008-10-30 ABC',
 'BBB 987     2009-01-02 JSE',
 'A4A     288            AAA']

作为发电机：

>>> for line in (s[x:x+26] for x in range(0, len(s), 26)): print line
AAA 123 888 2008-10-30 ABC
BBB 987     2009-01-02 JSE
A4A     288            AAA

如果s很长，请在Python 2.x中用xrange()替换range() 。