將日志文件解析為python列表的最佳方法是什么？

Question

我有一個有趣的日志文件格式，我想將其解析為Python進行分析。

格式為key=value ，每個key=value之間用制表符分隔，並在每個條目的末尾添加換行符，如下所示：

date="Mon, 04 Jul 2011 05:05:45 GMT"    addr=127.0.0.1  response_time=13    method=GET  url=/   status=200  referrer=   user_agent="Mozilla/5.0 (Macintosh; Intel Mac OS X 10_6_8) AppleWebKit/534.30 (KHTML, like Gecko) Chrome/12.0.742.112 Safari/534.30"

現在某些字段可能正在更改，所以我希望代碼能夠靈活處理拋出的內容，只要它采用key=value key=value等形式即可。

到目前為止，我有兩個嵌入式的for循環，一個用於將每一行拆分為key=value字段，另一個用於將key=value拆分為自己的單獨實體。

這看起來是最好的方法還是有更優雅的解決方案？

Answer 1

對於此問題，兩個for循環似乎很好。 如果要編寫代碼，則可能會執行以下操作：

with open('log_file') as f:
    for line in f:
        fields = line.split('\t')
        for field in fields:
            key,_,val = field.partition('=')
            # Do something with each key and val

Answer 2

可能有一個模塊可以解析日志文件，但是一個簡單的自制方法很容易使用shlex模塊：

>>> import shlex
>>> line = """date="Mon, 04 Jul 2011 05:05:45 GMT" addr=127.0.0.1 response_time=13 method=GET url=/ status=200 referrer= user_agent="Mozilla/5.0 (Macintosh; Intel Mac OS X 10_6_8) AppleWebKit/534.30 (KHTML, like Gecko) Chrome/12.0.742.112 Safari/534.30" """
# Split key=value pairs.  'value' can contain quoted whitespace.
>>> keyvals = shlex.split(line)
# Separate 'key' and 'gals' for each keyval pair.
>>> data = [x.partition('=')[::2] for x in keyvals]
>>> print data
[('date', 'Mon, 04 Jul 2011 05:05:45 GMT'), ('addr', '127.0.0.1'), ('response_time', '13'), ('method', 'GET'), ('url', '/'), ('status', '200'), ('referrer', ''), ('user_agent', 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_6_8) AppleWebKit/534.30 (KHTML, like Gecko) Chrome/12.0.742.112 Safari/534.30')]
>>> print dict(data)
{'status': '200', 'addr': '127.0.0.1', 'url': '/', 'referrer': '', 'user_agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_6_8) AppleWebKit/534.30 (KHTML, like Gecko) Chrome/12.0.742.112 Safari/534.30', 'date': 'Mon, 04 Jul 2011 05:05:45 GMT', 'method': 'GET', 'response_time': '13'}

Answer 3

python的csv模塊在這里可以很好地工作。 您可以將定界符設置為選項卡。本示例來自文檔，使用空格。

>>> import csv
>>> spamReader = csv.reader(open('eggs.csv', 'rb'), delimiter=' ', quotechar='|')
>>> for row in spamReader:
...     print ', '.join(row)

然后，您可以在循環內檢查'='字符，並將找到的字符串拆分為鍵值對。

result = []    
for row in spamReader:
       if '=' in row:
          s = row.split('=')
          result.append( {s[0]:s[1]} )