准确读取不一致的文本文件结构

Question

我目前正在尝试解析日志，但在解析超过一行的条目时遇到了问题，正常条目如下所示：

23/09/2020, 11:14 - Serial Num: Random Text  

从这里我解析日期：

dates = [x.strftime('%x %X') for x in datefinder.find_dates(t_str)]

然后我有一个非常笨拙的正则表达式，我用它来捕获分号之后的文本（当它出现时，因为它也不总是一致的）：

pattern1 = "\- (.*?)\:"
y = re.search(pattern1, x).group(1)

我最大的问题是日志 go 中的一些条目在进入新条目之前打开了一段时间：

23/09/2020, 11:14 - Serial Num: Random Text etc.... for 6 new lines

我更习惯于 pandas 并将其放入read_csv()或进行简单的逐行阅读，所以我有点失落，感谢任何帮助！

编辑：澄清一下，每个新行并不总是以日期开头，所以我目前正在制作条件解析器，但它有点困难。

Answer 1

所以我现在有一个创可贴解决方案，所以它绝对可以改进优雅。

基本上解决方案是逐行读取它，但就我的数据而言，文本中的某些条目之间存在大量空白，因此首先将其删除并将其作为新文件写出，如果数据则可以覆盖很小，您有信心不会丢失任何数据：

with open('path_in.txt', 'r') as f, open('path_out.txt', 'w') as fo:
    for line in f:
        if not line.isspace():
            fo.write(line)

完成后，我将“干净”数据读取为一行（前提是您的数据足够小）并使用正则表达式捕获文本开头的日期和行并将其读取为一行：

rx = r"(?=\d{2}/\d{2}/\d{4}, \d{2}:\d{2})(.*?)\n|$"

with open('path_out.txt', 'r', encoding='utf-8-sig') as file:
    data = file.read().rstrip()
    results = re.findall(rx, data, re.UNICODE)

从这里我将results变量写为新的 csv ，每个日期都是一个新行：

new_file = open('data_table_out.csv', 'w+', newline='')
with new_file:
    write = csv.writer(new_file)
    write.writerows(results)

这“有效”，但仍有一些需要改进的地方。

1. 一些数据使用不同的语言，我的正则表达式无法捕捉到这一切，这就是为什么我使用utf-8-sig作为 kwarg 来解析初始文本文件，但到目前为止它没有按预期工作

2. 正则表达式有效，但我让它捕获我的文件的这种特定日期/时间格式，所以它不是通用的。

所以 TL;DR，这个解决方案有效，但绝不是最佳的，甚至不是最好的，所以我愿意改进！