带有多字符分隔符的python3中的csv阅读器

Question

除了使用csv模块以流式方式读取 python3 中的 csv 文件之外，还有其他选择吗？ 目前我的数据看起来像这样：

"field1"::"field2"::"field3"\x02\n
"1"::"hi\n"::"3"\x02\n
"8"::"ok"::"3"\x02\n

分隔符是两个字符:: （ csv模块只接受单个字符分隔符），行分隔符也包含两个字符\\x02\\n 。 是否有任何 csvreaders 可以在流模式下用于 python 能够支持这一点？

这是我正在尝试做的一个例子：

>>> import csv
>>> s = ''''"field1"::"field2"::"field3"\x02\n\n"1"::"hi\n"::"3"\x02\n\n"8"::"ok"::"3"\x02\n'''
>>> csvreader=csv.reader(s, delimiter='::', lineterminator='\x02\n')
Traceback (most recent call last):
  File "<console>", line 1, in <module>
TypeError: "delimiter" must be a 1-character string

加载熊猫只是为了阅读这个 csv 似乎有点矫枉过正 x 100，所以我想看看还有哪些其他选择。

Answer 1

正如您所发现的，CSV 库不适合该数据格式。 您可以预先解析数据。 例如，以下方法应该有效：

from io import StringIO
import csv

s = '''"field1"::"field2"::"field3"\x02\n\n"1"::"hi\n"::"3"\x02\n\n"8"::"ok"::"3"\x02\n'''

def csv_reader_alt(source):
    return csv.reader((line.replace('\x02', '').replace('::', ':') for line in source), delimiter=':')    

for row in csv_reader_alt(StringIO(s)):
    if row:
        print(row)

为您提供以下输出：

['field1', 'field2', 'field3']
['1', 'hi\n', '3']
['8', 'ok', '3']

Answer 2

@MartinEvans 在他的回答中展示了一种很好的方法。

这是使用自定义分隔符（使用自定义生成器实现）通过适当的文件处理从文件（而不是从内存中的字符串）读取的代码：

def get_line(file, delimiter='\n', bufsize=4096):
    # https://stackoverflow.com/a/19600562/9225671
    buf = ''
    while True:
        chunk = file.read(bufsize)
        if len(chunk) == 0:
            # end of file has been reached; serve the remaining data and exit
            yield buf
            return

        buf += chunk
        line_list = buf.split(delimiter)

        # don't serve the last part yet, first we need to read more chunks from the file
        buf = line_list.pop(-1)

        for line in line_list:
            yield line

if __name__ == '__main__':
    with open('my_file.csv') as f:
        for line in get_line(f, delimiter='\x02\n'):
            if len(line) > 0:
                parts = line.split('::')
                print(parts)
                print([
                    e.strip('"')
                    for e in parts])

那对你有用吗？