在Python中在索引处拆分长字符串

Question

我有很多文件，每个文件都有几百万行； 每行是一个转储的数据条目，长度为数百个字符。 行是成组的，前两个字符告诉我它的行类型，我用它来解析它。 这种结构禁止我将行加载到数据框，例如，或者一次不遍历行的任何其他内容。

目前，我为每一行创建一个字典vals = {}，然后依次沿

vals {'name'} =行[2:24]

vals {'state'} =行[24:26]

我可以按简单的方式同时或并行执行此任务，而不是依次执行五十个任务？

是

vals {'name'}，vals {'state'} = row [2:24]，row [24:26]

如果我同时为许多条目进行分配，速度更快？ 我也可以将其重新表述为列表理解。 这会比顺序执行要快吗？

Answer 1

要回答您的问题，不，多次分配不会加快您的程序的速度。 这是因为多重分配语法只是在不同行上写入多重分配的另一种方式。

例如

vals{'name'},vals{'state'} = row[2:24],row[24:26]

相当于

vals{'name'}= row[2:24]
vals{'state'} = row[2:24]

如果要优化代码，则应先对其进行性能分析，以确定花费最多时间的部分。 我还将检查以确保您没有从同一个文件中进行多次读取，因为与从内存中读取相比，这些读取非常慢。 如果可能，您应该先将整个文件读入内存 ，然后再对其进行处理。