繁体   English   中英

在Python中在索引处拆分长字符串

splitting long string at indices in parallel in python

提示:本站收集StackOverFlow近2千万问答,支持中英文搜索,鼠标放在语句上弹窗显示对应的参考中文或英文, 本站还提供   中文繁体   英文版本   中英对照 版本,有任何建议请联系yoyou2525@163.com。

我有很多文件,每个文件都有几百万行; 每行是一个转储的数据条目,长度为数百个字符。 行是成组的,前两个字符告诉我它的行类型,我用它来解析它。 这种结构禁止我将行加载到数据框,例如,或者一次不遍历行的任何其他内容。

目前,我为每一行创建一个字典vals = {},然后依次沿

vals {'name'} =行[2:24]

vals {'state'} =行[24:26]

我可以按简单的方式同时或并行执行此任务,而不是依次执行五十个任务?

vals {'name'},vals {'state'} = row [2:24],row [24:26]

如果我同时为许多条目进行分配,速度更快? 我也可以将其重新表述为列表理解。 这会比顺序执行要快吗?

1 个回复

要回答您的问题,不,多次分配不会加快您的程序的速度。 这是因为多重分配语法只是在不同行上写入多重分配的另一种方式。

例如

vals{'name'},vals{'state'} = row[2:24],row[24:26]

相当于

vals{'name'}= row[2:24]
vals{'state'} = row[2:24]

如果要优化代码,则应先对其进行性能分析,以确定花费最多时间的部分。 我还将检查以确保您没有从同一个文件中进行多次读取,因为与从内存中读取相比,这些读取非常慢。 如果可能,您应该先将整个文件读入内存 ,然后再对其进行处理。

2 在Python中拆分长字符串的困难

我想从Gutemberg文本文件中提取前100,000个素数的列表,但是从该文件中产生的字符串primes不能按预期对.split()作出响应。 我尝试将分隔符从一行打印到另一行,这是一个空格,其ord为13,这似乎与垂直制表符有关。 import requests url = "ht ...

4 在SQL中拆分长字符串

这里建议的内联解决方案: 如何拆分字符串以便我可以访问项目x? by vzczc仅适用于包含少于100个元素的字符串,因为递归深度的限制(并且您无法更改UDF内的限制)。 还有其他任何方法可以分割出具有良好性能的长串吗? 我一直在使用的UDF(不是内联)非常慢: ...

5 Python:按字符拆分长字符串以输入字典

我正在将文件导入字典。 该文件的组织方式如下: 我将每一行划分为各自的类别,意图是第一类和第二类中包含的信息需要合并为一个类别,最终成为关键,而其他类别包含以后的信息。值。 我之前没有使用过这么多类别(我已经完成了Cat1 = key和Cat2 = value)所以我对如何运用我 ...

6 拆分长度和字符不同的字符串

作为更大代码的一部分,我试图拆分文件名字符串,以便我可以使用基数来搜索一组文件夹中的文件。 典型的文件名是: 这些文件名中唯一没有改变的是第6节中的6位格式是否有一种方法可以在所有这些文件名上使用split函数,只有基本名称 如果它们的长度都相同,那么我可以使用左边的功能, ...

2019-03-15 10:25:02 2 23   vba
10 在多行中拆分长字符串常量

我已经写了风箱命令,生成一个数据网格,它工作正常,没有问题,但是命令太长了,如果我使用enter将命令分解为不同的行,则jquery命令将出错并且不会响应。 有什么办法可以分解这个长命令? ...

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2022 STACKOOM.COM