在Python中在索引處拆分長字符串

Question

我有很多文件，每個文件都有幾百萬行； 每行是一個轉儲的數據條目，長度為數百個字符。 行是成組的，前兩個字符告訴我它的行類型，我用它來解析它。 這種結構禁止我將行加載到數據框，例如，或者一次不遍歷行的任何其他內容。

目前，我為每一行創建一個字典vals = {}，然后依次沿

vals {'name'} =行[2:24]

vals {'state'} =行[24:26]

我可以按簡單的方式同時或並行執行此任務，而不是依次執行五十個任務？

是

vals {'name'}，vals {'state'} = row [2:24]，row [24:26]

如果我同時為許多條目進行分配，速度更快？ 我也可以將其重新表述為列表理解。 這會比順序執行要快嗎？

Answer 1

要回答您的問題，不，多次分配不會加快您的程序的速度。 這是因為多重分配語法只是在不同行上寫入多重分配的另一種方式。

例如

vals{'name'},vals{'state'} = row[2:24],row[24:26]

相當於

vals{'name'}= row[2:24]
vals{'state'} = row[2:24]

如果要優化代碼，則應先對其進行性能分析，以確定花費最多時間的部分。 我還將檢查以確保您沒有從同一個文件中進行多次讀取，因為與從內存中讀取相比，這些讀取非常慢。 如果可能，您應該先將整個文件讀入內存 ，然后再對其進行處理。