单个文本文件中的 Python 并行处理字典翻译

Question

我有像这样从传感器集线器生成并定期存储在文本文件中的气候传感器数据：

{"Time":1541203508.45,"Tc":25.4,"Hp":33}
{"Time":1541203508.45,"Tc":25.2,"Hp":32}
{"Time":1541203508.45,"Tc":25.1,"Hp":31}
{"Time":1541203508.45,"Tc":25.2,"Hp":33}

我在这样的 for 循环中进行了很多列表查找（分箱）：

#generate sample data
sensor_data={x:{"Time":15e6+x,"Tc":random.randint(20e3,50e3)/1000.0,"Hp":random.randint(0,100e3)/1000.0} for x in range(int(1e5))}

#process data
for i in sensor_data:
    #we'd normally do a json.loads(data_line) if reading from the file
    sensor_data[i]['H']=['V_Dry','Dry','Normal','Humid','V_Humid','ERR'][int(sensor_data[i]['Hp']//20)]
    sensor_data[i]['T']=['V_Cold','Cold','Normal','Hot','V_Hot','ERR'][int(sensor_data[i]['Tc']//10)]
    #.... And so on for other sensors etc

输入：

{0: {'Hp': 20.514, 'Tc': 43.92, 'Time': 15000000.0},
 1: {'Hp': 59.332, 'Tc': 35.592, 'Time': 15000001.0},
 2: {'Hp': 19.49, 'Tc': 25.813, 'Time': 15000002.0},
 3: {'Hp': 78.644, 'Tc': 48.07, 'Time': 15000003.0},
 4: {'Hp': 3.967, 'Tc': 35.058, 'Time': 15000004.0}}

输出：

{0: {'H': 'Dry', 'Hp': 20.514, 'T': 'V_Hot', 'Tc': 43.92, 'Time': 15000000.0},
 1: {'H': 'Normal', 'Hp': 59.332, 'T': 'Hot', 'Tc': 35.592, 'Time': 15000001.0},
 2: {'H': 'V_Dry', 'Hp': 19.49, 'T': 'Normal', 'Tc': 25.813, 'Time': 15000002.0},
 3: {'H': 'Humid', 'Hp': 78.644, 'T': 'V_Hot', 'Tc': 48.07, 'Time': 15000003.0},
 4: {'H': 'V_Dry', 'Hp': 3.967, 'T': 'Hot', 'Tc': 35.058, 'Time': 15000004.0}}

我怎样才能加快这个翻译？ 我们通常有 100MB-1GB 的数据文件，我们必须从文件中读取这些数据。

我已经尝试了一些事情：

我不会多进程读取文件，因为这会导致太多的提取，我认为这是不正确的。

我已经尝试使用将文本文件拆分为多个块的函数对数据线的多个块进行多处理，并且多处理开销似乎太大了。

我已经尝试了 4 个进程，每个进程使用一个队列，4 个进程每个使用传递给进程的 manager.list 对象使用不同的队列。

在每种情况下，仅在数据上运行简单的“for”循环总体上计时更快。 我如何处理多进程/线程/其他比串行数据处理更快的东西？

数据不必按任何顺序排列，因为我们有可用于稍后排序的时间戳。 我们有一个 4 核 i7 可供我们使用。 我们使用 ujson 似乎更快。

Answer 1

如果您正在进行 IO 操作，则必须使用多线程而不是多处理。 如果您有 CPU 消耗操作，则必须使用多线程。 由于您的操作是从文件中读取数据，因此您必须使用多线程而不是多处理。 有关更多信息，请检查这个和这个答案。