为什么 Anaconda 中的多处理比 Python 慢

Question

例如，anaconda 环境中的相同代码运行速度明显慢于裸 python 环境

import multiprocessing as mp
from tqdm.auto import tqdm

def summer(i):
    return i+i

with mp.Pool(6) as pool:
    data = range(100000)
    results = tqdm(pool.imap_unordered(summer, data), total=len(data))
    results = list(results)
    pool.close()
    pool.join()

python 环境中的时间：

$time python testscript.py 
100%|████████████████████████████| 100000/100000 [00:02<00:00, 45094.94it/s]

real    0m2,316s
user    0m3,953s
sys     0m1,525s

conda env 中的时间：

$time python testscript.py 
100%|████████████████████████████| 100000/100000 [00:03<00:00, 26315.68it/s]

real    0m3,873s
user    0m6,157s
sys     0m1,912s

它的根本原因可能是什么？ 尝试使用 viztracer 分析代码，但它只是表明 Summer() 需要更长的时间来执行。 后续问题：有没有办法在 python 中进行更深入的分析？

Answer 1

你的 3.7 比 3.8 快，这真的很奇怪

原因 3.8 应该比 3.7 快

可能的罪魁祸首

• pickle 模块中的默认协议现在是协议 4（pickle 用于发送 args 并接收来自子进程的返回）
• 减少了将 arguments 转换为许多内置函数和方法的开销（也可能有利于从泡菜流中解包 args）

不太可能的罪魁祸首

• 通过将展开块堆栈的逻辑移动到编译器中，简化了解释器循环。
• 所有 GC 跟踪的对象（例如 tuple、list、dict）的大小都减少了 4 或 8 个字节。

几个版本的 python 的速度变化示例，用于各种操作（也是 3.8 更改日志的页面）：

https://docs.python.org/3/whatsnew/3.8.html#demos-and-tools