有没有办法在不使用 python GIL 的情况下进行序列化/反序列化

Question

快速测试表明 cPickle（python 3.6.9 import pickle 默认使用 cPickle ）参与 GIL。

import pickle
import os

big_data = os.urandom(10000000)

def run():
    pickle.loads(pickle.dumps(big_data))

t = timeit.Timer(run)
[threading.Thread(target=lambda: t.timeit(number=2000)).start() for _ in range(4)]

运行序列化操作的 4 个线程的测试在 100% cpu 上运行，例如它使用 GIL。 运行 numpy 操作的相同类型的测试使用 400% cpu（没有 GIL 与 numpy 接合）。

我希望作为 C function 的 cPickle 不会参与 GIL。 有没有办法解决？ 我希望能够在不阻塞主进程的情况下反序列化大量数据。

我试图将每秒 3GB 以上的数据从工作进程拉回主进程。 我可以使用流 sockets 和 asyncio 以 4GB/秒的速度移动数据，但反序列化是一个瓶颈。 不幸的是，我还没有 Python 3.8 和 SharedMemory 的奢侈。

当然，一个可以接受的答案是肯定的“否”。

Answer 1

从评论中获取@juanpa.arrivillaga 的回答来结束这个问题：

我不明白为什么模块是 C 扩展的事实会让你认为它不会参与 GIL。 据我了解，GIL 解决的基本问题是对 Python 解释器级对象的线程安全访问，这些对象依赖于垃圾收集的引用计数。 由于 pickle 序列化/反序列化涉及其他线程可能有权访问的 Python 对象，因此它必须使用 GIL。