不同迭代率的Python进程之间有效的“最后”数据共享

Question

我试图研究和理解有关多处理的其他问题（和python文档），但是我仍然想念如何正确解决问题。

我有通过插座输入的数据（来自多个摄像机的4K图片）。 我需要对这些图片执行两个（或更多）并行处理过程。 一包数据大约有30MB。

我当前的程序可以分为以下几类（我还在机器上的每次迭代中都提供了粗略的时间估算）：

1. 主循环（〜0.04s）-图像处理的关键部分在这里完成

2. “套接字” 线程 -“套接字读取器”-它将每个摄像机的最后一帧读取到其变量

3. “高级图像处理” 过程 （约0.6秒）-不太关键和较慢的图像处理

2.和3.之间的通信通过两个队列完成-每个方向一个队列。

现在，在每个主循环迭代中完成的操作是：

1. 主循环从套接字线程获取“每个摄像机的最后一帧” （这确实非常快）

 def get_frames(self): with self.read_lock: output = {k: v.copy() for k, v in self.frames.items()} return output 

2. 主循环直接运行关键图像处理

3. 主循环检查慢进程是否消耗了已经提供的帧，如果是，则将新的帧包放入队列并通过第二个队列从该进程读取所有消息（这确实很慢）

 if queue_write.empty(): queue_write.put(datapack) while not queue_read.empty(): crane_report = queue_read.get() 

我的问题-排队等待很长的时间。 如果队列为空，而我又放了新帧，它将阻塞主循环约0.05秒。

我的问题：

1. 与通过两个线程之间的锁保护的变量读/写相比，为什么将数据放入/获取到处理队列的速度如此之慢？

2. 如何以某种方式使用管道（并可能从中受益）而不是两个队列？ 请注意，我需要以某种方式控制管道的溢出（提供数据的过程比使用方快得多）。

3. 我完全错过了其他方法如何在进程之间共享数据吗？

4. 将程序拆分为两个程序，然后通过两个套接字将数据重新发送两次，我可以从中受益吗？