Python-多重处理-队列：即使我是同一对象，我对队列的引用也会更改吗？

Question

我不久前开始使用多重处理，并且正在处理基本示例。 之后，我尝试实现某种多声音输入程序，并尝试通过队列将输入通量引入某些处理模块，这目前严重失败。 我将以3点来描述我的问题：文件夹结构，过程结构，我尝试过的内容。

资料夹结构

• 根文件夹
  • 应用
    • start_applicaton.py
    • input_cfg.ini
  • 核心
    • core.py
    • gui.py
    • audio_recorder.py（使用sounddevice.InputStream）
    • x_recorder.py

流程结构当我开始运行我的应用程序时，将调用gui，并在按下开始按钮后创建流程。

• 主要过程
• audio_recorder_1处理
• audio_recorder_处理
• 申请流程

我尝试了什么

core.py

from multiprocessing import Queue, Process
central_queue = Queue()
...
d = {}
d['output'] = central_queue
o = AudioRecorder('name', **d)

start_application.py

import core
def handle_queue_data():
    while True:
        print(str(core.central_queue.get()))
if __name__ == "__main__":
    Process(target=handle_queue_data, name="syncOutput").start()

audio_recorder.py

class AudioRecorder(object):
    def __init__(self, name, **d):
        ...
        self.output_queue = d['output']
    def run(self):
        queue = Queue()
        def callback(indata, frames, time, status):
            if status:
                print(status, flush=True)
            # Push the got data into the queue
            queue.put([indata.copy()])
        with sd.InputStream(samplerate=self.sample_rate, device=self.device_id, channels=self.channel_id, callback=callback):
            while True:
                self.output_queue.put(queue.get())

它没有工作。 调试后，似乎从记录器的core.py开始之后，队列的引用已更改...仅供参考，调试信息：

# in the audio_recorder.py object
centralized_queue = {Queue} <multiprocessing.queues.Queue object at 0x00000000086B3320>
 _buffer = {deque} deque([[array([[-0.01989746, -0.02053833],\n       [-0.01828003, -0.0196228 ],\n       [-0.00634766, -0.00686646],\n       ..., \n       [-0.01119995, -0.01144409],\n       [-0.00900269, -0.00982666],\n       [-0.00823975, -0.00888062]], dtype=float32)]])
 _close = {Finalize} <Finalize object, callback=_finalize_close, args=[deque([[array([[-0.01989746, -0.02053833],\n       [-0.01828003, -0.0196228 ],\n       [-0.00634766, -0.00686646],\n       ..., \n       [-0.01119995, -0.01144409],\n       [-0.00900269, -0.00982666],\n       [-0
 _closed = {bool} False
 _ignore_epipe = {bool} False
 _joincancelled = {bool} False
 _jointhread = {Finalize} <Finalize object, callback=_finalize_join, args=[<weakref at 0x00000000083A2638; to 'Thread' at 0x0000000004DF1B00>], exitprority=-5>
 _maxsize = {int} 2147483647
 _notempty = {Condition} <Condition(<unlocked _thread.lock object at 0x0000000004738198>, 0)>
 _opid = {int} 1320
 _reader = {PipeConnection} <multiprocessing.connection.PipeConnection object at 0x00000000086B34A8>
 _rlock = {Lock} <Lock(owner=None)>
 _sem = {BoundedSemaphore} <BoundedSemaphore(value=2147483645, maxvalue=2147483647)>
 _thread = {Thread} <Thread(QueueFeederThread, started daemon 9344)>
 _wlock = {NoneType} None
 _writer = {PipeConnection} <multiprocessing.connection.PipeConnection object at 0x00000000086B3518>

# in the handle_queue_data
centralized_queue = {Queue} <multiprocessing.queues.Queue object at 0x000000000479DA20>
 _buffer = {deque} deque([])
 _close = {NoneType} None
 _closed = {bool} False
 _ignore_epipe = {bool} False
 _joincancelled = {bool} False
 _jointhread = {NoneType} None
 _maxsize = {int} 2147483647
 _notempty = {Condition} <Condition(<unlocked _thread.lock object at 0x00000000058C8350>, 0)>
 _opid = {int} 7208
 _reader = {PipeConnection} <multiprocessing.connection.PipeConnection object at 0x000000000684C438>
 _rlock = {Lock} <Lock(owner=None)>
 _sem = {BoundedSemaphore} <BoundedSemaphore(value=2147483647, maxvalue=2147483647)>
 _thread = {NoneType} None
 _wlock = {NoneType} None
 _writer = {PipeConnection} <multiprocessing.connection.PipeConnection object at 0x00000000058DE6A0>

之后，我也尝试使用不同的东西，但都失败了，我无法传递数据……这里的队列是否可能是可变对象？ 还是在多处理程序中存在错误（非常不可能），或者与sounddevice的组合使队列不稳定？

对不起，我的描述太长了...

预先感谢您的帮助！
最好的祝福，
塞巴斯蒂安

Answer 1

我实际上没有multiprocessing经验，但是据我了解，对于每个进程， start_application.py的模块命名空间中的所有对象都是重复的。 如果我没记错的话，这包括core模块。 因此， core.central_queue对每个进程都有一个单独的实例。 至少在Windows上似乎是这种情况， Python文档建议无论如何都“显式地将资源传递给子进程”。

您还应该使用if __name__ == '__main__':块来创建Queue的唯一实例和AudioRecorder的唯一实例。 然后，您可以使用Process的args参数将这些唯一的实例传递给您的Process （如上面的链接所示）。

除此之外，我真的不知道您要达到什么目标。 您是否要使用随机可用的过程之一来处理音频输入的随机块？ 还是要为每个过程提供完全相同的音频输入？

在后一种情况下，每个子进程毕竟应该有一个单独的队列！ sd.InputStream应该仍然是唯一的。 在with语句中，应该遍历所有子进程，并将当前音频块分别放入每个进程队列中。

PS：我刚刚意识到，出于某种原因，您可能只想开始一个附加过程。 在这种情况下，您应该考虑删除整个multiprocessing混乱情况，然后执行with语句中需要做的任何事情。

更新：

如果您想一次使用多个音频设备（并因此使用多个PortAudio流），则仍然不一定需要进行multiprocessing 。 您可以with带有多个上下文管理器的with语句，然后在其中进行处理。

根据要实现的目标，您可能有一个队列，所有音频回调都写入其中，或者每个回调有一个队列。

如果您有充分的理由使用multiprocessing ，则在主流程中启动所有音频流并在新的子流程中进行multiprocessing ，它也可以正常工作。