Python 中的多线程 cv2.imshow() 不起作用

Question

我有两个摄像头（使用 OpenNI，我每个摄像头有两个流，由驱动程序 API 的同一个实例处理）并且希望有两个线程，每个线程独立地从每个摄像头捕获数据，即驱动程序 API 的一个实例，说cam_handler ，我每个相机有两个流depth和rgb ，比如cam_handler.RGB1_stream和cam_handler.DEPTH1_stream

这是相同的代码：

import threading

def capture_and_save(cam_handle, cam_id, dir_to_write, log_writer, rgb_stream,
                     depth_stream, io):
    t = threading.currentThread()
    shot_idx = 0
    rgb_window = 'RGB' + str(cam_id)
    depth_window = 'DEPTH' + str(cam_id)
    while getattr(t, "do_run", True):
        if rgb_stream is not None:

            rgb_array = cam_handle.get_rgb(rgb_stream)
            rgb_array_disp = cv2.cvtColor(rgb_array, cv2.COLOR_BGR2RGB)
            cv2.imshow(rgb_window, rgb_array_disp)
            cam_handle.save_frame('rgb', rgb_array, shot_idx, dir_to_write + str(cam_id + 1))
            io.write_log(log_writer[cam_id], shot_idx, None)

        if depth_stream is not None:
            depth_array = cam_handle.get_depth(depth_stream)
            depth_array_disp = ((depth_array / 10000.) * 255).astype(np.uint8)
            cv2.imshow(depth_window, np.uint8(depth_array_disp))
            cam_handle.save_frame('depth', depth_array, shot_idx, dir_to_write + str(cam_id + 1))
        shot_idx = shot_idx + 1

        key = cv2.waitKey(1)
        if key == 27:  # exit on ESC
            break
    print "Stopping camera %d thread..." % (cam_id + 1)
    return

def main():
    ''' Setup camera threads '''
    cam_threads = []
    dir_to_write = "some/save/path"
    for cam in range(cam_count):
        cam = (cam + 1) % cam_count
        cv2.namedWindow('RGB' + str(cam))
        cv2.namedWindow('DEPTH' + str(cam))
        one_thread = threading.Thread(target=capture_and_save,
                                      name="CamThread" + str(cam + 1),
                                      args=(cam_cap, cam, dir_to_write,
                                            log_writer,
                                            rgb_stream[cam], depth_stream[cam], io,))
        cam_threads.append(one_thread)
        one_thread.daemon = True
        one_thread.start()

        try:
            while True:
                pass
                # cv2.waitKey(1)
        except KeyboardInterrupt:
            ''' Stop everything '''
            for each_thread in cam_threads:
                each_thread.do_run = False
                each_thread.join(1)
            cam_cap.stop_rgb(rgb_stream)
            cam_cap.stop_depth(depth_stream)

            ''' Stop and quit '''
            openni2.unload()
            cv2.destroyAllWindows()

if __name__ == '__main__':
    main()      

所以，我的问题是，如果我从代码中删除cv2.imshow()行，一切都会按预期运行，并且我会将两个相机输出保存到文件中。 但是，使用cv2.imshow() ，只创建了“空白” windows 并且线程似乎“卡住”了，根本没有 output。
我尝试了几个建议，包括将namedWindow创建移动到主线程以及capture_and_save线程。 我也尝试过在waitKey()周围移动，因为据说 OpenCV 只允许在主线程中使用waitKey() 。 然而，没有区别。

Answer 1

我通过使用mutables，将字典cam_disp = {}传递给线程并读取主线程中的值来解决了这个问题。 cv2.imshow()在主线程中保存效果最佳，因此效果很好。 我不确定这是否是“正确”的方式，所以欢迎所有建议。

Answer 2

尝试在线程目标capture_and_save移动cv2.namedWindow('RGB' + str(cam))

Answer 3

cv2.imshow函数不是线程安全的。 只是移动cv2.namedWindow到threading.Thread的呼叫cv2.imshow 。

import cv2
import threading

def run():
    cap = cv2.VideoCapture('test.mp4')
    cv2.namedWindow("preview", cv2.WINDOW_NORMAL)
    while True:
        ret, frame = cap.read()
        if frame is None:
            print("Video is over")
            break
        cv2.imshow('preview', frame)
        cv2.waitKey(1)
    cap.release()
    cv2.destroyAllWindows()

if __name__ == "__main__":
    thread = threading.Thread(target=run)
    thread.start()
    thread.join()
    print("Bye :)")

Answer 4

我认为，不知道:) 但这是我最好的解释。

当您尝试在视图中打开图像时，您会将图像从相机线程传递到 GUI 线程。 这样做时，您将不同步。 有时它会起作用。 我认为你会/可能会在某个时候遇到同样的问题。 （我做过）运行超过 1 个线程时会更明显。 您可以做的是使用线程安全的 memory（队列）或线程锁。

然后，您将线程锁放在相机保存周围，在线程中，并在 main 中读取 imshow ，您将是安全的。 还有 GIL 令人毛骨悚然，您还需要了解更多信息。 但最简单的是你的情况下的线程锁，但这一切都取决于你需要多少控制数据流和“读取相机”的优先级或“实时”在屏幕上显示。 @DarkSidds 的回答也是正确的。 但是，如果您有超过 1 个摄像头并且这些摄像头是从线程中写入的，那么您将崩溃。