使用 OpenCV 和 gstreamer 顯示 RTSP stream

Question

我購買了IP 相機，我正在嘗試使用 RTSP 連接它。 RTSP 連接 URL 是rtsp://admin:@192.168.0.27/channel=1&stream=0.554 。 我正在使用OpenCV打開並顯示 stream：

#include <opencv2/opencv.hpp>

int main() {
   cv::VideoCapture cap;
   if (!cap.open("rtsp://admin:@192.168.0.27/channel=1&stream=0.554")) {
        std::cout << "Unable to open video capture\n";
        return -1;
    }

    while(true) {
        cv::Mat frame;

        auto ret = cap.grab();
        cap >> frame;

        if (frame.empty()) {
            break; // End of video stream
        }

        cv::resize(frame, frame, cv::Size(640, 480));

        // Do other stuff here with frame

        cv::imshow("frame", frame);

        if (cv::waitKey(10) == 27) {
            break; // stop capturing by pressing ESC
        }
    }

    return 0;
}

當我運行程序時，它會成功連接並顯示幾幀，但隨后會開始嚴重滯后並且通常會掛起，並且 output 在崩潰之前會出現類似這樣的錯誤：

[h264 @ 0x558ae8e601a0] error while decoding MB 93 40, bytestream -11

我不確定為什么我在始終顯示 stream 時遇到問題。 此外，當它能夠顯示 stream 時，我發現它很快變得不同步（注意我正在對幀進行一些繁重的處理，這需要相當多的時間）。 例如，它沒有顯示實時時間范圍，但存在越來越大的滯后。

我怎樣才能確保使用“最新”幀，並丟棄可能在某個緩沖區中累積的所有其他幀。 此外，任何想法為什么它會崩潰以及如何改進流媒體？

我能夠找到這篇關於使用 gstreamer 獲取最新幀的 SO 帖子。 當我修改我的視頻捕獲字符串以使用 gstreamer 時，它的效果會好一些。

這是修改后的連接字符串： "rtspsrc location=rtsp://admin:@192.168.0.27/channel=1&stream=0.554 ! decodebin ! videoconvert ! appsink max-buffers=1 drop=true"

我沒有使用 gstreamer 的經驗，所以我不確定它在做什么，但它似乎可以改善一些事情。 但是，過一會，它就會全部變成灰色，並且只在有運動時才顯示像素，如下圖所示。 根據我對編解碼器的經驗，我相信缺少參考框架，但我不確定。 有想法該怎么解決這個嗎？ 如果我沒有使用正確的 gstreamer 參數，請就我應該使用什么進行快速流式傳輸提出建議（始終使用最新幀）。 正如我所提到的，我對 gstreamer 的經驗很少。 謝謝您的幫助！

Answer 1

這可能是由於網絡傳輸的數據包丟失。 您可以嘗試修改 URL 以使用rtspt://協議。 這將嘗試建立一個 TCP 傳輸，這應該可以防止接收端的數據包丟失。

Answer 2

最好的方法是使用線程連續讀取幀並將它們分配給 class 的屬性。 這樣，如果某個線程遇到丟包，其他線程的小伙伴會進行補償。

看看這個，希望對你有幫助：

from threading import Thread
import cv2

class RTSPVideoWriterObject(object):
    def __init__(self, src=0):
        # Create a VideoCapture object
        self.capture = cv2.VideoCapture(src)
        self.status, self.frame = None, None

        # Default resolutions of the frame are obtained (system dependent)
        self.frame_width = int(self.capture.get(3))
        self.frame_height = int(self.capture.get(4))

        # Set up codec and output video settings
        self.codec = cv2.VideoWriter_fourcc(*'MJPG')
        self.output_video = cv2.VideoWriter('output.avi', self.codec, 30, (self.frame_width, self.frame_height))

        # Start the thread to read frames from the video stream
        self.thread = Thread(target=self.update, args=())
        self.thread.daemon = True
        self.thread.start()

    def update(self):
        # Read the next frame from the stream in a different thread
        while True:
            if self.capture.isOpened():
                (self.status, self.frame) = self.capture.read()

    def show_frame(self):
        # Display frames in main program
        # if self.status:
        #     cv2.imshow('frame', self.frame)

        # Press Q on keyboard to stop recording
        key = cv2.waitKey(1)
        if key == ord('q'):
            self.capture.release()
            self.output_video.release()
            cv2.destroyAllWindows()
            exit(1)

    def save_frame(self):
        # Save obtained frame into video output file
        self.output_video.write(self.frame)


if __name__ == '__main__':
    rtsp_link = "rtsp://admin:@192.168.0.27/channel=1&stream=0.554"
    video_stream_widget = RTSPVideoWriterObject(rtsp_stream_link)
    while True:
        try:
            video_stream_widget.show_frame()
            video_stream_widget.save_frame()
        except AttributeError:
            pass