opencv rtsp流协议

Question

我想处理并显示从树莓派相机创建的网络rtsp流。 我有以下代码：

#include <iostream>
#include <functional>
#include <opencv2/highgui/highgui.hpp>
#include <opencv2/imgproc/imgproc.hpp>

int main(int argc, char** argv) {

    cv::VideoCapture * stream = new cv::VideoCapture("rtsp://192.168.55.151:8554/");
    if (!stream->isOpened()) return -1;

    cv::namedWindow("rtsp_stream", CV_WINDOW_AUTOSIZE);
    cv::Mat frame;

    while (true) {

        if (!stream->read(frame)) return -1;

        cv::imshow("rtsp_stream", frame);
        cv::waitKey(15);
    }

    return 1;
}

当流不存在时，执行此操作将导致：

[tcp @ 0xa12480] Connection to tcp://192.168.55.151:8554?timeout=0 failed: Connection refused

这意味着流尝试与tcp连接。 流直播时，执行结果为：

 [rtsp @ 0xb07960] method SETUP failed: 461 Client error

从互联网研究中，我发现问题可能在于流使用udp。 如果我将URL更改为：

"udp://192.168.55.151:8554/"

然后执行冻结在cv::VideoCapture("udp://192.168.55.151:8554/");

VLC能够打开rtsp流。 据我所知，ffmpeg用于通过opencv解码流。 当我跑步时：

ffmpeg -rtsp_transport udp -i rtsp://192.168.55.151:8554/ -t 5 test.mp4

流解码和保存成功。 那么我如何在opencv代码中指定要作为udp的较低级别协议呢？ 还有另一种方法可以用opencv吗？

编辑：如果我更改ffmpeg命令以使用tcp，即：

ffmpeg -rtsp_transport tcp -i rtsp://192.168.55.151:8554/ -t 5 test.mp4

然后我得到与C ++代码相同的确切错误461客户端错误

编辑：当代码使用udp：//链接时，冻结约15秒钟后，执行返回错误

Answer 1

在github opencv问题中得到了回答。 问题是opencv强制ffmpeg使用tcp连接，而我的服务器使用rtp协议（udp传输层）。 因此，为了解决该问题，我将服务器更改为http流。

Answer 2

根据opencv repo中的合并请求，可以通过setenv("OPENCV_FFMPEG_CAPTURE_OPTIONS", "rtsp_transport;udp", 1);使OpenCV中的FFMPEG使用UDP协议setenv("OPENCV_FFMPEG_CAPTURE_OPTIONS", "rtsp_transport;udp", 1);

Answer 3

只需尝试这段代码，即可轻松解决您的问题

for(;;) {
    if(!vcap.read(image)) {
        std::cout << "No frame" << std::endl;
        cv::waitKey();
    }
    cv::imshow("Output Window", image);
    if(cv::waitKey(1) >= 0) break;
}