WebRTC 管道：通过中间服务器进行视频协商

Question

我正在开发一个由 3 部分组成的系统，用于通过 WebRTC 连接到基站，这会将 pipe 视频从远程车辆发送到远程站（也使用 RTC 对等连接）。 所以，架构看起来像这样：

---

车辆 -- PC --> 基站 -- PC --> 远程站

---

其中 PC 是对等连接。 使用 RTCPeerConnection 的 addTrack 方法将视频从车辆发送到基站。 然后视频轨道必须通过远程站的 onTrack 处理程序从基站（使用 addTrack 方法）发送到远程站。 问题是，NodeJS（基站在其中实现）本身不支持 MediaStreams（只能通过第 3 方库使用），我无法找到一种方法来触发 Remote Station 中的 onTrack 处理程序。 如果车辆远程站连接，视频可以完美通过，但基站在管道传输时不会触发远程站中的适当事件。 我添加了 package 以支持媒体流，但这会在尝试本地存储 stream 和/或轨道时产生错误（请参阅 tempStream/tempTrack 变量），并且似乎无法解决在远程中未触发 ontrack 处理程序的问题站和显示视频。

这是车辆的处理程序，将轨道添加到 pc，并尝试将 pipe 发送到 rcspc，远程站的 RTCPeerConnection object。 非常感谢任何提示或见解。

    //Event listener for new track
     /**
     * When pc receives a track (video), pipe it over to Remote Station
     * using the addTrack method. (Currently NOT piping the video appropriately)
     * @param {} event 
     */
    pc.ontrack = (event) =>{
        console.log("--------------------RECEIVED TRACK--------------------");
        if (event.streams && event.streams[0]) {
           console.log('received track from vehicle');
           //add these streams to a temporary holding place
           tempStream.push(event.streams);
           tempTrack = event.track;

          //checking that rcspc peer connection has configured the remote description/finished
           //signaling process
           if(rcspc.remoteDescription){
                //changing to tempStream/tempTrack does not resolve the issue here.
                rcspc.addTrack(event.track, event.streams[0]);
           }

        } else {
            if (!remoteStream) {
                remoteStream = new MediaStream();
                //videoElem.srcObject = remoteStream;
                console.log('created new remote stream!');
            }
            remoteStream.addTrack(event.track);
        }
    };

Answer 1

要在onTrack连接的另一端rcspc ，您需要在调用addTrack后提供/回答交换。 否则接收方将不知道您发送的媒体使用什么编解码器。

来自mozilla 文档：

注意：将轨道添加到连接会通过触发需要协商的事件来触发重新协商。 有关详细信息，请参阅开始协商。

所以我会在你添加曲目后尝试在rcspc上创建一个新的报价。 然后等待新的答案并设置远程描述。 然后 onTrack 应该在 RS 端触发。

或者您可以在onnegotiationneeded回调中进行报价-答案交换，应该没有什么区别。