如何从 ARGB 帧渲染视频

Question

我正在使用Microsoft.MixedReality.WebRTC库，我计划将它用于我的下一个项目 - 一个实时视频聊天应用程序。 我已经能够建立连接并传递视频帧。

我将如何正确渲染这些帧并将它们显示为视频？

使用 WPF 的MediaElement似乎很容易，但我只能输入一个Uri object 作为源，我不能给它单帧，AFAIK。

我已经读过绘制位图是一种可能的解决方案，但我确信这将意味着需要花费大量时间重新发明轮子和测试，除非没有其他方法，否则我不喜欢这样做。

该库的工作方式如下：每次客户端接收到新帧时，都会引发Argb32VideoFrameReady事件。 然后将Argb32VideoFrame结构 object 传递给回调，其中包含原始数据的IntPtr 。 还提供了Height 、 Width和Stride 。

有关特定结构的更多信息here

有什么方法可以实现这一目标？

我打算使用 WPF。 该解决方案应针对 Windows 7+ 和 .Net Framework 4.6.2。

提前致谢。

Answer 1

在 XAML 中有一个 Image 元素

<Image x:Name="image"/>

下面的简单方法将直接将帧复制到分配给 Image 的 Source 属性的 WriteableBitmap 中。

private void UpdateImage(Argb32VideoFrame frame)
{
    var bitmap = image.Source as WriteableBitmap;
    var width = (int)frame.width;
    var height = (int)frame.height;

    if (bitmap == null ||
        bitmap.PixelWidth != width ||
        bitmap.PixelHeight != height)
    {
        bitmap = new WriteableBitmap(
            width, height, 96, 96, PixelFormats.Bgra32, null);
        image.Source = bitmap;
    }

    bitmap.WritePixels(
        new Int32Rect(0, 0, width, height),
        frame.data, height * frame.stride, frame.stride);
}

ARGBVideoFrame 来自这里： https://github.com/microsoft/MixedReality-WebRTC/blob/master/libs/Microsoft.MixedReality.WebRTC/VideoFrame.cs

由于对结构的以下评论， PixelFormats.Bgra32似乎是正确的格式：

ARGB 分量按小端序 32 位 integer 的顺序排列，因此 0xAARRGGBB 或 (B, G, R, A) 作为 ZCD69B4957F06CD8291Z73 中的字节序列的第一个和 6 个 A