如何使用 MSE 在视频标签中播放 H.264 NAL 单元流？

Question

情况非常简单。 我正在通过 WebSockets 接收 NAL 单元流。 如何使用 MSE 将它们输入到 HTML5 视频标签中？

研究表明我应该将数据混合成一个碎片化的 mp4，但我还没有找到任何关于如何完成的细节。 有人有具体的吗？

Answer 1

如果您收到流数据，例如 hls、nalu h.264...等，您可以将其转换和多路复用为碎片化的 mp4。 设置 HTML5 视频标签与 MSE 相结合，如创建 mediaSource、mediaSource.addSourceBuffer、sourceBuffer.appendBuffer。 这将在 fmp4 正确输入缓冲区时播放视频。

您可以查看https://github.com/ChihChengYang/wfs.js ，它演示了从 websocket 转换 NALu h.264 流。 这直接在标准 HTML5 元素和 MSE 之上工作。