如何使用 MSE 在視頻標簽中播放 H.264 NAL 單元流？

Question

情況非常簡單。 我正在通過 WebSockets 接收 NAL 單元流。 如何使用 MSE 將它們輸入到 HTML5 視頻標簽中？

研究表明我應該將數據混合成一個碎片化的 mp4，但我還沒有找到任何關於如何完成的細節。 有人有具體的嗎？

Answer 1

如果您收到流數據，例如 hls、nalu h.264...等，您可以將其轉換和多路復用為碎片化的 mp4。 設置 HTML5 視頻標簽與 MSE 相結合，如創建 mediaSource、mediaSource.addSourceBuffer、sourceBuffer.appendBuffer。 這將在 fmp4 正確輸入緩沖區時播放視頻。

您可以查看https://github.com/ChihChengYang/wfs.js ，它演示了從 websocket 轉換 NALu h.264 流。 這直接在標准 HTML5 元素和 MSE 之上工作。