為 iOS VideoToolbox 合成不完整的 H264 流的 SPS 和 PPS

Question

我有一個 AXIS IP 攝像機 (M1054)，它通過 RTSP 發送 H264/RTP 流。

不幸的是，他們根本不發送 SPS 和 PPS NALU，他們只傳輸（分段的）編解碼器切片。

我正在嘗試使用 iOS VideoToolbox框架解碼該流，該框架需要 H264 SPS 和 PPS 元組才能正確設置CMFormatDescription 。

我想知道如何通過查看實際的 H264 切片來合成必要的參數集？

更新：我捕獲了一個示例會話，其中mplayer設法通過 Wireshark 顯示流。 捕獲文件在這里，您可以看到整個 RTSP 設置以及幾秒鍾的 RTP。

Answer 1

RTP 由 3 組流組成。

1. 媒體的 RTP
2. 用於控制連接的 RTSP
3. RTCP 用於發送方確認和時間戳。

盡管 SPS/PPS 通常在流內帶內並通過 RTP 傳輸 - 它不需要在那里（並且可能不應該在那里）。 SPS/PPS 作為設置過程 (RTSP) 的一部分進行傳輸。 我通常建議在調試器中運行http://www.live555.com/以了解該過程的詳細信息 - 但http://www.live555.com/目前已關閉。

在極少數情況下，您可以從眾所周知的受限 H.264 流重新創建 SPS/PPS。 但一般來說你不能。 因此，SPS/PPS 是 H.264 流的元數據，不會在其他任何地方冗余存儲。

因此，如果您熟悉設置過程 - RTSP - 這將是非常明顯的。