H.264編碼的NAL /切片分割

Question

我正在研究一種需要通過UDP（一種視頻通話）實時傳輸H.264編碼視頻的應用程序。

最近我們改用硬件編碼器，它只支持有限數量的H.264配置文件。 結果，每個編碼視頻幀現在由單個NALu組成。 更確切地說，對於IDR（關鍵）幀，編碼器為其他幀生成SSP，PSP和單個IDR切片 - 單個非IDR切片。

現在，我的目標是將切片NALu分成幾個較小的切片，因為如果NALu無法完全組裝，則會丟失數據包 - 它完全丟失了。 至少我需要在空間上分割切片，即將宏塊的范圍放入不同的NALus中。 如果可能的話 - 我還想提取高質量的圖層，以便可以通過更多冗余數據包（FEC）保護基礎層。

注意：我不是在談論轉碼。 它是關於重新打包/重新格式化，定位宏塊定義數據塊並以不同的方式放置它們。

我現在正在嘗試使用H.264標准規范和一些開源解碼器代碼來解析相應的數據頭：SPS，PPS和編碼片。 這項任務似乎有可能，雖然有點棘手，但有很多技術細節。

我的問題是：這是一個已知的問題嗎？ 是否有一些API /庫正是這樣做的？

Answer 1

問題是：這是一個已知的問題嗎？ 有沒有一些API /庫可以做到這一點？“

我不知道有哪些API庫，但我相信您可以在源代碼中找到您的解決方案或接近您的解決方案，該代碼可以從github： https：// github的h264bitstream項目編譯到庫中。 com / aizvorski / h264bitstream / blob / master / svc_split.c讓我們知道它是如何工作的。 當然，你必須在這里閱讀一些代碼，但基本的解決方案，或接近解決方案似乎就在那里。