要通過libstagefright在android中使用HW解碼器，在元數據中為kKeyAVCC設置什么用於幀基解碼而不是MP4播放？

Question

我一直在嘗試使用libstagefright來解碼h264壓縮幀。 我沒有MP4文件，而是想逐幀解碼。 我一直在從鏈接中探索樣本。 此示例使用ffmpeg來解析mp4文件。 並使用ffmpeg的avcodeccontext設置並查找所需的元數據。 現在我想設置kKeyAVCC，kKeyWidth，kKeyHeight，kKeyIsSyncFrame和kKeyTime。 我不清楚這些參數中的每一個。 所以，我想知道的是，是否需要設置所有這些參數？ 這些參數的目的是什么，以及為逐幀解碼的元數據設置什么。 當我沒有設置kKeyTime時，omxcodec在讀取mediabuffer時崩潰。 如果我在讀取操作上取得成功，我沒有得到我在MediaBuffer的派生讀取方法中設置的元數據值。 我得到了幀的視頻尺寸和錯誤代碼INFO_FORMAT_CHANGED。

Answer 1

創建新的編解碼器時，元數據作為OMXCodec::Create方法的一部分從解析器傳遞到解碼器。 我假設在你的實現中你會注意按照普通的vanilla android實現中的指定傳遞MetaData格式的元MetaData 。

例如，請參考AwesomePlayer::initVideoDecoder ，其中調用mVideoTrack->getFormat()來獲取視頻軌道的元數據。 請注意，這不是MediaBuffer一部分，而是作為單獨的對象傳遞。

創建解碼器后， configureCodec調用configureCodec 。 在此方法中， OMXCodec讀取不同的配置參數以初始化解碼器。

kKeyAVCC對應於Codec Specific Data或csd ，其基本上是底層H.264流的SPS和PPS 。

kKeyWidth和kKeyHeight對應於視頻幀的width和height 。 要初始化解碼器，您可以設置更多其他參數。 例如，如果要為解碼器的輸出設置特定的colorFormat ，則可以通過kKeyColorFormat設置相同的kKeyColorFormat 。

創建解碼器后，您必須通過標准的openmax接口傳遞各個幀。 通過調用OMXCodec::read方法啟動解碼器，該方法將填充輸入和輸出緩沖區。

輸入緩沖區通過OMXCodec::drainInputBuffer方法填充，該方法從解析器模塊（在您的情況下是您的特定模塊）中讀取MediaBuffer 。 MediaBuffer的內容被復制到填充在OMX組件input port上的緩沖區中。 除此數據外，還傳遞了此緩沖區的timestamp 。 時間戳信息通過kKeyTime參數讀取，該參數與MediaBuffer一起傳遞。

因此，對於在MediaBuffer傳遞的每個幀，您需要確保有效timestamp也傳遞給底層解碼器，該解碼器將反映在解碼器的輸出端口上。

在您的問題中，您已查詢過kKeyIsSyncFrame 。 該標志由Encoder設置為FillBufferDone回調的一部分，即當編碼器對IDR frame類的關鍵幀進行編碼時，它通過該特定標志傳送該信息作為編碼器輸出端口上的回調的一部分。 對於解碼，這是不相關的 。

如果您可以在啟用OMXCodec日志的情況下發布更多日志，則可能更容易提供更准確的答案。

PS在android框架中，有一個名為Stagefright的命令行實用程序，它創建一個解析器和解碼器，並執行命令行解碼而不進行任何渲染。 這可能是您插入自己的解析器的一個很好的參考。