從Mediacodec同步解碼的音頻和視頻數據

Question

我想使用MediaExtractor和MediaCodec API編寫一個簡單的音頻/視頻播放器。

我能夠解碼和渲染audio和video 。 但是，我錯過了audio - video同步。

我找不到任何API來控制audio和video之間的同步。 有人可以告訴我，如何同步解碼的audio和video數據？

Answer 1

在Android源代碼中，有一個基於MediaCodec API的示例player引擎實現。 你可以檢查SimplePlayer位於frameworks/av/cmds/stagefright/SimplePlayer.cpp 。

在這個播放器引擎的實現，從輸出MediaCodec被dequeued ，如圖所示推入一個隊列這里 。 請查看第439-450行以獲得完整的圖片。

一旦緩沖區可用，有一個簡單的AV Sync實現機制這里 。 請參閱第508-521行。 在這個例子中，只考慮一個軌道，因此， nowUs即當前時間是從systemTime派生的，即ALooper::nowUs 。

在您的代碼中，您可以考慮始終以first-come-first-serve呈現audio ，對於video軌道，您可以從audio軌道中獲取 nowUs 。

一個簡單的實現可以是nowUs = getAudioLastPresentationTime() ，其中， getAudioLastPresentationTime將返回從audio MediaCodec發送到audio renderer的最后一個presentationTimeUs 。