告訴 libavcodec/ffmpeg 丟幀

Question

我正在構建一個創建視頻的應用程序。 問題是，有時（嗯......大部分時間）幀獲取過程不夠快。

如果我遲到了，我目前正在做的是跳過當前幀采集，但是 FFMPEG/libavcodec 將我傳遞給它的每一幀都視為下一幀，所以如果我從 2 幀中刪除 1 幀，則為 20 秒視頻只會持續 10 個。一旦我添加聲音，就會出現更多問題，因為聲音處理速度更快......

我想告訴 FFMPEG：“最后一幀的持續時間應該是最初預期的兩倍”，或者任何可以讓我實時處理的東西。

我試圖將幀堆疊在一個點上，但這最終會殺死我所有的 memory （我還嘗試將我的幀“堆疊”在硬盤中，這很慢，正如我所料）

我想我將不得不手動使用 pts，但我所有的嘗試都失敗了，並且閱讀其他一些使用 ffmpeg 的應用程序代碼（例如 VLC）並沒有太大幫助......所以任何建議都會很多贊賞！

提前非常感謝！

Answer 1

您的 output 可能會被視為可變幀率 (vfr)，但您可以在幀到達時使用掛鍾時間簡單地生成時間戳，然后在編碼之前將其應用於您的 AVFrame。 那么該幀將在播放時顯示在正確的時間。

有關如何執行此操作的示例（至少指定您自己的時間戳部分），請參閱 ffmpeg 分布中的 doc/examples/muxing.c （我當前的 ZBA9F11ECC34927D9993ZB933E 中的第 491 行）：

frame->pts += av_rescale_q(1, video_st->codec->time_base, video_st->time_base);

在這里，作者將視頻編解碼器的時基中的幀時間戳增加 1，重新調整為視頻流的時基，但在您的情況下，您可以簡單地重新調整自開始從任意時基捕獲幀到 output 視頻流的時基以來的秒數（如上例所示）。 例如，如果您的任意時基是 1/1000，並且您在開始捕獲后 0.25 秒內收到一幀，則執行以下操作：

AVRational my_timebase = {1, 1000};
frame->pts = av_rescale_q(250, my_timebase, avstream->time_base);

然后像往常一樣對幀進行編碼。

Answer 2

許多（大多數？）視頻格式不允許遺漏幀。 相反，當您無法及時獲得新視頻幀時，請嘗試重用舊視頻幀。

Answer 3

只是一個想法..當處理滯后時，您是否嘗試再次將同一幀傳遞給它（並丟棄當前幀）？ 也許它可以快速處理重復的幀。

Answer 4

有這個 ffmpeg 命令行開關-threads...用於多核處理，所以你應該能夠用 API 做類似的事情（雖然我不知道怎么做）。 這可能會解決您的問題。