ffmpeg：1帧按需操作

Question

大家好，SO的朋友们！

我们需要创建一个小型应用程序，以从视频中获取随机帧，并对其进行实时修改。

这必须实时完成，为此，我们不介意在视频开始流式传输之前创建一些初始延迟。 因此，假设我们总共有6秒的预加载时间，以便：

1) extract a keyframe.
2) create an image with it.
3) manipulate the image.
4) replace the original keyframe with the new one.

使用GD作为PHP模块已经解决了先前算法的要点（3）。 但是，我们将需要为其余过程找到解决方案，以实现此目的。

如果有人可以帮助我们，请随时与我联系。

提前致谢; 克里斯·鲁索（Chris C.Russo）

Answer 1

这是一个非常复杂的问题，无法通过简单地将关键帧替换为修改后的图像来解决。 要使其正常工作，至少应解决以下问题：

• 重新编码依赖于关键帧的所有帧。 否则，视频将损坏。
• 文件格式注意事项-编码后，修改后的关键帧和后续帧的大小可能会有所不同（与原始编码数据相比）。 将它们存储在输出文件中并不容易
• 时间戳-必须保留这些已修改帧的时间戳信息，否则输出文件中将出现音频-视频同步问题。

考虑到这些问题，我的建议是在原始视频帧中执行图像处理，然后对流进行编码。 请让我知道是否可以帮助您澄清。