将静止帧插入 H.264 视频流

Question

我正在构建一个应用程序，它接收来自 Microsoft Teams 的编码为 H.264 的视频数据包 - 我为每一帧视频获得一个数据包。 这里给出了包内容的规格。 对于我收到的每个数据包，我将 data[] 缓冲区的字节内容写入文件。 这个结果文件是一个可播放的 H.264 编码视频。

我正在尝试处理从 Teams 会议同步音频和视频流的场景，并在没有人打开相机时插入静止帧 PNG 作为“填充物”。

我使用以下 FFMPEG 命令从填充帧生成n秒的 H.264 视频：

ffmpeg -loop 1 -i video_filler_frame.png -framerate 30 -c:v libx264 -t 2 -vf scale=1920:1080 C:\Code\temp\out.mp4

这会生成一个 MP4 文件（H.264 编码） - 作为我代码中的测试，我尝试将该生成文件的内容作为字节数组读取并将它们附加到视频文件中。

但是，这似乎不起作用。 我猜这是因为有某种标题或其他元数据阻止我们执行仅附加下一帧字节的简单解决方案。

我的问题是，我怎样才能实现我想要做的事情？ 我想在将单个数据包内容写入文件时拼接n个帧。 换句话说，例如，请考虑以下序列：

• 将视频包写入文件
• 我的代码确定在此过程中的某个时刻需要填充帧
  • 将所需数量的填充帧插入文件
• 继续写视频包，因为他们进来