如何从iOS上的实时视频获取每帧的RGB值？

Question

我正在使用iPhone制作应用程序。 我想从实时视频的每一帧中获取数字RGB值。 能做到吗 如果是这样，请告诉我。 更多了解一些示例代码。 提前非常感谢您。

Answer 1

我只能假设您要解码h.264视频，然后从中获取RGB（A）像素值。 在这种情况下，您需要使用AVAssetReaderOutput类打开并解码来自附加到Xcode项目的h.264资产中的帧。 如果您不熟悉软件中的视频处理功能，请务必小心并确保在开始之前真正了解自己在做什么，因为视频处理中的内存使用令人震惊，如果您不完全了解多少内存，很可能会导致iOS应用程序崩溃您一次分配。 请在video_and_memory_usage_on_ios_devices上查看有关此主题的博客文章。 您可以零零碎碎地找到很多示例代码，但基本上，您只需要创建资产，从中解码帧，然后从解码的CoreVideo像素缓冲区读取RGBA像素即可。 请注意，奇数大小会导致CoreVideo像素缓冲区中出现行填充，以使像素总数与sizeof（uint32_t）*宽度*高度不匹配。