iOS 摄像头预览不稳定

Question

Apple 提供了一个名为AVCamFilter的示例 iOS 项目，他们使用MTKView将相机预览渲染到屏幕上。 问题在于帧持续时间 - 每个单独的相机帧在屏幕上显示的时间量 - 不稳定。 摄像头 stream 以 30 FPS 运行，即每 33.3 毫秒传送一帧，因此按道理我们应该能够以 33.3 毫秒的帧持续时间依次显示这些帧。 实际上，帧持续时间是不稳定的——大部分时间约为 33.3 毫秒，但有时约为 16.7 或 50.1 毫秒。

根据文档，MTKView 的默认行为是以 60 FPS 的速度绘制到屏幕上，即每 16.7 毫秒一帧，因此每个摄像机帧在被下一帧替换之前将被绘制两次。 MTKView 的绘制循环和相机的捕捉循环不同步的事实解释了这个问题 - 绘制和捕捉之间经过的时间会逐渐漂移，导致 go 的帧从在绘制之前被捕捉到在绘制之后等等，并且依此类推，导致某些帧被显示为三张或一张而不是预期的两次。 MTKView 绘图循环可以通过禁用默认行为并在新的相机帧到达时手动调用绘图来与相机同步，但是所有这些仍然不与设备显示本身同步，设备显示本身在其自己的循环中以 60 FPS 渲染。 所以，我们仍然有同样的基本时间问题。 我知道CADisplayLink用于将内容同步到显示器，但捕获 stream 无法使用它。

那么我们如何以稳定的 33.3 ms 帧持续时间渲染相机预览呢？ 不稳定性是没有解决方法的预期行为吗？

Answer 1

如果我正确理解您的意图，您期望相机 ( AVCaptureSession ) 以 30fps 的速率生成样本缓冲区，并期望MTKView以完全相同的 30fps 速率使用这些图像以将它们呈现到屏幕上。

MTKView 不保证drawInMTKView将始终以 30 fps 调用。 由于各种原因， drawInMTKView的回调可能会被偶然跳过。 AVCaptureSession也是如此。

Answer 2

如果你想以特定的帧率运行MTKView的绘制调用，为什么不试试preferredFramesPerSecond属性呢？

根据苹果文档：

当您的应用程序设置其首选帧速率时，视图会根据显示视图的屏幕功能选择尽可能接近的帧速率。 为了提供一致的帧率，实际选择的帧率通常是屏幕最大刷新率的一个因素。 例如，如果屏幕的最大刷新率为每秒 60 帧，这也是视图设置为实际帧率的最高帧率。 但是，如果您要求较低的帧速率，视图可能会选择每秒 30、20 或 15 帧或其他因素作为实际帧速率。 您的应用程序应选择可以始终保持的帧速率。 默认值为每秒 60 帧。

根据我的观察，这确实解决了在相机源上处理实时过滤器时的同步问题。

另外，我不知道您的问题是否正确，因为理论上如果您在渲染周期中使用来自AVCapture session 的最新可用帧，无论它以什么 FPS 运行，除非您的渲染不是稳定地保持在相同的帧速率，或者如果它低于相机捕获帧速率。