如何在Android5.0中实时使用camera2 API获取每个帧数据

Question

我现在正在使用camera2Basic并试图让每个帧数据进行一些图像处理。 我在Android5.0中使用camera2 API，当只进行相机预览并且它是流畅的时候一切都很好。 但是当我使用ImageReader.OnImageAvailableListener回调来获取每个帧数据时，预览会ImageReader.OnImageAvailableListener ，这会导致糟糕的用户体验。 以下是我的相关代码：

这是摄像头和ImageReader的设置，我设置的图像格式是YUV_420_888

public<T> Size setUpCameraOutputs(CameraManager cameraManager,Class<T> kClass, int width, int height) {
    boolean flagSuccess = true;
    try {
        for (String cameraId : cameraManager.getCameraIdList()) {
            CameraCharacteristics characteristics = cameraManager.getCameraCharacteristics(cameraId);
            // choose the front or back camera
            if (FLAG_CAMERA.BACK_CAMERA == mChosenCamera &&        
                    CameraCharacteristics.LENS_FACING_BACK != characteristics.get(CameraCharacteristics.LENS_FACING)) {
                continue;
            }
            if (FLAG_CAMERA.FRONT_CAMERA == mChosenCamera &&  
                    CameraCharacteristics.LENS_FACING_FRONT != characteristics.get(CameraCharacteristics.LENS_FACING)) {
                continue;
            }
            StreamConfigurationMap map = characteristics.get(
                    CameraCharacteristics.SCALER_STREAM_CONFIGURATION_MAP);

            Size largestSize = Collections.max(
                    Arrays.asList(map.getOutputSizes(ImageFormat.YUV_420_888)),
                    new CompareSizesByArea());

            mImageReader = ImageReader.newInstance(largestSize.getWidth(), largestSize.getHeight(),
                    ImageFormat.YUV_420_888, 3);

            mImageReader.setOnImageAvailableListener(mOnImageAvailableListener, mBackgroundHandler);
            ...
            mCameraId = cameraId;
       }
    } catch (CameraAccessException e) {
        e.printStackTrace();
    } catch (NullPointerException e) {

    }
    ......
}

当相机成功打开时，我创建一个CameraCaptureSession进行相机预览

private void createCameraPreviewSession() {
    if (null == mTexture) {
        return;
    }

    // We configure the size of default buffer to be the size of camera preview we want.
    mTexture.setDefaultBufferSize(mPreviewSize.getWidth(), mPreviewSize.getHeight());

    // This is the output Surface we need to start preview
    Surface surface = new Surface(mTexture);

    // We set up a CaptureRequest.Builder with the output Surface.
    try {
        mPreviewRequestBuilder =
                mCameraDevice.createCaptureRequest(CameraDevice.TEMPLATE_PREVIEW);
        mPreviewRequestBuilder.addTarget(mImageReader.getSurface());
        mPreviewRequestBuilder.addTarget(surface);

        // We create a CameraCaptureSession for camera preview
        mCameraDevice.createCaptureSession(Arrays.asList(surface, mImageReader.getSurface()),
                new CameraCaptureSession.StateCallback() {

                    @Override
                    public void onConfigured(CameraCaptureSession session) {
                        if (null == mCameraDevice) {
                            return;
                        }

                        // when the session is ready, we start displaying the preview
                        mCaptureSession = session;

                        // Finally, we start displaying the camera preview
                        mPreviewRequest = mPreviewRequestBuilder.build();
                        try {
                            mCaptureSession.setRepeatingRequest(mPreviewRequest,
                                    mCaptureCallback, mBackgroundHandler);
                        } catch (CameraAccessException e) {
                            e.printStackTrace();
                        }
                    }

                    @Override
                    public void onConfigureFailed(CameraCaptureSession session) {

                    }
                }, null);
    } catch (CameraAccessException e) {
        e.printStackTrace();
    }
}

最后一个是ImageReader.OnImageAvailableListener回调

private final ImageReader.OnImageAvailableListener mOnImageAvailableListener = new ImageReader.OnImageAvailableListener() {
            @Override
            public void onImageAvailable(ImageReader reader) {
                Log.d(TAG, "The onImageAvailable thread id: " + Thread.currentThread().getId());
                Image readImage = reader.acquireLatestImage();
                readImage.close();
            }
        };

也许我做错了设置，但我尝试了几次，但它不起作用。 也许有另一种获取帧数据的方法而不是ImageReader，但我不知道。 有谁知道如何实时获取每个帧数据？

Answer 1

我不相信陈是正确的。 图像格式对我测试的设备的速度几乎没有影响。 相反，问题似乎与图像大小有关。 在图像格式为YUV_420_888的Xperia Z3 Compact上，我在StreamConfigurationMap的getOutputSizes方法中提供了许多不同的选项：

[1600x1200, 1280x720, 960x720, 720x480, 640x480, 480x320, 320x240, 176x144]

对于这些相应的尺寸，最大FPS我得到的设置时mImageReader.getSurface()作为目标mPreviewRequestBuilder是：

[13, 18, 25, 28, 30, 30, 30, 30 ]

因此，一种解决方案是使用较低的分辨率来实现您想要的速率。 对于好奇......请注意，这些时间似乎不受线路的影响

    mPreviewRequestBuilder.addTarget(surface);
...
    mCameraDevice.createCaptureSession(Arrays.asList(surface, mImageReader.getSurface()),

我担心在屏幕上添加表面可能会增加开销，但如果我删除第一行并将第二行更改为

    mCameraDevice.createCaptureSession(Arrays.asList(mImageReader.getSurface()),

然后我看到时间变化小于1 fps。 因此，您是否也在屏幕上显示图像似乎并不重要。

我认为在camera2 API或ImageReader的框架中只有一些开销，这使得无法获得TextureView明显获得的全部速率。

最令人失望的事情之一是，如果您切换回不推荐使用的Camera API，您可以通过Camera.setPreviewCallbackWithBuffer方法设置PreviewCallback ，轻松获得30 fps。 使用该方法，无论分辨率如何，我都能获得30fps。 具体来说，虽然它不直接提供1600x1200，但它确实提供1920x1080，甚至是30fps。

Answer 2

我正在尝试相同的事情，我想你可能会改变格式

mImageReader = ImageReader.newInstance(largestSize.getWidth(),
                                       largestSize.getHeight(),
                                       ImageFormat.FLEX_RGB_888, 3);

因为使用YUV可能会导致CPU压缩数据，并且可能需要一些时间。 RGB可以直接显示在设备上。 并且从图像中检测到脸部应该放入其他线程中你必须知道它。