如何使用Camera2 FaceDetection，faces.getBound（）获得真实值？

Question

我正在用Android编写一些代码，我必须使用camera2 API进行面部检测。 我的代码基于android-camera2-api-face-recon 示例 ，我不知道为什么，但是当我使用face.getBound() ，返回的值不在视图范围内。

这是针对Java Studio中的Android Studio的，该代码应该在头部周围绘制一个矩形，并且它识别出有头部，但是该矩形绘制在任何地方并且不跟随头部。

private void process(CaptureResult result) {

    Integer mode = result.get(CaptureResult.STATISTICS_FACE_DETECT_MODE);

    Face[] faces = result.get(CaptureResult.STATISTICS_FACES);

    mFaceDetectionMatrix=new Matrix();
    if (faces != null && mode != null) {
        if (faces.length ==1) {
            for(int i = 0; i < faces.length; i++) {
                if (faces[i].getScore() > 50) {

                    int left = faces[i].getBounds().left;
                    int top = faces[i].getBounds().top;
                    int right = faces[i].getBounds().right;
                    int bottom = faces[i].getBounds().bottom;
                    float points[] = {(float)bottom, (float)right, (float)top, (float)left};
                    Log.i("Test", "faces : " + faces.length + " , mode : " + mode + " left " + left + " top " + top + " right " + right);
                    Rect uRect = new Rect(left, top, right, bottom); //The function I'm supposed to use
                    //Rect uRect = new Rect(+2000-bottom, 1500-left, +1500-top, 3500-right) the function I'm using in order to fix this problem

当头部向下或向上移动时，矩形向左或向右移动，反之亦然。 如您所见，我正在尝试一些无法使用的东西来修复它，而我必须完全更改Rect中的主菜。
我想正确地解决此问题，并理解为什么它不起作用，如果不能，我想更改我放入Rect中的常量，以便能够在所有设备上使用此代码。
你有什么主意吗？

为了控制传感器的方向，我使用以下代码：

 int orientationOffset;
                orientationOffset = characteristics.get(CameraCharacteristics.SENSOR_ORIENTATION);
                Rect activeArraySizeRect = characteristics.get(CameraCharacteristics.SENSOR_INFO_ACTIVE_ARRAY_SIZE);


                //Face Detection Matrix
                //mFaceDetectionMatrix = new Matrix();
                // TODO - I guess that is not enough if we have a landscape layout too...
                mFaceDetectionMatrix.setRotate(orientationOffset);

                Log.i("Test", "activeArraySizeRect1: (" + activeArraySizeRect + ") -> " + activeArraySizeRect.width() + ", " + activeArraySizeRect.height());
                Log.i("Test", "activeArraySizeRect2: " + mPreviewSize.getWidth() + ", " + mPreviewSize.getHeight());
                float s1 = mPreviewSize.getWidth()  / (float)activeArraySizeRect.width();
                float s2 = mPreviewSize.getHeight() / (float)activeArraySizeRect.height();
                //float s1 = mOverlayView.getWidth();
                //float s2 = mOverlayView.getHeight();
                boolean mirror = true; // we always use front face camera
                boolean weAreinPortrait = true;
                mFaceDetectionMatrix.postScale(mirror ? -s1 : s1, s2);
                //mFaceDetectionMatrix.postRotate(orientation);

                if (mSwappedDimensions) {
                    mFaceDetectionMatrix.postTranslate(mPreviewSize.getHeight(), mPreviewSize.getWidth());
                } else {
                    // TODO - ...
                }

就像...矩形在风景中，头部在画像中。

谢谢

[编辑]我找到了一种解决方法！ 在onDrawView的OverlayView类中，添加以下代码：

 canvas.scale(-1, 1, getWidth()/2, getHeight()/2);

然后我在fragment_camera2_basic.xml中修改了OverlayView，同时添加了android：rotation =“ 90”，现在矩形像它所必须的那样移动了。

它改变了问题，现在，根据所使用的设备，矩形的位置不同。

我已经像这样修改了顶部，左侧，右侧和底部：

int left = (int)((float)(faces[i].getBounds().left)/MGpix.getWidth()*mTextureView.getHeight());
                            int top = (int)((float)(faces[i].getBounds().top)/MGpix.getHeight()*mTextureView.getWidth());
                            int right = (int)((float)(faces[i].getBounds().right)/MGpix.getWidth()*mTextureView.getHeight());
                            int bottom =(int)((float)(faces[i].getBounds().bottom)/MGpix.getHeight()*mTextureView.getWidth());

MGpix等于features.get（CameraCharacteristics.SENSOR_INFO_PIXEL_ARRAY_SIZE）;

现在它已经可以工作了，但是矩形取决于头部，或者围绕头部，具体取决于设备。 例如，在Honor 5c上，矩形放置得很好，但是使用huawey p9 lite，矩形的左上角在鼻子上。 有什么想法可以解决吗？

Answer 1

如何将传感器活动阵列坐标系中的面矩形坐标转换为预览视图的坐标？

您需要考虑传感器的方向以及相对于设备原始方向的应用程序的当前方向。

编辑：您当前的s1 / s2计算对于纵向设备（描述了大多数手机）上的横向传感器来说是不正确的，即使您的应用程序锁定为纵向方向。

如果您的应用程序和传感器的方向不匹配，则需要在s1 / s2计算之前交换Preview或activeArray的width / height。

之后的旋转只会彼此交换两个错误计算的坐标。

最可靠的选择是获取当前显示器的方向（将相对于设备的原始方向），并使用该方向和传感器方向来确定传感器和您的应用的相对方向，以决定何时交换坐标。 就像是：

int displayRotation = WindowManager.getDefaultDisplay().getRotation();
boolean displayIsRotated = (displayRotation == Surface#ROTATION_90) ||
    (displayRotation == Surface#ROTATION_270)

int cameraOrientation = characteristics.get(CameraCharacteristics.SENSOR_ORIENTATION)
boolean cameraIsRotated = (cameraRotation == 90) || (cameraRotation == 270)

boolean flipAxes = displayIsRotated ^ cameraIsRotated;

if (flipAxes) {
   float s1 = mPreviewSize.getWidth()  / (float)activeArraySizeRect.height();
   float s2 = mPreviewSize.getHeight() / (float)activeArraySizeRect.width();
} else {
   float s1 = mPreviewSize.getWidth()  / (float)activeArraySizeRect.width();
   float s2 = mPreviewSize.getHeight() / (float)activeArraySizeRect.height();
}