在Android中從視頻圖像中獲取幀

Question

我已經實現了一個簡單的應用程序，它在屏幕上顯示相機圖片。 我現在喜歡做的是抓取單個幀並將其作為位圖處理。 從我所能發現的到這一點，這不是一件容易的事情。

我嘗試使用 onPreviewFrame 方法，通過該方法將當前幀作為字節數組獲取，並嘗試使用 BitmapFactory 類對其進行解碼，但它返回 null。 幀的格式是無頭的 YUV，可以轉換為位圖，但在手機上需要很長時間。 我還讀到 onPreviewFrame 方法對運行時有限制，如果時間過長，應用程序可能會崩潰。

那么這樣做的正確方法是什么？

Answer 1

好的，我們最終做的是使用 onPreviewFrame 方法並使用可在 android 幫助組中找到的方法在單獨的線程中解碼數據。

decodeYUV(argb8888, data, camSize.width, camSize.height);
Bitmap bitmap = Bitmap.createBitmap(argb8888, camSize.width,
                    camSize.height, Config.ARGB_8888);

...

// decode Y, U, and V values on the YUV 420 buffer described as YCbCr_422_SP by Android 
// David Manpearl 081201 
public void decodeYUV(int[] out, byte[] fg, int width, int height)
        throws NullPointerException, IllegalArgumentException {
    int sz = width * height;
    if (out == null)
        throw new NullPointerException("buffer out is null");
    if (out.length < sz)
        throw new IllegalArgumentException("buffer out size " + out.length
                + " < minimum " + sz);
    if (fg == null)
        throw new NullPointerException("buffer 'fg' is null");
    if (fg.length < sz)
        throw new IllegalArgumentException("buffer fg size " + fg.length
                + " < minimum " + sz * 3 / 2);
    int i, j;
    int Y, Cr = 0, Cb = 0;
    for (j = 0; j < height; j++) {
        int pixPtr = j * width;
        final int jDiv2 = j >> 1;
        for (i = 0; i < width; i++) {
            Y = fg[pixPtr];
            if (Y < 0)
                Y += 255;
            if ((i & 0x1) != 1) {
                final int cOff = sz + jDiv2 * width + (i >> 1) * 2;
                Cb = fg[cOff];
                if (Cb < 0)
                    Cb += 127;
                else
                    Cb -= 128;
                Cr = fg[cOff + 1];
                if (Cr < 0)
                    Cr += 127;
                else
                    Cr -= 128;
            }
            int R = Y + Cr + (Cr >> 2) + (Cr >> 3) + (Cr >> 5);
            if (R < 0)
                R = 0;
            else if (R > 255)
                R = 255;
            int G = Y - (Cb >> 2) + (Cb >> 4) + (Cb >> 5) - (Cr >> 1)
                    + (Cr >> 3) + (Cr >> 4) + (Cr >> 5);
            if (G < 0)
                G = 0;
            else if (G > 255)
                G = 255;
            int B = Y + Cb + (Cb >> 1) + (Cb >> 2) + (Cb >> 6);
            if (B < 0)
                B = 0;
            else if (B > 255)
                B = 255;
            out[pixPtr++] = 0xff000000 + (B << 16) + (G << 8) + R;
        }
    }

}

鏈接： http : //groups.google.com/group/android-developers/browse_thread/thread/c85e829ab209ceea/3f180a16a4872b58?lnk=gst&q=onpreviewframe#3f180a16a4872b58

Answer 2

在 API 17+ 中，您可以使用 'ScriptIntrinsicYuvToRGB' RenderScript 從 NV21 轉換為 RGBA888。 這使您可以輕松處理預覽幀，而無需手動編碼/解碼幀：

@Override 
public void onPreviewFrame(byte[] data, Camera camera) { 
   Bitmap bitmap = Bitmap.createBitmap(r.width(), r.height(), Bitmap.Config.ARGB_8888);
    Allocation bmData = renderScriptNV21ToRGBA888(
        mContext,
        r.width(),
        r.height(),
        data);
    bmData.copyTo(bitmap);
}

public Allocation renderScriptNV21ToRGBA888(Context context, int width, int height, byte[] nv21) {
  RenderScript rs = RenderScript.create(context);
  ScriptIntrinsicYuvToRGB yuvToRgbIntrinsic = ScriptIntrinsicYuvToRGB.create(rs, Element.U8_4(rs));

  Type.Builder yuvType = new Type.Builder(rs, Element.U8(rs)).setX(nv21.length);
  Allocation in = Allocation.createTyped(rs, yuvType.create(), Allocation.USAGE_SCRIPT);

  Type.Builder rgbaType = new Type.Builder(rs, Element.RGBA_8888(rs)).setX(width).setY(height);
  Allocation out = Allocation.createTyped(rs, rgbaType.create(), Allocation.USAGE_SCRIPT);

  in.copyFrom(nv21);

  yuvToRgbIntrinsic.setInput(in);
  yuvToRgbIntrinsic.forEach(out);
  return out;
}

Answer 3

我實際上嘗試了給出先前答案的代碼，發現 Colorvalues 不准確。 我通過預覽和直接返回 JPEG 數組的 camera.takePicture 來檢查它。 而且顏色非常不同。 經過多一點搜索，我找到了另一個將 PreviewImage 從 YCrCb 轉換為 RGB 的示例：

static public void decodeYUV420SP(int[] rgb, byte[] yuv420sp, int width, int height) {
    final int frameSize = width * height;

    for (int j = 0, yp = 0; j < height; j++) {
        int uvp = frameSize + (j >> 1) * width, u = 0, v = 0;
        for (int i = 0; i < width; i++, yp++) {
            int y = (0xff & ((int) yuv420sp[yp])) - 16;
            if (y < 0) y = 0;
            if ((i & 1) == 0) {
                v = (0xff & yuv420sp[uvp++]) - 128;
                u = (0xff & yuv420sp[uvp++]) - 128;
            }
            int y1192 = 1192 * y;
            int r = (y1192 + 1634 * v);
            int g = (y1192 - 833 * v - 400 * u);
            int b = (y1192 + 2066 * u);

            if (r < 0) r = 0; else if (r > 262143) r = 262143;
            if (g < 0) g = 0; else if (g > 262143) g = 262143;
            if (b < 0) b = 0; else if (b > 262143) b = 262143;

            rgb[yp] = 0xff000000 | ((r << 6) & 0xff0000) | ((g >> 2) & 0xff00) | ((b >> 10) & 0xff);
        }
    }
}

由 this 和 takePicture() 給出的顏色值完全匹配。 我想我應該把它貼在這里。 這是我從那里得到這個代碼的地方。 希望這可以幫助。

Answer 4

Tim 的 RenderScript 解決方案很棒。 不過這里有兩條評論：

1. 創建和重用RenderScript rs和Allocation in, out 。 每一幀都創建它們會影響性能。
2. RenderScript 支持庫可以幫助您恢復對 Android 2.3 的支持。

Answer 5

我沒有看到任何答案的性能比轉換它的內置方式更好。 您可以使用此獲取位圖。

        Camera.Parameters params = camera.getParameters();
        Camera.Size previewsize = params.getPreviewSize();
        YuvImage yuv = new YuvImage(data, ImageFormat.NV21, previewsize.width, previewsize.height, null);
        ByteArrayOutputStream stream = new ByteArrayOutputStream();
        
        yuv.compressToJpeg(new Rect(0,0,previewsize.width, previewsize.height), 100, stream);

        byte[] buf = stream.toByteArray();
        Bitmap bitmap = BitmapFactory.decodeByteArray(buf, 0, buf.length);