訪問ARCore中的圖像數據字節

Question

我創建了一個ARCore Session並通過Session #setCameraTextureName方法附加了一個OpenGL紋理id來顯示我的相機數據。 我想訪問紋理上顯示的攝像機圖像數據字節。

ARKit和Tango提供對每個幀的圖像字節的訪問，但似乎在ARCore API中沒有任何容易提供的東西。

在使用ARCore時，還有其他方法可以訪問圖像字節嗎？

Answer 1

也許這可以幫助你，我想以位圖的形式獲取相機視圖。 我在三星s8上測試過。

    int w=1080;
    int h = 2220;
    int b[]=new int[w*(0+h)];
    int bt[]=new int[w*h];
    IntBuffer ib = IntBuffer.wrap(b);
    ib.position(0);
    GLES20.glReadPixels(0, 0, w, h, GLES20.GL_RGBA, GLES20.GL_UNSIGNED_BYTE, ib);

    for(int i=0, k=0; i<h; i++, k++)
    {//remember, that OpenGL bitmap is incompatible with Android bitmap
        //and so, some correction need.
        for(int j=0; j<w; j++)
        {
            int pix=b[i*w+j];
            int pb=(pix>>16)&0xff;
            int pr=(pix<<16)&0x00ff0000;
            int pix1=(pix&0xff00ff00) | pr | pb;
            bt[(h-k-1)*w+j]=pix1;
        }
    }

    sb=Bitmap.createBitmap(bt, w, h, Bitmap.Config.ARGB_8888);

Answer 2

目前，訪問圖像數據的最佳選擇可能是將紋理繪制到渲染緩沖區並將glReadPixels用於持久映射像素解包緩沖區。 使用fence同步來檢測glReadPixels何時完成。

另一種選擇是使用計算着色器並直接寫入 持久映射的 SSBO。

后者可能是更少的副本（即使你在glReadPixels之后使它無效，渲染緩沖像素仍然可以命中DRAM），但它也是一個不太常見的代碼路徑並導致渲染/計算轉換，所以我沒有直覺關於哪種方法會更有效率。

Answer 3

從ARCore v1.1.0開始，有一個API可以訪問當前幀的圖像字節：

https://developers.google.com/ar/reference/java/com/google/ar/core/Frame.html#acquireCameraImage（）