android wifi直接實時攝像頭視頻流

Question

我已經在兩個 Android 設備之間建立了 wifi 直接 p2p 連接，以 720x480 的分辨率將實時攝像頭從設備 A 流式傳輸到設備 B。 它工作正常，但非常不穩定，即使在近距離（<1m）。 有時它是~15fps，然后幾秒鍾它會下降到~3fps（只是一個猜測）。 基本功能是 PreviewCallback 的 OnPreviewFrame 內的一個 Runnable 線程，它使用 YuvImage() 將預覽幀壓縮為 JPEG 並將其寫入 OutputStream。

我的問題是：有沒有更有效的方法來做到這一點？ 我不需要驚人的幀速率（mabye 20 ...？）。 它只需要更加一致。

        private PreviewCallback previewCb_ = new PreviewCallback() {

    public void onPreviewFrame(byte[] data, Camera c) {

        frame = data;
        imageFormat = c.getParameters().getPreviewFormat();

        if (!socket.isClosed()) {

            mHandler.post(new Runnable() {
                public void run() {
                    if (stream != null){
                        try
                        {
                            //Log.d(ChooseFunction.TAG, "writing to stream");
                            buffer.reset();
                            synchronized(frame){
                                new YuvImage(frame, imageFormat, CameraView.IMG_WIDTH, CameraView.IMG_HEIGHT, null).compressToJpeg(area, 100, buffer);
                            }
                            buffer.flush();

                            // write the content header
                            stream.write(("--" + boundary + "\r\n" +
                                    "Content-type: image/jpg\r\n" +
                                    "Content-Length: " + buffer.size() +
                                    "\r\n\r\n").getBytes());



                            buffer.writeTo(stream);
                            stream.write("\r\n\r\n".getBytes());
                            stream.flush();
                        }
                        catch (IOException e)
                        {
                            Log.d(ChooseFunction.TAG, e.getMessage());
                        }
                    }
                }
            });
        }
    }
};

Answer 1

我已使用OpenCV進行此轉換，以提高將相機預覽數據轉換為位圖的性能。

//Use openCV manager or openCV native libs directly in your project
        Log.i(TAG, "Trying to load OpenCV library");
    if (!OpenCVLoader.initAsync(OpenCVLoader.OPENCV_VERSION_3_2_0, this, mOpenCVCallBack)) {
        Log.e(TAG, "Cannot connect to OpenCV Manager");
    }

private BaseLoaderCallback mOpenCVCallBack = new BaseLoaderCallback(this) {
    @Override
    public void onManagerConnected(int status) {
        switch (status) {
            case LoaderCallbackInterface.SUCCESS: {
                //Init mat object
                mYuv = new Mat(480 + 480 / 2, 640, CvType.CV_8UC1);
                mRgb = new Mat();
                Log.i(TAG, "OpenCV loaded successfully");
                OpenCVLoaded = true;
            }
            break;
            default: {
                super.onManagerConnected(status);
            }
            break;
        }
    }
};

if (OpenCVLoaded) {
                //put camera preview data in mat
                mYuv.put(0, 0, instantPhotoData);
                Imgproc.cvtColor(mYuv, mRgb, Imgproc.COLOR_YUV420sp2RGB, 4);

                // convert to bitmap:
                final Bitmap rawBitmap = Bitmap.createBitmap(mRgb.cols(), mRgb.rows(), Bitmap.Config.ARGB_8888);
                Utils.matToBitmap(mRgb, rawBitmap);
                previewImageView.setImageBitmap(rawBitmap);

                    }
                });
            }