统一3d捕获每帧图像

Question

我正在研究一种基于手势识别的算法。 我发现这种算法，并使用C＃脚本在Winform上运行。 我需要在游戏中使用相同的技术来通过网络摄像头执行手势检测。 我试图在游戏脚本中使用该算法，但无法使用该算法捕获任何图像。 下面是我当前正在处理的代码。 我正在使用aForge.net框架来实现运动检测的想法。 位图图像始终返回null。 但是，在winform中使用相同的算法，它会在每帧更改时捕获图像。 我知道有一种统一使用PhotoCapture的技术，但是我不确定如何在运行时在每一帧上使用它。 每个指导表示赞赏。 谢谢！

OpenCamera.cs

using AForge.GestureRecognition;
using System.Collections;
using System.Collections.Generic;
using System.Drawing;
using UnityEngine;
using System.Drawing.Design;
using UnityEngine.VR.WSA.WebCam;
using System.Linq;
using System;

public class OpenCamera : MonoBehaviour {

    // statistics length
    private const int statLength = 15;
    Bitmap image;
    PhotoCapture photoCaptureObject = null;
    Texture2D targetTexture = null;
    // current statistics index
    private int statIndex = 0;
    // ready statistics values
    private int statReady = 0;
    // statistics array
    private int[] statCount = new int[statLength];
    private GesturesRecognizerFromVideo gesturesRecognizer = new GesturesRecognizerFromVideo();
    private Gesture gesture = new Gesture();
    private int gestureShowTime = 0;

    // Use this for initialization
    void Start()
    {

        WebCamTexture webcamTexture = new WebCamTexture();
        Renderer renderer = GetComponent<Renderer>();
        renderer.material.mainTexture = webcamTexture;
        webcamTexture.Play();

    }




    // Update is called once per frame
    void Update ()
    {

        gesturesRecognizer.ProcessFrame(ref image);

        // check if we need to draw gesture information on top of image
        if (gestureShowTime > 0)
        {
            if ((gesture.LeftHand == HandPosition.NotRaised) || (gesture.RightHand != HandPosition.NotRaised))
            {
                System.Drawing.Graphics g = System.Drawing.Graphics.FromImage(image);

                string text = string.Format("Left  = " + gesture.LeftHand + "\nRight = " + gesture.RightHand);

                System.Drawing.Font drawFont = new System.Drawing.Font("Courier", 13, System.Drawing.FontStyle.Bold);
                SolidBrush drawBrush = new SolidBrush(System.Drawing.Color.Blue);

                g.DrawString(text, drawFont, drawBrush, new PointF(0, 5));

                drawFont.Dispose();
                drawBrush.Dispose();

                g.Dispose();
            }
            gestureShowTime--;
        }
    }
}

Answer 1

正如评论中提到的那样（我现在无法答复），这些库总是非常依赖system.drawing库，它们只是Windows的一种。

您可以尝试的是下载图形库dll（或从系统文件夹复制）到您的统一项目（它是托管代码，因此它将在每个可导出平台上运行）以保留引用。 然后，您可以在每帧（rendertextures左右）捕获一个texture2d并将这些像素绘制到一个位图中，该位图将被馈送到库中。

请注意，每帧复制数千个像素确实非常繁琐。 您必须将UnityEngine.Color转换为System.Drawing.Color ...

这是可能可行的简易解决方案。 但绝对不是一个好的最终结果。