将opencv图像cv :: Mat格式转换为C＃BitmapImage

Question

我编写了此示例代码来解释我的问题。 我在VS 2013中有一个解决方案，包含一个C＃项目和一个C ++项目。 我尝试在C ++（x86）中使用OpenCV读取图像。 并想要传递到C＃x86项目（使用CLR模式）中的“位图对象”和“ BitmapImage对象”中，以用作WPF ImageSource。
我的C ++代码：

Bitmap^ SomeClass::Test(System::String^ imgFileName)
{
    auto fileName = msclr::interop::marshal_as<string>(imgFileName);
    Mat img = imread(fileName);
    //Do something
    auto bmp = gcnew Bitmap(img.cols, img.rows, img.step, Imaging::PixelFormat::Format24bppRgb, (IntPtr)img.data);
    bmp->Save("InC++Side.png");     
    return bmp;
}

我的C＃代码：

private void ImageTester(object sender, RoutedEventArgs e)
{
    var image = testClass.Test("test.png");
    image.Save("InC#Side.png");
    bg.Source = ConvertToBitmapImageFromBitmap(image);
}
public static BitmapImage ConvertToBitmapImageFromBitmap(Bitmap image)
{
    using(var ms = new MemoryStream())
    {
        image.Save(ms, System.Drawing.Imaging.ImageFormat.Png);
        BitmapImage bImg = new BitmapImage();
        bImg.BeginInit();
        bImg.StreamSource = new MemoryStream(ms.ToArray());
        bImg.EndInit();
        return bImg;
    }
}

问题是C ++（InC ++ Side.png）保存的文件是完美的； 但是另一个用C＃表示的位图对象只是一个带有该图像的高度和宽度的灰色矩形。
问题出在哪儿？
如何将图片传递给C＃项目？

Answer 1

我认为这是一个很老的问题，但是我刚刚遇到了类似的任务。 我相信与其将非托管资源保持活动状态并在托管代码中使用它，不如将数据复制到托管堆并让CLR处理它，这更好。 这是我的方法：

System::Windows::Media::ImageSource^ ManagedCppClass::GetLatestImage()
{
    cv::Mat frame;
    if (!videoSrc->read(frame))
        return nullptr;

    int totSize = frame.total() * frame.elemSize();
    auto managedArray = gcnew array<System::Byte>(totSize);
    System::Runtime::InteropServices::Marshal::Copy(System::IntPtr((void*)frame.data), 
                                                    managedArray, 0, totSize); //assume isContinuous is always true at this point (?)

    return System::Windows::Media::Imaging::BitmapImage::Create(
                frame.cols, frame.rows, 96, 96, System::Windows::Media::PixelFormats::Bgr24, //Rgb24,
                System::Windows::Media::Imaging::BitmapPalettes::WebPalette, managedArray, frame.step);
}

也许它将对将来偶然发现它的人有所帮助。

Answer 2

看来问题出在共享内存上。
Mat和Bitmap在C++中共享内存。 因此，当Mat对象损坏时， Bitmap对象将无法访问数据。 这就是为什么其数据在C ++方面正确，但在C＃方面却一无所有的原因。
为了解决这个问题，我使用了static Mat 。 它永远不会发布，但可以解决我的问题。