如何將圖像（Texture2D）轉換為張量

Question

我有 c# TensorFlow.NET 在 Unity 中工作。 但它使用文件系統中的圖像。 我希望能夠使用來自 memory (Texture2D) 的圖像。

我嘗試關注一些使用 TensorFlowSharp 的人的例子。 但這沒有用。

我究竟做錯了什么？

注意：對於這兩個功能，我使用的是相同的圖像。 圖像為 512x512。 但兩張照片的結果是不同的。

// Doesn't work
private NDArray FromTextureToNDArray(Texture2D texture) {
    Color32[] pixels = texture.GetPixels32();

    byte[] floatValues = new byte[(texture.width * texture.height) * 3];

    for (int i = 0; i < pixels.Length; i++) {
        var color = pixels[i];

        floatValues[i * 3] = color.r;
        floatValues[i * 3 + 1] = color.g;
        floatValues[i * 3 + 2] = color.b;
    }

    Shape shape = new Shape(1, texture.width, texture.height, 3);
    NDArray image = new NDArray(floatValues, shape);

    return image;
}

// Works
private NDArray ReadFromFile(string fileName) {
    var graph = new Graph().as_default();

    // Change image
    var file_reader = tf.read_file(fileName, "file_reader");
    var decodeJpeg = tf.image.decode_jpeg(file_reader, channels: 3, name: "DecodeJpeg");

    var casted = tf.cast(decodeJpeg, TF_DataType.TF_UINT8);
    var dims_expander = tf.expand_dims(casted, 0);
    using (var sess = tf.Session(graph)) {
        return sess.run(dims_expander);
    }
}

Answer 1

我最終使用了Shaqian的這段代碼： https://github.com/shaqian/TF-Unity/blob/master/TensorFlow/Utils.cs

將此腳本添加到您的項目中，然后您可以像這樣使用它：

// Get image
byte[] imageData = Utils.DecodeTexture(texture, texture.width, texture.height, 0, Flip.VERTICAL);
Shape shape = new Shape(1, texture.width, texture.height, 3);
NDArray image = new NDArray(imageData, shape);

Answer 2

使用梭子魚作為中間步驟。

var encoder = new Unity.Barracuda.TextureAsTensorData(your_2d_texture);