如何在 C++ 中将 TF_Tensor 转换为 opencv Mat？

Question

我正在尝试将 Python Tensorflow model 移植到 ZF6F87C9FDCF8B3C3F07F93F1EE8。 在此过程中，我需要将 TF_Tensor class 转换为 cv::Mat。

我创建了 output 张量，如下所示。

TF_Tensor** OutputValues = (TF_Tensor**)malloc(sizeof(TF_Tensor*) * NumOutputs);

然后我加载了 model 和 session 成功完成，但我未能将 OutputValues 转换为 cv::Mat。

我通过下面的代码获得了指向数据缓冲区的指针。

const float* camBuf = (float*)TF_TensorData(*OutputValues);

但是当我尝试通过下面的代码创建 cv::Mat 时，

cv::Mat testInputImage(
        80,
        80,
        3,
        TF_TensorData(*OutputValues)
    );

图像未正确生成。

我找不到任何对 TF_Tensor 数据结构的引用，所以我寻求帮助。

Answer 1

try :

cv::Mat mat(width, height, CV_32F);
std::memcpy((void *)mat.data, camBuf , sizeof(TF_Tensor*) * NumOutputs);

Answer 2

通过做：

cv::Mat testInputImage(80, 80, CV_32FC(3), TF_TensorData(*OutputValues));

您正在将现有数据“包装”在cv::Mat中，从而避免复制。 请注意，第三个参数应该是CV_32FC(3) （32 位浮点图像，具有 3 个通道）。 如果OutputValues是TF_Tensor**类型，并且基础TF_Tensor包含适当的数据，则此方法应该有效。

但是，我不认为这是：

TF_Tensor** OutputValues = (TF_Tensor**)malloc(sizeof(TF_Tensor*) * NumOutputs);

是分配 TF_Tensor 的合适方式； 我认为您应该改用TF_AllocateTensor 。

综上所述，如果您使用的是 C++，您可以考虑使用tf::Tensor API 而不是TF_Tensor （用于 Z0D61F8370CAD1D412F80B84D143E1257，不太常见）。

您省略了一些细节，但假设您的张量是 4 维的（很常见），具有 float32 值，并且布局为 NxHxWxC（换句话说，张量包含一组浮动图像）。 如果要将批处理中的idx元素转换为cv::Mat ，可以这样做：

tf::Tensor tensor = /* tensor from somewhere */;
int idx = /* index of the image in the batch */;

int batch_size = tensor.dim_size(0);
int rows = tensor.dim_size(1);                                                
int cols = tensor.dim_size(2);                                                
int channels = tensor.dim_size(3);                                            
int row_size = channels * cols * sizeof(float);                               
                                                                                
cv::Mat image(rows, cols, CV_32FC(channels));                                
auto tensor_mapped = tensor.tensor<float, 4>();                       
for (int r = 0; r < rows; ++r) {                                              
  float* row = reinterpret_cast<float*>(mat.data + r * row_size);            
  for (int c = 0; c < cols; ++c) {                                  
    for (int k = 0; k < channels; ++k) {                                      
      row[k + c * channels] = tensor_mapped(idx, r, c, k);                    
    }                                                                         
  }                                                                           
}