可以直接从gpu给Caffe或Caffe2输入数据吗？

Question

我已经阅读了caffe2教程并尝试了预训练模型。 我知道caffe2将利用GPU来运行模型/网络。 但是输入数据似乎总是从CPU（即主机）内存中给出的。 例如，在“ 加载预先训练的模型”中 ，加载模型后，我们可以通过

result = p.run([img])

但是，应在CPU作用域中读取图像“ img”。 我要寻找的是一个框架，该框架可以将图像（从视频解码后仍保留在GPU内存中）直接绘制到预测模型，而不是将其从GPU复制到CPU范围，然后再次传输到GPU进行预测结果。 Caffe或Caffe2是否为python或C ++提供了此类功能或接口？ 还是我需要给Caffe打补丁？ 谢谢你

---

这是我的解决方案：

我在tensor.h发现，功能ShareExternalPointer()可以完全满足我的要求。

以这种方式输入gpu数据，

pInputTensor->ShareExternalPointer(pGpuInput, InputSize);

然后通过运行预测网

pPredictNet->Run();

其中pInputTensor是预测网pPredictNet的入口张量

Answer 1

我认为您无法使用python接口在caffe中完成此操作。
但是我认为可以使用c ++来实现：在c ++中，您可以访问Blob的mutable_gpu_data() 。 您可以编写在设备上运行的代码，然后直接从gpu“填充”输入Blob的mutable_gpu_data() 。 完成此更新后，caffe应该能够从此处继续其net->forward() 。

UPDATE
2017年9月19日， PR＃5904合并为master。 此PR通过python接口公开blob的GPU指针。
您可以直接从python直接访问blob._gpu_data_ptr和blob._gpu_data_ptr ， blob._gpu_diff_ptr 自负 。

Answer 2

正如您已经指出的那样，使用Python层会强制数据进出GPU，这会对性能造成巨大影响。 这不仅适用于Caffe，而且适用于其他框架。 要详细说明Shai的答案，您可以查看有关向Caffe添加C ++层的分步教程 。 给出的示例应涉及与层实现有关的大多数问题。 披露：我是作者。