在Caffe導入錯誤中加載自定義Python層

Question

我已經在Python（maskextractor.py）中編寫了自己的Caffe層。 從頭開始訓練網絡時，它運作良好。 但是一旦我嘗試從保存的網絡進行微調：

../caffe/build/tools/caffe train -solver solverFCN8s_MCN_newmodule.prototxt -snapshot snapshot/train8MCNs_borders_pascal_maskextractor_iter_1.solverstate

我得到的錯誤是新圖層的導入失敗：

I1127 09:38:40.254966  3102 layer_factory.hpp:77] Creating layer maskextractor
ImportError: No module named mask_extractor
terminate called after throwing an instance of 'boost::python::error_already_set'
*** Aborted at 1511775520 (unix time) try "date -d @1511775520" if you are using GNU date ***

顯然，Caffe找不到新層。 我已經通過sys.path.insert將其添加到Pythonpath中，然后將其復制到caffe/python/caffe/重新編譯的pycaffe中，但它也無濟於事。

編輯：這只會在我微調時發生。 如果我從求解器開始：

import numpy as np
from PIL import Image
import os, sys
caffe_dir = "/home/ICTDOMAIN/453615/Downloads/caffe/python"
sys.path.insert(0,caffe_dir)
import caffe
newmodule_dir = "../lib/mask_extractor"
sys.path.insert(0, newmodule_dir)
import mask_extractor
#
caffe.set_mode_gpu()
caffe.set_device(0)

# continue from the saved weights
weights = 'snapshot/train8MCNs_borders_pascal_adadelta_maskextractor_new_iter_1.caffemodel'
solver=caffe.get_solver('solverFCN8s_MCN_adadelta_maskextractor_new.prototxt')
solver.net.copy_from(weights)

solver.solve()

一切正常。 但我想從他的快照繼續訓練。 在這種情況下，我得到上面的錯誤。 PythonPath看起來像

print sys.path

 ['/home/ICTDOMAIN/453615/Downloads/caffe/python', '../lib/mask_extractor', '/home/ICTDOMAIN/453615/Downloads/caffe/python', '/home/ICTDOMAIN/453615/Downloads/fcn.berkeleyvision.org/voc-fcn8s', '/usr/lib/python2.7', '/usr/lib/python2.7/plat-x86_64-linux-gnu', '/usr/lib/python2.7/lib-tk', '/usr/lib/python2.7/lib-old', '/usr/lib/python2.7/lib-dynload', '/usr/local/lib/python2.7/dist-packages', '/usr/local/lib/python2.7/dist-packages/mxnet-0.9.5-py2.7.egg', '/usr/local/lib/python2.7/dist-packages/fast_rcnn-0.0.0-py2.7-linux-x86_64.egg', '/usr/lib/python2.7/dist-packages', '/usr/lib/python2.7/dist-packages/PILcompat', '/usr/lib/python2.7/dist-packages/gtk-2.0', '/usr/lib/python2.7/dist-packages/ubuntu-sso-client']

編輯2：這是sys.path和導入的樣子

from subprocess import call
import numpy as np
from PIL import Image
import os, sys
#caffe_dir = "/home/ICTDOMAIN/453615/Downloads/caffe-crfrnn/python"
#caffe_dir = "/home/ICTDOMAIN/453615/Downloads/caffe/python"
#sys.path.insert(0,caffe_dir)
#import caffe
newmodule_dir = "/home/ICTDOMAIN/453615/Downloads/fcn.berkeleyvision.org/lib/mask_extractor"
sys.path.insert(0, newmodule_dir)
import mask_extractor
#import caffe
#
caffe.set_mode_gpu()
caffe.set_device(0)
print sys.path
# continue from the saved weights

call('/home/ICTDOMAIN/453615/Downloads/fcn.berkeleyvision.org/voc-fcn8s/run_ft.sh', shell=True)'

和sys.path現在

'/home/ICTDOMAIN/453615/Downloads/caffe/python', '/home/ICTDOMAIN/453615/Downloads/fcn.berkeleyvision.org/lib/mask_extractor'

然而，完全相同的問題仍然存在。 如前所述，僅當我從tools目錄調用caffe時才會出現這種情況。 當我使用求解器而不是SolverState創建Caffe Net時，未報告任何問題。

Answer 1

第1步：確保可以從Python導入圖層

為了測試您的python代碼，您應該能夠打開python並from module_name import layer_name中鍵入from module_name import layer_name其中module_name和layer_name是您在prototxt定義中使用的名稱。

如所示，您通過了此步驟。

第2步：確保您的PYTHONPATH有效

如果您的PYTHONPATH有效，則應該可以轉到caffe可執行文件的目錄，然后導入模塊。 執行此步驟會得到什么結果？

PYTHONPATH的路徑應全部為絕對路徑。