![](/img/trans.png)
[英]Import a CNN model from Matlab (Matconvnet) to Python (Keras)
[英]Can't replicate a matconvnet CNN architecture in Keras
我在matconvnet中有以下卷積神經網絡的架構,我用它來訓練我自己的數據:
function net = cnn_mnist_init(varargin)
% CNN_MNIST_LENET Initialize a CNN similar for MNIST
opts.batchNormalization = false ;
opts.networkType = 'simplenn' ;
opts = vl_argparse(opts, varargin) ;
f= 0.0125 ;
net.layers = {} ;
net.layers{end+1} = struct('name','conv1',...
'type', 'conv', ...
'weights', {{f*randn(3,3,1,64, 'single'), zeros(1, 64, 'single')}}, ...
'stride', 1, ...
'pad', 0,...
'learningRate', [1 2]) ;
net.layers{end+1} = struct('name','pool1',...
'type', 'pool', ...
'method', 'max', ...
'pool', [3 3], ...
'stride', 1, ...
'pad', 0);
net.layers{end+1} = struct('name','conv2',...
'type', 'conv', ...
'weights', {{f*randn(5,5,64,128, 'single'),zeros(1,128,'single')}}, ...
'stride', 1, ...
'pad', 0,...
'learningRate', [1 2]) ;
net.layers{end+1} = struct('name','pool2',...
'type', 'pool', ...
'method', 'max', ...
'pool', [2 2], ...
'stride', 2, ...
'pad', 0) ;
net.layers{end+1} = struct('name','conv3',...
'type', 'conv', ...
'weights', {{f*randn(3,3,128,256, 'single'),zeros(1,256,'single')}}, ...
'stride', 1, ...
'pad', 0,...
'learningRate', [1 2]) ;
net.layers{end+1} = struct('name','pool3',...
'type', 'pool', ...
'method', 'max', ...
'pool', [3 3], ...
'stride', 1, ...
'pad', 0) ;
net.layers{end+1} = struct('name','conv4',...
'type', 'conv', ...
'weights', {{f*randn(5,5,256,512, 'single'),zeros(1,512,'single')}}, ...
'stride', 1, ...
'pad', 0,...
'learningRate', [1 2]) ;
net.layers{end+1} = struct('name','pool4',...
'type', 'pool', ...
'method', 'max', ...
'pool', [2 2], ...
'stride', 1, ...
'pad', 0) ;
net.layers{end+1} = struct('name','ip1',...
'type', 'conv', ...
'weights', {{f*randn(1,1,256,256, 'single'), zeros(1,256,'single')}}, ...
'stride', 1, ...
'pad', 0,...
'learningRate', [1 2]) ;
net.layers{end+1} = struct('name','relu',...
'type', 'relu');
net.layers{end+1} = struct('name','classifier',...
'type', 'conv', ...
'weights', {{f*randn(1,1,256,2, 'single'), zeros(1,2,'single')}}, ...
'stride', 1, ...
'pad', 0,...
'learningRate', [1 2]) ;
net.layers{end+1} = struct('name','loss',...
'type', 'softmaxloss') ;
% optionally switch to batch normalization
if opts.batchNormalization
net = insertBnorm(net, 1) ;
net = insertBnorm(net, 4) ;
net = insertBnorm(net, 7) ;
net = insertBnorm(net, 10) ;
net = insertBnorm(net, 13) ;
end
% Meta parameters
net.meta.inputSize = [28 28 1] ;
net.meta.trainOpts.learningRate = [0.01*ones(1,10) 0.001*ones(1,10) 0.0001*ones(1,10)];
disp(net.meta.trainOpts.learningRate);
pause;
net.meta.trainOpts.numEpochs = length(net.meta.trainOpts.learningRate) ;
net.meta.trainOpts.batchSize = 256 ;
net.meta.trainOpts.momentum = 0.9 ;
net.meta.trainOpts.weightDecay = 0.0005 ;
% --------------------------------------------------------------------
function net = insertBnorm(net, l)
% --------------------------------------------------------------------
assert(isfield(net.layers{l}, 'weights'));
ndim = size(net.layers{l}.weights{1}, 4);
layer = struct('type', 'bnorm', ...
'weights', {{ones(ndim, 1, 'single'), zeros(ndim, 1, 'single')}}, ...
'learningRate', [1 1], ...
'weightDecay', [0 0]) ;
net.layers{l}.biases = [] ;
net.layers = horzcat(net.layers(1:l), layer, net.layers(l+1:end)) ;
我想要做的是在Keras建立相同的架構,這是我到目前為止所嘗試的:
model = Sequential()
model.add(Conv2D(64, (3, 3), strides=1, input_shape=input_shape))
model.add(MaxPooling2D(pool_size=(3, 3), strides=1))
model.add(Conv2D(128, (5, 5), strides=1))
model.add(MaxPooling2D(pool_size=(2, 2), strides=2))
model.add(Conv2D(256, (3, 3), strides=1))
model.add(MaxPooling2D(pool_size=(3, 3), strides=1))
model.add(Conv2D(512, (5, 5), strides=1))
model.add(MaxPooling2D(pool_size=(2, 2), strides=1))
model.add(Conv2D(256, (1, 1)))
convout1=Activation('relu')
model.add(convout1)
model.add(Flatten())
model.add(Dense(num_classes, activation='softmax'))
opt = keras.optimizers.rmsprop(lr=0.0001, decay=0.0005)
model.compile(loss='categorical_crossentropy', optimizer=opt, metrics=['binary_accuracy'])
但是,當我運行matconvnet網絡時,我有87%的准確率,如果我運行keras版本,我有77%的准確率。 如果他們應該是同一個網絡並且數據是相同的,那么區別在哪里? 我的Keras架構出了什么問題?
在MatConvNet版本中,您可以使用SGD。
在Keras中,您使用rmsprop
根據不同的學習規則,您應該嘗試不同的學習率。 在培訓CNN時,有時候動量也很有幫助。
你能嘗試一下Keras的SGD +勢頭,讓我知道會發生什么嗎?
另一件可能不同的是初始化。 例如,在MatConvNet中,您使用高斯初始化,其中f = 0.0125作為標准偏差。 在Keras我不確定默認初始化。
通常,如果不使用批量規范化,則網絡容易出現許多數值問題。 如果你在兩個網絡中使用批量標准化,我敢打賭結果會是相似的。 你有什么理由不想使用批量標准化嗎?
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.