在将MATLAB稀疏过滤移植到F＃时，我应该使用什么解算器来替换minFunc

Question

我有以下稀疏过滤MATLAB代码 ，我想移植到F＃。 我知道MATLAB的F＃Type Provider，但是不能在这里使用它因为它会在MATLAB上创建依赖（我可以用它来测试）

function [optW] = SparseFiltering(N, X);
   % N = # features to learn, X = input data (examples in column)
   % You should pre-process X by removing the DC component per example,
   % before calling this function.
   % e.g., X = bsxfun(@minus, X, mean(X));
   addpath minFunc/ % Add path to minFunc optimization package
   optW = randn(N, size(X, 1));
   optW = minFunc(@SparseFilteringObj, optW(:), struct('MaxIter', 100), X, N);
   optW = reshape(optW, [N, size(X, 1)]);
end

function [Obj, DeltaW] = SparseFilteringObj (W, X, N)
   % Reshape W into matrix form
   W = reshape(W, [N, size(X,1)]);
   % Feed Forward
   F = W*X; % Linear Activation
   Fs = sqrt(F.ˆ2 + 1e-8); % Soft-Absolute Activation
   [NFs, L2Fs] = l2row(Fs); % Normalize by Rows
   [Fhat, L2Fn] = l2row(NFs'); % Normalize by Columns
   % Compute Objective Function
   Obj = sum(sum(Fhat, 2), 1);
   % Backprop through each feedforward step
   DeltaW = l2grad(NFs', Fhat, L2Fn, ones(size(Fhat)));
   DeltaW = l2grad(Fs, NFs, L2Fs, DeltaW');
   DeltaW = (DeltaW .* (F ./ Fs)) * X';
   DeltaW = DeltaW(:);
end

function [Y,N] = l2row(X) % L2 Normalize X by rows
   % We also use this to normalize by column with l2row(X')
   N = sqrt(sum(X.ˆ2,2) + 1e-8);
   Y = bsxfun(@rdivide,X,N);
end

function [G] = l2grad(X,Y,N,D) % Backpropagate through Normalization
   G = bsxfun(@rdivide, D, N) - bsxfun(@times, Y, sum(D.*X, 2) ./ (N.ˆ2));
end

我理解大部分的MATLAB代码，但我不确定MATLAB的minFunc在.Net中的等价物。 我相信我想要一个Microsoft.SolverFoundation.Solvers 。 根据MATLAB的网站

... minFunc的默认参数调用准牛顿策略，其中使用Shanno-Phua缩放的有限内存BFGS更新用于计算步进方向，并且使用包围线搜索满足强Wolfe条件的点计算步进方向。 在线搜索中，（安全保护的）三次插值用于生成试验值，并且该方法切换到Armijo反向跟踪线搜索迭代，其中目标函数进入参数不产生实值输出的区域

鉴于以上信息，任何人都可以确认Microsoft.SolverFoundation.Solvers.CompactQuasiNewtonModel是正确的方法吗？

此外，将上述代码移植到F＃时还有其他明显的“陷阱”吗？ （这种类型的端口新）

Answer 1

我认为CompactQuasiNewtonSolver是你最好的选择。 如果你看一下SolverFoundation的样本 ，就会有CQN示例演示如何实现和解决Rosenbrock函数。 它的结果与我在minFunc的Rosenbrock示例中看到的结果一致 。 上面的示例是C＃; 但它应该很容易翻译成F＃。

此外，将上述代码移植到F＃时还有其他明显的“陷阱”吗？ （这种类型的端口新手）？

你可能需要一个好的线性代数包来接近MATLAB代码。 Math.Net似乎是一个理想的选择，因为它具有良好的F＃支持。

或者，您可以使用Accord.NET框架重新实现代码。 该框架具有L-BFGS算法的实现，用于机器学习中的优化，因此它更接近您的目的。