对于矩阵乘法，Eigen + MKL比Matlab慢

Question

我在C ++程序中进行了大量的矩阵乘法，并使用与英特尔MKL（2018.3.222）链接的Eigen（3.3.5）。 我使用MKL的顺序版本，并禁用OpenMP。 问题是它比Matlab慢。

一些示例代码：

#define NDEBUG
#define EIGEN_USE_MKL_ALL

#include <iostream>
#include <chrono>
#include <Core>

using namespace Eigen;
using namespace std;

int main(){
    MatrixXd jac = 100*MatrixXd::Random(10*1228, 2850);
    MatrixXd res = MatrixXd::Zero(2850, 2850);

    for (int i=0; i<10; i++){
        auto begin = chrono::high_resolution_clock::now();
        res.noalias() = jac.transpose()*jac;
        auto end = chrono::high_resolution_clock::now();

        cout<<"time: "<<chrono::duration_cast<chrono::milliseconds>(end-begin).count() <<endl;
    }

    return 0;
}

它平均报告大约8秒。 用-O3编译，在Ubuntu 16.04上用g ++ 6.4编译没有调试符号。

Matlab代码：

m=100*(-1+2*rand(10*1228, 2850));
res = zeros(2850, 2850);
tic; res=m'*m; toc

它报告约4秒，这是两倍快。 我在与maxNumCompThreads（1）相同的系统上使用了Matlab R2017a。 Matlab使用MKL 11.3。

如果没有MKL并仅使用Eigen，则需要大约18秒。 我该怎么做才能将C ++的运行时间降低到与Matlab相同的值？ 谢谢。

稍后编辑：正如@Qubit建议的那样，Matlab认识到我正在尝试将矩阵与其转置相乘并进行一些“隐藏”优化。 当我在Matlab中乘以两个不同的矩阵时，时间上升到那8秒。 所以，现在问题变成了：我怎么能告诉Eigen这个矩阵产品是“特殊的”并且可以进一步优化？

后来编辑2：我尝试这样做：

MatrixXd jac = 100*MatrixXd::Random(10*1228, 2850);
MatrixXd res = MatrixXd::Zero(2850, 2850);

auto begin = chrono::high_resolution_clock::now();
res.selfadjointView<Lower>().rankUpdate(jac.transpose(), 1);
res.triangularView<Upper>() = res.transpose();
auto end = chrono::high_resolution_clock::now();

MatrixXd oldSchool = jac.transpose()*jac;
if (oldSchool.isApprox(res)){
    cout<<"same result!"<<endl;
}
cout<<"time: "<<chrono::duration_cast<chrono::milliseconds>(end-begin).count() <<endl;

但现在需要9.4秒（这是经典产品没有MKL所需的Eigen的一半）。 禁用MKL对此时间没有时间影响，因此我认为'rankUpdate'方法不使用MKL？！？

上次编辑：我在eigen头文件中发现了一个错误：

Core/products/GeneralMatrixMatrixTriangular_BLAS.h

在第55行。有一个错位的括号。 我改变了这个：

if ( lhs==rhs && ((UpLo&(Lower|Upper)==UpLo)) ) { \

对此：

if ( lhs==rhs && ((UpLo&(Lower|Upper))==UpLo) ) { \

现在，我的C ++版本和Matlab具有相同的执行速度（在我的系统上约为4秒）。

Answer 1

真的是答案，因为你已经找到了问题，但有些意见：

1. 问题Core/products/GeneralMatrixMatrixTriangular_BLAS.h已经在devel分支中得到修复，但事实证明它从未被包含到3.3分支中。

2. 这个问题现在已在3.3分支中修复 。 修复将是3.3.6的一部分。

3. 单线程模式下内置Eigen和MKL之间的加速因子x2没有意义。 除了-O3 -DNDEBUG之外，通过使用-march=native进行编译，确保启用CPU支持的所有功能。 在我的Haswell 2.6GHz上，我得到3.4s vs 3s。