[英]Matrix Multiplication on SYCL using 2D std::vector
我是 SYCL 和 C++ 的新手。 这是我使用 2D std::vector
进行简单矩阵乘法的内核。
void MatrixMulParallel(queue& q,
const std::vector<std::vector<double>>& a_host,
const std::vector<std::vector<double>>& b_host,
std::vector<std::vector<double>>& c_gpu) {
/*
To Multiply: C[M][P] = A[M][N] * B[N][P]
*/
PROFILE_FUNCTION();
try {
size_t M = a_host.size();
size_t N = a_host[0].size();
size_t P = b_host[0].size();
// Create device buffers for A, B, C
buffer a(a_host.data(), range<2>{M, N});
buffer b(b_host.data(), range<2>{N, P});
buffer c(c_gpu.data(), range<2>{M, P});
PROFILE_SCOPE("Starting Multiply on GPU");
std::cout << "GPU::Multiplying A and B into C.\n";
auto e = q.submit([&](handler& h) {
auto A = a.get_access<access::mode::read>(h);
auto B = b.get_access<access::mode::read>(h);
auto C = c.get_access<access::mode::write>(h);
h.parallel_for(range<2>{M, P}, [=](id<2> index) {
// index[0] allows accessing ROW index, index[1] is column index
int row = index[0];
int col = index[1];
auto sum = 0.0;
for (int i = 0; i < N; i++)
sum += A[row][i] * B[i][col]; // Error #1
C[index] = sum; // Error #2
});
});
e.wait();
}
catch (sycl::exception const& e) {
std::cout << "An exception is caught while multiplying matrices.\n";
terminate();
}
}
我收到两个错误,如下所示:
invalid operands to binary expression ('const std::vector<double, std::allocator<double>>' and 'const std::vector<double, std::allocator<double>>')
no viable overloaded '='
我尝试invalid operands for binary expression (...)
寻找类似于invalid operands for binary expression (...)
错误,但它们似乎都没有帮助调试我的特定情况。 也许是因为这对初学者不友好。
根据我目前的理解, a_host.data()
显示了一个返回类型std::vector<double>
(它不应该是std::vector< std::vector<double> >
吗?)。
我曾尝试使用静态已知大小的std::array
,并且它有效。
如何使用 2D std::vector
进行这项工作?
任何帮助,将不胜感激。
二维std::vector<std::vector<T>>
在内存中没有连续存储的元素。
更好的方法是声明大小为 M*N 的std::vector<T>
,即线性数组,并将它们作为连续块进行操作。
由于目标向量C
应该是 2D 的,因此创建一个在行和列中都有索引的内核。 SYCL index
实际上填满了可线性访问的内存块。
这是我使用std::vector
使其工作的方法:
template <typename T>
void MatrixMulParallelNaive(queue& q,
const std::vector<T>& a_host,
const std::vector<T>& b_host,
std::vector<T>& c_gpu) {
/*
To Multiply: C[M][P] = A[M][N] * B[N][P]
*/
PROFILE_FUNCTION();
try {
buffer<double, 1> a(a_host.data(), range<1>{a_host.size()}); // 1D
buffer<double, 1> b(b_host.data(), range<1>{b_host.size()}); // 1D
buffer<double, 2> c(c_gpu.data(), range<2>{M, P}); // Create 2D buffer
PROFILE_SCOPE("Starting Multiply on GPU");
std::cout << "GPU::Multiplying A and B into C.\n";
auto e = q.submit([&](handler& h) {
auto A = a.get_access<access::mode::read>(h);
auto B = b.get_access<access::mode::read>(h);
auto C = c.get_access<access::mode::write>(h);
h.parallel_for(range<2>{M, P}, [=](id<2> index) {
// Threading index that iterates over C.
int row = index[0];
int col = index[1];
auto sum = 0.0;
// Compute result of ONE element of C
for (int i = 0; i < N; i++)
sum += A[row * M + i] * B[i * N + col];
C[index] = sum;
});
});
e.wait();
}
catch (sycl::exception const& e) {
std::cout << "An exception is caught while multiplying matrices.\n";
terminate();
}
}
更一般地说,在进行 HPC 时避免非紧凑的数据结构。 与连续数组元素相比,它对内存层次结构不太友好,并且初始化复杂。 使用类似于md_span
和md_array
东西(基本上是类固醇上的 Fortran 数组 :-) )。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.