为什么GPU上的乘法比CPU慢？

Question

这是我的代码（模拟前馈神经网络）：

import torch
import time

print(torch.cuda.is_available())    # True
device = torch.device('cuda:0' )

a = torch.tensor([1,2,3,4,5,6]).float().reshape(-1,1)
w1 = torch.rand(120,6)
w2 = torch.rand(1,120)
b1 = torch.rand(120,1)
b2 = torch.rand(1,1).reshape(1,1)

start = time.time()
for _ in range(100000):
    ans = torch.mm(w2, torch.mm(w1,a)+b1)+b2
end = time.time()
print(end-start)                    # 1.2725720405578613 seconds

a = a.to(device)
w1 = w1.to(device)
w2 = w2.to(device)
b1 = b1.to(device)
b2 = b2.to(device)

start = time.time()
for _ in range(100000):
    ans = torch.mm(w2, torch.mm(w1,a)+b1)+b2
end = time.time()
print(end-start)                    # 5.6569812297821045 seconds

我不知道如果我做了错误的方式还是什么，我怎么可以改变我的代码表明，GPU的速度更快然后在矩阵乘法CPU？

Answer 1

原因可能有很多：

1. 你的模型很简单。
2. 对于 GPU 计算，存在与 GPU 内存之间的内存传输成本
3. 您的计算是在小数据批次上进行的，可能有更大的数据样本，您应该会在 GPU 上看到比 CPU 更好的性能
4. 我们不应该忘记的缓存，计算出同样的操作了一遍又一遍，也许效果会更好生成随机a每次运行张量

这是 pytorch 论坛上的一个主题： https ://discuss.pytorch.org/t/cpu-faster-than-gpu/25343

你也应该使用更好的分析器，就像在这个线程中解释的那样： https ://discuss.pytorch.org/t/how-to-measure-time-in-pytorch/26964

Answer 2

CPU 到 GPU 的传输会带来开销。 您还可以观察到，与前面的模型相比，第一层模型花费了大量时间。

因为，张量首先从主机内存转移到 GPU 内存。 然后，cuda 内核对 CUDA 内存中的张量执行操作。