Google colab gpu 執行代碼耗時過長

Question

我正在 Google Colab 中進行計算。 我將運行時類型更改為 GPU。 但是，在使用 GPU 時，執行代碼所需的時間沒有明顯變化。

我的問題是，我們是否必須以特定方式編寫代碼才能利用 GPU 的並行化能力？

我沒有做任何花哨的事情。 我沒有從驅動器或任何其他顯然占用大量時間的地方獲取任何數據。

Answer 1

您是否嘗試過使用配置文件運行代碼以測量哪些部分正在消耗運行時？

%prun單元格魔法使這非常容易。 這是一個例子：

在此處復制代碼：

def sum_of_lists(N):
    total = 0
    for i in range(5):
        L = [j ^ (j >> i) for j in range(N)]
        total += sum(L)
    return total

然后，要收集示例運行時配置文件，

%prun sum_of_lists(1000000)