我應該在 Google Cloud Platform (GCP) 上使用哪個 GPU

Question

現在，我正在寫我的碩士論文，我需要在 GCP 上訓練一個巨大的 Transformer model。 而訓練深度學習模型最快的方法是使用 GPU。 所以，我想知道在 GCP 提供的 GPU 中我應該使用哪個？ 目前可用的有：

• NVIDIA® A100
• 英偉達® T4
• 英偉達® V100
• 英偉達® P100
• 英偉達® P4
• 英偉達® K80

Answer 1

這完全取決於您要尋找的特征是什么。

首先，讓我們收集一些關於這些不同 GPU 型號的信息，看看哪一個最適合您。 您可以搜索每個模型的名稱並查看其特征。 我這樣做了，並創建了下表：

Model	FP32 (TFLOPS)	價格	TFLOPS/美元
英偉達 A100	19.5	2.933908	6.646425178
英偉達特斯拉 T4	8.1	0.35	23.14285714
英偉達特斯拉 P4	5.5	0.6	9.166666667
英偉達特斯拉 V100	14	2.48	5.64516129
英偉達特斯拉 P100	9.3	1.46	6.369863014
英偉達特斯拉 K80	8.73	0.45	19.4

在上表中，您可以看到：

• FP32 ：代表32 位浮點數，用於衡量 GPU 卡的單精度浮點運算速度。 它以TFLOPS或 * Tera 浮點運算來衡量……越高越好。
• Price ：GCP 上的每小時價格。
• TFLOPS/Price ：簡單來說，你將獲得多少操作一美元。

從這張表中，您可以看到：

• Nvidia A100是最快的。
• Nvidia Tesla P4是最慢的。
• Nvidia A100是最貴的。
• Nvidia Tesla T4是最便宜的。
• Nvidia Tesla T4的每美元運營量最高。
• Nvidia Tesla V100的每美元運營量最低。

您可以在下圖中清楚地觀察到這一點：

我希望這有幫助

Answer 2

Nvidia 表示，使用最現代、最強大的 GPU 不僅速度更快，而且最終更便宜： https://developer.nvidia.com/blog/saving-time-and-money-in-the-cloud-with-最新的nvidia-powered-instances/

谷歌得出了類似的結論（這是幾年前 A100 可用之前）： https://cloud.google.com/blog/products/ai-machine-learning/your-ml-workloads-cheaper-and -faster-with-the-late-gpus

我想你可以提出一個論點，即 Nvidia 和 Google 在做出這種判斷時可能有點偏頗，但他們也很適合回答這個問題，我認為沒有理由不信任他們。