如何使用 python 和 numba 在 RTX GPU 中對 NVIDIA 的張量核心進行編程？

Question

我有興趣在 python 中使用來自 NVIDIA RTX GPU 的張量核心，以受益於它在某些科學計算中的加速。 Numba 是一個很棒的庫，它允許為 cuda 編程內核，但我還沒有找到如何使用張量內核。 可以用 Numba 完成嗎？ 如果沒有，我應該使用什么？

Answer 1

....我還沒有找到如何使用張量核心。 可以用 Numba 完成嗎？

不，Numba 目前在設備代碼中沒有半精度支持或張量核心內在函數。

如果沒有，我應該使用什么？

我認為您將無法在本地 C++ 方言中編寫 kernel 代碼，然后使用 PyCUDA 之類的東西來運行從該 C++ 方言編譯的設備代碼。