在NVIDIA gpu中，ld/st和算術指令（比如int32 fp32）可以在同一個sm中同時運行嗎？

Question

尤其是圖靈和安培架構，在同一個sm和同一個warp調度器中，warp是否可以同時運行ld/st等算術指令？

我想知道 warp scheduler 是如何工作的

Answer 1

在同一個sm和同一個warp調度器中，warp是否可以同時運行ld/st等算術指令？

不，如果“同時”意味着“在同一時鍾周期內發布”，則不是。

在當前的 CUDA GPU 中，包括圖靈和安培，當 warp 調度程序發出指令時，它會在任何給定的時鍾周期內向 warp 中的所有線程發出相同的指令。

不同的指令可以在不同的時鍾周期（當然）運行，不同的指令可以在相同的時鍾周期運行，如果這些指令是由 SM 中的不同 warp 調度程序發出的。 這也意味着這些指令是發給不同/單獨的 SM 單元的。

因此，例如，與同一 SM 中的 warp 調度程序 1 發出的加載/存儲指令相比，由 warp 調度程序 0 發出的 integer add 指令必須發布到不同的功能單元。 對於這個例子，由於指令不同，無論如何都需要不同的功能單元，這是不言而喻的。

但是，即使兩個 warp 調度程序都發出 FADD（對於 2 個不同的 warp），它們也必須發出 SM 中單獨的浮點功能單元。

在現代 CUDA GPU 中，由於 SM 的分區，每個 warp 調度程序至少對某些指令類型（如 FADD）有自己的執行資源（功能單元）。 因此，出於這個原因，在這個例子中無論如何都會發生這種情況。