Nsight Compute 中使用的術語

Question

兩個問題：

1. 根據 Nsight Compute，我的 kernel 受計算約束。 相對於峰值性能的 SM 利用率為 74%，memory 利用率為 47%。 但是，當我查看每個管道利用率百分比時，LSU 利用率遠高於其他管道（75% 對 10-15%）。 這不是表明我的 kernel 是 memory 綁定的嗎？ 如果計算和 memory 資源的利用率與管道利用率不對應，我不知道如何解釋這些術語。

2. 調度程序僅每 4 個周期發布一次，這是否意味着我的 kernel 受延遲限制？ 人們通常根據計算和 memory 資源的利用率來定義它。 兩者之間有什么關系？

Answer 1

在 CC7.5 GPU 上的 Nsight Compute

SM% 由 sm__throughput 定義，Memory% 由 gpu__compute_memory_throughtput 定義

sm_throughput 是以下指標的最大值：

• sm__instruction_throughput
  • sm__inst_executed
  • sm__issue_active
  • sm__mio_inst_issued
  • sm__pipe_alu_cycles_active
  • sm__inst_executed_pipe_cbu_pred_on_any
  • sm__pipe_fp64_cycles_active
  • sm__pipe_tensor_cycles_active
  • sm__inst_executed_pipe_xu
  • sm__pipe_fma_cycles_active
  • sm__inst_executed_pipe_fp16
  • sm__pipe_shared_cycles_active
  • sm__inst_executed_pipe_uniform
  • sm__instruction_throughput_internal_activity
• sm__memory_throughput
  • idc__request_cycles_active
  • sm__inst_executed_pipe_adu
  • sm__inst_executed_pipe_ipa
  • sm__inst_executed_pipe_lsu
  • sm__inst_executed_pipe_tex
  • sm__mio_pq_read_cycles_active
  • sm__mio_pq_write_cycles_active
  • sm__mio2rf_writeback_active
  • sm__memory_throughput_internal_activity

gpu__compute_memory_throughput 是以下指標的最大值：

• gpu__compute_memory_access_throughput
  • l1tex__data_bank_reads
  • l1tex__data_bank_writes
  • l1tex__data_pipe_lsu_wavefronts
  • l1tex__data_pipe_tex_wavefronts
  • l1tex__f_wavefronts
  • lts__d_atomic_input_cycles_active
  • lts__d_sectors
  • lts__t_sectors
  • lts__t_tag_requests
  • gpu__compute_memory_access_throughput_internal_activity
• gpu__compute_memory_access_throughput
• l1tex__lsuin_requests
  • l1tex__texin_sm2tex_req_cycles_active
  • l1tex__lsu_writeback_active
  • l1tex__tex_writeback_active
  • l1tex__m_l1tex2xbar_req_cycles_active
  • l1tex__m_xbar2l1tex_read_sectors
  • lts__lts2xbar_cycles_active
  • lts__xbar2lts_cycles_active
  • lts__d_sectors_fill_device
  • lts__d_sectors_fill_sysmem
  • gpu__dram_throughput
  • gpu__compute_memory_request_throughput_internal_activity

在您的情況下，限制器是 sm__inst_executed_pipe_lsu ，它是指令吞吐量。 如果您查看sections/SpeedOfLight.py 延遲界限被定義為同時具有 sm__throughput 和 gpu__compute_memory_throuhgput < 60%。

某些指令流水線的吞吐量較低，例如 fp64、xu 和 lsu（因芯片而異）。 管道利用率是 sm__throughput 的一部分。 為了提高性能，選項包括：

1. 減少對超額訂閱管道的指令，或
2. 發布不同類型的指令以使用空發布周期。

產生故障

從 Nsight Compute 2020.1 開始，沒有一個簡單的命令行可以在不運行分析 session 的情況下生成列表。 現在，您可以使用breakdown:<throughput metric>avg.pct_of_peak_sustained.elapsed並解析 output 以獲取子指標名稱。

例如：

ncu.exe --csv --metrics breakdown:sm__throughput.avg.pct_of_peak_sustained_elapsed --details-all -c 1 cuda_application.exe

生成：

"ID","Process ID","Process Name","Host Name","Kernel Name","Kernel Time","Context","Stream","Section Name","Metric Name","Metric Unit","Metric Value"
"0","33396","cuda_application.exe","127.0.0.1","kernel()","2020-Aug-20 13:26:26","1","7","Command line profiler metrics","gpu__dram_throughput.avg.pct_of_peak_sustained_elapsed","%","0.38"
"0","33396","cuda_application.exe","127.0.0.1","kernel()","2020-Aug-20 13:26:26","1","7","Command line profiler metrics","l1tex__data_bank_reads.avg.pct_of_peak_sustained_elapsed","%","0.05"
"0","33396","cuda_application.exe","127.0.0.1","kernel()","2020-Aug-20 13:26:26","1","7","Command line profiler metrics","l1tex__data_bank_writes.avg.pct_of_peak_sustained_elapsed","%","0.05"
...

可以在 Nsight Compute 部分文件中使用關鍵字breakdown來擴展吞吐量指標。 這在 SpeedOfLight.section 中使用。