nvidia-smi结果如何定义GPU和内存利用率？

Question

我目前正在使用nvidia驱动程序“ nvidia-smi”附带的工具在GPU上进行性能监控。 当我们使用'nvidia-smi -a'时，它将给出当前GPU信息的信息，包括GPU内核和内存使用情况，温度等，如下所示：

============== NVSMI日志===============

时间戳记：周二

2011年2月22日22:39:09

驱动程序版本：260.19.26

GPU 0：

  Product Name : GeForce 8800 GTX PCI Device/Vendor ID : 19110de PCI Location ID : 0:4:0 Board Serial : 211561763875 Display : Connected Temperature : 55 C Fan Speed : 47% Utilization GPU : 1% Memory : 0% 

我很好奇如何定义GPU和内存利用率？ 例如，GPU核心的利用率为47％。 这意味着有47％的SM处于活跃状态？ 还是所有GPU内核都在47％的时间内忙碌而其他53％的空闲时间呢？ 对于内存，利用率代表当前带宽与最大带宽之比，还是最后一个时间单位的繁忙时间比？

Answer 1

主持人在NVIDIA论坛上发表的一篇帖子说，GPU利用率和内存利用率数据基于最近一秒的活动：

GPU繁忙实际上是SM过去一秒钟所占时间的百分比，而内存利用率实际上是最后一秒钟所用带宽的百分比。 完整的内存消耗统计信息随下一版本一起提供。

Answer 2

您可以参考以下官方API文档： http : //docs.nvidia.com/deploy/nvml-api/structnvmlUtilization__t.html#structnvmlUtilization__t

它说：“在过去的采样期内，在GPU上执行一个或多个内核的时间百分比。”