如何在Ubuntu上获得进程的最大GPU内存使用率？ （对于Nvidia GPU）

Question

我有一台安装了Ubuntu 16.04的服务器。 它具有K80 GPU。 多个进程正在使用GPU。

某些进程的GPU使用情况无法预测，我想可靠地监视其GPU使用情况。

我知道您可以通过以下方式查询GPU的使用情况： nvidia-smi ，但这只能在查询的时间为您提供使用情况。

目前，我每100毫秒查询一次信息，但这只是对GPU使用情况的采样，并且可能会跳过峰值GPU使用情况。

对于给定的PID进程，我是否可以获得最大的GPU内存使用量的可靠方法？

Answer 1

尝试使用NVIDIA Visual Profiler。 我不确定它的准确性如何，但是它为您提供了程序运行时在不同时间的设备内存使用情况的图表。