【NVIDIA】如何使用nvidia-smi命令管理和监控GPU

博主未授权任何人或组织机构转载博主任何原创文章，感谢各位对原创的支持！
博主链接

本人就职于国际知名终端厂商，负责modem芯片研发。
在5G早期负责终端数据业务层、核心网相关的开发工作，目前牵头6G算力网络技术标准研究。


博客内容主要围绕：
       5G/6G协议讲解
       算力网络讲解（云计算，边缘计算，端计算）
       高级C语言讲解
       Rust语言讲解

如何使用nvidia-smi命令管理和监控GPU

       当前各行各业都离不开GPU的加持，随着6G的研究进展，未来6G会是一个技术大融合的系统，其中就包括算力网络、AI、通信感知等对算力需求比较大的服务。下面我们学习一下GPU的管理和监控方法。

一、nvidia-smi 有什么用?

nvidia-smi 提供了GPU技术参数、使用温度和电源管理的重要信息。

1.1 检测GPU性能

       nvidia-smi 最重要的功能是实时监控GPU性能。这包括跟踪GPU利用率，它告诉我们系统当前使用了多少GPU计算能力。此外，它还监控内存使用情况，这是了解GPU的视频RAM（VRAM）应用程序占用多少空间的基本指标，这在工作负载管理和优化中至关重要。此外，nvidia-smi 提供实时温度读数，确保GPU在安全的热极限内运行。在涉及持续、密集使用GPU的场景中，这方面尤其重要，因为它有助于防止热节流并保持最佳性能。

1.2 GPU硬件参数配置

       nvidia-smi 可以配置硬件参数，它允许我们查询各种GPU属性，如时钟速度、功耗和支持的特性。如果我们正在为特定任务优化系统，无论是在计算密集型工作负载中最大化性能，还是在长时间运行的任务中确保能效，这些信息都是至关重要的。此外，nvidia-smi 还提供了调整某些设置的能力，如功率限制和风扇速度，如果我们想根据特定要求或环境条件对硬件进行微调，则nvidia-smi 为我们提供了一定程度的控制能力。

1.3 GPU故障排除

       在解决GPU问题时，nvidia-smi 是一个宝贵的资产。它提供了对GPU状态的详细解释，这对诊断这些问题至关重要。例如，如果GPU表现不佳，nvidia-smi 可以帮助我们识别问题是否与过热、内存使用过多或GPU使用瓶颈有关。该工具还可以通过报告GPU性能中的错误和不规则情况来帮助识别失败的硬件组件。

二、nvidia-smi 使用介绍

2.1 查看系统中所有的GPU资源

# -L or –list-gpus Option$ nvidia-smi -L
GPU 0: NVIDIA GeForce RTX 3070 SUPER (UUID: GPU-fb087aea-1cd3-0524-4f53-1e58a5da7a3c)

它对于快速识别当前的GPU特别有用，特别是在具有多个GPU的系统中。

2.2 查询GPU的详细信息

例如，

$ nvidia-smi --query-gpu=gpu_name,gpu_bus_id,vbios_version --format=csv name, pci.bus_id, vbios_version 
NVIDIA GeForce RTX 2060 SUPER, 00000000:03:00.0, 90.06.44.80.98

您可以通过命令

nvidia-smi --help-query-gpu

来获得查询参数的完整列表。在向查询添加额外参数时，确保查询选项之间没有空格。下面是一些常用的查询参数：

查询参数	参数解释
timestamp	查询的时间戳，格式为“YYYY/MM/DD HH:MM:SS.msec”
gpu_name 或者 name	GPU的正式产品名称。这是一个字母数字字符串。适用于所有产品
gpu_bus_id 或者 pci.bus_id	PCI总线ID，格式为“domain🚌device.function”，十六进制
vbios_version	GPU板卡的BIOS版本
driver_version	安装的NVIDIA显示驱动程序的版本。这是一个字母数字字符串
pstate	当前GPU的性能状态。取值范围为P0（最高性能）~ P12（最低性能）
pcie.link.gen.max	最大的PCI-E链路生成可能与此GPU和系统配置有关系。例如，如果GPU支持的PCIe生成高于系统支持的PCIe生成，则报告系统PCIe生成
pcie.link.gen.current	当前PCI-E链路的生成。当GPU不使用时，这些可能会减少
temperature.gpu	核心GPU温度，单位摄氏度
utilization.gpu	在过去的采样周期内，GPU上一个或多个内核执行的时间百分比。根据产品的不同，取样时间可能在1秒到1/6秒之间
utilization.memory	在过去的样本时间段内，全局（设备）内存被读取或写入的时间百分比。根据产品的不同，取样时间可能在1秒到1/6秒之间
memory.total	GPU内存总数
memory.free	总空闲内存数
memory.used	分配给活动上下文的总内存数

$ nvidia-smi --query-gpu=timestamp,name,pci.bus_id,driver_version,pstate,pcie.link.gen.max,pcie.link.gen.current,temperature.gpu,utilization.gpu,utilization.memory,memory.total,memory.free,memory.used --format=csv -l 5
timestamp, name, pci.bus_id, driver_version, pstate, pcie.link.gen.max, pcie.link.gen.current, temperature.gpu, utilization.gpu [%], utilization.memory [%], memory.total [MiB], memory.free [MiB], memory.used [MiB]
2024/01/31 07:52:12.927, NVIDIA GeForce RTX 2060 SUPER, 00000000:03:00.0, 525.78.01, P0, 3, 3, 35, 0 %, 0 %, 8192 MiB, 7974 MiB, 0 MiB
2024/01/31 07:52:17.929, NVIDIA GeForce RTX 2060 SUPER, 00000000:03:00.0, 525.78.01, P0, 3, 3, 36, 0 %, 0 %, 8192 MiB, 7974 MiB, 0 MiB
2024/01/31 07:52:22.930, NVIDIA GeForce RTX 2060 SUPER, 00000000:03:00.0, 525.78.01, P0, 3, 3, 37, 0 %, 0 %, 8192 MiB, 7974 MiB, 0 MiB

2.3 开启 Persistence 模式

       除非你为驱动程序开启了持久化模式（Persistence Mode，PM），否则以下任何关于时钟和电源的设置都会在程序运行之间重置。还要注意，如果启用PM模式，nvidia-smi 命令运行得更快。

$ nvidia-smi -pm 1
Enabled persistence mode for GPU 00000000:03:00.0.
All done.

上面的命令使时钟、电源和其他设置在程序运行、驱动程序调用时保持一致。

2.4 调整GPU时钟

命令	命令解释
nvidia-smi -ac	查看支持的时钟频率
nvidia-smi –q –d SUPPORTED_CLOCKS	设置支持的时钟频率
nvidia-smi -q –d CLOCK	查看当前的时钟
nvidia-smi --auto-boost-default=ENABLED -i 0	开启 boosting GPU 时钟（K80 以及之后的版本支持）
nvidia-smi --rac	重置为基本时钟频率

2.5 调整GPU功率

命令	命令解释
nvidia-smi –pl N	设置功率上限（GPU将使用的最大瓦数）
nvidia-smi -pm 1	开启持久化模式
nvidia-smi stats -i -d pwrDraw	提供对详细统计信息（如功率）的持续监控
nvidia-smi --query-gpu=index,timestamp,power.draw,clocks.sm,clocks.mem,clocks.gr --format=csv -l 1	连续提供时间戳、功率和时钟信息

调整功率限制有助于平衡性能、能耗和发热量。首先，我们可以看到当前的功率限制：

$ nvidia-smi -q -d POWER==============NVSMI LOG==============Timestamp                                 : Wed Jan 31 08:58:41 2024
Driver Version                            : 525.78.01
CUDA Version                              : 12.0Attached GPUs                             : 1
GPU 00000000:03:00.0Power ReadingsPower Management                  : SupportedPower Draw                        : 10.59 WPower Limit                       : 175.00 WDefault Power Limit               : 175.00 WEnforced Power Limit              : 175.00 WMin Power Limit                   : 125.00 WMax Power Limit                   : 175.00 WPower SamplesDuration                          : 0.14 secNumber of Samples                 : 8Max                               : 28.37 WMin                               : 10.30 WAvg                               : 13.28 W

上面的命令显示当前功率使用情况和功率管理限制，现在让我们改变功率限制：

$ nvidia-smi -pl 150
Power limit for GPU 00000000:03:00.0 was set to 150.00 W from 175.00 W.
All done.

值得注意的是，最大和最小功率限制在不同的GPU模型之间是不同的。此外，在调整GPU设置，特别是功率限制时，我们必须谨慎使用超频。将GPU推向极限可能会导致不稳定或损坏。

---