【工具篇】如何优雅地监控显卡(GPU)使用情况？
这是一篇非常基础的记录：如何优雅地监控服务器GPU使用情况？下面总结4个最常用的方式：
- nvidia-smi (最有名，没有之一) 🌟🌟
- gpustat (彩色并简约的显示) 🌟🌟🌟🌟
- nvtop (完整的信息，需root权限apt安装，不是非常方便) 🌟🌟🌟
- nvitop (完整的信息，可作为Python的库安装，非常方便) 🌟🌟🌟🌟🌟
工具1：nvidia-smi
直接在终端输入nvidia-smi可以得到显卡情况：
nvidia-smi
如果希望自动刷新这个命令，可以输入如下命令：
nvidia-smi -l
如上方式会显示历史信息和当前信息，如果只想看当前信息，则可以执行如下命令实现每1s刷新一次：
watch -n 1 nvidia-smi
安装方式
nvidia-smi是系统指令
工具2：gpustat
这个命令相比nvidia-smi更加好看一些，命令如下：
gpustat
显然这种带高亮的显示看起来更舒服，而且可以显示出完整显卡的完整名称，以及正在使用GPU的用户。一个缺点就是不能像nvidia-smi一样显示出各个进程的信息。
如果希望每秒刷新这个信息，并只显示当前信息，则执行以下命令：
watch -n 1 -c gpustat --color
或者直接更加简单的命令即可（推荐）：
gpustat -i
安装方式
作为系统的包进行安装：
sudo apt install gpustat
作为Python库进行安装：
pip install gpustat
工具3：nvtop
网上很多人说这个工具非常好用，能够非常优雅地全面地监控显卡信息，官方图如下（显示显卡使用情况以及详细的折线图）：
这个方法看起来会很高大上，但是由于这个工具的安装需要root权限，所以暂时就不尝试这个方法了。
安装方式
sudo apt install nvtop
方法4：nvitop
想要拥有nvtop那样详细的展示，又想拥有gpustat那样彩色的界面，并且希望能够像gpustat一样通过pip快速安装，那就不得不提nvitop工具了。
nvitop
展示的模式有三种：
- auto (默认)
- compact
- full
如果希望展示超完整的显卡信息，则用如下命令：
nvitop -m full
我认为这个工具最好用的地方不在于彩色文字和进度条，而在于它能够完整地显示出每个进程的执行用户、运行时长、执行指令以及每个进程所使用的GPU编号。可谓是集其他工具的优势于一身的实用主义工具了！
安装方式
pip install nvitop
【工具篇】如何优雅地监控显卡(GPU)使用情况？
这是一篇非常基础的记录：如何优雅地监控服务器GPU使用情况？下面总结4个最常用的方式：
- nvidia-smi (最有名，没有之一) 🌟🌟
- gpustat (彩色并简约的显示) 🌟🌟🌟🌟
- nvtop (完整的信息，需root权限apt安装，不是非常方便) 🌟🌟🌟
- nvitop (完整的信息，可作为Python的库安装，非常方便) 🌟🌟🌟🌟🌟
工具1：nvidia-smi
直接在终端输入nvidia-smi可以得到显卡情况：
nvidia-smi
如果希望自动刷新这个命令，可以输入如下命令：
nvidia-smi -l
如上方式会显示历史信息和当前信息，如果只想看当前信息，则可以执行如下命令实现每1s刷新一次：
watch -n 1 nvidia-smi
安装方式
nvidia-smi是系统指令
工具2：gpustat
这个命令相比nvidia-smi更加好看一些，命令如下：
gpustat
显然这种带高亮的显示看起来更舒服，而且可以显示出完整显卡的完整名称，以及正在使用GPU的用户。一个缺点就是不能像nvidia-smi一样显示出各个进程的信息。
如果希望每秒刷新这个信息，并只显示当前信息，则执行以下命令：
watch -n 1 -c gpustat --color
或者直接更加简单的命令即可（推荐）：
gpustat -i
安装方式
作为系统的包进行安装：
sudo apt install gpustat
作为Python库进行安装：
pip install gpustat
工具3：nvtop
网上很多人说这个工具非常好用，能够非常优雅地全面地监控显卡信息，官方图如下（显示显卡使用情况以及详细的折线图）：
这个方法看起来会很高大上，但是由于这个工具的安装需要root权限，所以暂时就不尝试这个方法了。
安装方式
sudo apt install nvtop
方法4：nvitop
想要拥有nvtop那样详细的展示，又想拥有gpustat那样彩色的界面，并且希望能够像gpustat一样通过pip快速安装，那就不得不提nvitop工具了。
nvitop
展示的模式有三种：
- auto (默认)
- compact
- full
如果希望展示超完整的显卡信息，则用如下命令：
nvitop -m full
我认为这个工具最好用的地方不在于彩色文字和进度条，而在于它能够完整地显示出每个进程的执行用户、运行时长、执行指令以及每个进程所使用的GPU编号。可谓是集其他工具的优势于一身的实用主义工具了！
安装方式
pip install nvitop