dev/gpu_usage/README.md

GPU Usage Tools

gpu_monitor.sh

后台实时采集 nvidia-smi 的 GPU 利用率、显存、温度、功耗数据，写入 CSV 文件。

# 独立运行（Ctrl+C 停止）
bash dev/gpu_usage/gpu_monitor.sh output.csv

# 后台运行并获取 PID
bash dev/gpu_usage/gpu_monitor.sh gpu_usage.csv &
PID=$!

# ... 运行训练 / 其他任务 ...

# 停止监控
kill $PID

输出 CSV 字段：timestamp, gpu{N}_util(%), gpu{N}_mem_util(%), gpu{N}_mem_used_mb, gpu{N}_temp_c, gpu{N}_power_w

快速分析

python -c "
import pandas as pd
df = pd.read_csv('gpu_usage.csv')
for col in df.columns:
    if 'util' in col or 'mem_used' in col:
        print(f'{col}: max={df[col].max()}, mean={df[col].mean():.1f}')
"

相关文档

训练中的 GPU 显存优化策略详见 docs/train_gpu_usage.md。