# GPU Usage Tools

## `gpu_monitor.sh`

后台实时采集 `nvidia-smi` 的 GPU 利用率、显存、温度、功耗数据，写入 CSV 文件。

```bash
# 独立运行（Ctrl+C 停止）
bash dev/gpu_usage/gpu_monitor.sh output.csv

# 后台运行并获取 PID
bash dev/gpu_usage/gpu_monitor.sh gpu_usage.csv &
PID=$!

# ... 运行训练 / 其他任务 ...

# 停止监控
kill $PID
```

输出 CSV 字段：`timestamp, gpu{N}_util(%), gpu{N}_mem_util(%), gpu{N}_mem_used_mb, gpu{N}_temp_c, gpu{N}_power_w`

## 快速分析

```bash
python -c "
import pandas as pd
df = pd.read_csv('gpu_usage.csv')
for col in df.columns:
    if 'util' in col or 'mem_used' in col:
        print(f'{col}: max={df[col].max()}, mean={df[col].mean():.1f}')
"
```

## 相关文档

训练中的 GPU 显存优化策略详见 `docs/train_gpu_usage.md`。