---
tags:
- unity-ml-agents
- deep-reinforcement-learning
- reinforcement-learning
- ML-Agents-Huggy
library_name: ml-agents
---

# PPO Agent for Huggy 🐶

这是一个使用 **Unity ML-Agents** 训练的强化学习模型。该模型训练了一个叫 **Huggy** 的蓝色小狗机器人，它的目标是学会在环境中准确地移动并“抱住”目标（通常是玩家的手）。

## 训练成果展示
* **算法**: PPO (Proximal Policy Optimization)
* **训练步数**: 2,000,000 steps
* **平均奖励 (Mean Reward)**: ~3.8 - 4.0 (已收敛)

## 模型描述
该 Agent 使用了深度神经网络（3层，每层 512 个隐藏单元）来处理环境观测。
- **观测空间 (Observation Space)**: 包含 Huggy 的关节位置、速度以及目标物体的相对位置。
- **动作空间 (Action Space)**: 连续动作，控制 Huggy 各个腿部关节的力矩。



## 使用方法
要在 Unity 中使用此模型：
1. 安装 [Unity ML-Agents Toolkit](https://github.com/Unity-Technologies/ml-agents)。
2. 下载本仓库中的 `Huggy.onnx` 文件。
3. 将 `.onnx` 文件拖入 Unity 项目。
4. 在 Huggy 对象的 `Behavior Parameters` 组件中，将该文件拖入 `Model` 字段。
5. 按下 Play 键观察效果。

## 训练配置 (Hyperparameters)
```yaml
trainer_type: ppo
hyperparameters:
  batch_size: 2048
  buffer_size: 20480
  learning_rate: 0.0003
  beta: 0.005
  epsilon: 0.2
  lambd: 0.95
  num_epoch: 3
  learning_rate_schedule: linear
network_settings:
  normalize: true
  hidden_units: 512
  num_layers: 3