---
license: mit
tags:
- mappo
- reinforcement-learning
- multi-agent
- onnx
- pytorch
---

# MAPPO Multi-Agent Reinforcement Learning Model

## 模型概述

这是一个基于MAPPO（Multi-Agent Proximal Policy Optimization）算法的多智能体强化学习模型，专门为产研团队协作场景设计。

## 模型信息

- **算法**: MAPPO (Multi-Agent Proximal Policy Optimization)
- **智能体数量**: ['product_manager', 'architect', 'developer', 'front_developer', 'devops', 'designer', 'project_manager']
- **状态维度**: 128
- **动作维度**: 64
- **转换时间**: 2025-09-17T10:25:26.122943
- **ONNX版本**: 11

## 智能体列表

- **product_manager**: 产品经理 - 负责产品规划和需求分析
- **architect**: 架构师 - 负责系统设计和技术选型
- **developer**: 后端开发 - 负责后端服务开发
- **front_developer**: 前端开发 - 负责前端界面开发
- **devops**: 运维工程师 - 负责系统部署和运维
- **designer**: 设计师 - 负责UI/UX设计
- **project_manager**: 项目经理 - 负责项目管理和协调

## 验证结果

- **总模型数**: 7
- **有效模型数**: 0
- **无效模型数**: 7

## 使用方法

### Python示例

```python
import onnxruntime as ort
import numpy as np

# 加载模型
session = ort.InferenceSession('burnninghotel/mappo-models/product_manager_model.onnx')

# 准备输入
state = np.random.randn(1, 128).astype(np.float32)
global_state = np.random.randn(1, 128).astype(np.float32)
context = np.random.randn(1, 32).astype(np.float32)

# 运行推理
inputs = {
    'state': state,
    'global_state': global_state,
    'context': context
}

outputs = session.run(None, inputs)
action, log_prob, value = outputs
```

### 输入格式

- **state**: [batch_size, 128] - 智能体状态
- **global_state**: [batch_size, 128] - 全局状态  
- **context**: [batch_size, 32] - 上下文信息

### 输出格式

- **action**: [batch_size, 1] - 动作ID
- **log_prob**: [batch_size, 1] - 动作log概率
- **value**: [batch_size, 1] - 状态价值

## 注意事项

1. 需要安装onnxruntime: `pip install onnxruntime`
2. 输入数据必须是float32类型
3. 支持动态批次大小
4. 模型已优化，适合生产环境部署

## 训练配置

- **学习率**: 3e-4
- **折扣因子**: 0.99
- **GAE Lambda**: 0.95
- **PPO Clip Ratio**: 0.2
- **价值损失系数**: 0.5
- **熵系数**: 0.01

## 许可证

MIT License