# 虚拟角色项目总览

## 当前结论

这个项目的主线是 **现有角色驱动的多模态虚拟人格系统**。

用户第一眼看到的应该是可选角色，而不是角色创建器。用户选中角色后，系统进入对话、语音、视觉理解和角色舞台联动体验。角色创建、生图、资料提取、prompt 组装和 skill 配置都是后台能力。

核心体验：

```text
选择角色 -> 文本/语音/图片/摄像头输入 -> 模型流式输出回复、情绪、动作和语音参数 -> TTS/角色舞台同步响应
```

## 文档结构

- [RESEARCH_NOTES.md](RESEARCH_NOTES.md)：调研信息、参考项目、产品判断、风险分析。
- [DEVELOPMENT_GUIDE.md](DEVELOPMENT_GUIDE.md)：后续开发必须遵循的架构、文件结构、流式协议、Gradio 事件设计和 MVP 范围。
- [MODAL_DEPLOYMENT.md](MODAL_DEPLOYMENT.md)：Modal 上的模型部署、调用方式、模型候选和省额度策略。

## 关键产品原则

1. 现有角色优先  
   MVP 第一屏是角色选择。自定义角色和角色生成放在高级入口。

2. 情绪由模型输出  
   不靠用户按钮硬切情绪。模型每轮回复要输出表情、动作、语气、skill 等控制信息。

3. 不等完整 JSON 才开始动  
   对话输出使用事件流协议。模型可以先输出 `stage` / `emotion` / `voice` 事件，让 Live2D 或 2.5D 舞台先变化，再流式输出文本和音频。

4. 生图是资产生成模块  
   生图用于内置角色头像、半身像、背景图、自定义角色重绘，不在每轮聊天里触发。

5. 视觉模型要绑定角色人格  
   摄像头或上传图片不是普通看图问答，而是“当前角色如何看见并回应这件事”。

6. 公开 demo 要原创化  
   本地探索可以参考 Amadeus、流萤等目标体验。公开 HF Space 建议使用原创化角色，避免直接使用商业角色名、图像、台词、声音或完整官方设定。

## MVP 目标

第一版要证明“角色存在感”，不是证明所有模型都最强。

必做：

- 至少 3 个内置角色。
- 文字聊天。
- 模型流式输出：回复文本、情绪、动作、voice 参数、skill。
- TTS 播放。
- 角色舞台根据模型事件实时变化。
- 上传图片后，角色以自身人格评论。
- 调试面板展示事件流和模型结构化输出。

可选：

- 摄像头拍照分析。
- 生图重绘角色头像。
- Live2D Web 模型加载。

暂缓：

- 全实时视频对话。
- 复杂长期记忆。
- 声音克隆。
- 商业角色原样复刻。
- 单图自动 rig 成 Live2D。