# 调研与思考记录

## 参考对象

### Amadeus 类虚拟人格

《Steins;Gate 0》里的 Amadeus 不是普通 chatbot。它的关键点是：

- 角色人格来自某个人的记忆和人格数据。
- 用户通过手机式通讯界面与角色交流。
- 体验重点是“持续存在的人格容器”，而不是通用问答工具。

对本项目的启发：

- UI 可以借鉴通讯窗口、视频通话窗口、角色状态灯。
- 角色需要身份、关系感、记忆边界和情绪连续性。
- 角色不应该每轮都像第一次见用户。

### Open-LLM-VTuber

Open-LLM-VTuber 是当前最接近本项目系统形态的参考。它把 LLM、ASR、TTS、视觉感知、Live2D avatar、情绪映射、角色自定义、聊天记录持久化等模块组织在一起。

可借鉴点：

- 后端输出情绪，前端映射到 Live2D 表情。
- 支持摄像头、屏幕录制、截图，让 AI 角色获得视觉感知。
- 角色不是单 prompt，而是一组配置、模型、交互通道和表现层。

### VTube Studio API

VTube Studio 说明成熟 2.5D 角色系统通常不是“生成一段视频”，而是把外部信号映射到角色参数：

- 通过 WebSocket 触发 hotkey。
- 控制模型、表情、动作。
- 输入 face tracking 数据。
- 修改部分 ArtMesh 颜色。

对本项目的启发：AI 输出应该是 `expression`、`motion`、`parameter` 这类控制事件，而不是一整段不可交互的视频。

### pixi-live2d-display

pixi-live2d-display 是 Web 端 Live2D 展示参考。它适合放在 `gr.HTML` 里作为浏览器端角色舞台方案。

适用场景：

- 已有公开授权 Live2D 模型。
- 后端输出表情和动作事件。
- 前端把事件映射到 Live2D motion/expression/parameter。

### AnimateAnyone / Hallo

这类项目证明单图驱动角色动画或音频驱动人像动画是可行方向，但它们更像后期增强模块：

- 生成成本高。
- 延迟不适合第一版交互。
- 更适合生成短视频片段，不适合低延迟角色陪伴。

## 内置角色策略

### 本地探索角色

本地探索可以直接参考：

- Amadeus / 牧濑红莉栖风格。
- 流萤风格。
- 其他你喜欢的游戏或动画角色。

目的不是公开复刻，而是快速评估角色还原感、语气、情绪输出和舞台表现。

### 公开提交角色

公开 HF Space 建议原创化：

- `Amadeus-like Memory Girl`：记忆人格、理性、研究员、通讯界面感。
- `Firefly-inspired Star Knight`：柔弱外表和战斗身份反差，科幻装甲，守护欲。
- `Lab Assistant`：偏理性吐槽型。
- `Mischief Mascot`：更轻松、有趣，适合 Thousand Token Wood。

原因：直接使用商业角色名、官方图像、官方声音、官方台词和完整剧情设定会带来 IP 风险。

## 生图模块判断

生图应该是后台资产生成能力，而不是每轮对话都调用。

适合场景：

- 内置角色头像、半身像、背景图生成。
- 用户点击“重绘角色”。
- 自定义角色创建时，把用户上传图或描述转成原创视觉资产。

推荐方向：

- `FLUX.1-schnell`：速度快，许可证友好，适合快速生成角色图。
- `SDXL`：生态成熟，动漫风格资源多，适合后续做 LoRA / ControlNet / IP-Adapter。
- 角色一致性增强：后续再看 IP-Adapter、InstantID、PuLID、角色 LoRA。

不建议：

- 每轮聊天都生图。
- 直接复刻商业角色图。
- 把生图作为主体验阻塞对话。

## 摄像头与视觉模型判断

视觉模型可以成为差异点，但第一版要克制。

可做场景：

1. 角色看见你  
   用户用摄像头拍照或低频抽帧，VLM 判断用户是否在镜头前、大致情绪、场景氛围。角色以自身人格回应。

2. 角色看见物品  
   用户把书、玩偶、手办、饮料等拿给摄像头看，角色进行 persona 化评论。

3. 角色看见图片或截图  
   用户上传截图，角色不是做通用图像问答，而是用自己的身份和情绪解读。

MVP 建议：先做上传图片和手动拍照分析。实时流摄像头会增加队列、延迟和成本压力。

## 参考资料

- Steins;Gate 0 / Amadeus 设定概览: https://en.wikipedia.org/wiki/Steins%3BGate_0
- Open-LLM-VTuber: https://github.com/Open-LLM-VTuber/Open-LLM-VTuber
- VTube Studio API: https://github.com/DenchiSoft/VTubeStudio
- pixi-live2d-display: https://github.com/guansss/pixi-live2d-display
- Live2D 概念: https://en.wikipedia.org/wiki/Live2D
- AnimateAnyone: https://github.com/HumanAIGC/AnimateAnyone
- Hallo: https://github.com/fudan-generative-vision/hallo
- Gradio Image / webcam: https://www.gradio.app/docs/gradio/image
- Gradio streaming inputs: https://www.gradio.app/guides/streaming-inputs
- Gradio streaming outputs: https://www.gradio.app/guides/streaming-outputs
- Hugging Face Inference Providers: https://huggingface.co/docs/inference-providers/index
- FLUX.1-schnell: https://huggingface.co/black-forest-labs/FLUX.1-schnell
- SDXL: https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0