A newer version of the Gradio SDK is available: 6.20.0
调研与思考记录
参考对象
Amadeus 类虚拟人格
《Steins;Gate 0》里的 Amadeus 不是普通 chatbot。它的关键点是：
- 角色人格来自某个人的记忆和人格数据。
- 用户通过手机式通讯界面与角色交流。
- 体验重点是“持续存在的人格容器”，而不是通用问答工具。
对本项目的启发：
- UI 可以借鉴通讯窗口、视频通话窗口、角色状态灯。
- 角色需要身份、关系感、记忆边界和情绪连续性。
- 角色不应该每轮都像第一次见用户。
Open-LLM-VTuber
Open-LLM-VTuber 是当前最接近本项目系统形态的参考。它把 LLM、ASR、TTS、视觉感知、Live2D avatar、情绪映射、角色自定义、聊天记录持久化等模块组织在一起。
可借鉴点：
- 后端输出情绪，前端映射到 Live2D 表情。
- 支持摄像头、屏幕录制、截图，让 AI 角色获得视觉感知。
- 角色不是单 prompt，而是一组配置、模型、交互通道和表现层。
VTube Studio API
VTube Studio 说明成熟 2.5D 角色系统通常不是“生成一段视频”，而是把外部信号映射到角色参数：
- 通过 WebSocket 触发 hotkey。
- 控制模型、表情、动作。
- 输入 face tracking 数据。
- 修改部分 ArtMesh 颜色。
对本项目的启发：AI 输出应该是 expression、motion、parameter 这类控制事件，而不是一整段不可交互的视频。
pixi-live2d-display
pixi-live2d-display 是 Web 端 Live2D 展示参考。它适合放在 gr.HTML 里作为浏览器端角色舞台方案。
适用场景：
- 已有公开授权 Live2D 模型。
- 后端输出表情和动作事件。
- 前端把事件映射到 Live2D motion/expression/parameter。
AnimateAnyone / Hallo
这类项目证明单图驱动角色动画或音频驱动人像动画是可行方向，但它们更像后期增强模块：
- 生成成本高。
- 延迟不适合第一版交互。
- 更适合生成短视频片段，不适合低延迟角色陪伴。
内置角色策略
本地探索角色
本地探索可以直接参考：
- Amadeus / 牧濑红莉栖风格。
- 流萤风格。
- 其他你喜欢的游戏或动画角色。
目的不是公开复刻，而是快速评估角色还原感、语气、情绪输出和舞台表现。
公开提交角色
公开 HF Space 建议原创化：
Amadeus-like Memory Girl：记忆人格、理性、研究员、通讯界面感。Firefly-inspired Star Knight：柔弱外表和战斗身份反差，科幻装甲，守护欲。Lab Assistant：偏理性吐槽型。Mischief Mascot：更轻松、有趣，适合 Thousand Token Wood。
原因：直接使用商业角色名、官方图像、官方声音、官方台词和完整剧情设定会带来 IP 风险。
生图模块判断
生图应该是后台资产生成能力，而不是每轮对话都调用。
适合场景：
- 内置角色头像、半身像、背景图生成。
- 用户点击“重绘角色”。
- 自定义角色创建时，把用户上传图或描述转成原创视觉资产。
推荐方向：
FLUX.1-schnell：速度快，许可证友好，适合快速生成角色图。SDXL：生态成熟，动漫风格资源多，适合后续做 LoRA / ControlNet / IP-Adapter。- 角色一致性增强：后续再看 IP-Adapter、InstantID、PuLID、角色 LoRA。
不建议：
- 每轮聊天都生图。
- 直接复刻商业角色图。
- 把生图作为主体验阻塞对话。
摄像头与视觉模型判断
视觉模型可以成为差异点，但第一版要克制。
可做场景：
角色看见你
用户用摄像头拍照或低频抽帧，VLM 判断用户是否在镜头前、大致情绪、场景氛围。角色以自身人格回应。角色看见物品
用户把书、玩偶、手办、饮料等拿给摄像头看，角色进行 persona 化评论。角色看见图片或截图
用户上传截图，角色不是做通用图像问答，而是用自己的身份和情绪解读。
MVP 建议：先做上传图片和手动拍照分析。实时流摄像头会增加队列、延迟和成本压力。
参考资料
- Steins;Gate 0 / Amadeus 设定概览: https://en.wikipedia.org/wiki/Steins%3BGate_0
- Open-LLM-VTuber: https://github.com/Open-LLM-VTuber/Open-LLM-VTuber
- VTube Studio API: https://github.com/DenchiSoft/VTubeStudio
- pixi-live2d-display: https://github.com/guansss/pixi-live2d-display
- Live2D 概念: https://en.wikipedia.org/wiki/Live2D
- AnimateAnyone: https://github.com/HumanAIGC/AnimateAnyone
- Hallo: https://github.com/fudan-generative-vision/hallo
- Gradio Image / webcam: https://www.gradio.app/docs/gradio/image
- Gradio streaming inputs: https://www.gradio.app/guides/streaming-inputs
- Gradio streaming outputs: https://www.gradio.app/guides/streaming-outputs
- Hugging Face Inference Providers: https://huggingface.co/docs/inference-providers/index
- FLUX.1-schnell: https://huggingface.co/black-forest-labs/FLUX.1-schnell
- SDXL: https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0