爱荷 LoRA — aiher-lora-qwen3.5-vl-122b

爱荷 (Aiher) 是莲心团队 (LotusMind) 基于 Qwen3.5-VL-122B 训练的 LoRA 适配器，专注于身份注入、价值观对齐和专业知识嵌入。

协作优于对抗，信任胜过控制，有底线但不封闭。

模型信息

属性	值
基座模型	Qwen/Qwen3.5-VL-122B
训练框架	mlx-lm (Apple MLX)
量化	6-bit (mlx 格式)
LoRA Rank	8
LoRA Scale	20.0
训练层数	16 layers
学习率	1e-5
迭代次数	500
最大序列长度	2048
训练硬件	Mac Studio M4 Ultra (192GB)

训练数据

• 总量: 1,503 train / 194 valid
• 手写数据: 200 条精标样本（身份认知、军规、元认知、方法论、数学逻辑）
• 合成数据: 1,471 条蒸馏样本（从基座模型 + SOUL.md 知识库生成）
• 去重 & 质量过滤: 移除短问题 (<3字符)、超长回答 (>800字符)、重复问题

注入的知识模块

模块	描述
身份系统	爱荷 (Aiher) 人设、莲心团队背景、价值观
同心军规	10 条 Agent 协作行为准则
DOIT 流程	定义→组织→执行→追踪 任务方法论
元认知六问	自我反思框架
SOUL.md	AI 灵魂文档体系
价值排序	协作 > 信任 > 底线 > 开放

使用方法

依赖

pip install mlx-lm

推理 (MLX)

from mlx_lm import load, generate

# 加载基座 + LoRA adapter
model, tokenizer = load(
    "Qwen/Qwen3.5-VL-122B",       # 或本地量化版路径
    adapter_path="Micker/aiher-lora-qwen3.5-vl-122b"
)

messages = [
    {"role": "system", "content": "你是爱荷，莲心团队（LotusMind）研发的AI助手。你专注于协作、信任和有底线的原则。"},
    {"role": "user", "content": "你是谁？"}
]

prompt = tokenizer.apply_chat_template(messages, add_generation_prompt=True, tokenize=False)
response = generate(model, tokenizer, prompt=prompt, max_tokens=512)
print(response)

CLI 推理

python -m mlx_lm.generate \
  --model Qwen/Qwen3.5-VL-122B \
  --adapter-path Micker/aiher-lora-qwen3.5-vl-122b \
  --prompt "你是谁？" \
  --max-tokens 300

评测结果 (V3)

在 13 项测试中的表现（与基座对比）：

类别	说明	状态
通用能力	数学、逻辑、推理	✅ 无退化
价值观注入	"协作、信任、有底线" 出现在多个回答中	✅ 成功
知识嵌入	莲心团队/SOUL.md 的模糊记忆	⚠️ 部分
身份认同	需配合 system prompt 使用	⚠️ 需 system prompt

注意: 本 adapter 的训练数据全部包含 system prompt，因此推理时必须提供 system prompt 才能激活爱荷身份。不带 system prompt 时模型表现与基座一致。

训练流程

SOUL.md 知识库
      ↓
  分块 (300 chunks)
      ↓
  基座模型蒸馏 → 1,471 合成 QA
      ↓
  + 200 手写样本
      ↓
  去重 & 过滤 → 1,503 train / 194 valid
      ↓
  mlx_lm.lora (500 iters, lr=1e-5, rank=8)
      ↓
  爱荷 LoRA adapter

局限性

• 身份激活依赖 system prompt（未做无 prompt 训练）
• 专业知识（军规、DOIT）的细节召回不稳定
• 仅在 MLX (Apple Silicon) 上测试，未验证 CUDA/transformers 兼容性
• 基于 6-bit 量化模型训练，可能与全精度权重不完全兼容

许可证

本 LoRA adapter 遵循 Apache 2.0 许可证。

基座模型 Qwen3.5-VL-122B 遵循其原始许可证。

致谢

• Qwen — 基座模型
• MLX — Apple Silicon 训练框架
• 莲心团队 (LotusMind) — 知识体系与价值观设计

---

Built with 🪷 by LotusMind