螺钿垂直模型子项目方案（模型进阶 V2）
版本：V2 | 基于 V1 优化落版 日期：2026-02-10 状态：架构设计阶段，暂不生成代码脚手架 变更说明：修正材质定义范围 / 明确双引擎结构 / 补充RAG技术栈 / Swarms留开口不入核心
1. 文档定位
本文档是【螺钿垂直模型】的进阶子项目执行框架（V2），目标导向：
在"全工艺可理解 + 工厂可落地 + 市场可接受"的前提下，提升螺钿设计生成质量， 使输出设计具备比一般 AI 生成更高的市场接受度，在销售环节形成收入与热度。
2. 核心定义修正（V1 → V2 关键变更）
2.1 训练侧 vs 输出侧 的分离定义
| 维度 | V1（原定义） | V2（修正定义） |
|---|---|---|
| 训练侧材质范围 | 仅硬木胎 + 贝母螺钿 | 全工艺覆盖：大漆胎、硬木胎、金属胎 × 贝母、银丝、朱砂、金属箔等全材质 |
| 输出侧风格 | 现代审美 | 现代审美（不变），但推理时具备全工艺判断能力 |
| 核心目标 | 生成设计图 | 生成设计图 + 工厂落地参数 + 市场接受度评估 |
修正逻辑：模型只有学过全部工艺，才能在推理时准确判断"这个设计用大漆胎还是硬木胎更合适"、"这个风格加朱砂填色会不会破坏现代感"——这是模型智能性的来源，也是比普通设计工具更有价值的地方。
2.2 原始提示词（保留）
"我希望设计款螺钿的产品，这个产品包含上海海派文化元素，并面向欧美市场具有一定吸引力的产品设计风格，提供产品创意以及设计画面的设计图。"
3. 双引擎架构（V2 核心补充）
V1 没有明确回答"谁生成设计图"。V2 明确：
┌─────────────────────────────────────────────────────────┐
│ 用户输入（自然语言） │
└─────────────────────┬───────────────────────────────────┘
↓
┌─────────────────────────────────────────────────────────┐
│ 理解引擎（LLaVA QLoRA） │
│ - 接收用户自然语言需求 │
│ - 理解上传的参考图片 │
│ - 文化语义理解（RAG 注入） │
│ - 生成 design_brief.json │
│ - 工艺可行性评估 │
│ - 市场接受度预评分 │
└─────────────────────┬───────────────────────────────────┘
↓ design_brief.json
┌─────────────────────────────────────────────────────────┐
│ 生成引擎（SDXL LoRA / FLUX → ComfyUI） │
│ - 接收 design_brief 中的 sdxl_prompt │
│ - 输出设计图（PNG/SVG） │
│ - 螺钿风格 LoRA 控制视觉质量 │
│ （利用现有 ComfyUI 环境，独立于 LLaVA 训练流程） │
└─────────────────────┬───────────────────────────────────┘
↓
┌─────────────────────────────────────────────────────────┐
│ 输出包（三件套） │
│ 1. 设计图（生成引擎输出） │
│ 2. 工厂参数卡（尺寸 / 工时 / 材料 / 工艺步骤） │
│ 3. 市场适配建议（客群 / 价格带 / 平台推荐） │
└─────────────────────────────────────────────────────────┘
引擎分工原则：
- LLaVA = 大脑（理解、规划、评估）
- SDXL/FLUX = 手（执行、画图）
- 两个引擎训练完全独立，互不干扰，共享 design_brief 作为唯一数据接口
4. 子系统总体架构（三系统 + 评估器）
4.1 子系统 A：互联网图片采集与训练素材准备
目标：持续收集"全工艺螺钿 + 时尚参考 + 欧美偏好 + 中国文化符号"素材
输入：关键词模板、来源白名单、采集配额
输出：
images/
├── trainable/ ← 可入训练集（已确认许可）
│ ├── seed/ ← 种子图（教师提供）
│ ├── lacquer_craft/ ← 大漆工艺
│ ├── metal_base/ ← 金属胎工艺
│ └── modern_style/ ← 现代审美参考
└── reference_only/ ← 仅风格参考，不入训练集
└── trend/ ← 时尚趋势（版权不明）
annotations/ ← 对应 JSON 标注
source_meta.jsonl ← 来源、时间、license、url
合规控制：
- 必存字段：
source_url、license、crawl_time、usage_note - 合规素材来源优先级：Unsplash/Pexels/Pixabay（CC0）> 博物馆数字藏品（CC BY）> 网络采集（reference_only）
- 版权不明素材一律进
reference_only/，不入训练主集
4.2 子系统 B：文化理解模块（知识库）
目标：构建上海海派文化 + 欧美市场偏好的可检索知识库，在推理时注入 LLaVA
技术栈（确定）：
| 组件 | 选型 | 理由 |
|---|---|---|
| 向量数据库 | ChromaDB（本地） | 纯 CPU 运行，不占显存，无需服务器 |
| Embedding 模型 | BGE-M3 | 支持中英双语，CPU 可运行，~1GB 内存 |
| 检索方式 | 语义检索 + 关键词混合 | 文化专业词汇用关键词更精确 |
输入：PDF / Docx / TXT / Markdown 文化资料
处理流程：
- 文本解析与标准化
- 按章节/主题语义分块
- BGE-M3 向量化入 ChromaDB
- 生成结构化知识卡片：
- 文化元素词表（上海海派符号、欧美偏好视觉语言）
- 视觉映射（图形、色彩、材质倾向）
- 商业映射（客群、价格带、适配平台）
- 工艺禁忌（某些文化对图案/色彩的禁忌）
推理注入链：
用户提示词 → ChromaDB 检索 → 相关知识片段 → LLaVA 生成 design_brief
SFT 条件（何时才值得做知识微调）：
- 知识库内容稳定（不频繁更新）
- 样本量 ≥ 200 条高质量标注
- RAG 效果已达瓶颈
4.3 子系统 C：提示词编排与落地评估（Orchestrator）
目标：把用户自然语言需求转化为"可生成 + 可制造 + 可销售"的标准化设计任务
核心数据结构 design_brief.json（V2 完整字段定义）：
{
"user_prompt_raw": "原始用户输入（原文保留）",
"product_type": "handheld_mirror | jewelry_box | pendant | phone_case ...",
"cultural_theme": {
"cn_element": "上海海派 / 苏州园林 / 京剧等",
"market_target": "EU | NA | CN | Global",
"cultural_notes": "RAG召回的相关文化语义片段"
},
"visual_spec": {
"motif": "Art Deco几何线条 + 龙华寺塔剪影（示例）",
"style_keywords": ["geometric_silhouette", "iridescent", "minimalist"],
"color_palette": ["deep_black", "pearl_white", "silver"]
},
"material_spec": {
"substrate": "purple_sandalwood | lacquer | copper ...",
"inlay_primary": "nacre | silver_wire | vermilion ...",
"inlay_secondary": "可选组合材质",
"surface_finish": "polished | lacquered | carved"
},
"production_params": {
"dimensions": "长x宽x高 cm",
"production_time": "6-8h",
"cost_tier": "low | mid | high",
"complexity": "simple | medium",
"factory_notes": "工厂执行要点"
},
"generation_params": {
"sdxl_prompt": "生成引擎使用的英文正向提示词",
"negative_prompt": "需要避免的元素",
"style_lora": "指定使用的 LoRA 权重名"
},
"evaluation": {
"manufacturability_score": 0.0,
"market_fit_score": 0.0,
"cultural_accuracy_score": 0.0,
"pass_threshold": 0.7,
"evaluator_notes": "低分原因说明"
}
}
处理流程：
用户输入 → NLU解析 → 知识库检索(B) → 填充 design_brief
→ 工艺可行性评分 → market_fit 预评分
→ 阈值过滤（score < 0.7 则返回修改建议）
→ 通过 → 输出给生成引擎(SDXL)
4.4 评估器（Evaluator）
两个核心维度：
维度1：工厂落地可行性
- 尺寸是否在可加工范围内
- 工时是否在 6-10 小时可量产区间
- 材质组合是否现实存在
- 工艺步骤是否工厂师傅可直接执行
维度2：市场接受度预评分
- 目标客群（欧美/中国）的视觉偏好匹配度
- 是否存在文化禁忌风险
- 价格带与产品类型是否匹配
- 与当前时尚趋势的相关性（可接入外部检索）
目标：模型在推理时输出的设计，其市场接受度应显著高于无垂直训练的通用模型， 在销售环节有更高概率产生收入和热度。这是本子项目对整体项目的核心贡献。
5. 数据流总览
互联网采集(A) ──→ 图片库(trainable + reference)
↓
LLaVA QLoRA 训练
↓
理解引擎（工艺识别能力提升）
↑
文化知识库(B) ──→ ChromaDB 检索注入
↓
用户输入 ──→ 编排器(C) ──→ design_brief.json
↓
SDXL LoRA（ComfyUI）
↓
设计图 + 参数卡 + 市场建议
6. 与主体模型的协作关系
| 层级 | 模块 | 当前基础 | V2 进阶 |
|---|---|---|---|
| 数据层 | 采集器(A) | 1张seed图 | 全工艺多样素材 |
| 知识层 | 文化知识库(B) | 无 | ChromaDB + BGE-M3 |
| 决策层 | 编排器(C) | 无 | design_brief + 双评分 |
| 理解层 | LLaVA QLoRA | Phase1验证完成(loss=0.6076) | 全材质工艺理解 |
| 生成层 | SDXL LoRA | ComfyUI已有 | 螺钿风格专用LoRA |
| 评估层 | Evaluator | 无 | 可行性 + 市场适配双评分 |
7. 脚手架目录（设计，不实现）
模型进阶V1/
├── README.md
├── docs/
│ ├── 子项目执行计划-V2.md
│ ├── 数据合规与授权规范.md
│ ├── design_brief字段说明.md
│ └── 评估规则说明.md
├── collector/
│ ├── configs/
│ │ ├── keyword_pools.yaml ← 中英关键词（全工艺覆盖）
│ │ └── source_whitelist.yaml ← 合规来源白名单
│ └── scripts/
│ ├── crawl_images.py
│ ├── deduplicate_images.py ← pHash感知哈希去重
│ └── build_source_meta.py
├── knowledge/
│ ├── corpus/ ← 文化资料原文
│ ├── scripts/
│ │ ├── ingest_texts.py
│ │ ├── build_vector_index.py ← ChromaDB + BGE-M3
│ │ └── query_knowledge.py
│ └── index/ ← ChromaDB 本地索引
├── orchestrator/
│ ├── templates/
│ │ └── design_brief.template.json
│ └── scripts/
│ └── generate_design_brief.py
├── evaluator/
│ ├── rules/
│ │ ├── manufacturability_rules.yaml ← 工厂可行性规则
│ │ └── market_fit_rules.yaml ← 市场适配规则
│ └── scripts/
│ └── score_design.py
└── generation/ ← V2 新增
├── comfyui_workflows/
│ └── luodian_sdxl.json ← ComfyUI workflow模板
└── scripts/
└── run_generation.py ← 调用ComfyUI API生成
8. 执行节奏（V2 调整版）
| 阶段 | 时长 | 内容 | 优先理由 |
|---|---|---|---|
| 第1阶段 | 1周 | 文化知识库最小版（ChromaDB可检索） | 一旦可用，编排器立刻受益 |
| 第2阶段 | 1周 | 编排器（纯提示词工程版，无需训练） | 最快产生可验证业务价值 |
| 第3阶段 | 2周 | SDXL 螺钿风格 LoRA 训练（ComfyUI） | 完全独立于LLaVA，可并行 |
| 第4阶段 | 2-3周 | 采集链路打通 + 全工艺标注扩充 | 合规审查需要时间 |
| 第5阶段 | 持续 | 数据回灌，LLaVA 新一轮 LoRA 迭代 | 基于扩充数据提升理解能力 |
9. 多 Agent 协作扩展开口（预留，不入核心架构）
当前决策：基于 Token 成本与项目盈利预期，Swarms 多 Agent 协同暂不纳入核心架构。 所有模块按"单 Agent 顺序执行"模式设计与实现。
开口条件（满足以下任一条件时可评估升级）：
- 项目产生稳定收入，Token 成本可被商业化抵消
- Anthropic 官方 Claude Code Swarms 正式发布，成本结构更明确
- 单 Agent 模式出现明显效率瓶颈（如数据采集 + 知识库更新串行太慢）
开口接口设计（现在即按此规范编写代码，未来升级零成本）：
# 每个子系统模块统一接口规范
# 未来升级 Swarms 时，只需把函数调用改为 Agent 委托
def run_collector(config: dict) -> CollectorResult: ...
def run_knowledge_query(query: str) -> KnowledgeResult: ...
def run_brief_generator(user_input: str, knowledge: KnowledgeResult) -> DesignBrief: ...
def run_evaluator(brief: DesignBrief) -> EvaluationResult: ...
def run_generator(brief: DesignBrief) -> GenerationResult: ...
# 当前：顺序调用
result = run_generator(run_brief_generator(user_input, run_knowledge_query(query)))
# 未来 Swarms 升级：并发 Agent 委托（接口不变，调用方式变）
# orchestrator.delegate(run_collector, run_knowledge_query, run_evaluator)
10. V2 对 V1 评估清单的回答
| 问题 | V1状态 | V2回答 |
|---|---|---|
| 1. 文化理解与图像生成是否正确解耦？ | 概念对 | ✅ 明确双引擎，接口为 design_brief.json |
| 2. 8GB 显存下 RAG 优先是否合理？ | 正确 | ✅ ChromaDB + BGE-M3 纯 CPU，不占显存 |
| 3. 版权合规流程是否足够？ | 方向对 | ✅ 补充了来源白名单优先级和 trainable/reference 分离规则 |
| 4. design_brief 字段是否满足落地评估？ | 未定义 | ✅ V2 完整定义了18个字段，含 production_params + evaluation |
| 5. 参考库与训练库分离是否必要？ | 是 | ✅ 已在目录结构中明确 trainable/reference_only 分层 |
| 6. LLaVA 与生成模型协作边界是否清晰？ | 未定义 | ✅ LLaVA=理解引擎，SDXL=生成引擎，design_brief.json=唯一接口 |
| 7. 哪个模块最先实现价值？ | 未回答 | ✅ 第1阶段文化知识库，第2阶段编排器，最快路径清晰 |
11. 当前决议
已落版：
- 全工艺材质定义（训练侧全覆盖，输出侧现代导向）
- 双引擎结构（LLaVA 理解 + SDXL 生成）
- RAG 技术栈确定（ChromaDB + BGE-M3）
- design_brief.json 完整字段定义
- 多 Agent 扩展开口（预留接口规范，不入核心）
暂不执行：
- 脚手架代码生成
- 爬取脚本开发
- 知识库服务化部署
- ComfyUI workflow 开发
下一步决策点：
- 确认第1阶段启动时间（文化知识库）
- 提供文化资料文本（上海海派、欧美市场偏好）供知识库构建
- 确认 SDXL 风格参考图（10-20张，用于训练螺钿风格LoRA）