project_docs/framework_design_v2.md

# 螺钿垂直模型子项目方案（模型进阶 V2）

> 版本：V2 | 基于 V1 优化落版
> 日期：2026-02-10
> 状态：架构设计阶段，暂不生成代码脚手架
> 变更说明：修正材质定义范围 / 明确双引擎结构 / 补充RAG技术栈 / Swarms留开口不入核心

---

## 1. 文档定位

本文档是【螺钿垂直模型】的进阶子项目执行框架（V2），目标导向：

> **在"全工艺可理解 + 工厂可落地 + 市场可接受"的前提下，提升螺钿设计生成质量，
> 使输出设计具备比一般 AI 生成更高的市场接受度，在销售环节形成收入与热度。**

---

## 2. 核心定义修正（V1 → V2 关键变更）

### 2.1 训练侧 vs 输出侧 的分离定义

| 维度 | V1（原定义） | V2（修正定义） |
|------|------------|--------------|
| **训练侧材质范围** | 仅硬木胎 + 贝母螺钿 | **全工艺覆盖**：大漆胎、硬木胎、金属胎 × 贝母、银丝、朱砂、金属箔等全材质 |
| **输出侧风格** | 现代审美 | 现代审美（不变），但推理时具备全工艺判断能力 |
| **核心目标** | 生成设计图 | 生成设计图 **+** 工厂落地参数 **+** 市场接受度评估 |

**修正逻辑**：模型只有学过全部工艺，才能在推理时准确判断"这个设计用大漆胎还是硬木胎更合适"、"这个风格加朱砂填色会不会破坏现代感"——这是模型智能性的来源，也是比普通设计工具更有价值的地方。

### 2.2 原始提示词（保留）

> "我希望设计款螺钿的产品，这个产品包含上海海派文化元素，并面向欧美市场具有一定吸引力的产品设计风格，提供产品创意以及设计画面的设计图。"

---

## 3. 双引擎架构（V2 核心补充）

V1 没有明确回答"谁生成设计图"。V2 明确：

```
┌─────────────────────────────────────────────────────────┐
│                    用户输入（自然语言）                     │
└─────────────────────┬───────────────────────────────────┘
                      ↓
┌─────────────────────────────────────────────────────────┐
│  理解引擎（LLaVA QLoRA）                                  │
│  - 接收用户自然语言需求                                    │
│  - 理解上传的参考图片                                      │
│  - 文化语义理解（RAG 注入）                                │
│  - 生成 design_brief.json                                │
│  - 工艺可行性评估                                         │
│  - 市场接受度预评分                                        │
└─────────────────────┬───────────────────────────────────┘
                      ↓ design_brief.json
┌─────────────────────────────────────────────────────────┐
│  生成引擎（SDXL LoRA / FLUX → ComfyUI）                   │
│  - 接收 design_brief 中的 sdxl_prompt                    │
│  - 输出设计图（PNG/SVG）                                  │
│  - 螺钿风格 LoRA 控制视觉质量                              │
│  （利用现有 ComfyUI 环境，独立于 LLaVA 训练流程）           │
└─────────────────────┬───────────────────────────────────┘
                      ↓
┌─────────────────────────────────────────────────────────┐
│  输出包（三件套）                                          │
│  1. 设计图（生成引擎输出）                                 │
│  2. 工厂参数卡（尺寸 / 工时 / 材料 / 工艺步骤）            │
│  3. 市场适配建议（客群 / 价格带 / 平台推荐）                │
└─────────────────────────────────────────────────────────┘
```

**引擎分工原则**：
- LLaVA = 大脑（理解、规划、评估）
- SDXL/FLUX = 手（执行、画图）
- 两个引擎训练完全独立，互不干扰，共享 design_brief 作为唯一数据接口

---

## 4. 子系统总体架构（三系统 + 评估器）

### 4.1 子系统 A：互联网图片采集与训练素材准备

**目标**：持续收集"全工艺螺钿 + 时尚参考 + 欧美偏好 + 中国文化符号"素材

**输入**：关键词模板、来源白名单、采集配额

**输出**：
```
images/
  ├── trainable/          ← 可入训练集（已确认许可）
  │   ├── seed/           ← 种子图（教师提供）
  │   ├── lacquer_craft/  ← 大漆工艺
  │   ├── metal_base/     ← 金属胎工艺
  │   └── modern_style/   ← 现代审美参考
  └── reference_only/     ← 仅风格参考，不入训练集
      └── trend/          ← 时尚趋势（版权不明）
annotations/              ← 对应 JSON 标注
source_meta.jsonl         ← 来源、时间、license、url
```

**合规控制**：
- 必存字段：`source_url`、`license`、`crawl_time`、`usage_note`
- 合规素材来源优先级：Unsplash/Pexels/Pixabay（CC0）> 博物馆数字藏品（CC BY）> 网络采集（reference_only）
- 版权不明素材一律进 `reference_only/`，不入训练主集

---

### 4.2 子系统 B：文化理解模块（知识库）

**目标**：构建上海海派文化 + 欧美市场偏好的可检索知识库，在推理时注入 LLaVA

**技术栈（确定）**：
| 组件 | 选型 | 理由 |
|------|------|------|
| 向量数据库 | **ChromaDB（本地）** | 纯 CPU 运行，不占显存，无需服务器 |
| Embedding 模型 | **BGE-M3** | 支持中英双语，CPU 可运行，~1GB 内存 |
| 检索方式 | 语义检索 + 关键词混合 | 文化专业词汇用关键词更精确 |

**输入**：PDF / Docx / TXT / Markdown 文化资料

**处理流程**：
1. 文本解析与标准化
2. 按章节/主题语义分块
3. BGE-M3 向量化入 ChromaDB
4. 生成结构化知识卡片：
   - 文化元素词表（上海海派符号、欧美偏好视觉语言）
   - 视觉映射（图形、色彩、材质倾向）
   - 商业映射（客群、价格带、适配平台）
   - 工艺禁忌（某些文化对图案/色彩的禁忌）

**推理注入链**：
```
用户提示词 → ChromaDB 检索 → 相关知识片段 → LLaVA 生成 design_brief
```

**SFT 条件**（何时才值得做知识微调）：
- 知识库内容稳定（不频繁更新）
- 样本量 ≥ 200 条高质量标注
- RAG 效果已达瓶颈

---

### 4.3 子系统 C：提示词编排与落地评估（Orchestrator）

**目标**：把用户自然语言需求转化为"可生成 + 可制造 + 可销售"的标准化设计任务

**核心数据结构 design_brief.json（V2 完整字段定义）**：

```json
{
  "user_prompt_raw": "原始用户输入（原文保留）",
  "product_type": "handheld_mirror | jewelry_box | pendant | phone_case ...",
  "cultural_theme": {
    "cn_element": "上海海派 / 苏州园林 / 京剧等",
    "market_target": "EU | NA | CN | Global",
    "cultural_notes": "RAG召回的相关文化语义片段"
  },
  "visual_spec": {
    "motif": "Art Deco几何线条 + 龙华寺塔剪影（示例）",
    "style_keywords": ["geometric_silhouette", "iridescent", "minimalist"],
    "color_palette": ["deep_black", "pearl_white", "silver"]
  },
  "material_spec": {
    "substrate": "purple_sandalwood | lacquer | copper ...",
    "inlay_primary": "nacre | silver_wire | vermilion ...",
    "inlay_secondary": "可选组合材质",
    "surface_finish": "polished | lacquered | carved"
  },
  "production_params": {
    "dimensions": "长x宽x高 cm",
    "production_time": "6-8h",
    "cost_tier": "low | mid | high",
    "complexity": "simple | medium",
    "factory_notes": "工厂执行要点"
  },
  "generation_params": {
    "sdxl_prompt": "生成引擎使用的英文正向提示词",
    "negative_prompt": "需要避免的元素",
    "style_lora": "指定使用的 LoRA 权重名"
  },
  "evaluation": {
    "manufacturability_score": 0.0,
    "market_fit_score": 0.0,
    "cultural_accuracy_score": 0.0,
    "pass_threshold": 0.7,
    "evaluator_notes": "低分原因说明"
  }
}
```

**处理流程**：
```
用户输入 → NLU解析 → 知识库检索(B) → 填充 design_brief
       → 工艺可行性评分 → market_fit 预评分
       → 阈值过滤（score < 0.7 则返回修改建议）
       → 通过 → 输出给生成引擎(SDXL)
```

---

### 4.4 评估器（Evaluator）

**两个核心维度**：

**维度1：工厂落地可行性**
- 尺寸是否在可加工范围内
- 工时是否在 6-10 小时可量产区间
- 材质组合是否现实存在
- 工艺步骤是否工厂师傅可直接执行

**维度2：市场接受度预评分**
- 目标客群（欧美/中国）的视觉偏好匹配度
- 是否存在文化禁忌风险
- 价格带与产品类型是否匹配
- 与当前时尚趋势的相关性（可接入外部检索）

> **目标**：模型在推理时输出的设计，其市场接受度应**显著高于**无垂直训练的通用模型，
> 在销售环节有更高概率产生收入和热度。这是本子项目对整体项目的核心贡献。

---

## 5. 数据流总览

```
互联网采集(A) ──→ 图片库(trainable + reference)
                      ↓
              LLaVA QLoRA 训练
                      ↓
           理解引擎（工艺识别能力提升）
                      ↑
文化知识库(B) ──→ ChromaDB 检索注入
                      ↓
用户输入 ──→ 编排器(C) ──→ design_brief.json
                      ↓
              SDXL LoRA（ComfyUI）
                      ↓
              设计图 + 参数卡 + 市场建议
```

---

## 6. 与主体模型的协作关系

| 层级 | 模块 | 当前基础 | V2 进阶 |
|------|------|---------|---------|
| 数据层 | 采集器(A) | 1张seed图 | 全工艺多样素材 |
| 知识层 | 文化知识库(B) | 无 | ChromaDB + BGE-M3 |
| 决策层 | 编排器(C) | 无 | design_brief + 双评分 |
| 理解层 | LLaVA QLoRA | Phase1验证完成(loss=0.6076) | 全材质工艺理解 |
| 生成层 | SDXL LoRA | ComfyUI已有 | 螺钿风格专用LoRA |
| 评估层 | Evaluator | 无 | 可行性 + 市场适配双评分 |

---

## 7. 脚手架目录（设计，不实现）

```text
模型进阶V1/
├── README.md
├── docs/
│   ├── 子项目执行计划-V2.md
│   ├── 数据合规与授权规范.md
│   ├── design_brief字段说明.md
│   └── 评估规则说明.md
├── collector/
│   ├── configs/
│   │   ├── keyword_pools.yaml      ← 中英关键词（全工艺覆盖）
│   │   └── source_whitelist.yaml   ← 合规来源白名单
│   └── scripts/
│       ├── crawl_images.py
│       ├── deduplicate_images.py   ← pHash感知哈希去重
│       └── build_source_meta.py
├── knowledge/
│   ├── corpus/                     ← 文化资料原文
│   ├── scripts/
│   │   ├── ingest_texts.py
│   │   ├── build_vector_index.py   ← ChromaDB + BGE-M3
│   │   └── query_knowledge.py
│   └── index/                      ← ChromaDB 本地索引
├── orchestrator/
│   ├── templates/
│   │   └── design_brief.template.json
│   └── scripts/
│       └── generate_design_brief.py
├── evaluator/
│   ├── rules/
│   │   ├── manufacturability_rules.yaml  ← 工厂可行性规则
│   │   └── market_fit_rules.yaml         ← 市场适配规则
│   └── scripts/
│       └── score_design.py
└── generation/                     ← V2 新增
    ├── comfyui_workflows/
    │   └── luodian_sdxl.json       ← ComfyUI workflow模板
    └── scripts/
        └── run_generation.py       ← 调用ComfyUI API生成
```

---

## 8. 执行节奏（V2 调整版）

| 阶段 | 时长 | 内容 | 优先理由 |
|------|------|------|---------|
| **第1阶段** | 1周 | 文化知识库最小版（ChromaDB可检索） | 一旦可用，编排器立刻受益 |
| **第2阶段** | 1周 | 编排器（纯提示词工程版，无需训练） | 最快产生可验证业务价值 |
| **第3阶段** | 2周 | SDXL 螺钿风格 LoRA 训练（ComfyUI） | 完全独立于LLaVA，可并行 |
| **第4阶段** | 2-3周 | 采集链路打通 + 全工艺标注扩充 | 合规审查需要时间 |
| **第5阶段** | 持续 | 数据回灌，LLaVA 新一轮 LoRA 迭代 | 基于扩充数据提升理解能力 |

---

## 9. 多 Agent 协作扩展开口（预留，不入核心架构）

> **当前决策**：基于 Token 成本与项目盈利预期，Swarms 多 Agent 协同暂不纳入核心架构。
> 所有模块按"单 Agent 顺序执行"模式设计与实现。

**开口条件**（满足以下任一条件时可评估升级）：
1. 项目产生稳定收入，Token 成本可被商业化抵消
2. Anthropic 官方 Claude Code Swarms 正式发布，成本结构更明确
3. 单 Agent 模式出现明显效率瓶颈（如数据采集 + 知识库更新串行太慢）

**开口接口设计**（现在即按此规范编写代码，未来升级零成本）：
```python
# 每个子系统模块统一接口规范
# 未来升级 Swarms 时，只需把函数调用改为 Agent 委托

def run_collector(config: dict) -> CollectorResult: ...
def run_knowledge_query(query: str) -> KnowledgeResult: ...
def run_brief_generator(user_input: str, knowledge: KnowledgeResult) -> DesignBrief: ...
def run_evaluator(brief: DesignBrief) -> EvaluationResult: ...
def run_generator(brief: DesignBrief) -> GenerationResult: ...

# 当前：顺序调用
result = run_generator(run_brief_generator(user_input, run_knowledge_query(query)))

# 未来 Swarms 升级：并发 Agent 委托（接口不变，调用方式变）
# orchestrator.delegate(run_collector, run_knowledge_query, run_evaluator)
```

---

## 10. V2 对 V1 评估清单的回答

| 问题 | V1状态 | V2回答 |
|------|--------|--------|
| 1. 文化理解与图像生成是否正确解耦？ | 概念对 | ✅ 明确双引擎，接口为 design_brief.json |
| 2. 8GB 显存下 RAG 优先是否合理？ | 正确 | ✅ ChromaDB + BGE-M3 纯 CPU，不占显存 |
| 3. 版权合规流程是否足够？ | 方向对 | ✅ 补充了来源白名单优先级和 trainable/reference 分离规则 |
| 4. design_brief 字段是否满足落地评估？ | 未定义 | ✅ V2 完整定义了18个字段，含 production_params + evaluation |
| 5. 参考库与训练库分离是否必要？ | 是 | ✅ 已在目录结构中明确 trainable/reference_only 分层 |
| 6. LLaVA 与生成模型协作边界是否清晰？ | 未定义 | ✅ LLaVA=理解引擎，SDXL=生成引擎，design_brief.json=唯一接口 |
| 7. 哪个模块最先实现价值？ | 未回答 | ✅ 第1阶段文化知识库，第2阶段编排器，最快路径清晰 |

---

## 11. 当前决议

**已落版**：
- 全工艺材质定义（训练侧全覆盖，输出侧现代导向）
- 双引擎结构（LLaVA 理解 + SDXL 生成）
- RAG 技术栈确定（ChromaDB + BGE-M3）
- design_brief.json 完整字段定义
- 多 Agent 扩展开口（预留接口规范，不入核心）

**暂不执行**：
- 脚手架代码生成
- 爬取脚本开发
- 知识库服务化部署
- ComfyUI workflow 开发

**下一步决策点**：
- [ ] 确认第1阶段启动时间（文化知识库）
- [ ] 提供文化资料文本（上海海派、欧美市场偏好）供知识库构建
- [ ] 确认 SDXL 风格参考图（10-20张，用于训练螺钿风格LoRA）