File size: 16,858 Bytes
b530567 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223 224 225 226 227 228 229 230 231 232 233 234 235 236 237 238 239 240 241 242 243 244 245 246 247 248 249 250 251 252 253 254 255 256 257 258 259 260 261 262 263 264 265 266 267 268 269 270 271 272 273 274 275 276 277 278 279 280 281 282 283 284 285 286 287 288 289 290 291 292 293 294 295 296 297 298 299 300 301 302 303 304 305 306 307 308 309 310 311 312 313 314 315 316 317 318 319 320 321 322 323 324 325 326 327 328 329 330 331 332 333 334 335 336 337 338 339 340 341 342 343 344 345 346 347 348 349 350 351 352 353 354 355 356 357 358 359 360 361 362 363 364 365 366 367 368 369 370 371 372 373 374 375 | # 螺钿垂直模型子项目方案（模型进阶 V2）
> 版本：V2 | 基于 V1 优化落版
> 日期：2026-02-10
> 状态：架构设计阶段，暂不生成代码脚手架
> 变更说明：修正材质定义范围 / 明确双引擎结构 / 补充RAG技术栈 / Swarms留开口不入核心
---
## 1. 文档定位
本文档是【螺钿垂直模型】的进阶子项目执行框架（V2），目标导向：
> **在"全工艺可理解 + 工厂可落地 + 市场可接受"的前提下，提升螺钿设计生成质量，
> 使输出设计具备比一般 AI 生成更高的市场接受度，在销售环节形成收入与热度。**
---
## 2. 核心定义修正（V1 → V2 关键变更）
### 2.1 训练侧 vs 输出侧 的分离定义
| 维度 | V1（原定义） | V2（修正定义） |
|------|------------|--------------|
| **训练侧材质范围** | 仅硬木胎 + 贝母螺钿 | **全工艺覆盖**：大漆胎、硬木胎、金属胎 × 贝母、银丝、朱砂、金属箔等全材质 |
| **输出侧风格** | 现代审美 | 现代审美（不变），但推理时具备全工艺判断能力 |
| **核心目标** | 生成设计图 | 生成设计图 **+** 工厂落地参数 **+** 市场接受度评估 |
**修正逻辑**：模型只有学过全部工艺，才能在推理时准确判断"这个设计用大漆胎还是硬木胎更合适"、"这个风格加朱砂填色会不会破坏现代感"——这是模型智能性的来源，也是比普通设计工具更有价值的地方。
### 2.2 原始提示词（保留）
> "我希望设计款螺钿的产品，这个产品包含上海海派文化元素，并面向欧美市场具有一定吸引力的产品设计风格，提供产品创意以及设计画面的设计图。"
---
## 3. 双引擎架构（V2 核心补充）
V1 没有明确回答"谁生成设计图"。V2 明确：
```
┌─────────────────────────────────────────────────────────┐
│ 用户输入（自然语言） │
└─────────────────────┬───────────────────────────────────┘
↓
┌─────────────────────────────────────────────────────────┐
│ 理解引擎（LLaVA QLoRA） │
│ - 接收用户自然语言需求 │
│ - 理解上传的参考图片 │
│ - 文化语义理解（RAG 注入） │
│ - 生成 design_brief.json │
│ - 工艺可行性评估 │
│ - 市场接受度预评分 │
└─────────────────────┬───────────────────────────────────┘
↓ design_brief.json
┌─────────────────────────────────────────────────────────┐
│ 生成引擎（SDXL LoRA / FLUX → ComfyUI） │
│ - 接收 design_brief 中的 sdxl_prompt │
│ - 输出设计图（PNG/SVG） │
│ - 螺钿风格 LoRA 控制视觉质量 │
│ （利用现有 ComfyUI 环境，独立于 LLaVA 训练流程） │
└─────────────────────┬───────────────────────────────────┘
↓
┌─────────────────────────────────────────────────────────┐
│ 输出包（三件套） │
│ 1. 设计图（生成引擎输出） │
│ 2. 工厂参数卡（尺寸 / 工时 / 材料 / 工艺步骤） │
│ 3. 市场适配建议（客群 / 价格带 / 平台推荐） │
└─────────────────────────────────────────────────────────┘
```
**引擎分工原则**：
- LLaVA = 大脑（理解、规划、评估）
- SDXL/FLUX = 手（执行、画图）
- 两个引擎训练完全独立，互不干扰，共享 design_brief 作为唯一数据接口
---
## 4. 子系统总体架构（三系统 + 评估器）
### 4.1 子系统 A：互联网图片采集与训练素材准备
**目标**：持续收集"全工艺螺钿 + 时尚参考 + 欧美偏好 + 中国文化符号"素材
**输入**：关键词模板、来源白名单、采集配额
**输出**：
```
images/
├── trainable/ ← 可入训练集（已确认许可）
│ ├── seed/ ← 种子图（教师提供）
│ ├── lacquer_craft/ ← 大漆工艺
│ ├── metal_base/ ← 金属胎工艺
│ └── modern_style/ ← 现代审美参考
└── reference_only/ ← 仅风格参考，不入训练集
└── trend/ ← 时尚趋势（版权不明）
annotations/ ← 对应 JSON 标注
source_meta.jsonl ← 来源、时间、license、url
```
**合规控制**：
- 必存字段：`source_url`、`license`、`crawl_time`、`usage_note`
- 合规素材来源优先级：Unsplash/Pexels/Pixabay（CC0）> 博物馆数字藏品（CC BY）> 网络采集（reference_only）
- 版权不明素材一律进 `reference_only/`，不入训练主集
---
### 4.2 子系统 B：文化理解模块（知识库）
**目标**：构建上海海派文化 + 欧美市场偏好的可检索知识库，在推理时注入 LLaVA
**技术栈（确定）**：
| 组件 | 选型 | 理由 |
|------|------|------|
| 向量数据库 | **ChromaDB（本地）** | 纯 CPU 运行，不占显存，无需服务器 |
| Embedding 模型 | **BGE-M3** | 支持中英双语，CPU 可运行，~1GB 内存 |
| 检索方式 | 语义检索 + 关键词混合 | 文化专业词汇用关键词更精确 |
**输入**：PDF / Docx / TXT / Markdown 文化资料
**处理流程**：
1. 文本解析与标准化
2. 按章节/主题语义分块
3. BGE-M3 向量化入 ChromaDB
4. 生成结构化知识卡片：
- 文化元素词表（上海海派符号、欧美偏好视觉语言）
- 视觉映射（图形、色彩、材质倾向）
- 商业映射（客群、价格带、适配平台）
- 工艺禁忌（某些文化对图案/色彩的禁忌）
**推理注入链**：
```
用户提示词 → ChromaDB 检索 → 相关知识片段 → LLaVA 生成 design_brief
```
**SFT 条件**（何时才值得做知识微调）：
- 知识库内容稳定（不频繁更新）
- 样本量 ≥ 200 条高质量标注
- RAG 效果已达瓶颈
---
### 4.3 子系统 C：提示词编排与落地评估（Orchestrator）
**目标**：把用户自然语言需求转化为"可生成 + 可制造 + 可销售"的标准化设计任务
**核心数据结构 design_brief.json（V2 完整字段定义）**：
```json
{
"user_prompt_raw": "原始用户输入（原文保留）",
"product_type": "handheld_mirror | jewelry_box | pendant | phone_case ...",
"cultural_theme": {
"cn_element": "上海海派 / 苏州园林 / 京剧等",
"market_target": "EU | NA | CN | Global",
"cultural_notes": "RAG召回的相关文化语义片段"
},
"visual_spec": {
"motif": "Art Deco几何线条 + 龙华寺塔剪影（示例）",
"style_keywords": ["geometric_silhouette", "iridescent", "minimalist"],
"color_palette": ["deep_black", "pearl_white", "silver"]
},
"material_spec": {
"substrate": "purple_sandalwood | lacquer | copper ...",
"inlay_primary": "nacre | silver_wire | vermilion ...",
"inlay_secondary": "可选组合材质",
"surface_finish": "polished | lacquered | carved"
},
"production_params": {
"dimensions": "长x宽x高 cm",
"production_time": "6-8h",
"cost_tier": "low | mid | high",
"complexity": "simple | medium",
"factory_notes": "工厂执行要点"
},
"generation_params": {
"sdxl_prompt": "生成引擎使用的英文正向提示词",
"negative_prompt": "需要避免的元素",
"style_lora": "指定使用的 LoRA 权重名"
},
"evaluation": {
"manufacturability_score": 0.0,
"market_fit_score": 0.0,
"cultural_accuracy_score": 0.0,
"pass_threshold": 0.7,
"evaluator_notes": "低分原因说明"
}
}
```
**处理流程**：
```
用户输入 → NLU解析 → 知识库检索(B) → 填充 design_brief
→ 工艺可行性评分 → market_fit 预评分
→ 阈值过滤（score < 0.7 则返回修改建议）
→ 通过 → 输出给生成引擎(SDXL)
```
---
### 4.4 评估器（Evaluator）
**两个核心维度**：
**维度1：工厂落地可行性**
- 尺寸是否在可加工范围内
- 工时是否在 6-10 小时可量产区间
- 材质组合是否现实存在
- 工艺步骤是否工厂师傅可直接执行
**维度2：市场接受度预评分**
- 目标客群（欧美/中国）的视觉偏好匹配度
- 是否存在文化禁忌风险
- 价格带与产品类型是否匹配
- 与当前时尚趋势的相关性（可接入外部检索）
> **目标**：模型在推理时输出的设计，其市场接受度应**显著高于**无垂直训练的通用模型，
> 在销售环节有更高概率产生收入和热度。这是本子项目对整体项目的核心贡献。
---
## 5. 数据流总览
```
互联网采集(A) ──→ 图片库(trainable + reference)
↓
LLaVA QLoRA 训练
↓
理解引擎（工艺识别能力提升）
↑
文化知识库(B) ──→ ChromaDB 检索注入
↓
用户输入 ──→ 编排器(C) ──→ design_brief.json
↓
SDXL LoRA（ComfyUI）
↓
设计图 + 参数卡 + 市场建议
```
---
## 6. 与主体模型的协作关系
| 层级 | 模块 | 当前基础 | V2 进阶 |
|------|------|---------|---------|
| 数据层 | 采集器(A) | 1张seed图 | 全工艺多样素材 |
| 知识层 | 文化知识库(B) | 无 | ChromaDB + BGE-M3 |
| 决策层 | 编排器(C) | 无 | design_brief + 双评分 |
| 理解层 | LLaVA QLoRA | Phase1验证完成(loss=0.6076) | 全材质工艺理解 |
| 生成层 | SDXL LoRA | ComfyUI已有 | 螺钿风格专用LoRA |
| 评估层 | Evaluator | 无 | 可行性 + 市场适配双评分 |
---
## 7. 脚手架目录（设计，不实现）
```text
模型进阶V1/
├── README.md
├── docs/
│ ├── 子项目执行计划-V2.md
│ ├── 数据合规与授权规范.md
│ ├── design_brief字段说明.md
│ └── 评估规则说明.md
├── collector/
│ ├── configs/
│ │ ├── keyword_pools.yaml ← 中英关键词（全工艺覆盖）
│ │ └── source_whitelist.yaml ← 合规来源白名单
│ └── scripts/
│ ├── crawl_images.py
│ ├── deduplicate_images.py ← pHash感知哈希去重
│ └── build_source_meta.py
├── knowledge/
│ ├── corpus/ ← 文化资料原文
│ ├── scripts/
│ │ ├── ingest_texts.py
│ │ ├── build_vector_index.py ← ChromaDB + BGE-M3
│ │ └── query_knowledge.py
│ └── index/ ← ChromaDB 本地索引
├── orchestrator/
│ ├── templates/
│ │ └── design_brief.template.json
│ └── scripts/
│ └── generate_design_brief.py
├── evaluator/
│ ├── rules/
│ │ ├── manufacturability_rules.yaml ← 工厂可行性规则
│ │ └── market_fit_rules.yaml ← 市场适配规则
│ └── scripts/
│ └── score_design.py
└── generation/ ← V2 新增
├── comfyui_workflows/
│ └── luodian_sdxl.json ← ComfyUI workflow模板
└── scripts/
└── run_generation.py ← 调用ComfyUI API生成
```
---
## 8. 执行节奏（V2 调整版）
| 阶段 | 时长 | 内容 | 优先理由 |
|------|------|------|---------|
| **第1阶段** | 1周 | 文化知识库最小版（ChromaDB可检索） | 一旦可用，编排器立刻受益 |
| **第2阶段** | 1周 | 编排器（纯提示词工程版，无需训练） | 最快产生可验证业务价值 |
| **第3阶段** | 2周 | SDXL 螺钿风格 LoRA 训练（ComfyUI） | 完全独立于LLaVA，可并行 |
| **第4阶段** | 2-3周 | 采集链路打通 + 全工艺标注扩充 | 合规审查需要时间 |
| **第5阶段** | 持续 | 数据回灌，LLaVA 新一轮 LoRA 迭代 | 基于扩充数据提升理解能力 |
---
## 9. 多 Agent 协作扩展开口（预留，不入核心架构）
> **当前决策**：基于 Token 成本与项目盈利预期，Swarms 多 Agent 协同暂不纳入核心架构。
> 所有模块按"单 Agent 顺序执行"模式设计与实现。
**开口条件**（满足以下任一条件时可评估升级）：
1. 项目产生稳定收入，Token 成本可被商业化抵消
2. Anthropic 官方 Claude Code Swarms 正式发布，成本结构更明确
3. 单 Agent 模式出现明显效率瓶颈（如数据采集 + 知识库更新串行太慢）
**开口接口设计**（现在即按此规范编写代码，未来升级零成本）：
```python
# 每个子系统模块统一接口规范
# 未来升级 Swarms 时，只需把函数调用改为 Agent 委托
def run_collector(config: dict) -> CollectorResult: ...
def run_knowledge_query(query: str) -> KnowledgeResult: ...
def run_brief_generator(user_input: str, knowledge: KnowledgeResult) -> DesignBrief: ...
def run_evaluator(brief: DesignBrief) -> EvaluationResult: ...
def run_generator(brief: DesignBrief) -> GenerationResult: ...
# 当前：顺序调用
result = run_generator(run_brief_generator(user_input, run_knowledge_query(query)))
# 未来 Swarms 升级：并发 Agent 委托（接口不变，调用方式变）
# orchestrator.delegate(run_collector, run_knowledge_query, run_evaluator)
```
---
## 10. V2 对 V1 评估清单的回答
| 问题 | V1状态 | V2回答 |
|------|--------|--------|
| 1. 文化理解与图像生成是否正确解耦？ | 概念对 | ✅ 明确双引擎，接口为 design_brief.json |
| 2. 8GB 显存下 RAG 优先是否合理？ | 正确 | ✅ ChromaDB + BGE-M3 纯 CPU，不占显存 |
| 3. 版权合规流程是否足够？ | 方向对 | ✅ 补充了来源白名单优先级和 trainable/reference 分离规则 |
| 4. design_brief 字段是否满足落地评估？ | 未定义 | ✅ V2 完整定义了18个字段，含 production_params + evaluation |
| 5. 参考库与训练库分离是否必要？ | 是 | ✅ 已在目录结构中明确 trainable/reference_only 分层 |
| 6. LLaVA 与生成模型协作边界是否清晰？ | 未定义 | ✅ LLaVA=理解引擎，SDXL=生成引擎，design_brief.json=唯一接口 |
| 7. 哪个模块最先实现价值？ | 未回答 | ✅ 第1阶段文化知识库，第2阶段编排器，最快路径清晰 |
---
## 11. 当前决议
**已落版**：
- 全工艺材质定义（训练侧全覆盖，输出侧现代导向）
- 双引擎结构（LLaVA 理解 + SDXL 生成）
- RAG 技术栈确定（ChromaDB + BGE-M3）
- design_brief.json 完整字段定义
- 多 Agent 扩展开口（预留接口规范，不入核心）
**暂不执行**：
- 脚手架代码生成
- 爬取脚本开发
- 知识库服务化部署
- ComfyUI workflow 开发
**下一步决策点**：
- [ ] 确认第1阶段启动时间（文化知识库）
- [ ] 提供文化资料文本（上海海派、欧美市场偏好）供知识库构建
- [ ] 确认 SDXL 风格参考图（10-20张，用于训练螺钿风格LoRA）
|