Instructions to use KaKa427/luodian-vertical-model with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Diffusers
How to use KaKa427/luodian-vertical-model with Diffusers:
pip install -U diffusers transformers accelerate
import torch from diffusers import DiffusionPipeline # switch to "mps" for apple devices pipe = DiffusionPipeline.from_pretrained("fill-in-base-model", dtype=torch.bfloat16, device_map="cuda") pipe.load_lora_weights("KaKa427/luodian-vertical-model") prompt = "Astronaut in a jungle, cold color palette, muted colors, detailed, 8k" image = pipe(prompt).images[0] - Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- Draw Things
- DiffusionBee
CLAUDE snapshot V2.1
Browse files
project_docs/CLAUDE_v2_1_snapshot.md
ADDED
|
@@ -0,0 +1,229 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
# Claude Code 垂直模型训练约束文件
|
| 2 |
+
|
| 3 |
+
## 项目核心定义
|
| 4 |
+
|
| 5 |
+
### 项目目标
|
| 6 |
+
开发**全工艺螺钿产品设计**专用多模态垂直模型
|
| 7 |
+
- **训练侧**:覆盖全螺钿工艺体系(大漆、硬木、金属胎 × 贝母、银丝、朱砂等全材质)
|
| 8 |
+
- **输出侧**:偏重现代审美、工厂可落地、市场可接受的产品设计(2026商业导向)
|
| 9 |
+
|
| 10 |
+
### 5大核心能力(按优先级)
|
| 11 |
+
1. **高质量设计图生成**:准确输出符合工艺标准的螺钿产品设计
|
| 12 |
+
2. **可复现性**:相同提示词能稳定生成相似质量结果
|
| 13 |
+
3. **批量化生产**:支持快速生成系列化专业图片
|
| 14 |
+
4. **工厂落地数据**:生成包含尺寸、工艺细节、材料说明的技术图纸
|
| 15 |
+
5. **时效性审美**:结合2026国际时尚元素和IP热点(需外部信息支持)
|
| 16 |
+
|
| 17 |
+
---
|
| 18 |
+
|
| 19 |
+
## 工艺硬约束
|
| 20 |
+
|
| 21 |
+
### 材质体系(训练侧:全工艺覆盖)
|
| 22 |
+
|
| 23 |
+
**胎体类型(三大体系)**:
|
| 24 |
+
| 体系 | 材质 | 特点 |
|
| 25 |
+
|------|------|------|
|
| 26 |
+
| 硬木胎 | 紫光檀、黑檀、红木、乌木 | 可量产主力,工厂友好 |
|
| 27 |
+
| 大漆胎 | 传统大漆木胎、脱胎 | 高端传统工艺,工时长 |
|
| 28 |
+
| 金属胎 | 铜胎、银胎、混合胎 | 现代感强,适合首饰类 |
|
| 29 |
+
|
| 30 |
+
**镶嵌材料(全材质)**:
|
| 31 |
+
- 贝母螺钿(厚螺钿/薄螺钿/砌螺钿)
|
| 32 |
+
- 银丝螺钿(拉丝、编丝、镶嵌线)
|
| 33 |
+
- 朱砂(填色、点缀)
|
| 34 |
+
- 金属箔片(金箔、银箔)
|
| 35 |
+
- 组合工艺(多材质混嵌)
|
| 36 |
+
|
| 37 |
+
**表面处理**:
|
| 38 |
+
- 抛光(硬木胎主流)
|
| 39 |
+
- 大漆涂装(传统大漆胎)
|
| 40 |
+
- 浅雕(≤3mm,装饰性线条)
|
| 41 |
+
- 阴刻填色(朱砂/金粉)
|
| 42 |
+
|
| 43 |
+
> 注意:**输出侧**仍以"现代审美 + 可量产"为方向,但模型需要理解全工艺语义,
|
| 44 |
+
> 才能在推理时准确判断工艺可行性与组合可能性。
|
| 45 |
+
|
| 46 |
+
### 双轨训练策略(V2.1 落版)
|
| 47 |
+
|
| 48 |
+
| 轨道 | 内容 | 当前阶段 |
|
| 49 |
+
|------|------|---------|
|
| 50 |
+
| **core(主线)** | 硬木胎 + 贝母/银丝 | 优先训练,先稳定 |
|
| 51 |
+
| **extended(扩展)** | 大漆/金属胎/朱砂/组合 | core 稳定后按比例注入 |
|
| 52 |
+
|
| 53 |
+
**采样比例**:< 30张时 core:extended = 10:0;30-100张时 8:2;100张+ 可调至 7:3
|
| 54 |
+
**防回归**:extended 默认进 `reference_only/`,每轮训练保留独立 core 验证集
|
| 55 |
+
|
| 56 |
+
### 设计约束
|
| 57 |
+
- **风格定位**:几何简化、剪影风格、现代审美
|
| 58 |
+
- **复杂度上限**:medium(不做overly intricate)
|
| 59 |
+
- **工时限制**:单品6-10小时(经济价值导向)
|
| 60 |
+
- **可量产性**:工厂标准化生产(非孤品艺术)
|
| 61 |
+
|
| 62 |
+
### 美学锚点
|
| 63 |
+
- **核心术语**:
|
| 64 |
+
- `iridescence` (虹彩)
|
| 65 |
+
- `nacre` / `nacreous luster` (珍珠母/珍珠光泽)
|
| 66 |
+
- `inlay` (镶嵌)
|
| 67 |
+
- `geometric silhouette` (几何剪影)
|
| 68 |
+
- `minimalist craftsmanship` (简约工艺)
|
| 69 |
+
|
| 70 |
+
---
|
| 71 |
+
|
| 72 |
+
## 语言标准化规则
|
| 73 |
+
|
| 74 |
+
### 映射逻辑(口语 → 专业术语)
|
| 75 |
+
当处理用户输入的图片描述时,**必须**按以下规则转换:
|
| 76 |
+
|
| 77 |
+
| 用户输入(口语) | 标准化输出(训练用) |
|
| 78 |
+
|-----------------|---------------------|
|
| 79 |
+
| 彩色贝壳/闪光 | iridescent nacreous luster |
|
| 80 |
+
| 嵌进去/拼贴 | precise mosaic inlay craftsmanship |
|
| 81 |
+
| 黑底木头 | polished dark wood base (specify wood type) |
|
| 82 |
+
| 很现代/简单 | minimalist geometric / contemporary aesthetic |
|
| 83 |
+
| 剪影的马/哪吒 | [subject] silhouette motif in simplified form |
|
| 84 |
+
|
| 85 |
+
**参考文档**:`data/tags_mapping.json`(完整映射表)
|
| 86 |
+
|
| 87 |
+
### 数据集生成规则
|
| 88 |
+
1. 所有caption必须包含:材质 + 工艺 + 风格 + 主题 + 市场定位
|
| 89 |
+
2. 中文描述(用户输入)和英文标准描述(训练用)分开存储
|
| 90 |
+
3. 技术参数(尺寸、工时、成本)必填
|
| 91 |
+
4. 每条数据必须标注`production_feasibility`(生产可行性)
|
| 92 |
+
|
| 93 |
+
---
|
| 94 |
+
|
| 95 |
+
## 硬件配置约束
|
| 96 |
+
|
| 97 |
+
- **GPU**: RTX 3070 Ti Laptop, 8GB VRAM
|
| 98 |
+
- **量化要求**: 严格执行 QLoRA 4-bit
|
| 99 |
+
- **训练策略**:
|
| 100 |
+
- LoRA rank=16, alpha=32
|
| 101 |
+
- Gradient Checkpointing 必须开启
|
| 102 |
+
- Batch size=1, Gradient accumulation=16
|
| 103 |
+
- Image size=512px(显存极限)
|
| 104 |
+
|
| 105 |
+
---
|
| 106 |
+
|
| 107 |
+
## 市场时效性策略(第5点解决方案)
|
| 108 |
+
|
| 109 |
+
### 当前能力(Checkpoint 1-4)
|
| 110 |
+
模型训练专注于:
|
| 111 |
+
- 螺钿工艺特征识别(材质、纹理、光泽)
|
| 112 |
+
- 几何简化设计逻辑
|
| 113 |
+
- 木胎基础产品类型(镜子、首饰盒、挂件等)
|
| 114 |
+
- 工厂技术参数生成
|
| 115 |
+
|
| 116 |
+
### 时效性增强方案(第5点)
|
| 117 |
+
**两阶段策略**:
|
| 118 |
+
|
| 119 |
+
#### 阶段1:基础模型(当前训练)
|
| 120 |
+
- 训练数据:经典螺钿设计 + 2024-2026现有案例
|
| 121 |
+
- 能力:掌握材质特征、工艺约束、基础审美
|
| 122 |
+
- 输出:稳定的螺钿设计基础能力
|
| 123 |
+
|
| 124 |
+
#### 阶段2:时效性注入(推理时)
|
| 125 |
+
通过**外部信息检索 + 提示词工程**实现:
|
| 126 |
+
|
| 127 |
+
```
|
| 128 |
+
实现方式:
|
| 129 |
+
1. 用户提示词 → MCP GitHub搜索2026时尚趋势
|
| 130 |
+
2. 提取关键元素(如"哪吒IP"、"京剧脸谱热潮")
|
| 131 |
+
3. 将元素转��为符合螺钿工艺约束的设计指令
|
| 132 |
+
4. 基础模型 + 时效性提示词 → 生成符合当下审美的设计
|
| 133 |
+
```
|
| 134 |
+
|
| 135 |
+
**具体工具链**:
|
| 136 |
+
- **GitHub MCP**:实时查询LLaVA/Stable Diffusion社区的螺钿相关设计
|
| 137 |
+
- **Web Search**:抓取2026时尚品牌螺钿相关案例
|
| 138 |
+
- **动态提示词模板**:
|
| 139 |
+
```
|
| 140 |
+
"Design a {product} in Luodian craft, incorporating 2026 trend: {current_IP/style},
|
| 141 |
+
using {material}, {complexity_level} design, market: {target_region}"
|
| 142 |
+
```
|
| 143 |
+
|
| 144 |
+
### 为什么这样设计?
|
| 145 |
+
- **基础模型**:确保工艺准确性(材质、技术不会过时)
|
| 146 |
+
- **动态注入**:确保审美时效性(IP、元素可随时更新)
|
| 147 |
+
- **分离关注点**:训练专注工艺,推理时注入趋势
|
| 148 |
+
|
| 149 |
+
---
|
| 150 |
+
|
| 151 |
+
## 数据标注Workflow
|
| 152 |
+
|
| 153 |
+
### Step 1: 用户输入(口语化OK)
|
| 154 |
+
```
|
| 155 |
+
在VS Code或对话中输入:
|
| 156 |
+
"这是一个黑色木头小镜子,上面嵌了银色线条和彩色贝壳,
|
| 157 |
+
图案是简化版的哪吒,很现代感,适合欧美市场"
|
| 158 |
+
```
|
| 159 |
+
|
| 160 |
+
### Step 2: Claude Code标准化
|
| 161 |
+
自动调用`tags_mapping.json`,转化为:
|
| 162 |
+
```json
|
| 163 |
+
{
|
| 164 |
+
"visual_description_cn": "黑色木头小镜子,银丝和贝母螺钿,简化哪吒图案,现代风格",
|
| 165 |
+
"visual_description_en": "Modern handheld mirror, polished dark wood base,
|
| 166 |
+
iridescent nacre and silver wire inlay, Nezha character in geometric
|
| 167 |
+
silhouette style, contemporary aesthetic for Western market",
|
| 168 |
+
"technical_specs": {
|
| 169 |
+
"dimensions": "12x8x0.5",
|
| 170 |
+
"production_time": "6-8小时",
|
| 171 |
+
"cost_level": "中等"
|
| 172 |
+
}
|
| 173 |
+
}
|
| 174 |
+
```
|
| 175 |
+
|
| 176 |
+
### Step 3: 写入数据集
|
| 177 |
+
自动生成符合`dataset_schema.json`格式的训练数据
|
| 178 |
+
|
| 179 |
+
---
|
| 180 |
+
|
| 181 |
+
## 关键指令模板
|
| 182 |
+
|
| 183 |
+
当用户请求时,Claude Code应执行:
|
| 184 |
+
|
| 185 |
+
### 数据处理指令
|
| 186 |
+
```
|
| 187 |
+
"扫描 data/raw 目录,为每张图片生成标准化JSON标注,
|
| 188 |
+
使用 tags_mapping.json 进行语言转换,确保符合 dataset_schema.json 格式"
|
| 189 |
+
```
|
| 190 |
+
|
| 191 |
+
### 训练准备指令
|
| 192 |
+
```
|
| 193 |
+
"基于CLAUDE.md约束,配置LLaVA QLoRA训练脚本,
|
| 194 |
+
目标:8GB显存,512px图像,专注螺钿材质特征和几何设计逻辑"
|
| 195 |
+
```
|
| 196 |
+
|
| 197 |
+
### 时效性查询指令(推理时)
|
| 198 |
+
```
|
| 199 |
+
"使用GitHub MCP查询2026年2月螺钿/中国风设计趋势,
|
| 200 |
+
结合基础模型生成符合当前审美的{产品类型}设计"
|
| 201 |
+
```
|
| 202 |
+
|
| 203 |
+
---
|
| 204 |
+
|
| 205 |
+
## 质量检查清单
|
| 206 |
+
|
| 207 |
+
每条训练数据必须满足:
|
| 208 |
+
- [ ] 材质描述准确(木种、贝母类型、银丝规格)
|
| 209 |
+
- [ ] 工艺可行(工时6-10小时,工厂可复现)
|
| 210 |
+
- [ ] 复杂度合理(simple/medium,无complex)
|
| 211 |
+
- [ ] 尺寸标注完整(长x宽x厚,单位cm)
|
| 212 |
+
- [ ] 市场定位明确(欧美/中国/全球)
|
| 213 |
+
- [ ] 视觉主题清晰(可识别的剪影或几何形态)
|
| 214 |
+
- [ ] 符合2026审美(非复古,非过度传统)
|
| 215 |
+
|
| 216 |
+
---
|
| 217 |
+
|
| 218 |
+
## 版本控制
|
| 219 |
+
|
| 220 |
+
- **Schema版本**: 1.0
|
| 221 |
+
- **Mapping版本**: 1.0
|
| 222 |
+
- **最后更新**: 2026-02-08
|
| 223 |
+
- **下次Review**: 完成首批50张图片标注后
|
| 224 |
+
|
| 225 |
+
---
|
| 226 |
+
|
| 227 |
+
**重要提醒**:
|
| 228 |
+
本项目的成功关键在于**"工艺准确性"与"商业可行性"的平衡**。
|
| 229 |
+
AI生成的设计必须是工厂师傅看了能直接开工的,而不是概念艺术。
|