smartTranscend commited on
Commit
bc30033
·
verified ·
1 Parent(s): dd5afbf

Delete readme.md

Browse files
Files changed (1) hide show
  1. readme.md +0 -254
readme.md DELETED
@@ -1,254 +0,0 @@
1
- ---
2
- title: Llama NBCD Second Fine-tuning Platform
3
- emoji: 🦙
4
- colorFrom: blue
5
- colorTo: purple
6
- sdk: gradio
7
- sdk_version: 4.44.0
8
- app_file: app.py
9
- pinned: false
10
- license: mit
11
- ---
12
-
13
- # 🦙 Llama NBCD 二次微調完整平台
14
-
15
- 互動式 Llama 模型二次微調和預測平台,支持多種參數高效微調方法 (LoRA, AdaLoRA, Adapter, BitFit, Prompt Tuning)。
16
-
17
- ## 🌟 功能特色
18
-
19
- - 🎯 **第一次微調**: 從純 Llama 開始訓練,支持 5 種 PEFT 方法
20
- - 🔄 **二次微調**: 基於第一次模型用新數據繼續訓練
21
- - 📊 **Baseline 比較**: 自動比較未微調 vs 微調模型的效果
22
- - 🧪 **新數據測試**: 同時比較 3 個模型在新數據上的表現
23
- - 🎨 **指標選擇**: 可選擇最佳化指標(F1、Accuracy、Precision、Recall、Sensitivity、Specificity)
24
- - 🔮 **即時預測**: 訓練後可直接預測新樣本
25
- - 💾 **模型管理**: 自動儲存和管理多個訓練模型
26
- - 🧹 **記憶體管理**: 自動清理 GPU 記憶體,避免 OOM
27
-
28
- ## 📋 使用方式
29
-
30
- ### 📑 頁面結構 (5個Tab)
31
-
32
- #### 1️⃣ 第一次微調
33
-
34
- 1. **上傳資料**: CSV 檔案需包含 `Text` 和 `label` 欄位
35
- 2. **選擇模型**: 設定 Llama 模型(預設: meta-llama/Llama-3.2-1B)
36
- 3. **選擇微調方法**:
37
- - ✅ **LoRA**: 通用,效果好
38
- - ✅ **AdaLoRA**: 自適應,效果更優
39
- - ✅ **Adapter**: 適合多任務
40
- - ✅ **BitFit**: 極快速,參數最少
41
- - ✅ **Prompt Tuning**: 適合小數據集
42
- - ❌ **Prefix Tuning**: 暫不支持(兼容性問題)
43
- 4. **設定參數**: 調整資料平衡、訓練參數和 PEFT 參數
44
- 5. **開始訓練**: 點擊「開始第一次微調」按鈕
45
- 6. **查看結果**: 比較未微調和微調模型的表現
46
-
47
- #### 2️⃣ 二次微調
48
-
49
- 1. **選擇基礎模型**: 從下拉選單選擇已訓練的第一次微調模型
50
- 2. **上傳新資料**: 上傳新的訓練數據 CSV
51
- 3. **調整參數**:
52
- - ⚠️ 微調方法自動繼承第一次
53
- - 建議 Epochs 更少 (3-5 輪)
54
- - 建議 Learning Rate 更小 (5e-5)
55
- 4. **開始訓練**: 點擊「開始二次微調」按鈕
56
- 5. **查看結果**: 查看二次微調後的表現
57
-
58
- #### 3️⃣ 新數據測試
59
-
60
- 1. **上傳測試數據**: 上傳測試用的 CSV 檔案
61
- 2. **選擇要比較的模型**:
62
- - 純 Llama (Baseline) - 可選
63
- - 第一次微調模型 - 可選
64
- - 第二次微調模型 - 可選
65
- 3. **開始測試**: 點擊「開始測試」按鈕
66
- 4. **查看結果**: 並排比較所有選擇的模型在新數據上的表現
67
-
68
- #### 4️⃣ 模型預測
69
-
70
- 1. **選擇模型**: 從下拉選單選擇已訓練的模型
71
- 2. **輸入文本**: 輸入要預測的文本
72
- 3. **查看結果**: 同時顯示未微調和微調模型的預測結果
73
-
74
- #### 5️⃣ 使用說明
75
-
76
- - 完整的操作流程說明
77
- - 微調方法詳細比較
78
- - 參數調整建議
79
- - 注意事項和常見問題
80
-
81
- ## 🔐 重要設定
82
-
83
- ### Hugging Face Token
84
-
85
- 如果要使用 Llama 模型,需要:
86
-
87
- 1. 在 [Hugging Face Settings](https://huggingface.co/settings/tokens) 創建 Token
88
- 2. 在 Space 的 Settings → Repository secrets 中加入:
89
- - Name: `HF_TOKEN`
90
- - Value: 你的 token
91
-
92
- 或在本地設定環境變數:
93
- ```bash
94
- export HF_TOKEN=your_token_here
95
- ```
96
-
97
- ## ⚙️ 預設參數
98
-
99
- ### 第一次微調
100
- - **訓練輪數**: 3
101
- - **批次大小**: 4
102
- - **學習率**: 1e-4
103
- - **LoRA rank**: 16
104
- - **LoRA alpha**: 32
105
- - **目標樣本數**: 700 筆/類別
106
- - **類別權重**: 啟用
107
-
108
- ### 二次微調(建議)
109
- - **訓練輪數**: 3-5(比第一次少)
110
- - **批次大小**: 4
111
- - **學習率**: 5e-5(比第一次小)
112
- - **其他參數**: 自動繼承第一次
113
-
114
- ## 📊 資料格式
115
-
116
- CSV 檔案需包含以下欄位:
117
-
118
- ```csv
119
- Text,label
120
- "Patient data text here...",0
121
- "Another patient data...",1
122
- ```
123
-
124
-
125
-
126
- ```csv
127
- text,Label
128
- "Patient data text here...",0
129
- "Another patient data...",1
130
- ```
131
-
132
- - `Text`/`text`: 文本資料
133
- - `Label`/`label`: 標籤 (0 或 1)
134
-
135
- ## 🎯 微調方法比較
136
-
137
- | 方法 | 參數量 | 記憶體 | 訓練速度 | 效果 | 適用場景 |
138
- |------|--------|--------|----------|------|----------|
139
- | **LoRA** | 很少 (~1%) | 低 | 快 | 良好 | 通用,效果好 |
140
- | **AdaLoRA** | 很少 (~1%) | 低 | 快 | 優秀 | 自適應,效果更優 |
141
- | **Adapter** | 少 (~2-5%) | 低 | 中 | 良好 | 多任務學習 |
142
- | **BitFit** | 極少 (~0.1%) | 極低 | 極快 | 可接受 | 快速微調 |
143
- | **Prompt Tuning** | 極少 (可調) | 極低 | 快 | 良好 | 小數據集 |
144
-
145
- ## 💡 二次微調建議
146
-
147
- ### 適用場景
148
-
149
- 1. **領域適應**: 第一次用通用醫療數據,第二次用特定醫院數據
150
- 2. **增量學習**: 隨時間增加新病例數據
151
- 3. **數據稀缺**: 先用大量相關數據預訓練,再用少量目標數據微調
152
-
153
- ### 參數調整原則
154
-
155
- - **Epochs**: 第二次建議 3-5 輪(第一次通常 5-8 輪)
156
- - **Learning Rate**: 第二次建議 5e-5(第一次通常 1e-4)
157
- - **避免**: 第二次不要用太大的學習率,會破壞已學習的知識
158
-
159
- ## 📈 評估指標說明
160
-
161
- - **F1 Score**: 精確率和召回率的調和平均,平衡指標
162
- - **Accuracy**: 整體準確率
163
- - **Precision**: 預測為正類中的準確率
164
- - **Recall**: 實際正類中被正確識別的比例
165
- - **Sensitivity**: 敏感度,等同於 Recall
166
- - **Specificity**: 特異性,正確識別負類的能力
167
-
168
- ## ⚠️ 注意事項
169
-
170
- - 訓練時間依資料量和硬體而定(通常 10-30 分鐘)
171
- - 需要 Hugging Face Token 才能下載 Llama 模型
172
- - **GPU 訓練強烈建議**: CPU 訓練會非常慢
173
- - 資料量建議: 每個類別至少 500 筆資料
174
- - 二次微調自動繼承第一次的微調方法,無法更改
175
- - Prefix Tuning 因 PEFT 庫兼容性問題暫不支持,請使用 Prompt Tuning 替代
176
-
177
- ## 🔧 已知問題與解決方案
178
-
179
- ### ✅ 已修復
180
- - **AdaLoRA**: 簡化配置參數,避免版本兼容性問題
181
- - **BitFit**: 正確處理 gradient 設置,包含分類頭訓練
182
- - **參數顯示**: 各方法現在會正確顯示專屬參數界面
183
-
184
- ### ❌ 暫不支持
185
- - **Prefix Tuning**: 因 PEFT 版本與 transformers 的 DynamicCache 不兼容
186
- - **錯誤**: `'DynamicCache' object has no attribute 'key_cache'`
187
- - **替代方案**: 使用 Prompt Tuning,功能類似且更穩定
188
- - **預計修復**: 等待 PEFT 庫更新
189
-
190
- ## 🚀 快速開始
191
-
192
- ```bash
193
- # 1. 安裝依賴
194
- pip install -r requirements.txt
195
-
196
- # 2. 設定 HF Token (可選,但建議設定)
197
- export HF_TOKEN=your_token_here
198
-
199
- # 3. 啟動應用
200
- python app.py
201
-
202
- # 4. 打開瀏覽器訪問
203
- # http://localhost:7860
204
- ```
205
-
206
- ## 📁 專案結構
207
-
208
- ```
209
- .
210
- ├── app.py # 主程式
211
- ├── requirements.txt # 依賴套件
212
- ├── README.md # 說明文件
213
- ├── saved_llama_models_list.json # 模型列表(自動生成)
214
- └── llama_nbcd_*/ # 訓練模型目錄(自動生成)
215
- ```
216
-
217
- ## 💻 系統需求
218
-
219
- ### 最低需求
220
- - **CPU**: 4 核心以上
221
- - **RAM**: 16GB 以上
222
- - **硬碟**: 20GB 可用空間
223
-
224
- ### 建議配置
225
- - **GPU**: NVIDIA GPU with 16GB+ VRAM (如 V100, A100, RTX 3090/4090)
226
- - **RAM**: 32GB 以上
227
- - **硬碟**: 50GB 可用空間(用於儲存多個模型)
228
-
229
- ### 無 GPU 訓練
230
- - 可以使用 CPU 訓練,但速度會非常慢(可能需要數小時)
231
- - 建議使用 Google Colab 或 HuggingFace Spaces 的免費 GPU
232
-
233
- ## 🤝 貢獻
234
-
235
- 歡迎提交 Issue 和 Pull Request!
236
-
237
- ## 📝 License
238
-
239
- MIT License
240
-
241
- ## 🙏 致謝
242
-
243
- - [Hugging Face Transformers](https://github.com/huggingface/transformers)
244
- - [PEFT](https://github.com/huggingface/peft)
245
- - [Gradio](https://github.com/gradio-app/gradio)
246
- - [Meta Llama](https://ai.meta.com/llama/)
247
-
248
- ## 📧 聯繫方式
249
-
250
- 如有問題或建議,請開 Issue 討論。
251
-
252
- ---
253
-
254
- **⚡ 提示**: 首次使用建議先閱讀「使用說明」頁面,了解完整的操作流程!