MatUserMTV commited on
Commit
35cc005
·
verified ·
1 Parent(s): 48740c7

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +218 -6
README.md CHANGED
@@ -1,9 +1,221 @@
1
  ---
2
- license: apache-2.0
3
- datasets:
4
- - Den4ikAI/russian_dialogues_2
5
  language:
6
  - ru
7
- base_model:
8
- - MatUserMTV/I.goodV1.1
9
- ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
  ---
 
 
 
2
  language:
3
  - ru
4
+ license: apache-2.0
5
+ tags:
6
+ - text-generation
7
+ - russian
8
+ - tiny
9
+ - from-scratch
10
+ - educational
11
+ - llama
12
+ - gguf
13
+ - conversational
14
+ - cpu-trained
15
+ - xeon
16
+ metrics:
17
+ - loss
18
+ pipeline_tag: text-generation
19
+ ---
20
+
21
+ # I.good V1.1 — 4.5M параметров, обученная на Xeon
22
+
23
+ **I.good V1.1** — крошечная (4.5M параметров) Llama-совместимая языковая модель, обученная **с нуля** на русских диалогах. Не fine-tune, не LoRA, не distillation — полный пайплайн от `.txt` до `.gguf`, на серверном CPU без GPU.
24
+
25
+ Модель создана **не** для того, чтобы конкурировать с Qwen, Llama или Mistral. Она создана, чтобы **показать**: обучение LLM с нуля возможно без GPU. И чтобы честно продемонстрировать, **как** это выглядит в реальности — со всеми успехами, провалами и компромиссами.
26
+
27
+ ---
28
+
29
+ ## 🏗️ Архитектура
30
+
31
+ | Параметр | Значение |
32
+ |---|---|
33
+ | **Параметров** | 4,522,624 |
34
+ | **Слоёв (n_layer)** | 2 |
35
+ | **Голов внимания (n_head)** | 4 |
36
+ | **Размер hidden** | 128 |
37
+ | **Размер MLP** | 384 |
38
+ | **Контекст** | 512 токенов |
39
+ | **Токенизатор** | BPE, 32 000 токенов |
40
+ | **Позиционное кодирование** | RoPE |
41
+ | **Нормализация** | RMSNorm |
42
+ | **Активация MLP** | SwiGLU |
43
+ | **Attention** | GQA (4 KV-головы) |
44
+ | **Tie word embeddings** | да |
45
+
46
+ Из 4.5M параметров **~4.1M** — это эмбеддинги (словарь 32 000 × hidden 128). На трансформерные слои («думать») остаётся **~400K**. Это ключевое ограничение модели.
47
+
48
+ Для сравнения: **Qwen2.5-0.5B** — 500M параметров, в **110 раз больше**. **Llama 3.2 1B** — в **220 раз больше**.
49
+
50
+ ---
51
+
52
+ ## 📚 Данные и обучение
53
+
54
+ | Параметр | Значение |
55
+ |---|---|
56
+ | **Данные** | ~10 000 русских диалогов |
57
+ | **Объём** | ~834 000 токенов (~4 МБ текста) |
58
+ | **Формат** | `<\|user\|>...<\|assistant\|>...<\|endoftext\|>` |
59
+ | **Железо** | Intel Xeon, 28 потоков, 3.10 GHz, 32 ГБ ОЗУ, **без GPU** |
60
+ | **Время** | ~45 минут |
61
+ | **Optimizer** | AdamW (β=0.9/0.95, weight_decay=0.1) |
62
+ | **Learning rate** | 5e-4 (cosine decay + warmup) |
63
+ | **Batch size** | 8 |
64
+ | **Gradient accumulation** | 16 |
65
+ | **Train loss (финал)** | ~5.2 |
66
+ | **Val loss (шаг 500)** | 5.70 |
67
+
68
+ ### Кривая обучения
69
+
70
+ Loss падает монотонно: **10.41 → 5.20** за ~500 шагов. Без зигзагов и взрывов градиента — гиперпараметры подобраны правильно, модель училась стабильно.
71
+
72
+ ---
73
+
74
+ ## 🚀 Быстрый старт
75
+
76
+ ### GGUF → KoboldCPP
77
+
78
+ 1. Скачай `model.gguf` из вкладки **Files and versions**
79
+ 2. Запусти `koboldcpp.exe`
80
+ 3. **Browse** → `model.gguf`
81
+ 4. **Context Size:** 512
82
+ 5. **GPU Layers:** 0 (модель крошечная, CPU справится)
83
+ 6. **Temperature:** 0.3
84
+ 7. **Repetition Penalty:** 1.5 (обязательно)
85
+ 8. **Top K:** 40 · **Top P:** 0.9
86
+ 9. **Launch**
87
+
88
+ ### GGUF → Ollama
89
+
90
+ Создай `Modelfile`:
91
+
92
+ ```dockerfile
93
+ FROM ./model.gguf
94
+ PARAMETER temperature 0.3
95
+ PARAMETER repeat_penalty 1.5
96
+ PARAMETER top_k 40
97
+ PARAMETER top_p 0.9
98
+ PARAMETER num_ctx 512
99
+ Затем:
100
+
101
+ bash
102
+ ollama create i-good-1.1 -f Modelfile
103
+ ollama run i-good-1.1
104
+ Формат промпта
105
+ Модель обучена на специальных токенах — используй их буквально:
106
+
107
+ text
108
+ <|user|>Привет, как дела?<|assistant|>
109
+ Без <|user|> и <|assistant|> модель не поймёт, что от неё хотят — она видела этот формат 10 000 раз во время обучения.
110
+
111
+ 🎭 Что модель выдаёт в реальности
112
+ Пример 1 (типичный):
113
+
114
+ text
115
+ Промпт: <|user|>Привет, как дела?<|assistant|>
116
+
117
+ Вывод:
118
+ <|assistant|>Коден<|user|>Это, а я всегда и не тоже очень и я думаю,
119
+ как-за этом время? Но даже.
120
+ <|assistant|>Не бы, я тоже не будет. В этом?
121
+ <|user|>А что они кто он не знаю что в этом надо так же... ну и всё,
122
+ но за ними такой, ты он же, не же, которые в России, то еще не помню...
123
+ Разбор:
124
+
125
+ ✅ Русские слова настоящие — «Коден», «время», «России», «помню» — не байтовый мусор
126
+
127
+ ✅ Формат соблюдён — <|user|> и <|assistant|> на месте
128
+
129
+ ✅ Попытки вопросов — «В этом?», «как-за этом время?»
130
+
131
+ ⚠️ Грамматика плавает — окончания не согласованы
132
+
133
+ ❌ Контекст теряется через 2 реплики
134
+
135
+ ⚠️ Переобучение заметно — местами цитирует датасет дословно
136
+
137
+ Пример 2 (хороший день):
138
+
139
+ text
140
+ Промпт: <|user|>Как тебя зовут?<|assistant|>
141
+ Вывод: Меня зовут Андрей, а тебя?
142
+ Пример 3 (режим отказа):
143
+
144
+ text
145
+ Промпт: <|user|>Что делаешь?<|assistant|>
146
+ Вывод: рас, рас, рас, рас...
147
+ Лечится repetition_penalty ≥ 1.5 в KoboldCPP.
148
+
149
+ ✅ Что модель иногда умеет
150
+ Выдавать русские слова (не «Ñаз»)
151
+
152
+ Строить короткие фразы (3–8 слов)
153
+
154
+ Соблюдать формат <|user|> → <|assistant|> (через раз)
155
+
156
+ Пытаться отвечать на реплики
157
+
158
+ Задавать встречные вопросы
159
+
160
+ Использовать слова из датасета (не выдумывать новые)
161
+
162
+ ❌ Чего модель НЕ умеет
163
+ Держать контекст дольше 2–3 реплик
164
+
165
+ Следовать инструкциям («напиши код», «переведи», «объясни»)
166
+
167
+ Генерировать код (Python, C++, HTML) — для этого нужна модель 50M+
168
+
169
+ Заканчивать длинные предложения — обрывается на полуслове
170
+
171
+ Быть последовательной — противоречит себе в соседних фразах
172
+
173
+ Отвечать на сложные вопросы — «кто президент?», «что такое любовь?»
174
+
175
+ Работать без repetition_penalty — зацикливается
176
+
177
+ 🧐 Почему модель переобучена
178
+ Это честный раздел — переобучение ключевая проблема I.good V1.1.
179
+
180
+ Причины:
181
+
182
+ Эмбеддинги съедают 91% весов. Из 4.5M параметров 4.1M — эмбеддинги. На «думать» остаётся ~400K — мозг размером с грецкий орех.
183
+
184
+ 10K диалогов — мало. Для 4.5M модели нужно минимум 50K, лучше 500K.
185
+
186
+ Не было dropout. В этой версии не использовался dropout — главный инструмент против переобучения. Это была ошибка.
187
+
188
+ Остановка без val loss. Модель не дошла до валидации, поэтому неизвестно, где была оптимальная точка — вероятно, раньше 500-го шага.
189
+
190
+ Что будет в V2:
191
+
192
+ 15M параметров (в 3.3× больше)
193
+
194
+ 800 МБ данных (в 200× больше)
195
+
196
+ Vocab_size 8192 (эмбеддинги 55% вместо 91%)
197
+
198
+ Dropout 0.1
199
+
200
+ Early stopping по val loss
201
+
202
+ 20+ часов обучения
203
+
204
+ 🎓 Образовательная ценность
205
+ Эта модель — не продукт, а урок. Вот чему она учит:
206
+
207
+ Loss ≠ качество. 5.2 — низкий loss, но генерация плохая. Loss — средняя ошибка по батчу, а не гарантия осмысленности.
208
+
209
+ Размер имеет значение. 4.5M параметров — слишком мало. Даже идеально обученная модель этого размера не сгенерирует связный текст.
210
+
211
+ Эмбеддинги — ловушка. Большой словарь съедает большую часть параметров у маленьких моделей.
212
+
213
+ CPU — это реально. 45 минут на Xeon — быстро. Без GPU, без Colab, без аренды серверов.
214
+
215
+ Пайплайн работает. От сырых файлов до GGUF в KoboldCPP — весь путь пройден, модель запускается и генерирует.
216
+
217
+ 🛠️ Воспроизведение
218
+ Полный код обучения доступен по запросу. Стек: torch, tokenizers, transformers, safetensors, llama.cpp для конвертации. Модель обучалась на Python 3.14 (да, это было больно).
219
+
220
+ 📜 Лицензия
221
+ Apache 2.0 — делай что хочешь, но не жди чудес.