ReadMe.md
I.good V1.1 — 4.5M параметров, обученная на Xeon
I.good V1.1 — крошечная (4.5M параметров) Llama-совместимая языковая модель, обученная с нуля на русских диалогах. Не fine-tune, не LoRA, не distillation — полный пайплайн от .txt до .gguf, на серверном CPU без GPU.
Модель создана не для того, чтобы конкурировать с Qwen, Llama или Mistral. Она создана, чтобы показать: обучение LLM с нуля возможно без GPU. И чтобы честно продемонстрировать, как это выглядит в реальности — со всеми успехами, провалами и компромиссами.
🏗️ Архитектура
| Параметр | Значение |
|---|---|
| Параметров | 4,522,624 |
| Слоёв (n_layer) | 2 |
| Голов внимания (n_head) | 4 |
| Размер hidden | 128 |
| Размер MLP | 384 |
| Контекст | 512 токенов |
| Токенизатор | BPE, 32 000 токенов |
| Позиционное кодирование | RoPE |
| Нормализация | RMSNorm |
| Активация MLP | SwiGLU |
| Attention | GQA (4 KV-головы) |
| Tie word embeddings | да |
Из 4.5M параметров ~4.1M — это эмбеддинги (словарь 32 000 × hidden 128). На трансформерные слои («думать») остаётся ~400K. Это ключевое ограничение модели.
Для сравнения: Qwen2.5-0.5B — 500M параметров, в 110 раз больше. Llama 3.2 1B — в 220 раз больше.
📚 Данные и обучение
| Параметр | Значение |
|---|---|
| Данные | ~10 000 русских диалогов |
| Объём | |
| Формат | <|user|>...<|assistant|>...<|endoftext|> |
| Железо | Intel Xeon, 28 потоков, 3.10 GHz, 32 ГБ ОЗУ, без GPU |
| Время | ~45 минут |
| Optimizer | AdamW (β=0.9/0.95, weight_decay=0.1) |
| Learning rate | 5e-4 (cosine decay + warmup) |
| Batch size | 8 |
| Gradient accumulation | 16 |
| Train loss (финал) | ~5.2 |
| Val loss (шаг 500) | 5.70 |
Кривая обучения
Loss падает монотонно: 10.41 → 5.20 за ~500 шагов. Без зигзагов и взрывов градиента — гиперпараметры подобраны правильно, модель училась стабильно.
🚀 Быстрый старт
GGUF → KoboldCPP
- Скачай
model.ggufиз вкладки Files and versions - Запусти
koboldcpp.exe - Browse →
model.gguf - Context Size: 512
- GPU Layers: 0 (модель крошечная, CPU справится)
- Temperature: 0.3
- Repetition Penalty: 1.5 (обязательно)
- Top K: 40 · Top P: 0.9
- Launch
GGUF → Ollama
Создай Modelfile:
FROM ./model.gguf
PARAMETER temperature 0.3
PARAMETER repeat_penalty 1.5
PARAMETER top_k 40
PARAMETER top_p 0.9
PARAMETER num_ctx 512
Затем:
bash
ollama create i-good-1.1 -f Modelfile
ollama run i-good-1.1
Формат промпта
Модель обучена на специальных токенах — используй их буквально:
text
<|user|>Привет, как дела?<|assistant|>
Без <|user|> и <|assistant|> модель не поймёт, что от неё хотят — она видела этот формат 10 000 раз во время обучения.
🎭 Что модель выдаёт в реальности
Пример 1 (типичный):
text
Промпт: <|user|>Привет, как дела?<|assistant|>
Вывод:
<|assistant|>Коден<|user|>Это, а я всегда и не тоже очень и я думаю,
как-за этом время? Но даже.
<|assistant|>Не бы, я тоже не будет. В этом?
<|user|>А что они кто он не знаю что в этом надо так же... ну и всё,
но за ними такой, ты он же, не же, которые в России, то еще не помню...
Разбор:
✅ Русские слова настоящие — «Коден», «время», «России», «помню» — не байтовый мусор
✅ Формат соблюдён — <|user|> и <|assistant|> на месте
✅ Попытки вопросов — «В этом?», «как-за этом время?»
⚠️ Грамматика плавает — окончания не согласованы
❌ Контекст теряется через 2 реплики
⚠️ Переобучение заметно — местами цитирует датасет дословно
Пример 2 (хороший день):
text
Промпт: <|user|>Как тебя зовут?<|assistant|>
Вывод: Меня зовут Андрей, а тебя?
Пример 3 (режим отказа):
text
Промпт: <|user|>Что делаешь?<|assistant|>
Вывод: рас, рас, рас, рас...
Лечится repetition_penalty ≥ 1.5 в KoboldCPP.
✅ Что модель иногда умеет
Выдавать русские слова (не «Ñаз»)
Строить короткие фразы (3–8 слов)
Соблюдать формат <|user|> → <|assistant|> (через раз)
Пытаться отвечать на реплики
Задавать встречные вопросы
Использовать слова из датасета (не выдумывать новые)
❌ Чего модель НЕ умеет
Держать контекст дольше 2–3 реплик
Следовать инструкциям («напиши код», «переведи», «объясни»)
Генерировать код (Python, C++, HTML) — для этого нужна модель 50M+
Заканчивать длинные предложения — обрывается на полуслове
Быть последовательной — противоречит себе в соседних фразах
Отвечать на сложные вопросы — «кто президент?», «что такое любовь?»
Работать без repetition_penalty — зацикливается
🧐 Почему модель переобучена
Это честный раздел — переобучение ключевая проблема I.good V1.1.
Причины:
Эмбеддинги съедают 91% весов. Из 4.5M параметров 4.1M — эмбеддинги. На «думать» остаётся ~400K — мозг размером с грецкий орех.
10K диалогов — мало. Для 4.5M модели нужно минимум 50K, лучше 500K.
Не было dropout. В этой версии не использовался dropout — главный инструмент против переобучения. Это была ошибка.
Остановка без val loss. Модель не дошла до валидации, поэтому неизвестно, где была оптимальная точка — вероятно, раньше 500-го шага.
Что будет в V2:
15M параметров (в 3.3× больше)
800 МБ данных (в 200× больше)
Vocab_size 8192 (эмбеддинги 55% вместо 91%)
Dropout 0.1
Early stopping по val loss
20+ часов обучения
🎓 Образовательная ценность
Эта модель — не продукт, а урок. Вот чему она учит:
Loss ≠ качество. 5.2 — низкий loss, но генерация плохая. Loss — средняя ошибка по батчу, а не гарантия осмысленности.
Размер имеет значение. 4.5M параметров — слишком мало. Даже идеально обученная модель этого размера не сгенерирует связный текст.
Эмбеддинги — ловушка. Большой словарь съедает большую часть параметров у маленьких моделей.
CPU — это реально. 45 минут на Xeon — быстро. Без GPU, без Colab, без аренды серверов.
Пайплайн работает. От сырых файлов до GGUF в KoboldCPP — весь путь пройден, модель запускается и генерирует.
🛠️ Воспроизведение
Полный код обучения доступен по запросу. Стек: torch, tokenizers, transformers, safetensors, llama.cpp для конвертации. Модель обучалась на Python 3.14 (да, это было больно).
📜 Лицензия
Apache 2.0 — делай что хочешь, но не жди чудес.