I.good V1.1 — 4.5M параметров, обученная на Xeon

I.good V1.1 — крошечная (4.5M параметров) Llama-совместимая языковая модель, обученная с нуля на русских диалогах. Не fine-tune, не LoRA, не distillation — полный пайплайн от .txt до .gguf, на серверном CPU без GPU.

Модель создана не для того, чтобы конкурировать с Qwen, Llama или Mistral. Она создана, чтобы показать: обучение LLM с нуля возможно без GPU. И чтобы честно продемонстрировать, как это выглядит в реальности — со всеми успехами, провалами и компромиссами.


🏗️ Архитектура

Параметр Значение
Параметров 4,522,624
Слоёв (n_layer) 2
Голов внимания (n_head) 4
Размер hidden 128
Размер MLP 384
Контекст 512 токенов
Токенизатор BPE, 32 000 токенов
Позиционное кодирование RoPE
Нормализация RMSNorm
Активация MLP SwiGLU
Attention GQA (4 KV-головы)
Tie word embeddings да

Из 4.5M параметров ~4.1M — это эмбеддинги (словарь 32 000 × hidden 128). На трансформерные слои («думать») остаётся ~400K. Это ключевое ограничение модели.

Для сравнения: Qwen2.5-0.5B — 500M параметров, в 110 раз больше. Llama 3.2 1B — в 220 раз больше.


📚 Данные и обучение

Параметр Значение
Данные ~10 000 русских диалогов
Объём 834 000 токенов (4 МБ текста)
Формат <|user|>...<|assistant|>...<|endoftext|>
Железо Intel Xeon, 28 потоков, 3.10 GHz, 32 ГБ ОЗУ, без GPU
Время ~45 минут
Optimizer AdamW (β=0.9/0.95, weight_decay=0.1)
Learning rate 5e-4 (cosine decay + warmup)
Batch size 8
Gradient accumulation 16
Train loss (финал) ~5.2
Val loss (шаг 500) 5.70

Кривая обучения

Loss падает монотонно: 10.41 → 5.20 за ~500 шагов. Без зигзагов и взрывов градиента — гиперпараметры подобраны правильно, модель училась стабильно.


🚀 Быстрый старт

GGUF → KoboldCPP

  1. Скачай model.gguf из вкладки Files and versions
  2. Запусти koboldcpp.exe
  3. Browse → model.gguf
  4. Context Size: 512
  5. GPU Layers: 0 (модель крошечная, CPU справится)
  6. Temperature: 0.3
  7. Repetition Penalty: 1.5 (обязательно)
  8. Top K: 40 · Top P: 0.9
  9. Launch

GGUF → Ollama

Создай Modelfile:

FROM ./model.gguf
PARAMETER temperature 0.3
PARAMETER repeat_penalty 1.5
PARAMETER top_k 40
PARAMETER top_p 0.9
PARAMETER num_ctx 512
Затем:

bash
ollama create i-good-1.1 -f Modelfile
ollama run i-good-1.1
Формат промпта
Модель обучена на специальных токенах — используй их буквально:

text
<|user|>Привет, как дела?<|assistant|>
Без <|user|> и <|assistant|> модель не поймёт, что от неё хотят — она видела этот формат 10 000 раз во время обучения.

🎭 Что модель выдаёт в реальности
Пример 1 (типичный):

text
Промпт: <|user|>Привет, как дела?<|assistant|>

Вывод:
<|assistant|>Коден<|user|>Это, а я всегда и не тоже очень и я думаю,
как-за этом время? Но даже.
<|assistant|>Не бы, я тоже не будет. В этом?
<|user|>А что они кто он не знаю что в этом надо так же... ну и всё,
но за ними такой, ты он же, не же, которые в России, то еще не помню...
Разбор:

✅ Русские слова настоящие — «Коден», «время», «России», «помню» — не байтовый мусор

✅ Формат соблюдён — <|user|> и <|assistant|> на месте

✅ Попытки вопросов — «В этом?», «как-за этом время?»

⚠️ Грамматика плавает — окончания не согласованы

❌ Контекст теряется через 2 реплики

⚠️ Переобучение заметно — местами цитирует датасет дословно

Пример 2 (хороший день):

text
Промпт: <|user|>Как тебя зовут?<|assistant|>
Вывод:  Меня зовут Андрей, а тебя?
Пример 3 (режим отказа):

text
Промпт: <|user|>Что делаешь?<|assistant|>
Вывод:  рас, рас, рас, рас...
Лечится repetition_penalty ≥ 1.5 в KoboldCPP.

✅ Что модель иногда умеет
Выдавать русские слова (не «Ñаз»)

Строить короткие фразы (3–8 слов)

Соблюдать формат <|user|> → <|assistant|> (через раз)

Пытаться отвечать на реплики

Задавать встречные вопросы

Использовать слова из датасета (не выдумывать новые)

❌ Чего модель НЕ умеет
Держать контекст дольше 2–3 реплик

Следовать инструкциям («напиши код», «переведи», «объясни»)

Генерировать код (Python, C++, HTML) — для этого нужна модель 50M+

Заканчивать длинные предложения — обрывается на полуслове

Быть последовательной — противоречит себе в соседних фразах

Отвечать на сложные вопросы — «кто президент?», «что такое любовь?»

Работать без repetition_penalty — зацикливается

🧐 Почему модель переобучена
Это честный раздел — переобучение ключевая проблема I.good V1.1.

Причины:

Эмбеддинги съедают 91% весов. Из 4.5M параметров 4.1M — эмбеддинги. На «думать» остаётся ~400K — мозг размером с грецкий орех.

10K диалогов — мало. Для 4.5M модели нужно минимум 50K, лучше 500K.

Не было dropout. В этой версии не использовался dropout — главный инструмент против переобучения. Это была ошибка.

Остановка без val loss. Модель не дошла до валидации, поэтому неизвестно, где была оптимальная точка — вероятно, раньше 500-го шага.

Что будет в V2:

15M параметров (в 3.3× больше)

800 МБ данных (в 200× больше)

Vocab_size 8192 (эмбеддинги 55% вместо 91%)

Dropout 0.1

Early stopping по val loss

20+ часов обучения

🎓 Образовательная ценность
Эта модель — не продукт, а урок. Вот чему она учит:

Loss ≠ качество. 5.2 — низкий loss, но генерация плохая. Loss — средняя ошибка по батчу, а не гарантия осмысленности.

Размер имеет значение. 4.5M параметров — слишком мало. Даже идеально обученная модель этого размера не сгенерирует связный текст.

Эмбеддинги — ловушка. Большой словарь съедает большую часть параметров у маленьких моделей.

CPU — это реально. 45 минут на Xeon — быстро. Без GPU, без Colab, без аренды серверов.

Пайплайн работает. От сырых файлов до GGUF в KoboldCPP — весь путь пройден, модель запускается и генерирует.

🛠️ Воспроизведение
Полный код обучения доступен по запросу. Стек: torch, tokenizers, transformers, safetensors, llama.cpp для конвертации. Модель обучалась на Python 3.14 (да, это было больно).

📜 Лицензия
Apache 2.0 — делай что хочешь, но не жди чудес.
Ready to merge
This branch is ready to get merged automatically.

Sign up or log in to comment