---
language:
- ru
license: apache-2.0
tags:
- text-generation
- russian
- tiny
- from-scratch
- educational
- llama
- gguf
- conversational
- cpu-trained
- xeon
metrics:
- loss
pipeline_tag: text-generation
---
# I.good V1.1 — 4.5M параметров, обученная на Xeon
**I.good V1.1** — крошечная (4.5M параметров) Llama-совместимая языковая модель, обученная **с нуля** на русских диалогах. Не fine-tune, не LoRA, не distillation — полный пайплайн от `.txt` до `.gguf`, на серверном CPU без GPU.
Модель создана **не** для того, чтобы конкурировать с Qwen, Llama или Mistral. Она создана, чтобы **показать**: обучение LLM с нуля возможно без GPU. И чтобы честно продемонстрировать, **как** это выглядит в реальности — со всеми успехами, провалами и компромиссами.
---
## 🏗️ Архитектура
| Параметр | Значение |
|---|---|
| **Параметров** | 4,522,624 |
| **Слоёв (n_layer)** | 2 |
| **Голов внимания (n_head)** | 4 |
| **Размер hidden** | 128 |
| **Размер MLP** | 384 |
| **Контекст** | 512 токенов |
…
I.good 1.1 — 4.5M параметров, обученная на Xeon
🧭 О модели
I.good 1.1 — крошечная (4.5M параметров) Llama-совместимая языковая модель, обученная с нуля на русских диалогах. Это не fine-tune, не LoRA, не результат «нажатия кнопки в Colab». Это полный пайплайн: от сырых .txt-файлов до GGUF-файла, доступного в KoboldCPP.
Модель создана не для того, чтобы конкурировать с Qwen, Llama или Mistral. Она создана, чтобы доказать: обучение LLM с нуля возможно без GPU, на серверном CPU, за пару часов. И чтобы показать, как это выглядит в реальности — со всеми успехами, провалами и компромиссами.
💡 Зачем это существует
Большинство туториалов по обучению LLM начинаются так: «Возьмите A100, 8×H100, 40 ГБ VRAM и датасет на 100 ГБ». У 99% людей ничего из этого нет. Есть ноутбук, есть старый Xeon, есть 32 ГБ ОЗУ, и есть желание понять, как работает LLM изнутри.
I.good 1.1 — это ответ на вопрос: «А что, если попробовать без всего этого?» Ответ: получится плохо, но получится. Модель иногда говорит по…