I.Good-1.1 / README.md
MatUserMTV's picture
Update README.md
30535c7 verified
|
Raw History Blame Contribute Delete
3.75 kB
---
language:
- ru
license: apache-2.0
tags:
- text-generation
- russian
- tiny
- from-scratch
- educational
- llama
- gguf
- conversational
- cpu-trained
- xeon
metrics:
- loss
pipeline_tag: text-generation
---
# I.good V1.1 — 4.5M параметров, обученная на Xeon
**I.good V1.1** — это моя **первая успешная** языковая модель, обученная **с нуля**. Крошечная (4.5M параметров) Llama-совместимая модель, которая положила начало всей серии I.good.
Это не файнтюн и не LoRA. Это полностью самописный пайплайн: от парсинга диалогов и обучения BPE-токенизатора до конвертации в GGUF. Всё обучение проходило на серверном процессоре **Intel Xeon** без использования видеокарт.
## 🎭 Вершина её творчества
На 7000 шаге (уже в версии V1.2) она научилась выдавать великолепные фразы. Но именно здесь, в V1.1, она впервые показала, что умеет строить предложения:
**Запрос:** `<|user|>привет<|assistant|>`
**Ответ:** `Да ладно, я тоже хочу вас поздравить! :D`
**Запрос:** `<|user|>как дела?<|assistant|>`
**Ответ:** `Яндекс - битская серия, вот это и там может быть звезда :]`
## 🏗️ Архитектура
| Параметр | Значение |
|---|---|
| **Параметров** | 4,522,624 |
| **Слоёв (n_layer)** | 2 |
| **Голов внимания** | 4 |
| **Размер hidden** | 128 |
| **Размер MLP** | 384 |
| **Контекст** | 512 токенов |
| **Токенизатор** | BPE, 32000 токенов |
| **Train Loss (финал)** | ~5.20 |
## 📚 Данные и обучение
* **Данные:** 10 000 русских диалогов (~834 000 токенов).
* **Формат:** `<|user|>...<|assistant|>...<|endoftext|>`.
* **Железо:** Intel Xeon E5-2690 v4 (28 потоков), **без GPU**.
* **Время:** ~45 минут.
## ⚠️ Ограничения (Детские болезни)
4.5M параметров — это **очень мало**. Модель имеет ряд особенностей:
1. **Память золотой рыбки.** Контекст всего 512 токенов. Она забывает начало диалога к его концу.
2. **Галлюцинации байтов.** Если задать вопрос, на который нет ответа в датасете, она может выдать случайные символы (иврит, иероглифы).
3. **Путаница ролей.** Она часто пишет `<|user|>` в своих ответах, так как не понимает, что она — ассистент.
4. **Переобучение.** При loss 5.20 она местами заучила диалоги наизусть, поэтому иногда выдает странные фразы про «Яндекс» и «серии».
## 🛠️ Как использовать (KoboldCPP)
1. Скачайте `model.gguf`.
2. Запустите в KoboldCPP (Context 512).
3. **Обязательно** добавьте `<|user|>` и `<|endoftext|>` в **Stop Sequences**.
4. Настройки: Temperature **0.3**, Repetition Penalty **1.2**.
5. **Промпт:** `<|user|>Привет, как дела?<|assistant|>`