--- language: - ru license: apache-2.0 tags: - text-generation - russian - tiny - from-scratch - educational - llama - gguf - conversational - cpu-trained - xeon metrics: - loss pipeline_tag: text-generation --- # I.good V1.1 — 4.5M параметров, обученная на Xeon **I.good V1.1** — это моя **первая успешная** языковая модель, обученная **с нуля**. Крошечная (4.5M параметров) Llama-совместимая модель, которая положила начало всей серии I.good. Это не файнтюн и не LoRA. Это полностью самописный пайплайн: от парсинга диалогов и обучения BPE-токенизатора до конвертации в GGUF. Всё обучение проходило на серверном процессоре **Intel Xeon** без использования видеокарт. ## 🎭 Вершина её творчества На 7000 шаге (уже в версии V1.2) она научилась выдавать великолепные фразы. Но именно здесь, в V1.1, она впервые показала, что умеет строить предложения: **Запрос:** `<|user|>привет<|assistant|>` **Ответ:** `Да ладно, я тоже хочу вас поздравить! :D` **Запрос:** `<|user|>как дела?<|assistant|>` **Ответ:** `Яндекс - битская серия, вот это и там может быть звезда :]` ## 🏗️ Архитектура | Параметр | Значение | |---|---| | **Параметров** | 4,522,624 | | **Слоёв (n_layer)** | 2 | | **Голов внимания** | 4 | | **Размер hidden** | 128 | | **Размер MLP** | 384 | | **Контекст** | 512 токенов | | **Токенизатор** | BPE, 32000 токенов | | **Train Loss (финал)** | ~5.20 | ## 📚 Данные и обучение * **Данные:** 10 000 русских диалогов (~834 000 токенов). * **Формат:** `<|user|>...<|assistant|>...<|endoftext|>`. * **Железо:** Intel Xeon E5-2690 v4 (28 потоков), **без GPU**. * **Время:** ~45 минут. ## ⚠️ Ограничения (Детские болезни) 4.5M параметров — это **очень мало**. Модель имеет ряд особенностей: 1. **Память золотой рыбки.** Контекст всего 512 токенов. Она забывает начало диалога к его концу. 2. **Галлюцинации байтов.** Если задать вопрос, на который нет ответа в датасете, она может выдать случайные символы (иврит, иероглифы). 3. **Путаница ролей.** Она часто пишет `<|user|>` в своих ответах, так как не понимает, что она — ассистент. 4. **Переобучение.** При loss 5.20 она местами заучила диалоги наизусть, поэтому иногда выдает странные фразы про «Яндекс» и «серии». ## 🛠️ Как использовать (KoboldCPP) 1. Скачайте `model.gguf`. 2. Запустите в KoboldCPP (Context 512). 3. **Обязательно** добавьте `<|user|>` и `<|endoftext|>` в **Stop Sequences**. 4. Настройки: Temperature **0.3**, Repetition Penalty **1.2**. 5. **Промпт:** `<|user|>Привет, как дела?<|assistant|>`