|
Download README.md from MatUserMTV/I.Good-1.1: direct link, hf CLI and curl.
- Browser
- Download file 3.75 kB
-
https://huggingface.co/MatUserMTV/I.Good-1.1/resolve/main/README.md
- Command line
-
hf download hf://MatUserMTV/I.Good-1.1/README.md
-
curl -L -o README.md https://huggingface.co/MatUserMTV/I.Good-1.1/resolve/main/README.md
3.75 kB
| language: | |
| - ru | |
| license: apache-2.0 | |
| tags: | |
| - text-generation | |
| - russian | |
| - tiny | |
| - from-scratch | |
| - educational | |
| - llama | |
| - gguf | |
| - conversational | |
| - cpu-trained | |
| - xeon | |
| metrics: | |
| - loss | |
| pipeline_tag: text-generation | |
| # I.good V1.1 — 4.5M параметров, обученная на Xeon | |
| **I.good V1.1** — это моя **первая успешная** языковая модель, обученная **с нуля**. Крошечная (4.5M параметров) Llama-совместимая модель, которая положила начало всей серии I.good. | |
| Это не файнтюн и не LoRA. Это полностью самописный пайплайн: от парсинга диалогов и обучения BPE-токенизатора до конвертации в GGUF. Всё обучение проходило на серверном процессоре **Intel Xeon** без использования видеокарт. | |
| ## 🎭 Вершина её творчества | |
| На 7000 шаге (уже в версии V1.2) она научилась выдавать великолепные фразы. Но именно здесь, в V1.1, она впервые показала, что умеет строить предложения: | |
| **Запрос:** `<|user|>привет<|assistant|>` | |
| **Ответ:** `Да ладно, я тоже хочу вас поздравить! :D` | |
| **Запрос:** `<|user|>как дела?<|assistant|>` | |
| **Ответ:** `Яндекс - битская серия, вот это и там может быть звезда :]` | |
| ## 🏗️ Архитектура | |
| | Параметр | Значение | | |
| |---|---| | |
| | **Параметров** | 4,522,624 | | |
| | **Слоёв (n_layer)** | 2 | | |
| | **Голов внимания** | 4 | | |
| | **Размер hidden** | 128 | | |
| | **Размер MLP** | 384 | | |
| | **Контекст** | 512 токенов | | |
| | **Токенизатор** | BPE, 32000 токенов | | |
| | **Train Loss (финал)** | ~5.20 | | |
| ## 📚 Данные и обучение | |
| * **Данные:** 10 000 русских диалогов (~834 000 токенов). | |
| * **Формат:** `<|user|>...<|assistant|>...<|endoftext|>`. | |
| * **Железо:** Intel Xeon E5-2690 v4 (28 потоков), **без GPU**. | |
| * **Время:** ~45 минут. | |
| ## ⚠️ Ограничения (Детские болезни) | |
| 4.5M параметров — это **очень мало**. Модель имеет ряд особенностей: | |
| 1. **Память золотой рыбки.** Контекст всего 512 токенов. Она забывает начало диалога к его концу. | |
| 2. **Галлюцинации байтов.** Если задать вопрос, на который нет ответа в датасете, она может выдать случайные символы (иврит, иероглифы). | |
| 3. **Путаница ролей.** Она часто пишет `<|user|>` в своих ответах, так как не понимает, что она — ассистент. | |
| 4. **Переобучение.** При loss 5.20 она местами заучила диалоги наизусть, поэтому иногда выдает странные фразы про «Яндекс» и «серии». | |
| ## 🛠️ Как использовать (KoboldCPP) | |
| 1. Скачайте `model.gguf`. | |
| 2. Запустите в KoboldCPP (Context 512). | |
| 3. **Обязательно** добавьте `<|user|>` и `<|endoftext|>` в **Stop Sequences**. | |
| 4. Настройки: Temperature **0.3**, Repetition Penalty **1.2**. | |
| 5. **Промпт:** `<|user|>Привет, как дела?<|assistant|>` | |