I.Good-1.1 / README.md
MatUserMTV's picture
Update README.md
30535c7 verified
|
Raw History Blame Contribute Delete
3.75 kB
metadata
language:
  - ru
license: apache-2.0
tags:
  - text-generation
  - russian
  - tiny
  - from-scratch
  - educational
  - llama
  - gguf
  - conversational
  - cpu-trained
  - xeon
metrics:
  - loss
pipeline_tag: text-generation

I.good V1.1 — 4.5M параметров, обученная на Xeon

I.good V1.1 — это моя первая успешная языковая модель, обученная с нуля. Крошечная (4.5M параметров) Llama-совместимая модель, которая положила начало всей серии I.good.

Это не файнтюн и не LoRA. Это полностью самописный пайплайн: от парсинга диалогов и обучения BPE-токенизатора до конвертации в GGUF. Всё обучение проходило на серверном процессоре Intel Xeon без использования видеокарт.

🎭 Вершина её творчества

На 7000 шаге (уже в версии V1.2) она научилась выдавать великолепные фразы. Но именно здесь, в V1.1, она впервые показала, что умеет строить предложения:

Запрос: <|user|>привет<|assistant|> Ответ: Да ладно, я тоже хочу вас поздравить! :D

Запрос: <|user|>как дела?<|assistant|> Ответ: Яндекс - битская серия, вот это и там может быть звезда :]

🏗️ Архитектура

Параметр Значение
Параметров 4,522,624
Слоёв (n_layer) 2
Голов внимания 4
Размер hidden 128
Размер MLP 384
Контекст 512 токенов
Токенизатор BPE, 32000 токенов
Train Loss (финал) ~5.20

📚 Данные и обучение

  • Данные: 10 000 русских диалогов (~834 000 токенов).
  • Формат: <|user|>...<|assistant|>...<|endoftext|>.
  • Железо: Intel Xeon E5-2690 v4 (28 потоков), без GPU.
  • Время: ~45 минут.

⚠️ Ограничения (Детские болезни)

4.5M параметров — это очень мало. Модель имеет ряд особенностей:

  1. Память золотой рыбки. Контекст всего 512 токенов. Она забывает начало диалога к его концу.
  2. Галлюцинации байтов. Если задать вопрос, на который нет ответа в датасете, она может выдать случайные символы (иврит, иероглифы).
  3. Путаница ролей. Она часто пишет <|user|> в своих ответах, так как не понимает, что она — ассистент.
  4. Переобучение. При loss 5.20 она местами заучила диалоги наизусть, поэтому иногда выдает странные фразы про «Яндекс» и «серии».

🛠️ Как использовать (KoboldCPP)

  1. Скачайте model.gguf.
  2. Запустите в KoboldCPP (Context 512).
  3. Обязательно добавьте <|user|> и <|endoftext|> в Stop Sequences.
  4. Настройки: Temperature 0.3, Repetition Penalty 1.2.
  5. Промпт: <|user|>Привет, как дела?<|assistant|>