I.Good-1.2-coder / README.md
MatUserMTV's picture
Update README.md
8a1b96f verified
|
Raw History Blame Contribute Delete
4.12 kB
metadata
language:
  - ru
  - en
license: apache-2.0
tags:
  - text-generation
  - code
  - html
  - css
  - javascript
  - tiny
  - from-scratch
  - educational
  - llama
  - gguf
  - cpu-trained
  - xeon
metrics:
  - loss
pipeline_tag: text-generation

I.Good 1.2 Coder — 8.9M параметров, обученная на HTML/JS

I.Good 1.2 Coder — это специализированная версия моей серии I.Good, обученная с нуля исключительно на HTML-коде, CSS и JavaScript.

Это не ChatGPT и не Copilot. Это 8.9M параметров, которые знают все HTML-теги наизусть, но понятия не имеют, что такое человеческий язык. Модель обучалась на серверном процессоре Intel Xeon без использования видеокарт.

🎭 Примеры генерации (Честно)

Запрос: <|user|> напиши кнопку "я тут"<|assistant|> Ответ модели:

</p>
<label>
<span>
<input type="reg src="emarea>
<label><input type="time="Сырой HTML</p>Стки не отлинарный текту:</label>
<input type="Содержимое</p>
<span itemprop="Пеблямогресладка: <label="Кон:</p>

Да, это бред. Но обратите внимание: она знает теги <label>, <input>, <span> и атрибуты type="...">.

Запрос: <|user|>Напиши HTML страницу с тегами h1, p<|assistant|><!DOCTYPE html><html><body> Ответ модели:

<h4 class="hint">
<h2>This isFari
<div class="world-modal">
  <p>
  <h3 id="card">

Здесь видно, что она выучила структуру, помнит классы (world-modal, hint) и вкладывает теги.

🏗️ Архитектура и обучение

Параметр Значение
Параметров 8,946,432
Слоёв (n_layer) 6
Голов внимания 8
Размер hidden 320
Контекст 512 токенов
Токенизатор BPE, 4096 токенов
Train Loss (финал) 0.86
Железо Intel Xeon E5-2690 v4 (без GPU)
Время ~1 час
Данные 400 КБ чистого HTML + 86 КБ JS (Tycoon)

🧠 Почему она так делает? (Catastrophic Forgetting)

В процессе обучения модель столкнулась с двумя датасетами:

  1. Чистый HTML (400 КБ) — простые страницы с <div>, <h1>, <p>.
  2. AI Tycoon (86 КБ) — сложный JS-код с регулярными выражениями (regex) и математикой.

Из-за того, что модель слишком маленькая (8.9M), она не смогла разделить эти два домена. В результате:

  • Если вы просите HTML — она выдает теги, но часто забывает их закрыть.
  • Если вы просите JS — она выдает куски регулярных выражений (regex) из Tycoon.
  • Loss 0.86 означает, что модель почти зазубрила датасет, но из-за нехватки параметров путается в логике.

🛠️ Как использовать (KoboldCPP)

Из-за того, что модель обучена на специфическом формате, важно использовать "затравку" (priming):

  1. Скачайте model.gguf.
  2. Запустите в KoboldCPP.
  3. Context Size: 512
  4. Temperature: 0.1 – 0.2 (чтобы код был строгим).
  5. Stop Sequences: <|user|>, <|endoftext|>
  6. Промпт для теста:
<|user|>Напиши HTML страницу с тегами h1, p<|assistant|><!DOCTYPE html><html><body>