I.Good-1.2-coder / README.md
MatUserMTV's picture
Update README.md
8a1b96f verified
|
Raw History Blame Contribute Delete
4.12 kB
---
language:
- ru
- en
license: apache-2.0
tags:
- text-generation
- code
- html
- css
- javascript
- tiny
- from-scratch
- educational
- llama
- gguf
- cpu-trained
- xeon
metrics:
- loss
pipeline_tag: text-generation
---
# I.Good 1.2 Coder — 8.9M параметров, обученная на HTML/JS
**I.Good 1.2 Coder** — это специализированная версия моей серии I.Good, обученная **с нуля** исключительно на HTML-коде, CSS и JavaScript.
Это не ChatGPT и не Copilot. Это **8.9M параметров**, которые знают все HTML-теги наизусть, но понятия не имеют, что такое человеческий язык. Модель обучалась на серверном процессоре **Intel Xeon** без использования видеокарт.
## 🎭 Примеры генерации (Честно)
**Запрос:** `<|user|> напиши кнопку "я тут"<|assistant|>`
**Ответ модели:**
```html
</p>
<label>
<span>
<input type="reg src="emarea>
<label><input type="time="Сырой HTML</p>Стки не отлинарный текту:</label>
<input type="Содержимое</p>
<span itemprop="Пеблямогресладка: <label="Кон:</p>
```
*Да, это бред. Но обратите внимание: она знает теги `<label>`, `<input>`, `<span>` и атрибуты `type="...">`.*
**Запрос:** `<|user|>Напиши HTML страницу с тегами h1, p<|assistant|><!DOCTYPE html><html><body>`
**Ответ модели:**
```html
<h4 class="hint">
<h2>This isFari
<div class="world-modal">
<p>
<h3 id="card">
```
*Здесь видно, что она выучила структуру, помнит классы (`world-modal`, `hint`) и вкладывает теги.*
## 🏗️ Архитектура и обучение
| Параметр | Значение |
|---|---|
| **Параметров** | 8,946,432 |
| **Слоёв (n_layer)** | 6 |
| **Голов внимания** | 8 |
| **Размер hidden** | 320 |
| **Контекст** | 512 токенов |
| **Токенизатор** | BPE, 4096 токенов |
| **Train Loss (финал)** | **0.86** |
| **Железо** | Intel Xeon E5-2690 v4 (без GPU) |
| **Время** | ~1 час |
| **Данные** | 400 КБ чистого HTML + 86 КБ JS (Tycoon) |
## 🧠 Почему она так делает? (Catastrophic Forgetting)
В процессе обучения модель столкнулась с двумя датасетами:
1. **Чистый HTML** (400 КБ) — простые страницы с `<div>`, `<h1>`, `<p>`.
2. **AI Tycoon** (86 КБ) — сложный JS-код с регулярными выражениями (regex) и математикой.
Из-за того, что модель **слишком маленькая** (8.9M), она не смогла разделить эти два домена. В результате:
* Если вы просите HTML — она выдает теги, но часто забывает их закрыть.
* Если вы просите JS — она выдает куски регулярных выражений (regex) из Tycoon.
* **Loss 0.86** означает, что модель почти зазубрила датасет, но из-за нехватки параметров путается в логике.
## 🛠️ Как использовать (KoboldCPP)
Из-за того, что модель обучена на специфическом формате, **важно использовать "затравку" (priming)**:
1. Скачайте `model.gguf`.
2. Запустите в KoboldCPP.
3. **Context Size:** 512
4. **Temperature:** 0.1 – 0.2 (чтобы код был строгим).
5. **Stop Sequences:** `<|user|>`, `<|endoftext|>`
6. **Промпт для теста:**
```text
<|user|>Напиши HTML страницу с тегами h1, p<|assistant|><!DOCTYPE html><html><body>
```