File size: 4,122 Bytes
8a1b96f
ece1f1b
c9ebe2f
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
ece1f1b
c9ebe2f
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
8a1b96f
 
c9ebe2f
8a1b96f
 
 
c9ebe2f
 
 
 
 
8a1b96f
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
c9ebe2f
 
8a1b96f
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95

---
language:
- ru
- en
license: apache-2.0
tags:
- text-generation
- code
- html
- css
- javascript
- tiny
- from-scratch
- educational
- llama
- gguf
- cpu-trained
- xeon
metrics:
- loss
pipeline_tag: text-generation
---

# I.Good 1.2 Coder — 8.9M параметров, обученная на HTML/JS

**I.Good 1.2 Coder** — это специализированная версия моей серии I.Good, обученная **с нуля** исключительно на HTML-коде, CSS и JavaScript. 

Это не ChatGPT и не Copilot. Это **8.9M параметров**, которые знают все HTML-теги наизусть, но понятия не имеют, что такое человеческий язык. Модель обучалась на серверном процессоре **Intel Xeon** без использования видеокарт.

## 🎭 Примеры генерации (Честно)

**Запрос:** `<|user|> напиши кнопку "я тут"<|assistant|>`
**Ответ модели:**
```html
</p>
<label>
<span>
<input type="reg src="emarea>
<label><input type="time="Сырой HTML</p>Стки не отлинарный текту:</label>
<input type="Содержимое</p>
<span itemprop="Пеблямогресладка: <label="Кон:</p>
```
*Да, это бред. Но обратите внимание: она знает теги `<label>`, `<input>`, `<span>` и атрибуты `type="...">`.*

**Запрос:** `<|user|>Напиши HTML страницу с тегами h1, p<|assistant|><!DOCTYPE html><html><body>`
**Ответ модели:**
```html
<h4 class="hint">
<h2>This isFari
<div class="world-modal">
  <p>
  <h3 id="card">
```
*Здесь видно, что она выучила структуру, помнит классы (`world-modal`, `hint`) и вкладывает теги.*

## 🏗️ Архитектура и обучение

| Параметр | Значение |
|---|---|
| **Параметров** | 8,946,432 |
| **Слоёв (n_layer)** | 6 |
| **Голов внимания** | 8 |
| **Размер hidden** | 320 |
| **Контекст** | 512 токенов |
| **Токенизатор** | BPE, 4096 токенов |
| **Train Loss (финал)** | **0.86** |
| **Железо** | Intel Xeon E5-2690 v4 (без GPU) |
| **Время** | ~1 час |
| **Данные** | 400 КБ чистого HTML + 86 КБ JS (Tycoon) |

## 🧠 Почему она так делает? (Catastrophic Forgetting)

В процессе обучения модель столкнулась с двумя датасетами:
1. **Чистый HTML** (400 КБ) — простые страницы с `<div>`, `<h1>`, `<p>`.
2. **AI Tycoon** (86 КБ) — сложный JS-код с регулярными выражениями (regex) и математикой.

Из-за того, что модель **слишком маленькая** (8.9M), она не смогла разделить эти два домена. В результате:
* Если вы просите HTML — она выдает теги, но часто забывает их закрыть.
* Если вы просите JS — она выдает куски регулярных выражений (regex) из Tycoon.
* **Loss 0.86** означает, что модель почти зазубрила датасет, но из-за нехватки параметров путается в логике.

## 🛠️ Как использовать (KoboldCPP)

Из-за того, что модель обучена на специфическом формате, **важно использовать "затравку" (priming)**:

1. Скачайте `model.gguf`.
2. Запустите в KoboldCPP.
3. **Context Size:** 512
4. **Temperature:** 0.1 – 0.2 (чтобы код был строгим).
5. **Stop Sequences:** `<|user|>`, `<|endoftext|>`
6. **Промпт для теста:**
```text
<|user|>Напиши HTML страницу с тегами h1, p<|assistant|><!DOCTYPE html><html><body>
```