MatUserMTV commited on
Commit
c9ebe2f
·
verified ·
1 Parent(s): ece1f1b

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +96 -1
README.md CHANGED
@@ -1,3 +1,98 @@
1
  ---
2
- license: openrail
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
3
  ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
  ---
2
+ language:
3
+ - ru
4
+ - en
5
+ license: apache-2.0
6
+ tags:
7
+ - text-generation
8
+ - code
9
+ - html
10
+ - css
11
+ - javascript
12
+ - tiny
13
+ - from-scratch
14
+ - educational
15
+ - llama
16
+ - gguf
17
+ - cpu-trained
18
+ - xeon
19
+ metrics:
20
+ - loss
21
+ pipeline_tag: text-generation
22
  ---
23
+
24
+ # I.Good 1.2 Coder — 8.9M параметров, обученная на HTML/JS
25
+
26
+ **I.Good 1.2 Coder** — это специализированная версия моей серии I.Good, обученная **с нуля** исключительно на HTML-коде, CSS и JavaScript.
27
+
28
+ Это не ChatGPT и не Copilot. Это **8.9M параметров**, которые знают все HTML-теги наизусть, но понятия не имеют, что такое человеческий язык. Модель обучалась на серверном процессоре **Intel Xeon** без использования видеокарт.
29
+
30
+ ## 🎭 Примеры генерации (Честно)
31
+
32
+ **Запрос:** `<|user|> напиши кнопку "я тут"<|assistant|>`
33
+ **Ответ модели:**
34
+ ```html
35
+ </p>
36
+ <label>
37
+ <span>
38
+ <input type="reg src="emarea>
39
+ <label><input type="time="Сырой HTML</p>Стки не отлинарный текту:</label>
40
+ <input type="Содержимое</p>
41
+ <span itemprop="Пеблямогресладка: <label="Кон:</p>
42
+ Да, это бред. Но обратите внимание: она знает теги <label>, <input>, <span> и атрибуты type="...">.
43
+
44
+ Запрос: <|user|>Напиши HTML страницу с тегами h1, p<|assistant|><!DOCTYPE html><html><body>
45
+ Ответ модели:
46
+
47
+ html
48
+ <h4 class="hint">
49
+ <h2>This isFari
50
+ <div class="world-modal">
51
+ <p>
52
+ <h3 id="card">
53
+ Здесь видно, что она выучила структуру, помнит классы (world-modal, hint) и вкладывает теги.
54
+
55
+ 🏗️ Архитектура и обучение
56
+ Параметр Значение
57
+ Параметров 8,946,432
58
+ Слоёв (n_layer) 6
59
+ Голов внимания 8
60
+ Размер hidden 320
61
+ Контекст 512 токенов
62
+ Токенизатор BPE, 4096 токенов
63
+ Train Loss (финал) 0.86
64
+ Железо Intel Xeon E5-2690 v4 (без GPU)
65
+ Время ~1 час
66
+ Данные 400 КБ чистого HTML + 86 КБ JS (Tycoon)
67
+ 🧠 Почему она так делает? (Catastrophic Forgetting)
68
+ В процессе обучения модель столкнулась с двумя датасетами:
69
+
70
+ Чистый HTML (400 КБ) — простые страницы с <div>, <h1>, <p>.
71
+
72
+ AI Tycoon (86 КБ) — сложный JS-код с регулярными выражениями (regex) и математикой.
73
+
74
+ Из-за того, что модель слишком маленькая (8.9M), она не смогла разделить эти два домена. В результате:
75
+
76
+ Если вы просите HTML — она выдает теги, но часто забывает их закрыть.
77
+
78
+ Если вы просите JS — она выдает куски регулярных выражений (regex) из Tycoon.
79
+
80
+ Loss 0.86 означает, что модель почти зазубрила датасет, но из-за нехватки параметров путается в логике.
81
+
82
+ 🛠️ Как использовать (KoboldCPP)
83
+ Из-за того, что модель обучена на специфическом формате, важно использовать "затравку" (priming):
84
+
85
+ Скачайте model.gguf.
86
+
87
+ Запустите в KoboldCPP.
88
+
89
+ Context Size: 512
90
+
91
+ Temperature: 0.1 – 0.2 (чтобы код был строгим).
92
+
93
+ Stop Sequences: <|user|>, <|endoftext|>
94
+
95
+ Промпт для теста:
96
+
97
+ text
98
+ <|user|>Напиши HTML страницу с тегами h1, p<|assistant|><!DOCTYPE html><html><body>