Z-Born 4.5M: born-in-Z model + card + demo

LICENSE

@@ -0,0 +1,7 @@
+MIT License
+
+Copyright (c) 2026 Герман Янтарас
+
+Permission is hereby granted, free of charge, to any person obtaining a copy
+of this software and associated documentation files (the "Software"), to deal
+in the Software without restriction.

README.md

@@ -0,0 +1,100 @@
+---
+license: mit
+language:
+  - en
+tags:
+  - z-system
+  - born-in-z
+  - low-rank
+  - svd
+  - cpu
+  - tiny-model
+library_name: pytorch
+pipeline_tag: text-generation
+---
+
+# Z-Born 4.5M — рождённая в Z
+
+**Z-Born** — первая модель **Z-системы**, которая **родилась в Z-форме**: с рождения
+обучалась в факторизованном виде `W = U·S·Vᵀ`, а не была сжата постфактум.
+Это 4.5 миллиона параметров, которые работают на CPU и пишут связный английский.
+
+> **Born in Z, not compressed post-hoc.** Collapse (truncation to rank k) is a
+> physical process with its own laws; a network trained from birth in factored
+> form is collapse-immune by construction.
+
+## Архитектура
+
+1-layer tanh RNN в факторизованной форме:
+
+```
+Wx = Ux · diag(Sx) · Vxᵀ     (ранг k=32)
+Wh = Uh · diag(Sh) · Vhᵀ     (ранг k=32)
+h_t = tanh(x_t·Wx + h·Wh + b)
+head: Linear(2048 → 2048 BPE-токенов)
+```
+
+- `v = 2048` BPE-токенов, `hid = 2048`, ранг `k = 32`
+- Стоимость шага `O(hid·k)`, а не `O(hid²)` — широкий скрытый слой бесплатен
+- **4 462 656 параметров** (fp32: 17 MB)
+
+## Обучение
+
+- Корпус: WikiText-2 + WikiText-103 + TinyStories (~876M токенов), BPE-2048
+- 300 000 шагов, CPU, 35.7 часа
+- Рождена в Z-форме: параметры U, S, V с рождения (QR-инициализация, спектр 1.0→0.3)
+
+## Качество (честно)
+
+| метрика | значение |
+|---|---|
+| val NLL (смешанный корпус) | 3.974 (ppl 53.2) |
+| TinyStories NLL | 2.148 (ppl 8.57) |
+| параметров | 4.46M |
+
+Пример генерации (CPU, ~0.1 с/токен):
+
+> Once upon a time, a little bird named Benny. Molly was not so happy. He loved
+> to play with her toys and watch the park. The lady was sorry to always
+> remembered a special day...
+
+## Быстрый старт
+
+```bash
+pip install torch tokenizers
+python demo.py "Once upon a time"
+python demo.py "The meaning of life is"
+```
+
+## Файлы
+
+| файл | что это |
+|---|---|
+| `zborn.pt` | веса модели (torch, `{'model': state_dict, 'meta': {...}}`) |
+| `tokenizer.json` | BPE-токенизатор (tokenizers) |
+| `demo.py` | живой чат на CPU (самодостаточный) |
+| `meta.json` | метаданные обучения |
+
+## Ограничения (честно)
+
+- Это **4.5M параметров** — не ассистент общего назначения. Это модель-исследование:
+  доказательство, что маленькая модель, рождённая в факторизованной форме, даёт
+  связную генерацию на CPU.
+- Обучалась на 876M токенов — знания узкие, факты из учебников отсутствуют.
+- Не настроена на диалог (instruction tuning не проводился).
+- Код чат-демо — минимальный (top-k + repetition penalty), без стриминга.
+
+## Z-система
+
+Z-Born — продукт **Z-системы** (z-system): физики информационных объектов.
+Нейросетевые матрицы раскладываются через SVD на направления (U, V), масштабы (S)
+и обрезание спектра до ранга k — «коллапс». Модель, рождённая в этой форме,
+**устойчива к коллапсу по построению**. В репозитории Z-системы — законы
+повреждения, спаривания, термодинамика спектра, телепортация (Z-поток).
+
+Связанный проект — **Kenga** (github.com/GermannM3/kenga-lang): язык программирования
+для живого ИИ (Prophet-память, тензоры, свой decoder, C99-бутстрап без Rust).
+Z даёт физику внутренней структуры модели, Kenga — среду, в которой модель живёт.
+Слияние проектов в работе.
+
+© Герман Янтарас. MIT.

demo.py

@@ -0,0 +1,98 @@
+# -*- coding: utf-8 -*-
+"""
+Z-Born 4.5M — живой чат на CPU.
+
+  pip install torch tokenizers
+  python demo.py "Once upon a time"
+"""
+import os
+import sys
+
+os.environ['CUDA_VISIBLE_DEVICES'] = ''
+
+if hasattr(sys.stdout, 'reconfigure'):
+    sys.stdout.reconfigure(encoding='utf-8', errors='replace')
+
+import torch
+import torch.nn as nn
+
+HERE = os.path.dirname(os.path.abspath(__file__))
+
+
+class BornFactorRNN(nn.Module):
+    """1L tanh-RNN, рождённый в Z-форме: Wx/Wh ранга k (U,S,V)."""
+
+    def __init__(self, v, hid, k):
+        super().__init__()
+        self.v, self.hid, self.k = v, hid, k
+        self.Ux = nn.Parameter(torch.zeros(hid, k))
+        self.Vx = nn.Parameter(torch.zeros(v, k))
+        self.Sx = nn.Parameter(torch.zeros(k))
+        self.Uh = nn.Parameter(torch.zeros(hid, k))
+        self.Vh = nn.Parameter(torch.zeros(hid, k))
+        self.Sh = nn.Parameter(torch.zeros(k))
+        self.b_ih = nn.Parameter(torch.zeros(hid))
+        self.b_hh = nn.Parameter(torch.zeros(hid))
+        self.head = nn.Linear(hid, v)
+
+    def hidden(self, xt, h):
+        xin = (self.Vx[xt] * self.Sx) @ self.Ux.T
+        hh = ((h @ self.Vh) * self.Sh) @ self.Uh.T
+        return torch.tanh(xin + hh + self.b_ih + self.b_hh)
+
+    def step(self, xt, h):
+        h = self.hidden(xt, h)
+        return self.head(h), h
+
+    @torch.no_grad()
+    def generate(self, ids, n, temp=0.8, top_k=40, rep=1.12):
+        self.eval()
+        h = torch.zeros(1, self.hid)
+        logits = None
+        for tok in ids:
+            logits, h = self.step(torch.tensor([tok]), h)
+        out = list(ids)
+        for _ in range(n):
+            lg = logits[0]
+            if rep and out:
+                lg = lg.clone()
+                for t in set(out[-48:]):
+                    lg[t] = lg[t] / rep if lg[t] > 0 else lg[t] * rep
+            lg = lg / max(temp, 1e-6)
+            if top_k and top_k < lg.numel():
+                thr = torch.topk(lg, top_k).values[-1]
+                lg = lg.masked_fill(lg < thr, float('-inf'))
+            nxt = torch.multinomial(torch.softmax(lg, -1), 1)
+            out.append(int(nxt))
+            logits, h = self.step(nxt.view(1), h)
+        return out[len(ids):]
+
+
+def load():
+    ckpt = os.path.join(HERE, 'zborn.pt')
+    if not os.path.isfile(ckpt):
+        raise SystemExit('нет %s' % ckpt)
+    pack = torch.load(ckpt, map_location='cpu', weights_only=False)
+    meta = pack['meta']
+    from tokenizers import Tokenizer
+    tok = Tokenizer.from_file(os.path.join(HERE, 'tokenizer.json'))
+    m = BornFactorRNN(meta['v'], meta['hid'], meta['k'])
+    m.load_state_dict(pack['model'])
+    m.eval()
+    return m, tok, meta
+
+
+def main():
+    prompt = ' '.join(sys.argv[1:]).strip() or 'The meaning of life is'
+    m, tok, meta = load()
+    print('Z-Born %s  hid=%s k=%s n=%s  step=%s  CPU'
+          % (meta.get('kind', '?'), meta.get('hid'), meta.get('k'),
+             meta.get('n_born'), meta.get('step')))
+    ids = tok.encode(prompt).ids
+    out = m.generate(ids, n=120)
+    print('PROMPT:', prompt)
+    print(tok.decode(out))
+
+
+if __name__ == '__main__':
+    main()

meta.json

@@ -0,0 +1,37 @@
+{
+ "kind": "bpe2048-factor",
+ "recipe": "1L tanh-born factored one-hot BPE",
+ "hid": 2048,
+ "k": 32,
+ "seq": 128,
+ "bs": 32,
+ "lr": 0.002,
+ "seed": 7,
+ "qr_seed": 11,
+ "v": 2048,
+ "vocab": 2048,
+ "train_tokens": 1238546057,
+ "val_tokens": 371069,
+ "train_chars": 2449160526,
+ "val_chars": 1142150,
+ "device": "cpu",
+ "n_born_theory": 4462656,
+ "total": 300000,
+ "corpora": [
+  "D:/z-system/_wikitext2",
+  "D:/z-system/_wikitext103",
+  "D:/z-system/_tinystories"
+ ],
+ "wiki_repeat": 3,
+ "wiki_end": 181187803,
+ "train_tokens_raw": 876170451,
+ "step": 300000,
+ "n_born": 4462656,
+ "wall_s": 128507.80147910118,
+ "last_loss": 3.0803170204162598,
+ "nll_train": 3.0575421333312987,
+ "nll_val": 3.9735021629486695,
+ "ppl_val": 53.17041661157406,
+ "nll_stories": 2.1479208919417907,
+ "ppl_stories": 8.567028090895379
+}

vocab.json

@@ -0,0 +1 @@
+{"c2i": {"\n": 0, " ": 1, "!": 2, "\"": 3, "#": 4, "$": 5, "%": 6, "&": 7, "'": 8, "(": 9, ")": 10, "+": 11, ",": 12, "-": 13, ".": 14, "/": 15, "0": 16, "1": 17, "2": 18, "3": 19, "4": 20, "5": 21, "6": 22, "7": 23, "8": 24, "9": 25, ":": 26, ";": 27, "=": 28, "?": 29, "@": 30, "A": 31, "B": 32, "C": 33, "D": 34, "E": 35, "F": 36, "G": 37, "H": 38, "I": 39, "J": 40, "K": 41, "L": 42, "M": 43, "N": 44, "O": 45, "P": 46, "Q": 47, "R": 48, "S": 49, "T": 50, "U": 51, "V": 52, "W": 53, "X": 54, "Y": 55, "Z": 56, "[": 57, "]": 58, "a": 59, "b": 60, "c": 61, "d": 62, "e": 63, "f": 64, "g": 65, "h": 66, "i": 67, "j": 68, "k": 69, "l": 70, "m": 71, "n": 72, "o": 73, "p": 74, "q": 75, "r": 76, "s": 77, "t": 78, "u": 79, "v": 80, "w": 81, "x": 82, "y": 83, "z": 84, "£": 85, "°": 86, "µ": 87, "Å": 88, "Æ": 89, "É": 90, "Í": 91, "×": 92, "à": 93, "á": 94, "â": 95, "ã": 96, "ä": 97, "ç": 98, "è": 99, "é": 100, "ì": 101, "í": 102, "ñ": 103, "ó": 104, "ô": 105, "ö": 106, "ø": 107, "ü": 108, "ā": 109, "ă": 110, "ć": 111, "ī": 112, "ł": 113, "ń": 114, "ō": 115, "ś": 116, "š": 117, "ū": 118, "ơ": 119, "ư": 120, "ə": 121, "ʻ": 122, "ˈ": 123, "ი": 124, "–": 125, "—": 126, "’": 127, "“": 128, "”": 129, "…": 130, "₹": 131, "→": 132, "−": 133, "": 134}, "unk": 0, "min_count": 30}

zborn.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:0313978ec80c36115c87b91778281904fe0cc85cd40d1bd93d6253e67b17c084
+size 17854693