Upload folder using huggingface_hub

README.md

@@ -0,0 +1,71 @@
+---
+license: cc-by-4.0
+language:
+- pl
+library_name: custom
+pipeline_tag: text-generation
+tags:
+- pytorch
+- bdh
+- fast-weights
+- polish
+- lang-200m
+base_model: pathwaycom/bdh
+datasets:
+- SlayerLab/polish-dynaword-mix
+
+---
+# BDH-25M-<span>PL</span> — Polish Looped-Transformer (Fast-Weight) Language Model
+
+Mały, otwarty model językowy z **architekturą BDH (Fast Weight Layers)**,
+wytrenowany na czystym, polskim mixie **SlayerLab/polish-dynaword-mix**
+(100M tokenów, byte-level).
+
+## Architektura
+
+- `BDH` z [pathwaycom/bdh](https://github.com/pathwaycom/bdh) — looped latent-recurrence / fast weights
+- `n_layer=8, n_embd=256, n_head=4, mlp_internal_dim_multiplier=128`
+- Vocab: **byte-level (vocab 256)** — brak tokenizera, działa bezpośrednio na UTF-8 bajtach
+- **~25.3M parametrów** · seq 2048
+- Key feature: `Q==K` (fast-weights) — współdzielony stan jako klucz i wartość (locality latent recurrence)
+
+## Trening
+
+- **Dane**: `SlayerLab/polish-dynaword-mix` (100M tokenów, law cap 7%, dedup, clean)
+- **Kroki**: 10000 · **final val loss ~1.41** · byte-level (lat ≥ 5.6 dla losowych wag)
+- **Zoptymalizowany**: ZClip + protocol B.2 (jak w paperze BDH)
+
+## Uwaga o skali
+
+To **model 25M na 100M tokenów** — zgodnie ze scaling laws jest **niedoćwiczony jakościowo**,
+ale stanowi działający baseline: generuje gramatycznie poprawne polskie zdania i
+demonstruje, że architektura BDH trenuje i generuje poprawnie end-to-end.
+
+## Szybki start
+
+```python
+import torch
+from safetensors.torch import load_file
+from bdh import BDH, BDHConfig
+
+cfg = BDHConfig(n_layer=8, n_embd=256, n_head=4,
+                mlp_internal_dim_multiplier=128, dropout=0.1, vocab_size=256)
+model = BDH(cfg)
+model.load_state_dict({k.replace("model.", ""): v
+                       for k, v in load_file("model.safetensors").items()}, strict=True)
+model.eval()
+
+# byte-level prompt (bez tokenizera)
+prompt = "Warszawa jest stolicą Polski i "
+ids = torch.tensor([list(prompt.encode("utf-8"))])
+# ... pętla generowania po jednym bajcie z softmax(temp)
+```
+
+## Pliki
+
+- `model.safetensors` — wagi (101MB)
+- `config.json` — hyperparametry i metadane treningu
+
+## Licencja
+
+Wagi: **CC-BY-4.0**. Architektura: MIT (pathwaycom/bdh).

config.json

@@ -0,0 +1,18 @@
+{
+  "architectures": [
+    "BDH"
+  ],
+  "vocab_size": 256,
+  "n_layer": 8,
+  "n_embd": 256,
+  "n_head": 4,
+  "mlp_internal_dim_multiplier": 128,
+  "dropout": 0.1,
+  "seq_len": 2048,
+  "model_type": "bdh",
+  "size_m": 25,
+  "training": {
+    "steps": 10000,
+    "data": "SlayerLab/polish-dynaword-mix"
+  }
+}

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:98fef32d9abcc7b3eadc5efd855b70571570dcea666b32208a8a709b4794d438
+size 101220888