Slayer1B 1.03: public model, owner's Track runs

index.html

@@ -32,6 +32,8 @@
   tr:last-child td { border-bottom:none; }
   td.best { color:var(--acc); font-weight:700; }
   .note { color:var(--muted); font-size:.92rem; margin-top:10px; }
+  .sha { overflow-wrap:anywhere; font-size:.8rem; }
+  .card-status { grid-column:1 / -1; }
   figure { margin:0; background:#fff; border-radius:14px; padding:8px; }
   figure img { width:100%; display:block; }
   ol.steps { padding-left:20px; } ol.steps li { margin:6px 0; }
@@ -51,15 +53,15 @@
 <header>
   <h1>Mission – Slayer 1B</h1>
   <p class="by">Arkadiusz Słota – Fabryka AI (SlayerLab)</p>
-  <p class="lead">We are building a Polish language model of ~1 billion parameters from scratch and improving it version by
-  version — each version continues training from a checkpoint of the previous one taken before its final learning-rate
-  decay, on new data. All versions, checkpoints and results are public.</p>
+  <p class="lead">We are building a Polish language model of ~1 billion parameters from scratch and improving it through
+  checkpointed continuation. Released model weights are public; resumable checkpoint archives are published
+  separately. Follow each archive link for its current files. Training progress and measured evaluation results are reported separately below.</p>
   <div class="pills">
     <span class="pill"><b>1,073,912,851</b> parameters</span>
     <span class="pill">tokenizer <b>32,768</b>, Polish</span>
     <span class="pill">context <b>4096</b> tokens</span>
     <span class="pill">data: ~82% Polish, ~18% English</span>
-    <span class="pill">weights license <b>Apache-2.0</b></span>
+    <span class="pill">released weights: <b>Apache-2.0</b></span>
   </div>
 </header>
 
@@ -87,6 +89,16 @@
       <a href="https://huggingface.co/SlayerLab/Slayer1B-1.02-checkpoints">checkpoints</a> ·
       <a href="https://track.fabryka.ai/run/21ae1234-82c2-42b7-887b-cbcc69901ae1">run</a>
     </div>
+    <div class="card card-status">
+      <h3>Slayer1B 1.03 <span class="tag const">training complete</span></h3>
+      <div class="meta">native step 7150 · training loss 2.3955</div>
+      <p>Resume 6750 → 7150 completed on 4×L40S. The final 7150 model weights and lm-eval benchmark results are public.</p>
+      <p class="note">Checkpoint SHA-256: <code class="sha">d7cad9673f3ee706f3022ad6a97fa7593604806d4d25ba936c27885a8f115d97</code></p>
+      <a href="https://huggingface.co/SlayerLab/Slayer1B-1.03">model</a> ·
+      <a href="https://track.fabryka.ai/run/7ca4f84f-3b07-4525-8cde-f3a936dc3425">completed training run</a> ·
+      <a href="https://track.fabryka.ai/run/1426c0a8-2f07-5a03-80fc-92f7e922aa4b">checkpoint benchmarks</a> ·
+      <a href="https://huggingface.co/SlayerLab/Slayer1B-1.03-checkpoints">native checkpoint archive — current files</a>
+    </div>
   </div>
 </section>
 
@@ -110,9 +122,23 @@
 </section>
 
 <section>
-  <h2>How the scores grow during training</h2>
-  <figure><img src="scores-history.png" alt="Evaluation history of Slayer1B 1.00, 1.01 and 1.02 versus training tokens"></figure>
-  <p class="note">Measured values only, no fits: one checkpoint every 150 steps. Data: <a href="scores-history.csv">scores-history.csv</a>.</p>
+  <h2>Additional benchmark history</h2>
+  <p><a href="https://track.fabryka.ai/run/1426c0a8-2f07-5a03-80fc-92f7e922aa4b">16 checkpoints from 1.00–1.03, through final 7150</a>
+  have separate lm-eval 0.4.13, zero-shot, fp32 results: 13 historical points plus 6900, 7050 and 7150.
+  These results use a different benchmark procedure from the table above.</p>
+  <p class="note">Accuracy and normalized accuracy are distinct series, in fractions (0–1); LAMBADA perplexity is separate.
+  The scan found n-gram overlap in shared/en for BoolQ, MMLU and ARC; its significance is still being assessed.
+  Overlap is not by itself a measured contamination rate. Open Charts and filter by <code>eval/</code>.
+  This is an imported result series, not a native automatic-benchmark job.</p>
+  <p class="note">The three new points use the same runner and task procedure, but a different runtime:
+  Torch 2.8.0+cu128, tokenizers 0.23.2 and NumPy 2.2.6, versus 2.14.1+cu126, 0.23.3 and 2.5.3 for the historical points.
+  The 6750 → 6900 boundary is not an identical-environment checkpoint comparison.</p>
+</section>
+
+<section>
+  <h2>Historical score curves: 1.00–1.02</h2>
+  <figure><img src="https://huggingface.co/spaces/SlayerLab/Slayer1B/resolve/b67cc3f1c3a56ea16f2ae92f44023e70750e371d/scores-history.png" alt="Evaluation history of Slayer1B 1.00, 1.01 and 1.02 versus training tokens"></figure>
+  <p class="note">Measured values only, no fits: one checkpoint every 150 steps. Historical data: <a href="https://huggingface.co/spaces/SlayerLab/Slayer1B/resolve/b67cc3f1c3a56ea16f2ae92f44023e70750e371d/scores-history.csv">scores-history.csv</a>.</p>
 </section>
 
 <section>
@@ -120,13 +146,16 @@
   <ol class="steps">
     <li><b>From scratch.</b> A transformer (20 layers, width 2048), our own Polish tokenizer, Polish data with an English
       minority (<a href="https://huggingface.co/datasets/SlayerLab/slayer-pl-8x3b">slayer-pl-8x3b</a>).</li>
-    <li><b>Continued training instead of a new run.</b> Each version starts from a checkpoint of the previous one —
-      taken before its final learning-rate decay — and gets a new portion of data the model has not seen yet.</li>
-    <li><b>From 1.02 on, no decay along the way.</b> We keep training on the whole prepared corpus (~24 B tokens) and
-      apply the final decay once, at the end.</li>
-    <li><b>We verify everything.</b> Every checkpoint has a SHA-256 sum recorded off the training machine; files are
-      downloaded back and compared with it. From version 1.01 on, a loss forecast is written down before each run and
-      evaluated afterwards.</li>
+    <li><b>Checkpointed continuation.</b> Earlier decayed versions branched from checkpoints before their final decay.
+      Version names mark milestones in one global data trajectory, not mandatory process restarts.
+      Retention maintenance resumed from verified checkpoint 7750 without resetting the data order.
+      The final learning-rate decay is planned once, at the end.</li>
+    <li><b>Source and model units.</b> The source corpus is counted as ~24 B <code>cl100k</code> tokens.
+      Our v6/32k tokenizer produces separate <code>uint16</code> train/validation files. Actual model-token counts and
+      stream boundaries come from pinned manifests. Next packs are prepared while the current stage trains.</li>
+    <li><b>We verify everything.</b> Checkpoint SHA-256 records are preserved outside the training machine.
+      Before local pruning, a full copy on a separate archive is verified and its receipt is persisted atomically.
+      From version 1.01 on, a loss forecast is written down before each run and evaluated afterwards.</li>
   </ol>
   <p class="note">Technical report:
   <a href="https://github.com/slayerlabs/Fabryka-AI-Notes/tree/main/papers/slayerlabs/2026-10-23_slayer1b-continuation">Slayer1B: Continuing a Polish-Dominant Base Model</a>.</p>
@@ -134,8 +163,11 @@
 
 <section>
   <h2>What's next</h2>
-  <p><b>Slayer1B 1.03</b> — another 1.5 B tokens (7.5 B in total), continued from 1.02 on our own 4×RTX 4090 cards.
-  Live progress on <a href="https://track.fabryka.ai/models">track.fabryka.ai</a>.</p>
+  <p><b>Corpus continuation, 1.04–1.06:</b> the global trajectory runs from native step 7150 toward the target 13848.
+  Checkpoint milestones are 10010 (1.04), 12870 (1.05) and 13848 (1.06).
+  <a href="https://track.fabryka.ai/run/f056bb5c-f1da-56d5-9776-cc33063f10a5">Follow the live continuation</a>.</p>
+  <p class="note">The linked runs belong to the author's Track account. The completed 1.03 run includes its resumed steps;
+  corpus continuation and benchmark history are separate records of the same model lineage.</p>
   <p><b>At the end of the line:</b> one final learning-rate decay, then extending the context window in stages —
   first to 32k tokens, with up to 256k as the target, each stage checked with long-context tests.</p>
   <p class="note">These are base models: they predict the continuation of a text, they were not tuned for chat or for
@@ -148,15 +180,15 @@
 <header>
   <h1>Misja – Slayer 1B</h1>
   <p class="by">Arkadiusz Słota – Fabryka AI (SlayerLab)</p>
-  <p class="lead">Budujemy od zera polski model językowy wielkości ~1 mld parametrów i ulepszamy go wersja po wersji —
-  każdą wersję trenujemy dalej od punktu kontrolnego poprzedniej sprzed jej końcowego wygaszania tempa uczenia, na nowych
-  danych. Wszystkie wersje, punkty kontrolne i wyniki są publiczne.</p>
+  <p class="lead">Budujemy od zera polski model językowy wielkości ~1 mld parametrów i ulepszamy go przez kontynuację
+  z punktów kontrolnych. Wagi wydanych modeli są publiczne; archiwa checkpointów do wznowienia publikujemy
+  osobno. Linki archiwów pokazują ich aktualne pliki. Postęp treningu i zmierzone wyniki ewaluacji pokazujemy poniżej oddzielnie.</p>
   <div class="pills">
     <span class="pill"><b>1 073 912 851</b> parametrów</span>
     <span class="pill">tokenizer <b>32 768</b>, polski</span>
     <span class="pill">kontekst <b>4096</b> tokenów</span>
     <span class="pill">dane: ~82 % PL, ~18 % EN</span>
-    <span class="pill">licencja wag <b>Apache-2.0</b></span>
+    <span class="pill">opublikowane wagi: <b>Apache-2.0</b></span>
   </div>
 </header>
 
@@ -184,6 +216,16 @@
       <a href="https://huggingface.co/SlayerLab/Slayer1B-1.02-checkpoints">punkty kontrolne</a> ·
       <a href="https://track.fabryka.ai/run/21ae1234-82c2-42b7-887b-cbcc69901ae1">przebieg</a>
     </div>
+    <div class="card card-status">
+      <h3>Slayer1B 1.03 <span class="tag const">trening zakończony</span></h3>
+      <div class="meta">krok native 7150 · strata treningowa 2,3955</div>
+      <p>Wznowienie 6750 → 7150 zakończone na 4×L40S. Wagi końcowego modelu 7150 i wyniki benchmarków lm-eval są publiczne.</p>
+      <p class="note">SHA-256 checkpointu: <code class="sha">d7cad9673f3ee706f3022ad6a97fa7593604806d4d25ba936c27885a8f115d97</code></p>
+      <a href="https://huggingface.co/SlayerLab/Slayer1B-1.03">model</a> ·
+      <a href="https://track.fabryka.ai/run/7ca4f84f-3b07-4525-8cde-f3a936dc3425">zakończony przebieg treningu</a> ·
+      <a href="https://track.fabryka.ai/run/1426c0a8-2f07-5a03-80fc-92f7e922aa4b">benchmarki checkpointów</a> ·
+      <a href="https://huggingface.co/SlayerLab/Slayer1B-1.03-checkpoints">archiwum checkpointów natywnych — aktualne pliki</a>
+    </div>
   </div>
 </section>
 
@@ -207,9 +249,23 @@
 </section>
 
 <section>
-  <h2>Jak rosną wyniki w trakcie treningu</h2>
-  <figure><img src="scores-history.png" alt="Historia wyników Slayer1B 1.00, 1.01 i 1.02 w funkcji liczby tokenów treningu"></figure>
-  <p class="note">Same pomiary, bez dopasowań: punkt kontrolny co 150 kroków. Dane: <a href="scores-history.csv">scores-history.csv</a>.</p>
+  <h2>Dodatkowa historia benchmarków</h2>
+  <p><a href="https://track.fabryka.ai/run/1426c0a8-2f07-5a03-80fc-92f7e922aa4b">16 checkpointów 1.00–1.03, do końcowego 7150</a>
+  ma osobne wyniki lm-eval 0.4.13, zero-shot, fp32: 13 historycznych punktów oraz 6900, 7050 i 7150.
+  To inna procedura benchmarkowa niż w tabeli powyżej.</p>
+  <p class="note">Trafność i trafność normalizowana to osobne serie, w ułamkach (0–1); perpleksja LAMBADA jest oddzielnie.
+  Skan wykrył nakładkę n-gramową w shared/en dla BoolQ, MMLU i ARC; ocena jej znaczenia nadal trwa.
+  Sama nakładka nie jest pomiarem odsetka rzeczywistego przecieku. W Charts wpisz w filtrze <code>eval/</code>.
+  To seria zaimportowanych wyników, nie natywny job automatycznej ewaluacji.</p>
+  <p class="note">Trzy nowe punkty mają ten sam runner i procedurę zadań, ale inne środowisko:
+  Torch 2.8.0+cu128, tokenizers 0.23.2 i NumPy 2.2.6 zamiast 2.14.1+cu126, 0.23.3 i 2.5.3 dla punktów historycznych.
+  Granica 6750 → 6900 nie jest porównaniem checkpointów w identycznym środowisku.</p>
+</section>
+
+<section>
+  <h2>Historyczne krzywe wyników: 1.00–1.02</h2>
+  <figure><img src="https://huggingface.co/spaces/SlayerLab/Slayer1B/resolve/b67cc3f1c3a56ea16f2ae92f44023e70750e371d/scores-history.png" alt="Historia wyników Slayer1B 1.00, 1.01 i 1.02 w funkcji liczby tokenów treningu"></figure>
+  <p class="note">Same pomiary, bez dopasowań: punkt kontrolny co 150 kroków. Historyczne dane: <a href="https://huggingface.co/spaces/SlayerLab/Slayer1B/resolve/b67cc3f1c3a56ea16f2ae92f44023e70750e371d/scores-history.csv">scores-history.csv</a>.</p>
 </section>
 
 <section>
@@ -217,13 +273,16 @@
   <ol class="steps">
     <li><b>Od zera.</b> Architektura typu transformer (20 warstw, szerokość 2048), własny polski tokenizer, polskie dane
       z mniejszością angielską (<a href="https://huggingface.co/datasets/SlayerLab/slayer-pl-8x3b">slayer-pl-8x3b</a>).</li>
-    <li><b>Dalszy trening zamiast nowego.</b> Każda wersja startuje z punktu kontrolnego poprzedniej — sprzed końcowego
-      wygaszania tempa uczenia — i dostaje nową porcję danych, której model jeszcze nie widział.</li>
-    <li><b>Od 1.02 nie wygaszamy po drodze.</b> Trenujemy dalej na całym przygotowanym zasobie (~24 mld tokenów),
-      a końcowe wygaszanie zrobimy raz, na końcu.</li>
-    <li><b>Wszystko sprawdzamy.</b> Każdy punkt kontrolny ma sumę SHA-256 zapisaną poza maszyną treningową, a pliki
-      pobieramy z powrotem i porównujemy z nią; od wersji 1.01 przed każdym biegiem zapisujemy prognozę straty i potem ją
-      oceniamy.</li>
+    <li><b>Kontynuacja z checkpointów.</b> Wcześniejsze wygaszane wersje odgałęziały się sprzed końcowego wygaszania.
+      Nazwy wersji oznaczają etapy jednej globalnej trajektorii danych, nie obowiązkowe restarty procesu.
+      Konserwacja retencji wznowiła trening ze zweryfikowanego checkpointu 7750 bez zerowania kolejności danych.
+      Końcowe wygaszanie tempa uczenia planujemy raz, na końcu.</li>
+    <li><b>Jednostki źródła i modelu.</b> Około 24 mld tokenów źródła liczymy przez <code>cl100k</code>.
+      Nasz tokenizer v6/32k tworzy osobne pliki train/val w <code>uint16</code>. Liczby tokenów modelu i granice
+      strumieni pochodzą z przypiętych manifestów. Następne wsady przygotowujemy podczas bieżącego treningu.</li>
+    <li><b>Wszystko sprawdzamy.</b> Sumy SHA-256 checkpointów zachowujemy poza maszyną treningową.
+      Przed lokalnym usunięciem pełna kopia na osobnym archiwum jest weryfikowana, a jej receipt utrwalany atomowo.
+      Od wersji 1.01 przed każdym biegiem zapisujemy prognozę straty i potem ją oceniamy.</li>
   </ol>
   <p class="note">Raport techniczny:
   <a href="https://github.com/slayerlabs/Fabryka-AI-Notes/tree/main/papers/slayerlabs/2026-10-23_slayer1b-continuation">Slayer1B: Continuing a Polish-Dominant Base Model</a>.</p>
@@ -231,8 +290,11 @@
 
 <section>
   <h2>Co dalej</h2>
-  <p><b>Slayer1B 1.03</b> — kolejne 1,5 mld tokenów (razem 7,5 mld), dalszy trening 1.02 na naszych kartach 4×RTX 4090.
-  Postęp na żywo pojawi się na <a href="https://track.fabryka.ai/models">track.fabryka.ai</a>.</p>
+  <p><b>Kontynuacja korpusu, 1.04–1.06:</b> globalna trajektoria prowadzi od kroku native 7150 do celu 13848.
+  Checkpointy wersji przypadają na 10010 (1.04), 12870 (1.05) i 13848 (1.06).
+  <a href="https://track.fabryka.ai/run/f056bb5c-f1da-56d5-9776-cc33063f10a5">Postęp kontynuacji na żywo</a>.</p>
+  <p class="note">Powiązane przebiegi są na koncie autora w Tracku. Zakończony run 1.03 obejmuje wznowione kroki;
+  dalszy trening i historia benchmarków to osobne zapisy tej samej linii modelu.</p>
   <p><b>Na końcu linii:</b> jedno końcowe wygaszanie tempa uczenia, a potem etapami wydłużanie okna kontekstu —
   najpierw do 32k tokenów, docelowo do 256k, każdy etap sprawdzany testami długiego kontekstu.</p>
   <p class="note">To modele bazowe: przewidują dalszy ciąg tekstu, nie były dostrajane do rozmowy ani wykonywania poleceń