Maggio33 commited on
Commit
b67cc3f
·
verified ·
1 Parent(s): f5b81b7

What is next: final decay, then context extension (32k, target 256k)

Browse files
Files changed (1) hide show
  1. index.html +4 -0
index.html CHANGED
@@ -136,6 +136,8 @@
136
  <h2>What's next</h2>
137
  <p><b>Slayer1B 1.03</b> — another 1.5 B tokens (7.5 B in total), continued from 1.02 on our own 4×RTX 4090 cards.
138
  Live progress on <a href="https://track.fabryka.ai/models">track.fabryka.ai</a>.</p>
 
 
139
  <p class="note">These are base models: they predict the continuation of a text, they were not tuned for chat or for
140
  following instructions, and they can be wrong.</p>
141
  </section>
@@ -231,6 +233,8 @@
231
  <h2>Co dalej</h2>
232
  <p><b>Slayer1B 1.03</b> — kolejne 1,5 mld tokenów (razem 7,5 mld), dalszy trening 1.02 na naszych kartach 4×RTX 4090.
233
  Postęp na żywo pojawi się na <a href="https://track.fabryka.ai/models">track.fabryka.ai</a>.</p>
 
 
234
  <p class="note">To modele bazowe: przewidują dalszy ciąg tekstu, nie były dostrajane do rozmowy ani wykonywania poleceń
235
  i mogą się mylić.</p>
236
  </section>
 
136
  <h2>What's next</h2>
137
  <p><b>Slayer1B 1.03</b> — another 1.5 B tokens (7.5 B in total), continued from 1.02 on our own 4×RTX 4090 cards.
138
  Live progress on <a href="https://track.fabryka.ai/models">track.fabryka.ai</a>.</p>
139
+ <p><b>At the end of the line:</b> one final learning-rate decay, then extending the context window in stages —
140
+ first to 32k tokens, with up to 256k as the target, each stage checked with long-context tests.</p>
141
  <p class="note">These are base models: they predict the continuation of a text, they were not tuned for chat or for
142
  following instructions, and they can be wrong.</p>
143
  </section>
 
233
  <h2>Co dalej</h2>
234
  <p><b>Slayer1B 1.03</b> — kolejne 1,5 mld tokenów (razem 7,5 mld), dalszy trening 1.02 na naszych kartach 4×RTX 4090.
235
  Postęp na żywo pojawi się na <a href="https://track.fabryka.ai/models">track.fabryka.ai</a>.</p>
236
+ <p><b>Na końcu linii:</b> jedno końcowe wygaszanie tempa uczenia, a potem etapami wydłużanie okna kontekstu —
237
+ najpierw do 32k tokenów, docelowo do 256k, każdy etap sprawdzany testami długiego kontekstu.</p>
238
  <p class="note">To modele bazowe: przewidują dalszy ciąg tekstu, nie były dostrajane do rozmowy ani wykonywania poleceń
239
  i mogą się mylić.</p>
240
  </section>