What is next: final decay, then context extension (32k, target 256k)
Browse files- index.html +4 -0
index.html
CHANGED
|
@@ -136,6 +136,8 @@
|
|
| 136 |
<h2>What's next</h2>
|
| 137 |
<p><b>Slayer1B 1.03</b> — another 1.5 B tokens (7.5 B in total), continued from 1.02 on our own 4×RTX 4090 cards.
|
| 138 |
Live progress on <a href="https://track.fabryka.ai/models">track.fabryka.ai</a>.</p>
|
|
|
|
|
|
|
| 139 |
<p class="note">These are base models: they predict the continuation of a text, they were not tuned for chat or for
|
| 140 |
following instructions, and they can be wrong.</p>
|
| 141 |
</section>
|
|
@@ -231,6 +233,8 @@
|
|
| 231 |
<h2>Co dalej</h2>
|
| 232 |
<p><b>Slayer1B 1.03</b> — kolejne 1,5 mld tokenów (razem 7,5 mld), dalszy trening 1.02 na naszych kartach 4×RTX 4090.
|
| 233 |
Postęp na żywo pojawi się na <a href="https://track.fabryka.ai/models">track.fabryka.ai</a>.</p>
|
|
|
|
|
|
|
| 234 |
<p class="note">To modele bazowe: przewidują dalszy ciąg tekstu, nie były dostrajane do rozmowy ani wykonywania poleceń
|
| 235 |
i mogą się mylić.</p>
|
| 236 |
</section>
|
|
|
|
| 136 |
<h2>What's next</h2>
|
| 137 |
<p><b>Slayer1B 1.03</b> — another 1.5 B tokens (7.5 B in total), continued from 1.02 on our own 4×RTX 4090 cards.
|
| 138 |
Live progress on <a href="https://track.fabryka.ai/models">track.fabryka.ai</a>.</p>
|
| 139 |
+
<p><b>At the end of the line:</b> one final learning-rate decay, then extending the context window in stages —
|
| 140 |
+
first to 32k tokens, with up to 256k as the target, each stage checked with long-context tests.</p>
|
| 141 |
<p class="note">These are base models: they predict the continuation of a text, they were not tuned for chat or for
|
| 142 |
following instructions, and they can be wrong.</p>
|
| 143 |
</section>
|
|
|
|
| 233 |
<h2>Co dalej</h2>
|
| 234 |
<p><b>Slayer1B 1.03</b> — kolejne 1,5 mld tokenów (razem 7,5 mld), dalszy trening 1.02 na naszych kartach 4×RTX 4090.
|
| 235 |
Postęp na żywo pojawi się na <a href="https://track.fabryka.ai/models">track.fabryka.ai</a>.</p>
|
| 236 |
+
<p><b>Na końcu linii:</b> jedno końcowe wygaszanie tempa uczenia, a potem etapami wydłużanie okna kontekstu —
|
| 237 |
+
najpierw do 32k tokenów, docelowo do 256k, każdy etap sprawdzany testami długiego kontekstu.</p>
|
| 238 |
<p class="note">To modele bazowe: przewidują dalszy ciąg tekstu, nie były dostrajane do rozmowy ani wykonywania poleceń
|
| 239 |
i mogą się mylić.</p>
|
| 240 |
</section>
|