幅を変えた結果には、実際の学習率も混ざっている
Width comparisons also depend on the effective learning rate
384幅の同じ構造で主要行列のLRを下げると改善しました。ただし、幅に対する最適LRの法則が求まったわけではありません。
Reducing matrix learning rates helped one 384-wide configuration, but the experiment did not identify a universal scaling law.
なぜ幅だけでは説明できないか
Why width alone is not enough
幅を増やすと表現できる量だけでなく、行列の形、初期化、学習時の更新の大きさも変わります。以前の幅探索には、主要行列の初期LRを「0.0008×256÷状態幅」で決める設定が使われていました。
この場合、幅256、272、320、384に対してLRも同時に変わっています。これらの点を並べて「太さに対する最適LRの法則を発見した」と言うことはできません。最初から設定した関係を、実験から推定した関係と取り違えるためです。
Increasing width changes matrix shapes, initialization, and update behavior as well as representational capacity. One earlier sweep assigned the initial matrix LR using 0.0008 × 256 / state width.
Width and LR therefore changed together across widths 256, 272, 320, and 384. Fitting those points cannot establish an optimal-LR scaling law: the apparent relation was imposed by the recipe.
同じ384幅でLRを変えた結果
A same-width LR comparison
384幅・FFN1408の同じ構造では、主要103行列の実LRを0.00064→0.00056→0.00048から、0.000533→0.000467→0.000400へ変更しました。初期200tensorの一致を確認し、残る97tensorのLRと全WD設定を維持した比較です。
80Mの6軸は47.118から48.960、5軸は49.206から50.634へ上がりました。ただしEWoKは下がっており、すべての課題が一緒に改善したわけではありません。
For the same 384-wide, FFN1408 architecture, the LR schedule of 103 main matrices changed from 0.00064 → 0.00056 → 0.00048 to 0.000533 → 0.000467 → 0.000400. The comparison verified 200 matching initial tensors, unchanged LRs for the other 97 tensors, and unchanged WD settings.
At 80M, the six-axis score rose from 47.118 to 48.960 and the five-axis score from 49.206 to 50.634. EWoK declined, so the gain was not uniform across tasks.
| ID | 構造：状態幅 / FFN / 層Structure: width / FFN / layers | Seed | 学習量Exposure | 5軸Five | 6軸Six |
|---|---|---|---|---|---|
| #94 | 384 / FFN 1408 / 9L | 20260907 | 80M | 49.206 | 47.118 |
| #31 | 384 / FFN 1408 / 9L | 20260907 | 80M | 50.634 | 48.960 |
解釈の範囲
What this supports
この構成では、試した二つのうち低いLRが有利だったと言えます。二点だけでは最適値や幅に対する指数は求まりません。またAdamWでは、同じWD係数でも一更新の減衰はおおむね「1−LR×WD」です。LR変更はこの減衰にも連動します。
再利用しやすい記録は「基本LR」という一個の数ではなく、parameter名ごとの実LR、WD、切替時点、初期化、更新単位です。比較表の詳細には、分かっている範囲の名前付き設定を載せています。
The lower of these two tested schedules helped this configuration. Two values do not locate an optimum or identify a width-scaling exponent. With AdamW, the per-update decay factor is approximately 1 − LR × WD, so changing LR also changes shrinkage despite a constant WD coefficient.
Reusable records therefore need named effective LRs, WD, schedule boundaries, initialization, and update units, not just a single base LR. The explorer exposes the recorded parameter groups.
この章の根拠を調べるInspect the evidence
番号から構成と実測を確認できます。元資料の識別子・ハッシュも各モデル詳細にあります。Model IDs open recorded configurations and measurements. Source identifiers and hashes are provided in the model details.
width_lr384.json ↗ width_lr_identifiability.json ↗