FFN加算は、平均を改善しても全seedを改善しなかった
FFN addition improved some averages, but not every seed
ゼロ初期化した加算経路は旧6軸の三seed平均を上げましたが、最高点と別の問題集では同じ結論になりませんでした。
A zero-initialized additive path helped the historical three-seed mean, with different outcomes for the best seed and the filtered bank.
何を追加したか
The modification
SiLUゲート型FFNは、二つの投影から作った値を掛け合わせます。この系列ではゲート側に学習する加算bを設け、概念的に「SiLU(g)×u」を「(SiLU(g)+b)×u」へ変えました。bをゼロから始めるので、追加直後の関数を維持しながら経路を学習できます。
320幅・FFN1120の元構成と加算版を、同じ三つのseedの80Mで対応させました。
A SiLU-gated FFN multiplies two projected signals. This variant adds a learned b to the gate side, changing SiLU(g) × u into (SiLU(g) + b) × u. Initializing b to zero preserves the initial function while allowing the added route to learn.
The original and additive 320-wide, FFN1120 configurations were compared at 80M with the same three seeds.
評価集合によって変わった結論
The outcome depends on the measurement
旧6軸の平均は48.690から49.047へ上がりました。旧5軸の平均は51.123から51.187で、小さな改善です。一方、元の強いseedではSupplementやEntityを落とし、元モデルの最高6軸49.868を更新できませんでした。
後の明確回答ベンチでは、加算による同seed差が順に＋0.266、＋0.318、−0.741ポイントでした。三seed平均は元構成71.076％、加算版71.024％です。旧6軸での平均改善を、そのまま別の問題集での優位と読み替えることはできません。
The legacy six-axis mean rose from 48.690 to 49.047; the five-axis mean rose slightly from 51.123 to 51.187. Yet the strongest original seed lost Supplement and Entity performance, and addition did not beat the original six-axis record of 49.868.
On the later clear-answer bank, matched-seed changes were +0.266, +0.318, and −0.741 points. Means were 71.076% for the original and 71.024% for addition. An improvement in the legacy aggregate did not transfer directly to the new bank.
| ID | 構造：状態幅 / FFN / 層Structure: width / FFN / layers | Seed | 学習量Exposure | 5軸Five | 6軸Six |
|---|---|---|---|---|---|
| #1 | 320 / FFN 1120 / 9L | 20260907 | 80M | 52.002 | 49.867 |
| #81 | 320 / FFN 1120 / 9L | 731946281 | 80M | 50.276 | 48.091 |
| #26 | 320 / FFN 1120 / 9L | 137 | 80M | 51.092 | 48.112 |
| #22 | 320 / FFN 1120 / 9L | 20260907 | 80M | 51.182 | 49.096 |
| #16 | 320 / FFN 1120 / 9L | 731946281 | 80M | 51.016 | 49.205 |
| #40 | 320 / FFN 1120 / 9L | 137 | 80M | 51.364 | 48.841 |
条件付きにすれば解決するか
Did conditional addition solve it?
負側のゲート領域へ作用を絞る条件付き加算も試しましたが、この設定で全seedの強みを保つ解決には至りませんでした。条件付き版の明確回答ベンチ三seed平均は70Mで70.769％です。これは80Mの他系列と学習時点が違うので、同時点平均として混ぜて順位を付けません。
ここで得たのは、加算の有効性がseed・課題・条件の組み合わせに依存するという観測です。飽和を救うという設計上の説明だけで、最高点更新を予測することはできませんでした。
A conditional variant targeted the negative gate region, but the tested setting did not preserve all strengths across seeds. Its clear-answer three-seed mean was 70.769% at 70M. That age differs from the 80M means of the other families and must remain separate.
The observed effect depends on seed, task, and configuration. A plausible explanation about relieving saturation was not sufficient to predict a new performance record.