最適な深さは、組み合わせる部品によって変わる
The favorable depth depends on the rest of the architecture
Fなしでは9層、F付きの試行では8層が有望でした。層数の効果は単調ではありませんでした。
Nine layers led the tested non-F series, while eight layers led the F-equipped depth series.
調べた問い
The question
層を増やせば、入力を加工する段階が増えます。しかし、同じ語数とLRで学習したときに性能が単調に上がるとは限りません。384幅・FFN1408の系列で深さを変え、Fを追加した系列でも深さを変えました。出力枝は各深さの末尾1・2・3層を使う構成です。
More layers add processing stages, but performance need not improve monotonically at a fixed exposure and LR. Depth was varied for a 384-wide, FFN1408 family and again for its F-equipped counterpart. Output branches followed the trailing one, two, and three layers at each depth.
結果の読み方
Reading the results
Fなしの記録では、9層が6軸49.642、8層が48.381、10層が49.016、11層が49.115、12層が48.823でした。F付きでは7層48.022、8層49.771、9層48.981、10層48.710です。いずれも同じseedで採点した範囲の最高点です。
F付き8層は6軸で目立つ一方、5軸最高は51.660で、F付き9層の51.644との差は小さいものでした。どの指標がどの時点で伸びたかを残す必要があります。
In the non-F series, observed six-axis peaks were 49.642 at nine layers, 48.381 at eight, 49.016 at ten, 49.115 at eleven, and 48.823 at twelve. With F, the corresponding seven-, eight-, nine-, and ten-layer peaks were 48.022, 49.771, 48.981, and 48.710. These are records from the evaluated ages of one seed.
The F-equipped eight-layer model stood out on six axes, but its five-axis peak of 51.660 was only slightly above the nine-layer model’s 51.644. Metric and checkpoint age both matter.
| ID | 構造：状態幅 / FFN / 層Structure: width / FFN / layers | Seed | 5軸最高Peak five | その時点Age | 6軸最高Peak six | その時点Age |
|---|---|---|---|---|---|---|
| #275 | 384 / FFN 1408 / 8L | 20260907 | 50.624 | 80.0M | 48.381 | 80.0M |
| #3 | 384 / FFN 1408 / 9L | 20260907 | 51.354 | 70.0M | 49.642 | 70.0M |
| #272 | 384 / FFN 1408 / 10L | 20260907 | 51.480 | 80.0M | 49.016 | 80.0M |
| #273 | 384 / FFN 1408 / 11L | 20260907 | 50.922 | 80.0M | 49.115 | 80.0M |
| #274 | 384 / FFN 1408 / 12L | 20260907 | 51.258 | 80.0M | 48.823 | 80.0M |
| #280 | 384 / FFN 1408 / 7L · F 16×16 | 20260907 | 50.584 | 80.0M | 48.022 | 80.0M |
| #277 | 384 / FFN 1408 / 8L · F 16×16 | 20260907 | 51.660 | 70.0M | 49.771 | 80.0M |
| #270 | 384 / FFN 1408 / 9L · F 16×16 | 20260907 | 51.644 | 70.0M | 48.981 | 70.0M |
| #276 | 384 / FFN 1408 / 10L · F 16×16 | 20260907 | 50.698 | 80.0M | 48.710 | 100.0M |
次の研究へ持ち出せること
What can be reused
深さを変えると、部品が接続される位置や、その前後で処理される情報も変わります。「8層が普遍的な最適値」ではなく、この構造と学習条件の組み合わせで有望な点があった、と読む結果です。
初期のこの観測にはseed反復がなく、後の三seed比較でも8層F付き構成のばらつきは大きくなりました。深さの章とseedの章を合わせて読むことで、単発の成功を一般化しすぎずに済みます。
Changing depth also changes where components act and what processing precedes or follows them. The result identifies a favorable configuration under the tested conditions, not a universal eight-layer optimum.
The initial depth observation used one seed. Later three-seed evaluation showed substantial variation for the F-equipped eight-layer configuration. The depth and seed results should therefore be read together.