記憶を作れたことと、予測に役立ったことを分ける
Storing information and using it profitably are different tests
D/Cモデルの経路を止める監査では、自己変化の記憶Dと候補記憶Cで寄与が大きく違いました。
A frozen-weight intervention found very different contributions from processing-change memory D and candidate memory C.
二種類の記憶
Two memories
D/C系列では、DにAttention・FFNによる状態変化、Cに予測候補の情報を書き込みます。現在状態から作るQueryで行列を読み、その結果を本体の状態へ加えます。元のVISTARCより大きく構造を変更した別系列です。
10Mまで学習したDC-B1の重みを固定し、通常実行とD読み出し停止、C読み出し停止を比べました。学習済みのモデルが現に何へ依存しているかを調べる介入です。
The D/C family writes Attention/FFN state changes into D and prediction-candidate information into C. A query from the current state reads each matrix, and the result updates the model state. This is a substantial redesign of VISTARC.
For a DC-B1 checkpoint trained to 10M, a frozen-weight audit compared normal execution with D reads disabled and C reads disabled. This measures what the trained model currently relies on.
損失の変化
Changes in prediction loss
169,144予測位置を含む検証部分集合では、Dを読まないと平均負の対数尤度が約＋0.419044悪化しました。Cを読まない場合は約＋0.000508で、文書単位bootstrapの95％区間は−0.000250〜＋0.001403でした。損失は小さいほど良い指標です。
このモデルではDの利用が重要で、Cの平均寄与は小さく不確実でした。Cの効果は文章の種類や記憶を使える時刻にも依存しており、全体平均だけで常に有益と判断できませんでした。
On a validation subset with 169,144 prediction targets, disabling D increased mean negative log likelihood by about 0.419044. Disabling C increased it by about 0.000508, with a document-bootstrap 95% interval of −0.000250 to +0.001403. Lower loss is better.
D use mattered strongly in this trained model, while C’s mean contribution was small and uncertain. Effects also depended on text type and when the memory became available.
| 同じ重みへの介入Intervention on the same weights | 通常からのNLL変化Change in NLL |
|---|---|
| Dの読み出しを止めるDisable D readout | +0.419044 |
| Cの読み出しを止めるDisable C readout | +0.000508 |
介入から言える範囲
The intervention’s scope
読み出しを止めたときの悪化は、学習済みモデルがその経路を使っている証拠です。しかし、最初からその部品なしで学習したモデルがどこまで到達するかは別の問いです。
後のDのみの再訓練や読み出しゲート追加、QK・Value側の変更も試しました。これらのローカルベンチは改善が一様ではありません。内部監査で経路が有効と分かることと、その経路を強化すれば総合性能が上がることは、別々に検証する必要がありました。
A loss increase when reads are disabled shows reliance on that pathway in the trained model. It does not determine the performance of a model trained without the component from the start.
Later experiments retrained D-only models and modified reading gates or QK/value handling. Benchmark gains were not uniform. Demonstrating that a pathway is used and demonstrating that strengthening it improves overall performance are distinct questions.