| <!doctype html><html lang="ja"><head><meta charset="utf-8"><meta name="viewport" content="width=device-width,initial-scale=1"><title>What this research investigates · VISTARC Research</title><meta name="description" content="Bilingual notes, measured results, and a sortable catalogue of small language model experiments."><link rel="stylesheet" href="../styles.css"><script>try{document.documentElement.lang=localStorage.getItem("research-language")||"ja"}catch(e){}</script><script defer src="../app.js"></script></head><body><header class="mast"><a class="brand" href="../index.html">AwakeningOS<span> / VISTARC RESEARCH</span></a><nav><a href="../index.html#reading"><span class="lang-ja " lang="ja">読む</span><span class="lang-en " lang="en">Read</span></a><a href="../index.html#explorer"><span class="lang-ja " lang="ja">比較表</span><span class="lang-en " lang="en">Explore</span></a><a href="../index.html#data">Data</a><div class="language"><button data-language="ja">日本語</button><button data-language="en">English</button></div></nav></header><main class="article"><a class="back" href="../index.html#reading">← <span class="lang-ja " lang="ja">研究ノート一覧</span><span class="lang-en " lang="en">All research notes</span></a><div class="eyebrow">01 / Guide</div><h1 class="lang-ja " lang="ja">この研究は、何を調べてきたのか</h1><h1 class="lang-en " lang="en">What this research investigates</h1><p class="lang-ja standfirst" lang="ja">小型言語モデルの部品と学習条件を変え、何が予測に役立つかを調べた実験記録です。最初に、構造と評価の読み方を説明します。</p><p class="lang-en standfirst" lang="en">A starting point for understanding the models, their training, and the measurements in this notebook.</p><p class="byline">AwakeningOS · 2026-11-02</p><section><h2 class="lang-ja " lang="ja">研究の問い</h2><h2 class="lang-en " lang="en">The research question</h2><div class="lang-ja" lang="ja"><p>この研究では、少量の英語データで学習する小型言語モデルを作り、状態の幅、層数、FFNの幅、情報を戻す部品、学習率を変えてきました。中心となる問いは、モデル内部で一度計算した情報を次の処理に使うことで、限られた規模でも言語予測を改善できるか、というものです。</p><p>主系列はBabyLM 2026 Strict-Smallのデータを使った因果言語モデルです。文章の現在までの部分から、次のトークンを予測します。対話向けの指示学習を施したチャットモデルとは目的が異なります。別のデータや評価条件を使った古い系列も台帳に残っていますが、比較表では条件群を分けています。</p></div><div class="lang-en" lang="en"><p>These experiments study small English language models trained with limited data. They vary state width, depth, FFN width, feedback mechanisms, and learning rates. The central question is whether information already computed inside a model can be reused to improve later prediction within a small parameter and data budget.</p><p>The main series uses BabyLM 2026 Strict-Small data for causal next-token prediction. These are pretrained completion models. Older series with different data or evaluation conditions remain in the catalogue, in separate comparison cohorts.</p></div></section><section><h2 class="lang-ja " lang="ja">最初に知っておく言葉</h2><h2 class="lang-en " lang="en">A few terms before starting</h2><div class="lang-ja" lang="ja"><p>トークンは、文章をモデルへ渡すために分割した単位です。一語と一致するとは限らず、単語の一部や記号になることもあります。状態ベクトルは、その位置までに読んだ内容を計算中に表す数値の列です。重みは学習中に更新するモデルの設定値、活性は文章を処理するたびに変わる中間の数値です。</p><p>学習率（LR）は、学習で重みをどれくらい動かすかを調整する係数です。重み減衰（WD）は重みを少し縮める仕組みです。大きくすれば必ず良くなるものではありません。「主要行列」「その他」はこの実験群で使ったparameterの分類で、すべてのモデルに共通する標準用語ではありません。</p><p>Query・Key・Valueは、情報を検索するための三つの役割です。Queryは今探したい情報の特徴、Keyは照合される特徴、Valueは取り出す情報です。いずれもモデルが数値ベクトルとして作ります。行列型の記憶ではKeyとValueの対応を一枚の行列へ重ねて保存するため、過去の文章を完全にそのまま保管する仕組みではありません。</p></div><div class="lang-en" lang="en"><p>A token is a unit into which text is split for the model. It can be a word fragment or punctuation rather than a whole word. A state vector is a sequence of numbers representing information at a position during processing. Weights are model parameters updated during training; activations are intermediate values that change with the input.</p><p>Learning rate (LR) controls the scale of training updates. Weight decay (WD) gradually shrinks weights. Larger values are not necessarily better. “Main matrices” and “other parameters” are experiment-specific groupings, not standard categories shared by every language model.</p><p>Query, Key, and Value describe roles in retrieval. A Query represents what is being sought, a Key supplies features to match against, and a Value contains information to retrieve. The model generates these as vectors. A matrix memory superposes Key–Value associations, so it does not preserve every past sentence losslessly.</p></div></section><section><h2 class="lang-ja " lang="ja">本体の基本部品</h2><h2 class="lang-en " lang="en">The basic model</h2><div class="lang-ja" lang="ja"><p>各トークンは数百個の数値からなる状態ベクトルで表されます。Attentionは現在までの位置から関連情報を集め、FFNはその状態の特徴を加工します。この組を何層も重ねます。「状態幅320」はベクトルが320次元、「FFN幅1120」はFFNの途中で1120次元へ広げるという意味です。</p><p>VISTARCでは、前の層の処理前後の差分を次の層のFFNへ渡します。また、前の位置で出した候補予測の平均・分散などを次の位置へ戻します。最後のMoS3は三つの出力枝が作った確率分布を混ぜる部品です。各モデルがどの部品を持つかは詳細表で確認できます。</p></div><div class="lang-en" lang="en"><p>A token is represented by a vector with a few hundred coordinates. Attention retrieves information from the current and earlier positions; an FFN transforms the resulting features. Repeating these operations forms the model layers. A state width of 320 means 320 coordinates, while FFN width 1120 means the intermediate FFN representation has 1120 coordinates.</p><p>VISTARC passes changes made by one layer into the next layer’s FFN. It also feeds statistics of the previous position’s candidate predictions into the next position. MoS3 combines three output probability distributions. The model details identify which components each experiment actually contains.</p></div></section><section><h2 class="lang-ja " lang="ja">途中で生まれた別系列</h2><h2 class="lang-en " lang="en">Related architecture families</h2><div class="lang-ja" lang="ja"><p>後期のF付き系列は、予測と実際に来たトークンの食い違いを小さな行列へ蓄え、現在状態に応じて読み出す部品を追加しました。Fの16×16などは行列の特徴次元で、16トークン前までの履歴という意味ではありません。</p><p>さらに、D/C系列では役割を分けた状態行列を試しました。DはAttentionやFFNによる自己状態の変化、Cは候補予測の情報を記憶するためのものです。公開モデル#1は、この後期のFやD/C行列を持ちません。似た「帰還」「記憶」という名称でも、計算と保存内容は異なります。</p></div><div class="lang-en" lang="en"><p>A later family adds F, a small matrix memory of differences between predictions and arriving tokens, read according to the current state. A shape such as 16×16 describes feature dimensions, not a history of sixteen tokens.</p><p>The D/C family explores a different division: D stores changes produced by Attention and FFN processing, while C stores candidate-prediction information. Released model #1 has neither the later F module nor D/C matrices. These families reuse information in materially different ways.</p></div></section><section><h2 class="lang-ja " lang="ja">読む順序</h2><h2 class="lang-en " lang="en">How to read the notebook</h2><div class="lang-ja" lang="ja"><p>初めて読む場合は、次の「点数と比較条件」を読み、その後にseed、幅と学習率、深さ、FFN比率の章へ進むと全体をつかめます。各章のモデル番号は順位ではなく固定IDです。同じ番号から、そのモデルの部品、実際の学習率、学習時点別の結果を開けます。</p><p>本文には確認できた観測と、その範囲での解釈を書いています。再現できる法則が見つからなかった試行や、予想に反した結果も含めています。全302個のIDと988件の評価地点を残し、採点がないものを0点として扱わない方針です。</p></div><div class="lang-en" lang="en"><p>Start with the measurement guide, then read the chapters on seeds, width and learning rate, depth, and FFN ratio. A model number is a permanent identifier, not a rank. Opening it reveals components, recorded effective learning rates, and results by training age.</p><p>The articles distinguish observations from interpretations and retain unsuccessful experiments. The catalogue contains 302 permanent identities and 988 recorded evaluation points. Missing scores are not treated as zeros.</p></div></section><div class="evidence"><h2><span class="lang-ja " lang="ja">この章の根拠を調べる</span><span class="lang-en " lang="en">Inspect the evidence</span></h2><p><span class="lang-ja " lang="ja">番号から構成と実測を確認できます。元資料の識別子・ハッシュも各モデル詳細にあります。</span><span class="lang-en " lang="en">Model IDs open recorded configurations and measurements. Source identifiers and hashes are provided in the model details.</span></p><p><a class="model-link" href="../index.html#model-1">#1</a> <a class="model-link" href="../index.html#model-277">#277</a> <a class="model-link" href="../index.html#model-299">#299</a></p></div><nav class="chapter-nav"><a href="start.html">← <span class="lang-ja " lang="ja">この研究は、何を調べてきたのか</span><span class="lang-en " lang="en">What this research investigates</span></a><a href="metrics.html"><span class="lang-ja " lang="ja">点数と比較条件をどう読むか</span><span class="lang-en " lang="en">How to read scores and comparisons</span> →</a></nav></main><footer><p>AwakeningOS · 2026-11-02 snapshot · Apache-2.0</p><p><span class="lang-ja " lang="ja">実験台帳にある観測の共有です。コンテストの公式順位ではありません。</span><span class="lang-en " lang="en">An observational research notebook, not an official contest leaderboard.</span></p><a href="../data/manifest.json">Snapshot manifest</a> · <a href="https://huggingface.co/AwakeningOS/vistarc-320-9l-mos3-80m">Released model</a> · <a href="https://huggingface.co/spaces/AwakeningOS/vistarc-research-notes/tree/main">Files & history</a></footer></body></html> |
