| --- |
| language: |
| - ja |
| license: mit |
| library_name: pytorch |
| pipeline_tag: text-generation |
| tags: |
| - causal-lm |
| - japanese |
| - from-scratch |
| - tiny |
| --- |
| |
| # evex-2 |
|
|
| ある Discord サーバーの過去ログ **だけ** をゼロから学習した 5.87M パラメータの言語モデル。 |
| 既存モデルからの継続学習ではなく、tokenizer も含めて全部そのログから作った。 |
| **このモデルにとって世界はそのログだけで、一般知識は一切持っていない。** |
|
|
| [evex-1](https://huggingface.co/tako080614/evex-1) の第2世代。コーパスも語彙も構成も |
| 同じで、変えたのは2つだけ。 |
|
|
| ## evex-1 から変えたこと |
|
|
| ### 1. 学習率 3e-4 → 1e-3 |
|
|
| evex-1 は 10 epoch 通して val loss が単調に下がり続けていた = **収束していなかった**。 |
| 上げて 12 epoch 回したら val 4.2404 → 4.0384 (同じ尺度で測った値)。 |
|
|
| ### 2. 正規化記号を損失から外した |
|
|
| evex-1 の一番大きい問題は、**返答の 38.5% が `<url>` や `<file>` だけ**だったこと。 |
| 正規化で作った記号なので発言ではなく、bot は画像もリンクも実際には出せない。 |
|
|
| 原因は密度ではなく1トークンであること。添付だけの発言 (コーパスの 3.6%) が `<file>` |
| 1個に潰れていたので、発言の先頭で確率が1点に集中していた。 |
|
|
| そこで `<file>` `<url>` `<mention>` `<channel>` `<time>` を**損失から外して**学習した。 |
| 文脈からは消していない — 「誰かが画像を貼って、他の人が反応する」流れは学ばせたいので、 |
| 入力には残したまま、その位置の予測だけ評価しない。 |
|
|
| `<nl>` と `<code>` は外していない。改行もコードブロックもモデルが書いて良いもの。 |
|
|
| ## 効果 |
|
|
| 同じチェックポイント同士を**同じ尺度で測り直した**結果 (12 epoch / 96 生成 / |
| プロンプトと乱数を固定): |
|
|
| | | 素 val | マスク val | 記号だけの返答 | |
| |---|---|---|---| |
| | マスクなし | **4.0384** | 4.0465 | **38.5%** | |
| | マスクあり (これ) | 4.0970 | **4.0330** | **0.0%** | |
|
|
| - **素 val** … `<url>` `<file>` も予測対象に含める尺度 |
| - **マスク val** … 記号を損失から外す尺度 = 実際に読まれる語だけの尺度 |
|
|
| 素の尺度で 0.059 負けているのは、**その尺度が `<url>` を当てることを点数にしている** |
| から。出してほしくないトークンなので、そこで負けるのは払って良いコスト。実際に読まれる |
| 語だけで測れば勝っていて、記号だけの返答は消えた。 |
|
|
| **推論時に記号を禁止する必要がなくなった。** evex-1 では `ban_ids` で潰して 38% → 12% |
| に抑えるしかなかったが、あれは高確率のトークンを削って再正規化するので出てくる第二候補が |
| 歪む。損失から外せば確率の質量が最初から実際の語に乗る。 |
|
|
| evex-1 のカードに載せた seed をそのまま引き直すと、記号だけだった3本が全部発言になる |
| (プロンプトは `<|conv|><|s3|>これバグってる？<|other|>`)。 |
|
|
| | seed | evex-1 | evex-2 | |
| |---|---|---| |
| | 1000 | `これでいいです` | `それでも、自分のこと言えば、それは正しいかも` | |
| | 1001 | `<url>` | `なんかあれはcodexがバグってる` | |
| | 1002 | `おしえて` / `おｋ` / `<url>` | `おしえて` / `おｋ` / `お疲れ様です` | |
| | 7 | `<file><file><file>` | `いやー` / `あーそれはそっか` | |
|
|
| **中身が正しくなったわけではない。** 5.87M なので固有名詞は形だけ真似て、長く出させれば |
| 崩れる。消えたのは「発言ですらないもの」だけ。 |
|
|
| ## 使い方 |
|
|
| `transformers` の Auto クラスには当てはまらない構成なので、同梱の `modeling_evex.py` を使う。 |
| **tokenizer は evex-1 と同一** (`tok.model` の md5 が一致) なので、既に evex-1 を持って |
| いるならそちらを使い回せる。 |
|
|
| ```bash |
| pip install torch safetensors sentencepiece huggingface_hub |
| hf download tako080614/evex-2 --local-dir evex-2 |
| ``` |
|
|
| `git clone` で取るなら git-lfs が必要。入れずに clone すると `model.safetensors` が |
| 133 バイトのポインタになり、読み込もうとしても壊れる。`ls -la` して 22MB あるか確かめる。 |
|
|
| ```python |
| import json, sys, torch, sentencepiece as spm |
| from safetensors.torch import load_file |
| |
| sys.path.insert(0, "evex-2") |
| from modeling_evex import Config, MicroLM |
| |
| cfg_json = json.load(open("evex-2/config.json")) |
| cfg = Config( |
| vocab_size=cfg_json["vocab_size"], n_layers=cfg_json["n_layers"], |
| d_model=cfg_json["d_model"], n_heads=cfg_json["n_heads"], |
| context=cfg_json["context"], dropout=0.0, attn_dropout=0.0, |
| ) |
| |
| model = MicroLM(cfg) |
| state = load_file("evex-2/model.safetensors") |
| state["head.weight"] = state["embed.weight"] # weight tying を結び直す |
| model.load_state_dict(state) |
| model.eval() |
| |
| sp = spm.SentencePieceProcessor(model_file="evex-2/tok.model") |
| end_id = sp.piece_to_id("<|end|>") |
| |
| prompt = "<|conv|><|s3|>これバグってる？<|other|>" |
| ids = torch.tensor([sp.encode(prompt, out_type=int)]) |
| out = model.generate(ids, max_new_tokens=60, temperature=0.9, top_k=40, stop_id=end_id) |
| print(sp.decode(out[0].tolist())) |
| ``` |
|
|
| `head.weight` は入っていない。weight tying で `embed.weight` と同じテンソルを指しており、 |
| safetensors はストレージを共有したテンソルを保存できないので落としてある。上のように結び直す。 |
|
|
| `ban_ids` は要らない。渡しても害は無いが、記号だけの返答は既に出ない。 |
|
|
| ### プロンプトの形 |
|
|
| 学習データと同じ直列化でないと、モデルは一度も見ていない形を受け取って崩れる。 |
|
|
| ``` |
| <|conv|><|s3|>今日ひま？<|s7|><|re|>ひま<|end|> |
| ``` |
|
|
| | トークン | 意味 | |
| |---|---| |
| | `<\|conv\|>` | 会話の開始 | |
| | `<\|end\|>` | 会話の終了 | |
| | `<\|s0\|>`〜`<\|s47\|>` | 話者。発言数の多い上位48人 (人間の発言の 85.3% を被覆) | |
| | `<\|other\|>` | それ以外の 2,599 人 | |
| | `<\|re\|>` | 直前の誰かへの返信 | |
| | `<nl>` | 発言内の改行 | |
| | `<url>` `<mention>` `<channel>` `<time>` `<file>` | 正規化した URL / メンション / チャンネル / 時刻 / 添付。**このモデルはこれらを出さない** | |
| | `<code>` `</code>` | コードブロック | |
|
|
| 末尾に話者トークンを置くと、その話者として続きを書く。`speakers.json` に各話者の |
| 発言数と**表示名**が入っている。 |
| Discord の user ID は入れていない (モデルの動作に要らず、実アカウントへの手がかりになる)。 |
|
|
| **同じ話者トークンが続けて出ることがある。** 学習データでは話者の塊のうち 27.4% が |
| 2連続以上なので、モデルもそう書く。1発言だけ欲しいなら最初の話者トークンで切る。 |
|
|
| 絵文字・`草`・`www`・顔文字は正規化せず残してあるので、そのまま出る。 |
|
|
| ## 数字 |
|
|
| | | evex-2 | evex-1 | |
| |---|---|---| |
| | パラメータ | 5,868,800 | 5,868,800 | |
| | 学習トークン | 6,685,152 | 6,685,152 | |
| | 語彙 | 4,096 (SentencePiece BPE / byte fallback) | 同じ | |
| | context | 512 | 512 | |
| | 構成 | decoder-only / 6 層 / d_model 256 / 4 head / d_ff 704<br>RoPE + RMSNorm + SwiGLU + weight tying | 同じ | |
| | 学習 | 12 epoch / lr 1e-3 / AdamW / cosine / **CPU のみ** | 10 epoch / lr 3e-4 | |
| | 損失マスク | `<file>` `<url>` `<mention>` `<channel>` `<time>` | なし | |
| | train / val loss | 3.5535 / 4.0559 (マスク尺度) | 3.8685 / 4.2404 (素) | |
| | 記号だけの返答 | **0.0%** | 38.5% | |
|
|
| **データは足りていない。** Chinchilla 最適 (20 トークン/パラメータ) はこの規模だと |
| 33万パラメータで、5.87M は最適の 6%。val は 12 epoch でもまだ下がり続けているので、 |
| 学習の余地は残っている。 |
|
|
| ## できること / できないこと |
|
|
| **できる**: チャットの口調、短い応答、ネットスラング、そのサーバー特有の語彙と話題、 |
| 話者ごとの癖 (ある話者は「〜にゃい」と書くが、それを再現する) |
|
|
| **できない**: 一般常識、推論、数学、コード生成、長い整合性、知らない話題への応答 |
|
|
| 固有名詞は形だけ真似て中身が合わない。`Cloudflare Codex` `AGP Core MT6589` のように、 |
| 見たことのある語を組み替えたものが出る。**事実として読むものではない。** |
|
|
| ## 出どころと制限 |
|
|
| 学習データは**同意を明示的に取っていない実在の人物の会話**。 |
| 逐語での再生は 20 文字以上の完全一致で 0 箇所だったが、669万トークンを12周している |
| ので**実際の発言に近いものが出る可能性は残る**。 |
|
|
| - 生成物を事実として扱ってはいけない |
| - 特定の人物の発言として扱ってはいけない |
| - 話者トークンと表示名の対応は `speakers.json` で公開している。**Discord の user ID は公開していない** |
| - 学習に使ったログそのものは公開していない |
| - 表示名で名指しできる形になっているので、**特定の人が書いたものとして引用してはいけない** |
|
|
