3LM-MLX: 35.66M / 367.6M tokens pretrained + SFT

LICENSE

@@ -0,0 +1,21 @@
+MIT License
+
+Copyright (c) 2026 hiroki-abe-58
+
+Permission is hereby granted, free of charge, to any person obtaining a copy
+of this software and associated documentation files (the "Software"), to deal
+in the Software without restriction, including without limitation the rights
+to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
+copies of the Software, and to permit persons to whom the Software is
+furnished to do so, subject to the following conditions:
+
+The above copyright notice and this permission notice shall be included in all
+copies or substantial portions of the Software.
+
+THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
+IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
+FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
+AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
+LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
+OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
+SOFTWARE.

NOTICE

@@ -0,0 +1,149 @@
+3LM-MLX
+Copyright (c) 2026 hiroki-abe-58
+
+このリポジトリのコード（src/, data/, eval/, tools/, scripts/, web/, server.py）は
+MIT License で提供しています。LICENSE を参照してください。
+
+
+================================================================================
+学習済みモデルについて
+================================================================================
+
+3LM は2段階で学習しています。
+
+  1. 事前学習: 大規模な日本語テキストで「次のトークン予測」を学ぶ
+  2. SFT     : 対話データセットで「質問に答える形」に合わせる
+
+どちらの段階も、**ShareAlike（継承）条件を持たないライセンスのデータだけ**を
+使っています。学習済みの重みを Apache License 2.0 相当の条件で配布するためで、
+継承条件つきのデータ（CC BY-SA など）は、その条件が重みに及ぶかどうかが
+明確でないため意図的に採用していません。
+
+日本語の大規模コーパスとして真っ先に候補になる Wikipedia は CC BY-SA
+なので、この方針のもとでは使えません。代わりに ODC-By の FineWeb2 と
+CC BY の青空文庫を使っています。
+
+
+--------------------------------------------------------------------------------
+1. 事前学習コーパス
+--------------------------------------------------------------------------------
+
+  FineWeb 2（jpn_Jpan サブセット）
+    https://huggingface.co/datasets/HuggingFaceFW/fineweb-2
+    Copyright (c) HuggingFace and contributors
+    Licensed under the Open Data Commons Attribution License (ODC-By) v1.0
+    https://opendatacommons.org/licenses/by/1-0/
+    revision: af9c13333eb981300149d5ca60a8e9d659b276b9
+
+    ODC-By 1.0 は帰属表示を求めるライセンスで、継承条件は持ちません。
+    FineWeb 2 は Common Crawl 由来のため、元のウェブページそれぞれの
+    権利は各著作権者に属します。
+
+  青空文庫（クリーニング済み）
+    https://huggingface.co/datasets/globis-university/aozorabunko-clean
+    Copyright (c) globis-university
+    Licensed under Creative Commons Attribution 4.0 International (CC BY 4.0)
+    https://creativecommons.org/licenses/by/4.0/
+    revision: 42a9c9c0f1d67e6a5554d9bea4201973dc9b049c
+
+    原典は青空文庫（https://www.aozora.gr.jp/）で公開されている、
+    著作権保護期間が満了した作品です。
+
+加えた変更:
+
+  - 1文書1行のプレーンテキストに整形した（改行と空白を半角スペースに置換）
+  - ナビゲーション・Cookie 通知・著作権表示などの定型行を除去した
+  - 日本語文字の比率が 70% 未満の文書を除外した
+  - 200文字未満の文書を除外し、20,000文字を超える文書は切り詰めた
+  - 同じ文字並びが繰り返される文書（表の残骸など）を除外した
+  - 先頭200文字のハッシュで重複を除去した
+  - アダルト誘導・エラーページと判定した文書を除外した
+  - 青空文庫の割合を全体の約10%に抑えた
+
+以上の処理は data/prepare_pretrain.py に実装されています。
+使用したシャード名とその SHA256、除外の内訳、各ソースの構成比は
+data/corpus_pretrain.manifest.json に記録してあります。
+
+整形後のコーパス自体はリポジトリに含めていません（数GBあります）。
+revision を固定してあるので、data/prepare_pretrain.py を実行すると
+同じものが再現できます。
+
+
+--------------------------------------------------------------------------------
+2. SFT（対話）コーパス
+--------------------------------------------------------------------------------
+
+以下はいずれも Apache License 2.0 で、ShareAlike 条件を持ちません。
+
+  OpenAssistant Conversations Dataset (OASST1 / OASST2)
+    https://huggingface.co/datasets/OpenAssistant/oasst1
+    https://huggingface.co/datasets/OpenAssistant/oasst2
+    Copyright (c) OpenAssistant / LAION-AI contributors
+    Licensed under the Apache License, Version 2.0
+
+  oasst1-89k-ja（OASST1 を Google 翻訳で日本語化したもの）
+    https://huggingface.co/datasets/kunishou/oasst1-89k-ja
+    Licensed under the Apache License, Version 2.0
+
+  oasst2-33k-ja（OASST2 の英語サブセットを DeepL で日本語化したもの）
+    https://huggingface.co/datasets/llm-jp/oasst2-33k-ja
+    Copyright (c) LLM-jp
+    Licensed under the Apache License, Version 2.0
+
+  magpie-sft-v1.0（Magpie 法による日本語合成対話データ）
+    https://huggingface.co/datasets/llm-jp/magpie-sft-v1.0
+    Copyright (c) LLM-jp
+    Licensed under the Apache License, Version 2.0
+    生成に用いられたモデル: cyberagent/calm3-22b-chat (Apache-2.0),
+    Qwen/Qwen2.5-32B-Instruct (Apache-2.0)
+
+  Magpie-Tanuki-8B-97k（Magpie 法による日本語合成対話データ）
+    https://huggingface.co/datasets/Aratako/Magpie-Tanuki-8B-97k
+    Copyright (c) Aratako
+    Licensed under the Apache License, Version 2.0
+    生成に用いられたモデル: weblab-GENIAC/Tanuki-8B-dpo-v1.0 (Apache-2.0)
+
+Apache License, Version 2.0 の全文は licenses/Apache-2.0.txt に同梱しています。
+原文: http://www.apache.org/licenses/LICENSE-2.0
+
+加えた変更（Apache License 2.0 Section 4(b) に基づく記載）:
+
+  - OASST1 では prompter と assistant のペアを parent_id から復元した
+  - conversations / messages 形式のデータセットでは、隣り合う user と
+    assistant の発言を取り出して1組の会話にした（3ターン目以降は分割）
+  - 翻訳失敗フラグ（ng_translation == "1"）の立ったレコードを除外した
+  - 翻訳の崩れたレコードを、質問と返答の一致・短い並びの過剰な反復を
+    手がかりに除外した（oasst2-33k-ja には翻訳失敗フラグがないため）
+  - 質問・返答の長さでフィルタし、重複を除去した
+  - 出現頻度の低い文字を含む会話を除外した
+  - 改行を半角スペースに置換し、1行1会話のプレーンテキストに整形した
+
+以上の処理は data/prepare_sft.py に実装されています。
+どのデータセットを使ったかは data/prepare_sft.py --list-sources で確認できます。
+
+
+================================================================================
+制作にあたって
+================================================================================
+
+このリポジトリのコードと文書は、AI コーディング支援ツールを用いて
+書かれています。学習データは、上記のとおり継承条件を持たないライセンスで
+公開されているデータセットのみで構成しています。
+
+学習データの生成に、出力の学習利用を禁じている商用サービス
+（Anthropic Claude など）は一切使っていません。
+
+
+================================================================================
+免責
+================================================================================
+
+本モデルの出力は、学習コーパスの統計から次のトークンを予測し続けた結果にすぎません。
+事実性・正確性は一切保証されず、実在の人物・団体・製品について
+誤った内容を断定的に出力する場合があります。
+
+事前学習コーパスは Common Crawl 由来のウェブテキストを含むため、
+偏りや不適切な表現を含む可能性があります。品質フィルタは掛けていますが、
+完全ではありません。
+
+出力をそのまま公開の場に掲載する場合は、機械生成物である旨を明記してください。

README.md

@@ -0,0 +1,134 @@
+---
+language:
+- ja
+license: apache-2.0
+library_name: mlx
+tags:
+- mlx
+- apple-silicon
+- japanese
+- text-generation
+- from-scratch
+datasets:
+- HuggingFaceFW/fineweb-2
+- globis-university/aozorabunko-clean
+- kunishou/oasst1-89k-ja
+- llm-jp/oasst2-33k-ja
+- llm-jp/magpie-sft-v1.0
+- Aratako/Magpie-Tanuki-8B-97k
+pipeline_tag: text-generation
+---
+
+# 3LM-MLX
+
+M1 Max (64GB) 1台で、一晩で事前学習から作った日本語の小さな言語モデルです。
+
+## 概要
+
+| 項目 | 値 |
+|---|---|
+| パラメータ数 | 35,658,240 |
+| 非埋め込みパラメータ | 19,274,240 |
+| 語彙 | 32,000 (SentencePiece unigram / byte fallback) |
+| 文脈長 | 512 |
+| 層 / 次元 / ヘッド | 6 / 512 / 8 |
+| 構成 | RoPE / RMSNorm / SwiGLU / bias なし / weight tying |
+| 事前学習トークン | 367,607,808 |
+| 事前学習コーパス | 1,199,015,862 文字 |
+| 学習環境 | Apple M1 Max 64GB / MLX |
+
+## 評価
+
+同じサンプリング条件 (temperature 0.8 / top_k 40 / repetition_penalty 1.15 / seed 777) で測っています。
+
+| 指標 | 3LM-MLX | 前作 (2LM-MLX) | 差 |
+|---|---|---|---|
+| bits/char (低いほど良い) | 2.801 | 2.540 | +0.261 (悪化) |
+| 反復率 (低いほど良い) | 0.300 | 0.100 | +0.200 (悪化) |
+| 主題保持率 (高いほど良い) | 0.667 | 0.733 | -0.066 (悪化) |
+| 破綻率 (低いほど良い) | 0.000 | 0.000 | +0.000 (変化なし) |
+
+検証セット: `holdout_clean.txt` (220 行)。学習データから除いたうえで、**部分一致でも混入していないことを検査してから**測っています。
+
+### 検証セットを変えると、勝敗が変わります
+
+上の表は「公開データ由来の会話」で測ったものです。前作はその公開データで**事前学習した**モデルなので、そこは前作の得意分野にあたります。土俵を変えて、同じ bits/char (低いほど良い) で並べます。
+
+| モデル | A 公開データ由来の会話 | B Web文+青空文庫 |
+|---|---|---|
+| 2LM 13.81M | 2.540 | 6.481 |
+| 3LM 35.66M 事前学習のみ | 3.381 | 3.680 |
+| 3LM 35.66M SFT済み | 2.801 | 4.651 |
+| 3LM 35.66M 口調あり | 3.154 | 4.901 |
+
+一般的な日本語の文 (土俵B) では前作を大きく上回ります。**bits/char は分母が文字数なので、語彙の大きさが違うモデル同士でも比べられます。**
+
+## 使い方
+
+```bash
+pip install mlx numpy sentencepiece
+```
+
+```python
+from huggingface_hub import snapshot_download
+from src.generate import load_bundle, chat_stream
+
+path = snapshot_download("GeneLab/3LM-MLX")
+model, tokenizer = load_bundle(path)
+for piece in chat_stream(model, tokenizer, [], "日本の首都はどこですか"):
+    print(piece, end="", flush=True)
+```
+
+`load_bundle` と `chat_stream` は学習に使ったリポジトリ (https://github.com/hiroki-abe-58/3LM-MLX) に入っています。
+
+## 学習の流れ
+
+1. **事前学習**: FineWeb2 の日本語 + 青空文庫から作ったコーパスで、次のトークンを当てる学習
+2. **SFT (指示学習)**: 対話データで書式を合わせる。損失は `<|assistant|>` より後ろと `<|end|>` だけに掛けています (instruction masking)
+
+SFT で損失を数えたトークンの割合: 77.2% (会話 57,434 件)
+
+## 学習データと帰属表示
+
+### 事前学習
+
+| データ | ライセンス | 使った量 |
+|---|---|---|
+| [HuggingFaceFW/fineweb-2](https://huggingface.co/datasets/HuggingFaceFW/fineweb-2) (`jpn_Jpan`) | **ODC-By 1.0** | 1,080,000,054 文字 (90.1%) |
+| [globis-university/aozorabunko-clean](https://huggingface.co/datasets/globis-university/aozorabunko-clean) | **CC BY 4.0** | 119,015,882 文字 (9.9%) |
+
+FineWeb2 は Common Crawl から作られたデータセットで、ODC-By 1.0 に従い帰属を表示します。青空文庫版 (globis-university/aozorabunko-clean) は CC BY 4.0 です。どちらも継承条件 (ShareAlike) が無いため、この重みを Apache-2.0 相当で配布できます。
+
+再現性のため、使用した revision と各シャードの SHA256 を構築スクリプトの manifest に記録しています (FineWeb2 `af9c13333eb9` / 青空文庫 `42a9c9c0f1d6`)。コーパス本体は再ホストせず、スクリプトと manifest で再現できる形にしています。
+
+適用したフィルタ: 日本語文字比率 70% 以上 / 200〜20,000文字 / 定型文とエラーページの除去 / 重複除去 / 同一並びの繰り返し検出。
+
+### SFT
+
+| データ | ライセンス |
+|---|---|
+| [kunishou/oasst1-89k-ja](https://huggingface.co/datasets/kunishou/oasst1-89k-ja) | Apache-2.0 |
+| [llm-jp/oasst2-33k-ja](https://huggingface.co/datasets/llm-jp/oasst2-33k-ja) | Apache-2.0 |
+| [llm-jp/magpie-sft-v1.0](https://huggingface.co/datasets/llm-jp/magpie-sft-v1.0) | Apache-2.0 |
+| [Aratako/Magpie-Tanuki-8B-97k](https://huggingface.co/datasets/Aratako/Magpie-Tanuki-8B-97k) | Apache-2.0 |
+
+継承条件のあるデータ (CC BY-SA など) は、配布ライセンスの整合が崩れるため意図的に使っていません。
+
+## 制限
+
+- **35,658,240 パラメータ**しかありません。事実を答える能力はほとんど期待できません。知識の参照には使えません
+- 学習データの大半が Common Crawl 由来のウェブ文書なので、**そこに含まれる偏りや不適切な表現を引き継いでいる可能性があります**
+- 青空文庫を約10%混ぜているため、文語的な言い回しが出ることがあります
+- 商用利用の可否は、上記データセット各々のライセンスもご確認ください
+- 事前学習コーパスは Common Crawl 由来のため、メールアドレスや電話番号が含まれています。学習後に prefix attack で 60 件試したところ、**そのまま復元できたものはありませんでした** (コーパスを1周未満しか読んでいないため)。ただし、より強い攻撃で引き出せない保証はありません
+
+## ライセンス
+
+- 重み: Apache-2.0 相当
+- 学習コード: MIT (https://github.com/hiroki-abe-58/3LM-MLX)
+- 学習データの帰属: 上記のとおり (ODC-By 1.0 / CC BY 4.0 / Apache-2.0)
+
+## 実測値のメモ
+
+- 1トークンあたり **2.101 文字** (語彙 32,000 / ウェブ文書)
+- コーパス 1,199,015,862 文字 = 570,676,120 トークン (うち学習に使ったのは 569,281,544)

config.json

@@ -0,0 +1,12 @@
+{
+  "vocab_size": 32000,
+  "block_size": 512,
+  "n_layer": 6,
+  "n_head": 8,
+  "n_embd": 512,
+  "dropout": 0.05,
+  "arch": "3lm",
+  "mlp_hidden": 1408,
+  "rope_theta": 10000.0,
+  "norm_eps": 1e-05
+}

metrics.json

@@ -0,0 +1,7 @@
+{
+  "step": 2069,
+  "val_loss": 3.3296,
+  "stage": "sft",
+  "instruction_masking": true,
+  "mask_ratio": 0.7725
+}

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:b452d436f32b00562baa0124d0834d895848f8f84d38de30a2d54ff9b09ff3ff
+size 142637086

tokenizer.json

@@ -0,0 +1 @@
+{"type": "subword", "vocab_size": 32000}

tokenizer.model

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:b52694eb9832e97044081a3e2f893666225b9e5bf22c5fd32a3ce5cefcb4fbb8
+size 572877