|
|
--- |
|
|
license: gemma |
|
|
language: |
|
|
- ja |
|
|
base_model: google/gemma-3-270m |
|
|
tags: |
|
|
- exlod |
|
|
- gemma |
|
|
- continual-pretraining |
|
|
- causal-lm |
|
|
- japanese |
|
|
datasets: |
|
|
- range3/cc100-ja |
|
|
- range3/wikipedia-ja-20230101 |
|
|
--- |
|
|
|
|
|
# ExLoD-1-270M |
|
|
コードは[こちら](https://github.com/Okuda-Yasuhisa/ExLoD-1) |
|
|
|
|
|
## モデル概要 |
|
|
ExLoD-1 は、`google/gemma-3-270m` をベースに **日本語の流暢さ（自然さ）を底上げ**する目的で、`range3/cc100-ja` を用いて **継続事前学習（Continual Pretraining / DAPT）**を行ったモデルです。 |
|
|
|
|
|
- **ベースモデル**: `google/gemma-3-270m` |
|
|
- **目的**: 日本語生成の自然さ向上（文字化け・不自然な分かち書き・記号混入などの低減を狙う） |
|
|
- **学習方式**: Causal Language Modeling（次トークン予測）による継続事前学習 |
|
|
|
|
|
## 想定用途 |
|
|
- 日本語での自然な会話生成 |
|
|
- 日本語での長文生成（創作、説明文のドラフトなど） |
|
|
- 追加のSFT/LoRA等の土台モデルとしての利用 |
|
|
|
|
|
## 想定しない用途 |
|
|
- 医療・法律・金融などの高リスク領域での最終判断用途 |
|
|
- 事実確認が厳密に必要な用途（Web検索・検証の併用を推奨） |
|
|
- 個人情報の取得や不正利用を目的とする用途 |
|
|
|
|
|
## データセット |
|
|
### 学習データ |
|
|
- `range3/cc100-ja`（Webクロール由来の日本語テキスト） |
|
|
|
|
|
### データに関する注意 |
|
|
Web由来データの性質上、以下を含む可能性があります。 |
|
|
- ノイズ（断片文、広告文、テンプレ文、重複、崩れた文字列） |
|
|
- 偏り（特定ジャンルや言い回し、社会的バイアス） |
|
|
- 不適切表現（差別的表現など） |
|
|
|
|
|
## 学習手順 |
|
|
### 学習の種類 |
|
|
- **継続事前学習（CPT/DAPT）** |
|
|
- タスク: Causal Language Modeling（次トークン予測） |
|
|
- 形式: `{"text": ...}` 形式のテキストを学習 |
|
|
|
|
|
### 学習実装 |
|
|
- `datasets` の **streaming** でデータを読み込み、最小限のクリーニング（空行除去・strip等）を適用 |
|
|
- TRL の `SFTTrainer` を CLM 学習の枠組みとして使用（テキスト列をそのまま次トークン予測） |
|
|
|
|
|
> 注: 実際の品質は、フィルタリング（短文除去、文字種比率、記号率、重複除去など）と `packing` 設定に大きく依存します。より強いフィルタは別途推奨です。 |
|
|
|
|
|
## 主要ハイパーパラメータ |
|
|
|
|
|
- 学習率: `2e-5` |
|
|
- max_steps: `10,000` |
|
|
- gradient_accumulation_steps: `16` |
|
|
- per_device_train_batch_size: `1` |
|
|
- warmup_steps: `100` |
|
|
- precision: `bf16` |
|
|
- max_length: `32768` |
|
|
- packing: `False` |
|
|
|
|
|
## 評価 |
|
|
`evaluate.py` による、 `range3/wikipedia-ja-20230101` を使用したPerplexity計測を実施。 |
|
|
|
|
|
| Model | Dataset | #Samples | Metric | Score | |
|
|
|---|---|---:|---|---:| |
|
|
| ExLoD-1 | range3/wikipedia-ja-20230101 | 1000 | Perplexity (↓) | **33.56** | |
|
|
| Gemma 3 270M | range3/wikipedia-ja-20230101 | 1000 | Perplexity (↓) | **24.97** | |
|
|
|
|
|
## 制限事項 |
|
|
- 小型モデルのため、長文での一貫性・推論能力・知識量には限界があります。 |
|
|
- Web由来データの影響で、文体が広告調・ニュース調に寄る場合があります。 |
|
|
- 事実性は保証されません。ハルシネーションが起こり得ます。 |
|
|
- 特定作品・キャラクターの正確な設定知識や口調の再現は、外部知識/RAGや、専用SFTが必要です。 |
|
|
|
|
|
## バイアス・安全性に関する注意 |
|
|
- 学習データ由来の社会的偏見や不適切表現が残存する可能性があります。 |
|
|
- 実運用では、出力フィルタやポリシー、用途制限を利用側で検討してください。 |
|
|
|
|
|
## ライセンス |
|
|
- 本モデルは **Gemma ライセンス**に従います（`license: gemma`）。 |
|
|
- 派生モデルの配布・利用条件は、ベースモデル（Gemma）のライセンス条件に依存します。 |
|
|
|
|
|
## 免責 |
|
|
- 本モデルの出力は誤りを含む可能性があります。利用者の責任で検証してください。 |
|
|
- 本モデルは特定の企業・作品・団体と公式な関係を持ちません。 |
|
|
|
|
|
## 変更履歴 |
|
|
- v0.1: `google/gemma-3-270m` をベースに `range3/cc100-ja` で継続事前学習 |
|
|
|
|
|
## 参考・クレジット |
|
|
- Base model: `google/gemma-3-270m` |
|
|
- Dataset: `range3/cc100-ja` , `range3/wikipedia-ja-20230101` |
|
|
- Training framework: Hugging Face Transformers / TRL / datasets |
