Update README.md
Browse files
README.md
CHANGED
|
@@ -6,16 +6,16 @@ language:
|
|
| 6 |
|
| 7 |
## nanochat-jp_base
|
| 8 |
|
| 9 |
-
karpathyさん(元スタンフォード、元テスラ、元OpenAI)の教育目的PJである[nanochat](https://github.com/karpathy/nanochat) のd20版を日本語データ
|
| 10 |
|
| 11 |
事前学習のみのため、補完しかできませんが、日本語が問題なく補完できることは確認済です。
|
| 12 |
|
| 13 |
このリポジトリに格納されているモデルをホームディレクトリ(~/.cache/nanochat/)に
|
| 14 |
- base_checkpoints_jp
|
| 15 |
- tokenizer
|
| 16 |
-
|
| 17 |
|
| 18 |
-
|
| 19 |
|
| 20 |
|
| 21 |
### 事前学習実行時ログ
|
|
|
|
| 6 |
|
| 7 |
## nanochat-jp_base
|
| 8 |
|
| 9 |
+
karpathyさん(元スタンフォード、元テスラ、元OpenAI)の教育目的PJである[nanochat](https://github.com/karpathy/nanochat) のd20版を日本語データ [kajuma/ABEJA-CC-JA-edu 10%](https://huggingface.co/datasets/kajuma/ABEJA-CC-JA-edu) を使って事前学習させたモデルです。
|
| 10 |
|
| 11 |
事前学習のみのため、補完しかできませんが、日本語が問題なく補完できることは確認済です。
|
| 12 |
|
| 13 |
このリポジトリに格納されているモデルをホームディレクトリ(~/.cache/nanochat/)に
|
| 14 |
- base_checkpoints_jp
|
| 15 |
- tokenizer
|
| 16 |
+
として配置する事で、続きとしてmid train(中間学習), SFT(教師あり微調整), RL(強化学習)を実行する事ができると思います。
|
| 17 |
|
| 18 |
+
中間学習, 教師あり微調整, 強化学習は比較的少ないデータで実行可能なのでノード数とバッチサイズを減らせばH100 x 8台をレンタルせずともローカルPCなどで試行錯誤が実行可能です。
|
| 19 |
|
| 20 |
|
| 21 |
### 事前学習実行時ログ
|