Update README.md
Browse files
README.md
CHANGED
|
@@ -6,26 +6,26 @@ language:
|
|
| 6 |
|
| 7 |
## nanochat-jp_base
|
| 8 |
|
| 9 |
-
karpathyさん(
|
| 10 |
|
| 11 |
-
|
| 12 |
|
| 13 |
-
|
| 14 |
- base_checkpoints_jp
|
| 15 |
- tokenizer
|
| 16 |
-
|
| 17 |
|
| 18 |
-
中間学習、SFT
|
| 19 |
|
| 20 |
|
| 21 |
-
###
|
| 22 |
[wandb](https://wandb.ai/dahara1/nanochat-jp/runs/6wobnudj?nw=nwuserdahara1)
|
| 23 |
|
| 24 |
## 単体動作確認スクリプト
|
| 25 |
|
| 26 |
Linux 前提です。文章の続きの補完のみです。
|
| 27 |
|
| 28 |
-
1. [nanochat](https://github.com/karpathy/nanochat)をclone
|
| 29 |
2. speedrun.shを動かす(失敗するが仮想環境.venvは作ってくれる)
|
| 30 |
3. source .venv/bin/activate
|
| 31 |
4. ~/.cache/nanochat/に本リポジトリのbase_checkpoints_jpとtokenizerを配置
|
|
@@ -107,12 +107,7 @@ if __name__ == "__main__":
|
|
| 107 |
break
|
| 108 |
```
|
| 109 |
|
| 110 |
-
##
|
| 111 |
-
|
| 112 |
-
### Git Information
|
| 113 |
-
- Branch: master
|
| 114 |
-
- Commit: d4a77fb (dirty)
|
| 115 |
-
- Message: fix token eval2
|
| 116 |
|
| 117 |
### Hardware
|
| 118 |
- Platform: Linux
|
|
@@ -127,7 +122,6 @@ if __name__ == "__main__":
|
|
| 127 |
- Python: 3.11.9
|
| 128 |
- PyTorch: 2.9.0+cu128
|
| 129 |
|
| 130 |
-
|
| 131 |
### Bloat
|
| 132 |
- Characters: 382,832
|
| 133 |
- Lines: 9,485
|
|
|
|
| 6 |
|
| 7 |
## nanochat-jp_base
|
| 8 |
|
| 9 |
+
karpathyさん(元スタンフォード、元テスラ、元OpenAI)の教育目的PJである[nanochat](https://github.com/karpathy/nanochat) のd20版を日本語データ(kajuma/ABEJA-CC-JA-edu 10%](https://huggingface.co/datasets/kajuma/ABEJA-CC-JA-edu)を使って事前学習させたモデルです。
|
| 10 |
|
| 11 |
+
事前学習のみのため、補完しかできませんが、日本語が問題なく補完できることは確認済です。
|
| 12 |
|
| 13 |
+
このリポジトリに格納されているモデルをホームディレクトリ(~/.cache/nanochat/)に
|
| 14 |
- base_checkpoints_jp
|
| 15 |
- tokenizer
|
| 16 |
+
として配置する事で、続きとして中間学習, SFT(教師あり微調整), RLを実行する事ができると思います。
|
| 17 |
|
| 18 |
+
中間学習、SFTは比較的軽い処理なのでノード数とバッチサイズを減らせばH100 x 8台をレンタルせずともローカルPCなどで実行可能です。
|
| 19 |
|
| 20 |
|
| 21 |
+
### 事前学習実行時ログ
|
| 22 |
[wandb](https://wandb.ai/dahara1/nanochat-jp/runs/6wobnudj?nw=nwuserdahara1)
|
| 23 |
|
| 24 |
## 単体動作確認スクリプト
|
| 25 |
|
| 26 |
Linux 前提です。文章の続きの補完のみです。
|
| 27 |
|
| 28 |
+
1. [nanochat](https://github.com/karpathy/nanochat)をgit clone
|
| 29 |
2. speedrun.shを動かす(失敗するが仮想環境.venvは作ってくれる)
|
| 30 |
3. source .venv/bin/activate
|
| 31 |
4. ~/.cache/nanochat/に本リポジトリのbase_checkpoints_jpとtokenizerを配置
|
|
|
|
| 107 |
break
|
| 108 |
```
|
| 109 |
|
| 110 |
+
## 学習環境情報
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 111 |
|
| 112 |
### Hardware
|
| 113 |
- Platform: Linux
|
|
|
|
| 122 |
- Python: 3.11.9
|
| 123 |
- PyTorch: 2.9.0+cu128
|
| 124 |
|
|
|
|
| 125 |
### Bloat
|
| 126 |
- Characters: 382,832
|
| 127 |
- Lines: 9,485
|