dahara1 commited on
Commit
6233e47
·
verified ·
1 Parent(s): 1dc8a0c

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +8 -14
README.md CHANGED
@@ -6,26 +6,26 @@ language:
6
 
7
  ## nanochat-jp_base
8
 
9
- karpathyさん(元スタンドード 元テスラ 元OpenAI)教育目的PJである[nanochat](https://github.com/karpathy/nanochat) のd20版を日本語データ(kajuma/ABEJA-CC-JA-edu 10%](https://huggingface.co/datasets/kajuma/ABEJA-CC-JA-edu ) を使って事前学習させたモデルです。
10
 
11
- 事前学習のみのため、補完しかできませんが、補完できることは確認済です。
12
 
13
- このモデルをホームディレクトリ(~/.cache/nanochat/)に
14
  - base_checkpoints_jp
15
  - tokenizer
16
- として配置する事で中間学習、SFTを実行する事ができると思います。
17
 
18
- 中間学習、SFTは比較的軽い処理なのでバッチサイズを減らせばH100 x 8台をレンタルせずともローカルPCなどで実行可能です。
19
 
20
 
21
- ### トレーニング実行時ログ
22
  [wandb](https://wandb.ai/dahara1/nanochat-jp/runs/6wobnudj?nw=nwuserdahara1)
23
 
24
  ## 単体動作確認スクリプト
25
 
26
  Linux 前提です。文章の続きの補完のみです。
27
 
28
- 1. [nanochat](https://github.com/karpathy/nanochat)をclone
29
  2. speedrun.shを動かす(失敗するが仮想環境.venvは作ってくれる)
30
  3. source .venv/bin/activate
31
  4. ~/.cache/nanochat/に本リポジトリのbase_checkpoints_jpとtokenizerを配置
@@ -107,12 +107,7 @@ if __name__ == "__main__":
107
  break
108
  ```
109
 
110
- ## Environment
111
-
112
- ### Git Information
113
- - Branch: master
114
- - Commit: d4a77fb (dirty)
115
- - Message: fix token eval2
116
 
117
  ### Hardware
118
  - Platform: Linux
@@ -127,7 +122,6 @@ if __name__ == "__main__":
127
  - Python: 3.11.9
128
  - PyTorch: 2.9.0+cu128
129
 
130
-
131
  ### Bloat
132
  - Characters: 382,832
133
  - Lines: 9,485
 
6
 
7
  ## nanochat-jp_base
8
 
9
+ karpathyさん(元スタンフォード、元テスラ、元OpenAI)の教育目的PJである[nanochat](https://github.com/karpathy/nanochat) のd20版を日本語データ(kajuma/ABEJA-CC-JA-edu 10%](https://huggingface.co/datasets/kajuma/ABEJA-CC-JA-edu)を使って事前学習させたモデルです。
10
 
11
+ 事前学習のみのため、補完しかできませんが、日本語が問題なく補完できることは確認済です。
12
 
13
+ このリポジトリに格納されているモデルをホームディレクトリ(~/.cache/nanochat/)に
14
  - base_checkpoints_jp
15
  - tokenizer
16
+ として配置する事で、続きとして中間学習, SFT(教師あり微調整), RLを実行する事ができると思います。
17
 
18
+ 中間学習、SFTは比較的軽い処理なのでノード数とバッチサイズを減らせばH100 x 8台をレンタルせずともローカルPCなどで実行可能です。
19
 
20
 
21
+ ### 事前学習実行時ログ
22
  [wandb](https://wandb.ai/dahara1/nanochat-jp/runs/6wobnudj?nw=nwuserdahara1)
23
 
24
  ## 単体動作確認スクリプト
25
 
26
  Linux 前提です。文章の続きの補完のみです。
27
 
28
+ 1. [nanochat](https://github.com/karpathy/nanochat)をgit clone
29
  2. speedrun.shを動かす(失敗するが仮想環境.venvは作ってくれる)
30
  3. source .venv/bin/activate
31
  4. ~/.cache/nanochat/に本リポジトリのbase_checkpoints_jpとtokenizerを配置
 
107
  break
108
  ```
109
 
110
+ ## 学習環境情報
 
 
 
 
 
111
 
112
  ### Hardware
113
  - Platform: Linux
 
122
  - Python: 3.11.9
123
  - PyTorch: 2.9.0+cu128
124
 
 
125
  ### Bloat
126
  - Characters: 382,832
127
  - Lines: 9,485