dahara1 commited on
Commit
455ef33
·
verified ·
1 Parent(s): 931d015

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +3 -3
README.md CHANGED
@@ -6,16 +6,16 @@ language:
6
 
7
  ## nanochat-jp_base
8
 
9
- karpathyさん(元スタンフォード、元テスラ、元OpenAI)の教育目的PJである[nanochat](https://github.com/karpathy/nanochat) のd20版を日本語データ(kajuma/ABEJA-CC-JA-edu 10%](https://huggingface.co/datasets/kajuma/ABEJA-CC-JA-edu)を使って事前学習させたモデルです。
10
 
11
  事前学習のみのため、補完しかできませんが、日本語が問題なく補完できることは確認済です。
12
 
13
  このリポジトリに格納されているモデルをホームディレクトリ(~/.cache/nanochat/)に
14
  - base_checkpoints_jp
15
  - tokenizer
16
- として配置する事で、続きとして中間学習, SFT(教師あり微調整), RL(強化学習)を実行する事ができると思います。
17
 
18
- 中間学習、SFT、RL(強化学習)は比較的軽い処理なのでノード数とバッチサイズを減らせばH100 x 8台をレンタルせずともローカルPCなどで試行錯誤が実行可能です。
19
 
20
 
21
  ### 事前学習実行時ログ
 
6
 
7
  ## nanochat-jp_base
8
 
9
+ karpathyさん(元スタンフォード、元テスラ、元OpenAI)の教育目的PJである[nanochat](https://github.com/karpathy/nanochat) のd20版を日本語データ [kajuma/ABEJA-CC-JA-edu 10%](https://huggingface.co/datasets/kajuma/ABEJA-CC-JA-edu) を使って事前学習させたモデルです。
10
 
11
  事前学習のみのため、補完しかできませんが、日本語が問題なく補完できることは確認済です。
12
 
13
  このリポジトリに格納されているモデルをホームディレクトリ(~/.cache/nanochat/)に
14
  - base_checkpoints_jp
15
  - tokenizer
16
+ として配置する事で、続きとしてmid train(中間学習), SFT(教師あり微調整), RL(強化学習)を実行する事ができると思います。
17
 
18
+ 中間学習, 教師あり微調整, 強化学習は比較的少ないデータで実行可能なのでノード数とバッチサイズを減らせばH100 x 8台をレンタルせずともローカルPCなどで試行錯誤が実行可能です。
19
 
20
 
21
  ### 事前学習実行時ログ