dahara1 commited on
Commit
1dc8a0c
·
verified ·
1 Parent(s): 1a95ee1

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +7 -9
README.md CHANGED
@@ -6,29 +6,27 @@ language:
6
 
7
  ## nanochat-jp_base
8
 
9
- karpathyさん(元スタンドード 元テスラ 元OpenAIの)教育目的PJである[nanochat](https://github.com/karpathy/nanochat)
10
- のd20版を日本語データ([kajuma/ABEJA-CC-JA-edu 10%](https://huggingface.co/datasets/kajuma/ABEJA-CC-JA-edu)を使って事前学習させたモデルです。
11
 
12
  事前学習のみのため、補完しかできませんが、補完できることは確認済です。
13
 
14
- ホームディレクトリ(~/.cache/nanochat/)に
15
  - base_checkpoints_jp
16
  - tokenizer
17
- を配置する事で中間学習、SFTを実行する事ができると思います。
18
 
19
- 中間学習、SFTは比較的軽い処理なのでバッチサイズを減らせばローカルPCなどで実行可能です。
20
 
21
 
22
  ### トレーニング実行時ログ
23
  [wandb](https://wandb.ai/dahara1/nanochat-jp/runs/6wobnudj?nw=nwuserdahara1)
24
 
25
-
26
  ## 単体動作確認スクリプト
27
 
28
- Linux 前提です。文章の続きの補完のみです。
29
 
30
- 1. [nanochat](https://github.com/karpathy/nanochat)をクローン
31
- 2. speedrun.shを動かす(失敗するが.venvは作ってくれる)
32
  3. source .venv/bin/activate
33
  4. ~/.cache/nanochat/に本リポジトリのbase_checkpoints_jpとtokenizerを配置
34
  5. 以下のスクリプトをnanochatディレクトリ配下で動かす
 
6
 
7
  ## nanochat-jp_base
8
 
9
+ karpathyさん(元スタンドード 元テスラ 元OpenAIの)教育目的PJである[nanochat](https://github.com/karpathy/nanochat) のd20版を日本語データ(kajuma/ABEJA-CC-JA-edu 10%](https://huggingface.co/datasets/kajuma/ABEJA-CC-JA-edu ) を使って事前学習させたモデルです。
 
10
 
11
  事前学習のみのため、補完しかできませんが、補完できることは確認済です。
12
 
13
+ このモデルをホームディレクトリ(~/.cache/nanochat/)に
14
  - base_checkpoints_jp
15
  - tokenizer
16
+ として配置する事で中間学習、SFTを実行する事ができると思います。
17
 
18
+ 中間学習、SFTは比較的軽い処理なのでバッチサイズを減らせばH100 x 8台をレンタルせずともローカルPCなどで実行可能です。
19
 
20
 
21
  ### トレーニング実行時ログ
22
  [wandb](https://wandb.ai/dahara1/nanochat-jp/runs/6wobnudj?nw=nwuserdahara1)
23
 
 
24
  ## 単体動作確認スクリプト
25
 
26
+ Linux 前提です。文章の続きの補完のみです。
27
 
28
+ 1. [nanochat](https://github.com/karpathy/nanochat)をclone
29
+ 2. speedrun.shを動かす(失敗するが仮想環境.venvは作ってくれる)
30
  3. source .venv/bin/activate
31
  4. ~/.cache/nanochat/に本リポジトリのbase_checkpoints_jpとtokenizerを配置
32
  5. 以下のスクリプトをnanochatディレクトリ配下で動かす