Update README.md
Browse files
README.md
CHANGED
|
@@ -16,14 +16,12 @@ karpathyさん(元スタンドード 元テスラ 元OpenAIの)教育目的PJで
|
|
| 16 |
- tokenizer
|
| 17 |
を配置する事で中間学習、SFTを実行する事ができると思います。
|
| 18 |
|
| 19 |
-
中間学習、SFTは比較的軽い処理なのでバッチサイズを減らせばローカルPC
|
|
|
|
|
|
|
|
|
|
|
|
|
| 20 |
|
| 21 |
-
## 謝辞
|
| 22 |
-
以下の方たちのお力添えがなければこのモデルは完成しませんでした。ありがとうございます！
|
| 23 |
-
- karpathyさん
|
| 24 |
-
- kajumaさん
|
| 25 |
-
- ABEJA社
|
| 26 |
-
- 日本語でブログやWebサイトを執筆してくださった皆様
|
| 27 |
|
| 28 |
## 単体動作確認スクリプト
|
| 29 |
|
|
@@ -192,3 +190,10 @@ timestamp: 2025-10-16 16:17:09
|
|
| 192 |
- Number of training tokens: 11,219,763,200
|
| 193 |
- Minimum validation bpb: 0.6473
|
| 194 |
- Final validation bpb: 0.6682
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 16 |
- tokenizer
|
| 17 |
を配置する事で中間学習、SFTを実行する事ができると思います。
|
| 18 |
|
| 19 |
+
中間学習、SFTは比較的軽い処理なのでバッチサイズを減らせばローカルPCなどで実行可能です。
|
| 20 |
+
|
| 21 |
+
|
| 22 |
+
### トレーニング実行時ログ
|
| 23 |
+
[wandb](https://wandb.ai/dahara1/nanochat-jp/runs/6wobnudj?nw=nwuserdahara1)
|
| 24 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 25 |
|
| 26 |
## 単体動作確認スクリプト
|
| 27 |
|
|
|
|
| 190 |
- Number of training tokens: 11,219,763,200
|
| 191 |
- Minimum validation bpb: 0.6473
|
| 192 |
- Final validation bpb: 0.6682
|
| 193 |
+
|
| 194 |
+
## 謝辞
|
| 195 |
+
以下の方たちのお力添えがなければこのモデルは完成しませんでした。ありがとうございます！
|
| 196 |
+
- karpathyさん
|
| 197 |
+
- kajumaさん
|
| 198 |
+
- ABEJA社
|
| 199 |
+
- 日本語でブログやWebサイトを執筆してくださった皆様
|