Update README.md

README.md

@@ -4,6 +4,114 @@ language:
 - ja
 ---
 
+## nanochat-jp_base
+
+karpathyさん(元スタンドード 元テスラ 元OpenAIの)教育目的PJである[nanochat](https://github.com/karpathy/nanochat)
+のd20版を日本語データ([kajuma/ABEJA-CC-JA-edu 10%](https://huggingface.co/datasets/kajuma/ABEJA-CC-JA-edu)を使って事前学習させたモデルです。  
+
+事前学習のみのため、補完しかできませんが、補完できることは確認済です。  
+
+ホームディレクトリ(~/.cache/nanochat/)に  
+- base_checkpoints_jp
+- tokenizer
+を配置する事で中間学習、SFTを実行する事ができると思います。  
+
+中間学習、SFTは比較的軽い処理なのでバッチサイズを減らせばローカルPCで実行可能です。  
+
+## 謝辞
+以下の方たちのお力添えがなければこのモデルは完成しませんでした。ありがとうございます！
+- karpathyさん
+- kajumaさん
+- ABEJA社
+- 日本語でブログやWebサイトを執筆してくださった皆様
+
+## 単体動作確認スクリプト
+
+Linux 前提です。文章の続きの補完のみです。
+
+1. [nanochat](https://github.com/karpathy/nanochat)をクローン
+2. speedrun.shを動かす（失敗するが.venvは作ってくれる）
+3. source .venv/bin/activate
+4. ~/.cache/nanochat/に本リポジトリのbase_checkpoints_jpとtokenizerを配置
+5. 以下のスクリプトをnanochatディレクトリ配下で動かす
+
+```
+# test_pretrained_jp.py
+
+import os
+import sys
+sys.path.append(os.getcwd())
+
+import torch
+from nanochat.common import get_base_dir
+from nanochat.checkpoint_manager import load_model_from_dir
+
+# --- 設定 ---
+MODEL_DIR_NAME = "base_checkpoints_jp"
+MODEL_TAG = "d20"
+STEP = None
+MAX_NEW_TOKENS = 100
+TEMPERATURE = 0.7
+TOP_K = 50
+
+# --- メイン実行部 ---
+if __name__ == "__main__":
+    print("--- 事前学習済み日本語モデル テストスクリプト ---")
+    
+    device = 'cuda' if torch.cuda.is_available() else 'cpu'
+    print(f"使用デバイス: {device}")
+
+    use_bf16 = (device == 'cuda' and torch.cuda.is_bf16_supported())
+    autocast_ctx = torch.amp.autocast(device_type=device, dtype=torch.bfloat16, enabled=use_bf16)
+    if use_bf16:
+        print("bfloat16がサポートされています。混合精度で推論を実行します。")
+
+    base_dir = get_base_dir()
+    checkpoints_dir = os.path.join(base_dir, MODEL_DIR_NAME)
+    
+    print(f"モデルを次のパスから読み込みます: {os.path.join(checkpoints_dir, MODEL_TAG)}")
+    if not os.path.exists(os.path.join(checkpoints_dir, MODEL_TAG)):
+        print("\nFATAL: モデルディレクトリが見つかりません。")
+        print(f"ローカルの '{checkpoints_dir}' 以下に 'd20' などのディレクトリとしてモデルファイルが配置されているか確認してください。")
+        sys.exit(1)
+
+    model, tokenizer, meta = load_model_from_dir(
+        checkpoints_dir, device, phase="eval", model_tag=MODEL_TAG, step=STEP
+    )
+    
+    print("\nモデルとトークナイザーのロードが完了しました。")
+    print("事前学習済みモデルは、対話ではなく『文章の続き』を生成します。")
+    
+    while True:
+        try:
+            user_input = input("\nプロンプトを入力してください (終了するにはCtrl+C): ")
+            if not user_input:
+                continue
+
+            prompt_tokens = tokenizer.encode(user_input, prepend=tokenizer.get_bos_token_id())
+            
+            print("-" * 30)
+            print("生成開始...")
+            print("入力プロンプト: ", user_input, end="")
+
+            # ★★★ 修正点2: no_grad と autocast の両方で囲む ★★★
+            with torch.no_grad():
+                with autocast_ctx:
+                    stream = model.generate(prompt_tokens, max_tokens=MAX_NEW_TOKENS, temperature=TEMPERATURE, top_k=TOP_K)
+                    
+                    for token in stream:
+                        print(tokenizer.decode([token]), end="", flush=True)
+
+            print("\n" + "-" * 30)
+
+        except KeyboardInterrupt:
+            print("\n終了します。")
+            break
+        except Exception as e:
+            print(f"\nエラーが発生しました: {e}")
+            break
+```
+
 ## Environment
 
 ### Git Information