Upload folder using huggingface_hub

README.md

@@ -8,24 +8,15 @@ tags:
 - trm
 - text-generation
 ---
-# TRM-textV3.6
+# TRM-textV3.6 (SFT Optimized)
 
-`summerMC/TRM-textv3.5` をベースに250Mトークンの継続事前学習（CPT）を行ったモデルです。
+`summerMC/TRM-textv3.5` に250Mトークンの継続事前学習と、日本語指示データセットによる指示学習(SFT)を施したモデルです。
 
-## モデル詳細
-- **Base Model**: summerMC/TRM-textv3.5
-- **Parameters**: 84.3M
-- **Training Data**: 250M tokens (Fineweb-edu, Cosmopedia-v2, Fineweb-2 ja, Finemath)
-- **Context Length**: 512
-
-## 評価結果 (0-shot)
+## 評価結果 (0-shot SFT後)
 | Task | Metric | Value |
 |---|---|---|
-| ARC-Easy | acc_norm | 0.3405 |
-| HellaSwag | acc_norm | 0.2649 |
-| PIQA | acc_norm | 0.5664 |
+| ARC-Easy | acc_norm | 0.3300 |
+| HellaSwag | acc_norm | 0.2638 |
+| PIQA | acc_norm | 0.5539 |
 
-## 学習設定
-- **Optimizer**: AdamW (lr=3e-4 to 3e-5, cosine decay)
-- **Batch Size**: 131,072 tokens/step
-- **Precision**: bfloat16
+※SFTによりベンチマーク数値は微減していますが、対話の追従性が向上しています。

config.json

@@ -21,7 +21,7 @@
   "n_heads": 12,
   "num_hidden_layers": 1,
   "pad_token_id": 50256,
-  "recurrence_steps": 4,
+  "recurrence_steps": 8,
   "residual_scale": 0.5,
   "tie_word_embeddings": false,
   "transformers_version": "5.10.1",

model.safetensors

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:1df6a1095ab37a0b65fb9b6340813553f5e43d5a1e11f976bde119caf71b3433
+oid sha256:5dfe99e11799e963cb188be026a5cf914d16b7466cc5f4f5c829f180934a28b4
 size 168625928