Upload README.md with huggingface_hub

README.md

@@ -1,18 +1,28 @@
 ---
-{}
+license: mit
+base_model: microsoft/Phi-4-mini-reasoning
+tags:
+- fine-tuned
+- phi-4
+- lora
+- japanese
+- qa
+library_name: transformers
+pipeline_tag: text-generation
 ---
 
 # eyepyon/rcPhi4miniR-finetuned
 
-このモデルは、基底モデルを元にファインチューニングされました。
+このモデルは、`microsoft/Phi-4-mini-reasoning` をベースにLoRAでファインチューニングされたモデルです。
 
 ## モデル情報
 
-- 基底モデル: microsoft/Phi-4-mini-reasoning
-- ファインチューニング手法: LoRA (Low-Rank Adaptation)
-- ファインチューニング対象: Q/V/K/Oプロジェクション層
-- LoRAランク: 8
-- LoRA Alpha: 16
+- **ベースモデル**: microsoft/Phi-4-mini-reasoning
+- **ファインチューニング手法**: LoRA (Low-Rank Adaptation)
+- **アテンション実装**: eager (Phi-4推奨)
+- **量子化**: 4ビット (QLoRA)
+- **対応言語**: 日本語
+- **タスク**: 質問応答
 
 ## 使用方法
 
@@ -20,24 +30,51 @@
 from transformers import AutoModelForCausalLM, AutoTokenizer
 from peft import PeftModel
 
-# ベースモデルの読み込み
-base_model = AutoModelForCausalLM.from_pretrained("microsoft/Phi-4-mini-reasoning")
+# ベースモデルとトークナイザーを読み込み
+base_model = AutoModelForCausalLM.from_pretrained(
+    "microsoft/Phi-4-mini-reasoning",
+    torch_dtype="auto",
+    device_map="auto",
+    attn_implementation="eager",
+    trust_remote_code=True
+)
 tokenizer = AutoTokenizer.from_pretrained("microsoft/Phi-4-mini-reasoning")
 
-# LoRAアダプターの読み込み
+# LoRAアダプターを適用
 model = PeftModel.from_pretrained(base_model, "eyepyon/rcPhi4miniR-finetuned")
 
 # 推論
 input_text = "### コンテキスト:\n[コンテキスト]\n\n### 質問:\n[質問]\n\n### 回答:\n"
 inputs = tokenizer(input_text, return_tensors="pt")
-outputs = model.generate(**inputs, max_length=200)
-print(tokenizer.decode(outputs[0], skip_special_tokens=True))
+outputs = model.generate(**inputs, max_length=200, do_sample=True, temperature=0.7)
+response = tokenizer.decode(outputs[0], skip_special_tokens=True)
+print(response)
+```
+
+## 入力フォーマット
+
+```
+### コンテキスト:
+[背景情報]
+
+### 質問:
+[ユーザーの質問]
+
+### 回答:
+[期待される回答]
 ```
 
 ## トレーニング設定
 
-- エポック数: 3
-- 学習率: 2e-4
-- バッチサイズ: 1 × 4 (gradient accumulation)
-- 重み減衰: 0.01
-- 量子化: 4ビット
+- **LoRAランク**: 8
+- **LoRA Alpha**: 16
+- **ターゲットモジュール**: qkv_proj, o_proj, gate_up_proj, down_proj
+- **学習率**: 2e-4
+- **バッチサイズ**: 1 × 4 (gradient accumulation)
+- **エポック数**: 3
+
+## 注意事項
+
+- Phi-4モデル使用のため `attn_implementation="eager"` が推奨されます
+- `use_cache=False` でトレーニングされています
+- グラディエントチェックポイント対応済み