| # eyepyon/rcphi2 | |
| このモデルは、基底モデルを元にファインチューニングされました。 | |
| ## モデル情報 | |
| - 基底モデル: microsoft/phi-2 | |
| - ファインチューニング手法: LoRA (Low-Rank Adaptation) | |
| - ファインチューニング対象: Q/V/K/Oプロジェクション層 | |
| - LoRAランク: 8 | |
| - LoRA Alpha: 16 | |
| ## 使用方法 | |
| ```python | |
| from transformers import AutoModelForCausalLM, AutoTokenizer | |
| from peft import PeftModel | |
| # ベースモデルの読み込み | |
| base_model = AutoModelForCausalLM.from_pretrained("microsoft/phi-2") | |
| tokenizer = AutoTokenizer.from_pretrained("microsoft/phi-2") | |
| # LoRAアダプターの読み込み | |
| model = PeftModel.from_pretrained(base_model, "eyepyon/rcphi2") | |
| # 推論 | |
| input_text = "### コンテキスト:\n[コンテキスト]\n\n### 質問:\n[質問]\n\n### 回答:\n" | |
| inputs = tokenizer(input_text, return_tensors="pt") | |
| outputs = model.generate(**inputs, max_length=200) | |
| print(tokenizer.decode(outputs[0], skip_special_tokens=True)) | |
| ``` | |
| ## トレーニング設定 | |
| - エポック数: 3 | |
| - 学習率: 2e-4 | |
| - バッチサイズ: 1 × 4 (gradient accumulation) | |
| - 重み減衰: 0.01 | |
| - 量子化: 4ビット | |