Update README.md

README.md

@@ -4,78 +4,38 @@ base_model:
 - llm-jp/llm-jp-3-13b
 ---
 
-## 環境準備
-
-### 必要なライブラリのインストール
-
-```bash
-pip install transformers torch accelerate peft bitsandbytes
-```
-
 ## モデルのロードと推論
 
 ### Pythonスクリプト例
 
 ```python
-from transformers import AutoModelForCausalLM, AutoTokenizer
-from peft import PeftModel
-import torch
+from tqdm import tqdm
 
-# モデルとトークナイザーのロード
-base_model_id = "llm-jp/llm-jp-3-13b"
-model_id = "your-huggingface-username/llm-jp-3-13b-finetune"
+results = []
+for data in tqdm(datasets):
 
-# トークナイザーをロード
-tokenizer = AutoTokenizer.from_pretrained(base_model_id)
+  input = data["input"]
 
-# ベースモデルをロード (4bit量子化)
-model = AutoModelForCausalLM.from_pretrained(
-    base_model_id,
-    load_in_4bit=True,
-    device_map="auto"
-)
+  prompt = f"""### 指示
+  {input}
+  ### 回答
+  """
 
-# LoRAアダプタをマージ
-model = PeftModel.from_pretrained(model, model_id)
-model = model.merge_and_unload()
+  tokenized_input = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt").to(model.device)
+  attention_mask = torch.ones_like(tokenized_input)
 
-def generate_response(prompt):
-    # プロンプトフォーマット
-    full_prompt = f"""### 指示
-{prompt}
-### 回答
-"""
-    
-    # トークン化
-    inputs = tokenizer(full_prompt, return_tensors="pt").to(model.device)
-    
-    # 推論
-    outputs = model.generate(
-        input_ids=inputs.input_ids,
-        attention_mask=inputs.attention_mask,
-        max_new_tokens=100,
-        do_sample=False,
-        repetition_penalty=1.2
-    )
-    
-    # デコード
-    response = tokenizer.decode(
-        outputs[0][inputs.input_ids.size(1):], 
-        skip_special_tokens=True
-    )
-    
-    return response
+  with torch.no_grad():
+      outputs = model.generate(
+          tokenized_input,
+          attention_mask=attention_mask,
+          max_new_tokens=100,
+          do_sample=False,
+          repetition_penalty=1.2,
+          pad_token_id=tokenizer.eos_token_id
+      )[0]
+  output = tokenizer.decode(outputs[tokenized_input.size(1):], skip_special_tokens=True)
 
-# 使用例
-prompt = "日本の首都について教えてください。"
-print(generate_response(prompt))
-```
-
-## 注意事項
-
-- このモデルは `CC-BY-NC-SA` ライセンスの下で提供されています
-- 非営利目的での使用に限定されます
-- 元のデータセットと同様のライセンス条件が適用されます
+  results.append({"task_id": data["task_id"], "input": input, "output": output})
 
 ## 引用情報
 
@@ -84,16 +44,8 @@ print(generate_response(prompt))
 - "ichikara-instruction: LLMのための日本語インストラクションデータの構築"
 - 言語処理学会第30回年次大会 (2024)
 
-## トラブルシューティング
-
-1. CUDA out of memory エラー
-   - `device_map="auto"` を `device_map="balanced"` に変更
-   - バッチサイズを減らす
-   - より大きなGPUを使用
+## モデルの情報
 
-2. ライブラリバージョンの不整合
-   - 推奨バージョン:
-     - transformers: 最新版
-     - torch: 2.0以降
-     - accelerate: 最新版
-     - peft: 最新版
+- 開発者情報: YAI
+- ライセンス: cc-by-nc-sa-4.0
+- Finetuned from model : llm-jp/llm-jp-3-13b