Update README.md

README.md

@@ -1,119 +1,125 @@
----
-license: mit
----
-
-# lora_gemma_9b
-
-このモデルは、[Gemma-2-9b](https://huggingface.co/google/gemma-2-9b) をベースに微調整されたモデルです。
-LLM講座の最終課題のために作成されたものになります。
-
-## 出力方法
-
-以下のコードを使用して、モデルをロードし、結果を生成できます。
-
-```python
-from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
-from peft import PeftModel
-from datasets import load_dataset
-from tqdm import tqdm
-import torch
-import json
-
-# トークナイザーのロード
-tokenizer = AutoTokenizer.from_pretrained("ultimatemagic79/lora_gemma_9b", use_fast=False)
-
-# ベースモデルのロード
-bnb_config = BitsAndBytesConfig(
-    load_in_8bit=True,
-    llm_int8_threshold=6.0,
-)
-base_model = AutoModelForCausalLM.from_pretrained(
-    "google/gemma-2-9b",
-    device_map="auto",
-    quantization_config=bnb_config,
-    torch_dtype=torch.float16,
-)
-
-# 微調整モデルのロード
-model = PeftModel.from_pretrained(base_model, "ultimatemagic79/lora_gemma_9b")
-
-# Few-Shot Promptの設定
-dataset = load_dataset("elyza/ELYZA-tasks-100")  # 実際のデータセットパスに変更
-num_samples = 3
-few_shot_samples = dataset["test"].select(range(num_samples))
-
-# 推論の実行
-# ELYZA-tasks-100-TVデータセットのロード
-def load_elyza_tasks(file_path):
-    data = []
-    with open(file_path, 'r', encoding='utf-8') as f:
-        for line in f:
-            data.append(json.loads(line))
-    return data
-
-test_dataset = load_elyza_tasks('elyza-tasks-100-TV_0.jsonl')
-
-def generate_prompt(input_text, examples):
-    prompt = ""
-    for idx, example in enumerate(examples, 1):
-        prompt += f"[例{idx}]\n"
-        prompt += f"入力: {example['input']}\n"
-        prompt += f"出力: {example['output']}\n\n"
-    prompt += "[あなたの質問]\n"
-    prompt += f"入力: {input_text}\n"
-    prompt += "出力:"
-    return prompt
-
-def generate_response(model, tokenizer, prompt):
-    inputs = tokenizer(
-        prompt,
-        return_tensors="pt",
-        truncation=True,
-        max_length=1024,
-    ).to(model.device)
-    
-    with torch.no_grad():
-        outputs = model.generate(
-            input_ids=inputs["input_ids"],
-            attention_mask=inputs["attention_mask"],
-            max_new_tokens=256,
-            temperature=0.7,
-            repetition_penalty=1.1,
-            top_p=0.9,
-            do_sample=True,
-            eos_token_id=tokenizer.eos_token_id,
-        )
-    
-    output_text = tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:], skip_special_tokens=True)
-    return output_text
-
-# 推論と結果の収集
-results = []
-for test_data in tqdm(test_dataset):
-    task_id = test_data["task_id"]
-    input_text = test_data["input"]
-    prompt = generate_prompt(input_text, few_shot_samples)
-    response = generate_response(model, tokenizer, prompt)
-    results.append({
-        "task_id": task_id,
-        "output": response,
-    })
-```
-
-## ELYZA-tasks-100データセットの利用について
-
-このモデルは、ELYZA社が公開する [ELYZA-tasks-100](https://huggingface.co/datasets/elyza/ELYZA-tasks-100)を使用してファインチューニング，プロンプトエンジニアリングを行っています。
-
-ELYZA-tasks-100は [CC BY-SA 4.0](https://creativecommons.org/licenses/by-sa/4.0/deed.ja)でライセンスされています。
-
-詳細なライセンス情報は、[ELYZA-tasks-100のモデルカード](https://huggingface.co/datasets/elyza/ELYZA-tasks-100)をご参照ください。
-
-## Gemma-2-9bの使用権利について
-
-このモデルは、Google社が提供する [gemma-2-9b](https://huggingface.co/google/gemma-2-9b) をベースに微調整されています。
-
-Gemma-2-9bは、商用利用が許可されたライセンスの下で公開されています。
-
-詳細なライセンス情報は、[gemma-2-9bのモデルカード](https://huggingface.co/google/gemma-2-9b)をご参照ください。
-
+---
+license: mit
+datasets:
+- elyza/ELYZA-tasks-100
+language:
+- ja
+base_model:
+- google/gemma-2-9b
+---
+
+# lora_gemma_9b
+
+このモデルは、[Gemma-2-9b](https://huggingface.co/google/gemma-2-9b) をベースに微調整されたモデルです。
+LLM講座の最終課題のために作成されたものになります。
+
+## 出力方法
+
+以下のコードを使用して、モデルをロードし、結果を生成できます。
+
+```python
+from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
+from peft import PeftModel
+from datasets import load_dataset
+from tqdm import tqdm
+import torch
+import json
+
+# トークナイザーのロード
+tokenizer = AutoTokenizer.from_pretrained("ultimatemagic79/lora_gemma_9b", use_fast=False)
+
+# ベースモデルのロード
+bnb_config = BitsAndBytesConfig(
+    load_in_8bit=True,
+    llm_int8_threshold=6.0,
+)
+base_model = AutoModelForCausalLM.from_pretrained(
+    "google/gemma-2-9b",
+    device_map="auto",
+    quantization_config=bnb_config,
+    torch_dtype=torch.float16,
+)
+
+# 微調整モデルのロード
+model = PeftModel.from_pretrained(base_model, "ultimatemagic79/lora_gemma_9b")
+
+# Few-Shot Promptの設定
+dataset = load_dataset("elyza/ELYZA-tasks-100")
+num_samples = 3
+few_shot_samples = dataset["test"].select(range(num_samples))
+
+# 推論の実行
+# ELYZA-tasks-100-TVデータセットのロード
+def load_elyza_tasks(file_path):
+    data = []
+    with open(file_path, 'r', encoding='utf-8') as f:
+        for line in f:
+            data.append(json.loads(line))
+    return data
+
+test_dataset = load_elyza_tasks('elyza-tasks-100-TV_0.jsonl')
+
+def generate_prompt(input_text, examples):
+    prompt = ""
+    for idx, example in enumerate(examples, 1):
+        prompt += f"[例{idx}]\n"
+        prompt += f"入力: {example['input']}\n"
+        prompt += f"出力: {example['output']}\n\n"
+    prompt += "[あなたの質問]\n"
+    prompt += f"入力: {input_text}\n"
+    prompt += "出力:"
+    return prompt
+
+def generate_response(model, tokenizer, prompt):
+    inputs = tokenizer(
+        prompt,
+        return_tensors="pt",
+        truncation=True,
+        max_length=1024,
+    ).to(model.device)
+    
+    with torch.no_grad():
+        outputs = model.generate(
+            input_ids=inputs["input_ids"],
+            attention_mask=inputs["attention_mask"],
+            max_new_tokens=256,
+            temperature=0.7,
+            repetition_penalty=1.1,
+            top_p=0.9,
+            do_sample=True,
+            eos_token_id=tokenizer.eos_token_id,
+        )
+    
+    output_text = tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:], skip_special_tokens=True)
+    return output_text
+
+# 推論と結果の収集
+results = []
+for test_data in tqdm(test_dataset):
+    task_id = test_data["task_id"]
+    input_text = test_data["input"]
+    prompt = generate_prompt(input_text, few_shot_samples)
+    response = generate_response(model, tokenizer, prompt)
+    results.append({
+        "task_id": task_id,
+        "output": response,
+    })
+```
+
+## ELYZA-tasks-100データセットの利用について
+
+このモデルは、ELYZA社が公開する [ELYZA-tasks-100](https://huggingface.co/datasets/elyza/ELYZA-tasks-100)を使用してファインチューニング，プロンプトエンジニアリングを行っています。
+
+ELYZA-tasks-100は [CC BY-SA 4.0](https://creativecommons.org/licenses/by-sa/4.0/deed.ja)でライセンスされています。
+
+詳細なライセンス情報は、[ELYZA-tasks-100のモデルカード](https://huggingface.co/datasets/elyza/ELYZA-tasks-100)をご参照ください。
+
+## Gemma-2-9bの使用権利について
+
+このモデルは、Google社が提供する [gemma-2-9b](https://huggingface.co/google/gemma-2-9b) をベースに微調整されています。
+
+Gemma-2-9bは、商用利用が許可されたライセンスの下で公開されています。
+
+詳細なライセンス情報は、[gemma-2-9bのモデルカード](https://huggingface.co/google/gemma-2-9b)をご参照ください。
+
 **注意**: このモデルを使用する際は、Gemma-2-9bのライセンスに従ってください。