deepkick/llm-jp-3-13b-it_lora

LLM-JP 3-13B Finetune

概要

このモデルは、LLM-JP 3-13B をベースに Elyza タスクデータセットでファインチューニングされ、指示に基づく日本語生成タスクに適しています。本モデルでは、Unslothを用いて効率的にLoRAアダプタを利用し、高速な学習を実現しました。

---

使用方法

推論の実行

以下のコードを使用して、モデルをロードし、推論を実行できます。

from transformers import AutoModelForCausalLM, AutoTokenizer

# モデルとトークナイザーのロード
model_id = "deepkick/llm-jp-3-13b-finetune"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)

# 推論
input_text = "日本語での生成タスクの例を示してください。"
input_ids = tokenizer(input_text, return_tensors="pt").input_ids
output = model.generate(input_ids, max_new_tokens=50)
print(tokenizer.decode(output[0], skip_special_tokens=True))

---

JSONLファイルの使用方法

以下のコードを使用して、JSONL形式の入力データを用いたバッチ推論を行えます。

import json
from transformers import AutoModelForCausalLM, AutoTokenizer

# モデルのロード
model_id = "deepkick/llm-jp-3-13b-finetune"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)

# JSONLファイルの読み込み
with open("elyza-tasks-100-TV_0.jsonl", "r") as f:
    datasets = [json.loads(line) for line in f]

# 推論
results = []
for data in datasets:
    input_text = data["input"]
    input_ids = tokenizer(input_text, return_tensors="pt").input_ids
    output = model.generate(input_ids, max_new_tokens=50)
    output_text = tokenizer.decode(output[0], skip_special_tokens=True)
    results.append({"task_id": data["task_id"], "output": output_text})

# 結果を保存
with open("outputs.jsonl", "w") as f:
    for result in results:
        f.write(json.dumps(result) + "\n")

---

モデルのトレーニング詳細

• ベースモデル: llm-jp/llm-jp-3-13b
• ファインチューニング手法: LoRA (Low-Rank Adaptation)
• 使用ライブラリ: 🤗 Transformers, Unsloth
• データセット: Elyza-tasks-100-TV

学習設定

• 学習率: 2e-4
• バッチサイズ: 2 (デバイスあたり)
• 勾配蓄積ステップ: 4
• 学習エポック数: 1
• 最大シーケンス長: 512トークン
• LoRA設定:
  • r=32
  • lora_alpha=32
  • lora_dropout=0.05

---

著者

• 開発者: deepkick
• ライセンス: Apache-2.0
• Hugging Face リンク: deepkick

---

注意点

• 本モデルはLoRAアダプタのみを保存しています。詳細な推論方法については、Model_Inference_Template_unsloth_20241127.ipynb を参照してください。
• Hugging Faceのリポジトリにアップロードされたモデルを利用する際は、公開 (public) 設定にする必要があります。

--