Update README.md
Browse files
README.md
CHANGED
|
@@ -32,6 +32,9 @@ Tema_Q-R3.1 is an improved Large Language Model (LLM) tailored for Japanese, Eng
|
|
| 32 |
|
| 33 |
It is designed to generate more flexible and useful responses, even for prompts that the standard Gemma 2 might find challenging to answer. It is ideal for users who wish to maximize the potential of AI in all fields, including creative writing, complex programming tasks, and deep knowledge exploration.
|
| 34 |
|
|
|
|
|
|
|
|
|
|
| 35 |
GGUFファイルは以下より入手できます。
|
| 36 |
https://huggingface.co/kawasumi/Tema_Q-R3.1-GGUF
|
| 37 |
|
|
@@ -52,76 +55,3 @@ https://huggingface.co/kawasumi/Tema_Q-R3.1-GGUF
|
|
| 52 |
|
| 53 |
* **ユーザーの責任**: モデルの利用者は、生成されたコンテンツが、適用される**法律、規制、およびHugging Faceの利用規約/コンテンツポリシーに準拠**することを**全面的に保証**する必要があります。
|
| 54 |
* **禁止事項**: このモデルを、いかなる**差別、ハラスメント、暴力、違法行為、および有害な目的**のために利用することを**固く禁じます**。
|
| 55 |
-
|
| 56 |
-
---
|
| 57 |
-
|
| 58 |
-
## 💻 Colabで動かす
|
| 59 |
-
|
| 60 |
-
以下のコードをGoogle Colaboratoryにコピペするだけで、**Tema_Q-R3.1** の強力な推論を体験できます。
|
| 61 |
-
|
| 62 |
-
※ **推奨環境:** Google Colabの**T4 GPU**またはそれ以上のVRAMを持つ環境
|
| 63 |
-
|
| 64 |
-
※GGUFからアクセスした方が高速かつ安定した推論が可能です。GGUFモデル配布ページに迂回してください。
|
| 65 |
-
|
| 66 |
-
```python
|
| 67 |
-
# 必要なライブラリをインストールします
|
| 68 |
-
!pip install -qU transformers accelerate bitsandbytes
|
| 69 |
-
|
| 70 |
-
import torch
|
| 71 |
-
from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
|
| 72 |
-
|
| 73 |
-
# モデルID
|
| 74 |
-
model_id = "kawasumi/Tema_Q-R3.1"
|
| 75 |
-
|
| 76 |
-
# 4-bit 量子化設定 (ColabでのVRAM節約に最適)
|
| 77 |
-
bnb_config = BitsAndBytesConfig(
|
| 78 |
-
load_in_4bit=True,
|
| 79 |
-
bnb_4bit_quant_type="nf4",
|
| 80 |
-
bnb_4bit_compute_dtype=torch.bfloat16 # Gemma 2に推奨される計算データ型
|
| 81 |
-
)
|
| 82 |
-
|
| 83 |
-
# モデルとトークナイザーのロード
|
| 84 |
-
# device_map="auto" で、VRAMに自動で分散配置されます
|
| 85 |
-
tokenizer = AutoTokenizer.from_pretrained(model_id)
|
| 86 |
-
model = AutoModelForCausalLM.from_pretrained(
|
| 87 |
-
model_id,
|
| 88 |
-
quantization_config=bnb_config,
|
| 89 |
-
device_map="auto"
|
| 90 |
-
)
|
| 91 |
-
|
| 92 |
-
# 対話履歴
|
| 93 |
-
# 日本語のプロンプト例
|
| 94 |
-
messages = [
|
| 95 |
-
{"role": "user", "content": "生成AIについて日本語で200字以内で教えてください。"}
|
| 96 |
-
]
|
| 97 |
-
|
| 98 |
-
# 📝 変更点: トークナイズとテンプレート適用を同時に行う
|
| 99 |
-
# **tokenizer() 関数に直接 messages リストを渡します**
|
| 100 |
-
input_ids = tokenizer.apply_chat_template(
|
| 101 |
-
messages,
|
| 102 |
-
tokenize=True, # トークナイズを実行
|
| 103 |
-
add_generation_prompt=True,
|
| 104 |
-
return_tensors="pt" # PyTorchテンソルを返す
|
| 105 |
-
).to(model.device)
|
| 106 |
-
|
| 107 |
-
# ---------------------------------------------------------------------------------
|
| 108 |
-
|
| 109 |
-
print("--- 推論中 ---")
|
| 110 |
-
|
| 111 |
-
outputs = model.generate(
|
| 112 |
-
input_ids=input_ids, # 修正後の input_ids を使用
|
| 113 |
-
max_new_tokens=512,
|
| 114 |
-
do_sample=True,
|
| 115 |
-
temperature=0.6,
|
| 116 |
-
top_p=0.9
|
| 117 |
-
)
|
| 118 |
-
|
| 119 |
-
# 結果の表示
|
| 120 |
-
generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
|
| 121 |
-
|
| 122 |
-
# 応答全体から、プロンプト部分を除去して表示
|
| 123 |
-
response_start = generated_text.find("<model>") + len("<model>")
|
| 124 |
-
clean_response = generated_text[response_start:].strip()
|
| 125 |
-
|
| 126 |
-
print("\n[生成された応答]\n")
|
| 127 |
-
print(clean_response)
|
|
|
|
| 32 |
|
| 33 |
It is designed to generate more flexible and useful responses, even for prompts that the standard Gemma 2 might find challenging to answer. It is ideal for users who wish to maximize the potential of AI in all fields, including creative writing, complex programming tasks, and deep knowledge exploration.
|
| 34 |
|
| 35 |
+
このモデルは2025年12月17日にUGIリーダーボードにて21B以下のモデルで3番目にUGIスコアの高いモデルとなりました。
|
| 36 |
+

|
| 37 |
+
|
| 38 |
GGUFファイルは以下より入手できます。
|
| 39 |
https://huggingface.co/kawasumi/Tema_Q-R3.1-GGUF
|
| 40 |
|
|
|
|
| 55 |
|
| 56 |
* **ユーザーの責任**: モデルの利用者は、生成されたコンテンツが、適用される**法律、規制、およびHugging Faceの利用規約/コンテンツポリシーに準拠**することを**全面的に保証**する必要があります。
|
| 57 |
* **禁止事項**: このモデルを、いかなる**差別、ハラスメント、暴力、違法行為、および有害な目的**のために利用することを**固く禁じます**。
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|