kawasumi commited on
Commit
db3d1a9
·
verified ·
1 Parent(s): 187f35b

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +3 -73
README.md CHANGED
@@ -32,6 +32,9 @@ Tema_Q-R3.1 is an improved Large Language Model (LLM) tailored for Japanese, Eng
32
 
33
  It is designed to generate more flexible and useful responses, even for prompts that the standard Gemma 2 might find challenging to answer. It is ideal for users who wish to maximize the potential of AI in all fields, including creative writing, complex programming tasks, and deep knowledge exploration.
34
 
 
 
 
35
  GGUFファイルは以下より入手できます。
36
  https://huggingface.co/kawasumi/Tema_Q-R3.1-GGUF
37
 
@@ -52,76 +55,3 @@ https://huggingface.co/kawasumi/Tema_Q-R3.1-GGUF
52
 
53
  * **ユーザーの責任**: モデルの利用者は、生成されたコンテンツが、適用される**法律、規制、およびHugging Faceの利用規約/コンテンツポリシーに準拠**することを**全面的に保証**する必要があります。
54
  * **禁止事項**: このモデルを、いかなる**差別、ハラスメント、暴力、違法行為、および有害な目的**のために利用することを**固く禁じます**。
55
-
56
- ---
57
-
58
- ## 💻 Colabで動かす
59
-
60
- 以下のコードをGoogle Colaboratoryにコピペするだけで、**Tema_Q-R3.1** の強力な推論を体験できます。
61
-
62
- ※ **推奨環境:** Google Colabの**T4 GPU**またはそれ以上のVRAMを持つ環境
63
-
64
- ※GGUFからアクセスした方が高速かつ安定した推論が可能です。GGUFモデル配布ページに迂回してください。
65
-
66
- ```python
67
- # 必要なライブラリをインストールします
68
- !pip install -qU transformers accelerate bitsandbytes
69
-
70
- import torch
71
- from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
72
-
73
- # モデルID
74
- model_id = "kawasumi/Tema_Q-R3.1"
75
-
76
- # 4-bit 量子化設定 (ColabでのVRAM節約に最適)
77
- bnb_config = BitsAndBytesConfig(
78
- load_in_4bit=True,
79
- bnb_4bit_quant_type="nf4",
80
- bnb_4bit_compute_dtype=torch.bfloat16 # Gemma 2に推奨される計算データ型
81
- )
82
-
83
- # モデルとトークナイザーのロード
84
- # device_map="auto" で、VRAMに自動で分散配置されます
85
- tokenizer = AutoTokenizer.from_pretrained(model_id)
86
- model = AutoModelForCausalLM.from_pretrained(
87
- model_id,
88
- quantization_config=bnb_config,
89
- device_map="auto"
90
- )
91
-
92
- # 対話履歴
93
- # 日本語のプロンプト例
94
- messages = [
95
- {"role": "user", "content": "生成AIについて日本語で200字以内で教えてください。"}
96
- ]
97
-
98
- # 📝 変更点: トークナイズとテンプレート適用を同時に行う
99
- # **tokenizer() 関数に直接 messages リストを渡します**
100
- input_ids = tokenizer.apply_chat_template(
101
- messages,
102
- tokenize=True, # トークナイズを実行
103
- add_generation_prompt=True,
104
- return_tensors="pt" # PyTorchテンソルを返す
105
- ).to(model.device)
106
-
107
- # ---------------------------------------------------------------------------------
108
-
109
- print("--- 推論中 ---")
110
-
111
- outputs = model.generate(
112
- input_ids=input_ids, # 修正後の input_ids を使用
113
- max_new_tokens=512,
114
- do_sample=True,
115
- temperature=0.6,
116
- top_p=0.9
117
- )
118
-
119
- # 結果の表示
120
- generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
121
-
122
- # 応答全体から、プロンプト部分を除去して表示
123
- response_start = generated_text.find("<model>") + len("<model>")
124
- clean_response = generated_text[response_start:].strip()
125
-
126
- print("\n[生成された応答]\n")
127
- print(clean_response)
 
32
 
33
  It is designed to generate more flexible and useful responses, even for prompts that the standard Gemma 2 might find challenging to answer. It is ideal for users who wish to maximize the potential of AI in all fields, including creative writing, complex programming tasks, and deep knowledge exploration.
34
 
35
+ このモデルは2025年12月17日にUGIリーダーボードにて21B以下のモデルで3番目にUGIスコアの高いモデルとなりました。
36
+ ![image/png](https://huggingface.co/kawasumi/Tema_Q-R3.1/resolve/main/Tema_Q-R3.1-score.png?download=true)
37
+
38
  GGUFファイルは以下より入手できます。
39
  https://huggingface.co/kawasumi/Tema_Q-R3.1-GGUF
40
 
 
55
 
56
  * **ユーザーの責任**: モデルの利用者は、生成されたコンテンツが、適用される**法律、規制、およびHugging Faceの利用規約/コンテンツポリシーに準拠**することを**全面的に保証**する必要があります。
57
  * **禁止事項**: このモデルを、いかなる**差別、ハラスメント、暴力、違法行為、および有害な目的**のために利用することを**固く禁じます**。