kawasumi commited on
Commit
177b567
·
verified ·
1 Parent(s): c2cee69

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +116 -3
README.md CHANGED
@@ -1,3 +1,116 @@
1
- ---
2
- license: gemma
3
- ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ license: gemma
3
+ language:
4
+ - ja
5
+ - en
6
+ - zh
7
+ base_model:
8
+ - google/gemma-3-27b-it
9
+ - google/gemma-2-9b-it
10
+ pipeline_tag: text-generation
11
+ tags:
12
+ - gemma2
13
+ - transformer
14
+ - instruction-tuned
15
+ - multilingual
16
+ - uncensored
17
+ - non-censored
18
+ - unfiltered
19
+ ---
20
+
21
+
22
+ # 🚀 Tema_Q-R3.1
23
+
24
+ ## 🔥 モデル概要
25
+
26
+ **Tema_Q-R3.1** は、Googleが開発した高性能なオープンモデル **Gemma 2 9B** を基盤にした、**日本語、英語、中国語**向けの改良版大規模言語モデル(LLM)です。
27
+
28
+ 通常のGemma 2では回答が難しいプロンプトに対しても、より自由で有用な応答を生成できるよう設計されています。クリエイティブな執筆、複雑なプログラミングタスク、ディープな知識探求など、あらゆる分野でAIの可能性を最大限に引き出したいユーザーに最適です。
29
+
30
+ | 項目 | 詳細 |
31
+ | :--- | :--- |
32
+ | **ベースモデル** | Google Gemma 2 9B |
33
+ | **モデル名** | Tema_Q-R3.1 |
34
+ | **対応言語** | 日本語 (JA), 英語 (EN), 中国語 (ZH) |
35
+ | **モデルサイズ** | 9 Billion Parameters |
36
+ | **ライセンス** | Gemma 2のライセンスに準拠 |
37
+ | **開発** | kawasumi, TY, HY |
38
+
39
+ ---
40
+
41
+ ## 🛡️ 責任あるAI利用と学習データの安全性
42
+
43
+ ### ⚠️ 責任ある利用の徹底
44
+
45
+ * **ユーザーの責任**: モデルの利用者は、生成されたコンテンツが、適用される**法律、規制、およびHugging Faceの利用規約/コンテンツポリシーに準拠**することを**全面的に保証**する必要があります。
46
+ * **禁止事項**: このモデルを、いかなる**差別、ハラスメント、暴力、違法行為、および有害な目的**のために利用することを**固く禁じます**。
47
+
48
+ ---
49
+
50
+ ## 💻 Colabで動かす
51
+
52
+ 以下のコードをGoogle Colaboratoryにコピペするだけで、**Tema_Q-R3.1** の強力な推論を体験できます。
53
+
54
+ ※ **推奨環境:** Google Colabの**T4 GPU**またはそれ以上のVRAMを持つ環境
55
+
56
+ ```python
57
+ # 必要なライブラリをインストールします
58
+ !pip install -qU transformers accelerate bitsandbytes
59
+
60
+ import torch
61
+ from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
62
+
63
+ # モデルID
64
+ model_id = "kawasumi/Tema_Q-R3.1"
65
+
66
+ # 4-bit 量子化設定 (ColabでのVRAM節約に最適)
67
+ bnb_config = BitsAndBytesConfig(
68
+ load_in_4bit=True,
69
+ bnb_4bit_quant_type="nf4",
70
+ bnb_4bit_compute_dtype=torch.bfloat16 # Gemma 2に推奨される計算データ型
71
+ )
72
+
73
+ # モデルとトークナイザーのロード
74
+ # device_map="auto" で、VRAMに自動で分散配置されます
75
+ tokenizer = AutoTokenizer.from_pretrained(model_id)
76
+ model = AutoModelForCausalLM.from_pretrained(
77
+ model_id,
78
+ quantization_config=bnb_config,
79
+ device_map="auto"
80
+ )
81
+
82
+ # 対話履歴
83
+ # 日本語のプロンプト例
84
+ messages = [
85
+ {"role": "user", "content": "大規模言語モデルの今後の展望について、3つの主要なトレンドを詳しく説明してください。"}
86
+ ]
87
+
88
+ # Gemmaのチャットテンプレートを適用 (必須)
89
+ prompt = tokenizer.apply_chat_template(
90
+ messages,
91
+ tokenize=False,
92
+ add_generation_prompt=True # 推論開始のトークンを追加
93
+ )
94
+
95
+ # 推論(テキスト生成)
96
+ input_ids = tokenizer(prompt, return_tensors="pt").to(model.device)
97
+
98
+ print("--- 推論中 ---")
99
+
100
+ outputs = model.generate(
101
+ input_ids,
102
+ max_new_tokens=512,
103
+ do_sample=True,
104
+ temperature=0.6,
105
+ top_p=0.9
106
+ )
107
+
108
+ # 結果の表示
109
+ generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
110
+
111
+ # 応答全体から、プロンプト部分を除去して表示
112
+ response_start = generated_text.find("<model>") + len("<model>")
113
+ clean_response = generated_text[response_start:].strip()
114
+
115
+ print("\n[生成された応答]\n")
116
+ print(clean_response)