Thầy Oáp độ code Gemma

API_chatbot

@@ -0,0 +1 @@
+Subproject commit 72d421c576ee51b796fd88f2f119fb64cd8f97c2

app.py

@@ -0,0 +1,62 @@
+import gradio as gr
+import torch
+from transformers import AutoTokenizer, AutoModelForCausalLM, TextIteratorStreamer
+from threading import Thread
+import spaces # Quan trọng để dùng ZeroGPU
+
+# 1. Triệu hồi "linh vật" Gemma (Bản 2b-it là hợp lý nhất cho Space)
+model_id = "google/gemma-2b-it"
+
+# Load Tokenizer và Model
+tokenizer = AutoTokenizer.from_pretrained(model_id)
+model = AutoModelForCausalLM.from_pretrained(
+    model_id,
+    torch_dtype=torch.bfloat16,
+    device_map="auto",
+)
+
+# 2. Tuyệt chiêu xử lý tin nhắn với ZeroGPU
+@spaces.GPU # Cấp quyền dùng GPU tạm thời cho hàm này
+def chat_gemma(message, history):
+    # Chuyển đổi lịch sử chat sang định dạng Gemma hiểu được
+    conversation = []
+    for user, assistant in history:
+        conversation.extend([{"role": "user", "content": user}, {"role": "model", "content": assistant}])
+    conversation.append({"role": "user", "content": message})
+
+    # Tokenize đầu vào
+    input_ids = tokenizer.apply_chat_template(conversation, return_tensors="pt", add_generation_prompt=True).to(model.device)
+    
+    # Thiết lập Streamer để chữ nhảy ra từng chữ cho "ngầu"
+    streamer = TextIteratorStreamer(tokenizer, timeout=10.0, skip_prompt=True, skip_special_tokens=True)
+    
+    generate_kwargs = dict(
+        input_ids=input_ids,
+        streamer=streamer,
+        max_new_tokens=1024,
+        do_sample=True,
+        temperature=0.7,
+        top_k=50,
+        top_p=0.95,
+    )
+
+    # Chạy luồng phụ để generate văn bản
+    t = Thread(target=model.generate, kwargs=generate_kwargs)
+    t.start()
+
+    partial_message = ""
+    for new_token in streamer:
+        partial_message += new_token
+        yield partial_message
+
+# 3. Khởi tạo giao diện Chatbot (và cũng là cổng API)
+demo = gr.ChatInterface(
+    fn=chat_gemma,
+    title="Gemma Chatbot by Thầy Oáp 🚀",
+    description="Hỏi gì cũng đáp, lú đâu thsông đó!",
+    examples=["Giải thích định luật Newton bằng ngôn ngữ Gen Z", "Viết code Python tạo API"],
+    theme="soft"
+)
+
+if __name__ == "__main__":
+    demo.launch()

requirements.txt

@@ -0,0 +1,5 @@
+transformers
+torch
+gradio
+accelerate
+spaces