Create app.py

app.py

@@ -0,0 +1,98 @@
+import gradio as gr
+from llama_cpp import Llama
+from huggingface_hub import hf_hub_download
+
+# ==============================================================================
+# 1. CẤU HÌNH MODEL (ĐÃ CẬP NHẬT CHO EVONET 3B BETA)
+# ==============================================================================
+REPO_ID = "EvoNet/EvoNet-3B-v0.1-Beta-GGUF"
+FILENAME = "EvoNet-3B-v0.1-Beta-Q4_K_M.gguf" # File nén Q4 nhẹ & mượt
+
+print(f"⏳ Đang tải file {FILENAME} từ kho {REPO_ID}...")
+try:
+    model_path = hf_hub_download(
+        repo_id=REPO_ID, 
+        filename=FILENAME
+    )
+    print("✅ Tải xong! Đường dẫn:", model_path)
+except Exception as e:
+    print(f"❌ Lỗi tải file: {e}")
+    print("👉 Founder kiểm tra lại tên file hoặc Repo ID nhé!")
+    raise e
+
+# ==============================================================================
+# 2. KHỞI ĐỘNG ĐỘNG CƠ AI
+# ==============================================================================
+print("⚙️ Đang khởi động EvoNet 3B Engine...")
+llm = Llama(
+    model_path=model_path,
+    n_ctx=4096,        # Tăng lên 4096 tokens (nhớ dai hơn bản cũ)
+    n_threads=2,       # Dùng 2 nhân CPU (Chuẩn Free Tier HF)
+    n_gpu_layers=0,    # Chạy hoàn toàn trên CPU
+    verbose=False      
+)
+
+# ==============================================================================
+# 3. HÀM XỬ LÝ CHAT (STREAMING)
+# ==============================================================================
+def chat_stream(message, history):
+    # Cài đặt danh tính (System Prompt) chuẩn Founder
+    system_prompt = (
+        "Bạn là EvoNet, một trợ lý AI thông minh được phát triển bởi Founder Huỳnh Dương Phong. "
+        "Hãy trả lời ngắn gọn, hữu ích, trung thực và ưu tiên sử dụng Tiếng Việt."
+    )
+    
+    # Format chuẩn ChatML (Qwen 2.5 yêu cầu cái này)
+    prompt = f"<|im_start|>system\n{system_prompt}<|im_end|>\n"
+    for user_msg, bot_msg in history:
+        prompt += f"<|im_start|>user\n{user_msg}<|im_end|>\n<|im_start|>assistant\n{bot_msg}<|im_end|>\n"
+    prompt += f"<|im_start|>user\n{message}<|im_end|>\n<|im_start|>assistant\n"
+    
+    # Gọi Model chạy
+    stream = llm(
+        prompt,
+        max_tokens=1024,     # Cho phép trả lời dài hơn (Model 3B viết code dài được)
+        stop=["<|im_end|>"], # Dấu hiệu dừng
+        echo=False,          
+        stream=True,         # Hiệu ứng gõ chữ
+        temperature=0.7,     # Độ sáng tạo vừa phải
+        top_p=0.9
+    )
+    
+    partial_message = ""
+    for output in stream:
+        token = output['choices'][0]['text']
+        partial_message += token
+        yield partial_message
+
+# ==============================================================================
+# 4. GIAO DIỆN CHATBOT (GRADIO)
+# ==============================================================================
+custom_css = """
+#component-0 {max-width: 800px; margin: auto;}
+.gradio-container {background-color: #f9f9f9;}
+"""
+
+demo = gr.ChatInterface(
+    chat_stream,
+    title="🔥 EvoNet-3B Beta (GGUF Version)",
+    description=f"""
+    <div style="text-align: center;">
+        <h3>Sản phẩm AI của Founder Huỳnh Dương Phong</h3>
+        <p>Model: <b>EvoNet-3B-v0.1-Beta</b> | Format: <b>GGUF Q4_K_M</b></p>
+        <p>⚡ Chạy trực tiếp trên CPU Server (Zero-GPU)</p>
+    </div>
+    """,
+    examples=[
+        ["EvoNet là gì và ai tạo ra bạn?"],
+        ["Viết một hàm Python kiểm tra số nguyên tố và giải thích."],
+        ["Giải thích 'Machine Learning' cho học sinh lớp 5."],
+        ["Làm một bài thơ về lập trình viên."],
+    ],
+    cache_examples=False,
+    css=custom_css,
+    theme="soft" # Giao diện mềm mại, hiện đại
+)
+
+if __name__ == "__main__":
+    demo.launch()