Update app.py

app.py

@@ -1,42 +1,27 @@
 import gradio as gr
-from huggingface_hub import hf_hub_download
-from llama_cpp import Llama
+from ctransformers import AutoModelForCausalLM
 
-# ১. তোমার GGUF মডেল ডাউনলোড
-print("⏳ মডেল ডাউনলোড হচ্ছে...")
-model_path = hf_hub_download(
-    repo_id="saiful-ai-dev/MotionMindX", 
-    filename="Qwen2.5-3B-Instruct-Q4_K_M.gguf"
-)
-
-# ২. মডেল সেটআপ (২০৪৮ কনটেক্সট)
-llm = Llama(
-    model_path=model_path,
-    n_ctx=2048, 
-    n_threads=2
+# ১. মডেল লোড (সরাসরি GGUF সাপোর্ট করে)
+print("⏳ মডেল লোড হচ্ছে... এটি ২-৩ মিনিট সময় নিতে পারে।")
+llm = AutoModelForCausalLM.from_pretrained(
+    "saiful-ai-dev/MotionMindX", 
+    model_file="Qwen2.5-3B-Instruct-Q4_K_M.gguf",
+    model_type="gpt2", # কিউওয়েন মডেলের জন্য এটি প্রক্সি হিসেবে কাজ করে
+    context_length=2048
 )
 
 def respond(message, history):
-    # স্ট্রিমিং ফরম্যাট
-    prompt = f"<|im_start|>system\nYou are Motion Mind X, a helpful tutor for SSC/HSC students in Bangladesh.<|im_end|>\n<|im_start|>user\n{message}<|im_end|>\n<|im_start|>assistant\n"
+    # ২. প্রম্পট তৈরি
+    prompt = f"<|im_start|>system\nYou are Motion Mind X, a helpful tutor from Bangladesh.<|im_end|>\n<|im_start|>user\n{message}<|im_end|>\n<|im_start|>assistant\n"
     
     # ৩. স্ট্রিমিং জেনারেশন
-    response_stream = llm(
-        prompt,
-        max_tokens=1024,
-        stop=["<|im_end|>"],
-        stream=True 
-    )
-    
-    partial_message = ""
-    for chunk in response_stream:
-        if "text" in chunk["choices"][0]:
-            token = chunk["choices"][0]["text"]
-            partial_message += token
-            yield partial_message # টাইপ রাইটারের মতো লেখা দেখাবে
+    response_text = ""
+    for token in llm(prompt, stream=True, max_new_tokens=512, stop=["<|im_end|>"]):
+        response_text += token
+        yield response_text
 
 # ৪. ইন্টারফেস
-demo = gr.ChatInterface(respond, title="Motion Mind X 🚀 (GGUF Streaming)")
+demo = gr.ChatInterface(respond, title="Motion Mind X 🚀 (GGUF Mode)")
 
 if __name__ == "__main__":
-    demo.launch() 
+    demo.launch()