Update app.py

app.py

@@ -1,52 +1,38 @@
 import gradio as gr
-from huggingface_hub import hf_hub_download
-from llama_cpp import Llama
+from transformers import AutoModelForCausalLM, AutoTokenizer
 
-# 1. הגדרת המודל מ-Hugging Face (למשל מודל Qwen 3.5 או DictaLM בפורמט GGUF)
-REPO_ID = "Qwen/Qwen2.5-Coder-7B-Instruct-GGUF"  # שם ה-Repository שבו נמצא קובץ ה-GGUF
-FILENAME = "qwen2.5-coder-7b-instruct-q4_k_m.gguf" # שם הקובץ הספציפי
+# מזהה המאגר ושם קובץ ה-GGUF
+MODEL_ID = "Qwen/Qwen2.5-Coder-7B-Instruct-GGUF"
+GGUF_FILE = "qwen2.5-coder-7b-instruct-q4_k_m.gguf"
 
-# הורדת קובץ ה-GGUF אל הזיכרון הטרמינלי של ה-Space
-model_path = hf_hub_download(repo_id=REPO_ID, filename=FILENAME)
+# טעינת הטוקנייזר והמודל בפורמט GGUF
+tokenizer = AutoTokenizer.from_pretrained(MODEL_ID, gguf_file=GGUF_FILE)
+model = AutoModelForCausalLM.from_pretrained(MODEL_ID, gguf_file=GGUF_FILE)
 
-# 2. טעינת המודל לזיכרון ה-CPU
-llm = Llama(
-    model_path=model_path,
-    n_ctx=2048,     # גודל חלון ההקשר (Context Window)
-    n_threads=2,    # ניצול 2 הליבות החינמיות של ה-Space
-)
-
-# 3. פונקציית המענה למשתמש
 def answer(message, history):
     messages = []
-    
-    # תמיכה במבנה ההיסטוריה
     for item in history:
         if isinstance(item, dict):
             messages.append(item)
         elif isinstance(item, (list, tuple)) and len(item) == 2:
             u_msg, b_msg = item
-            if u_msg:
-                messages.append({"role": "user", "content": u_msg})
-            if b_msg:
-                messages.append({"role": "assistant", "content": b_msg})
+            if u_msg: messages.append({"role": "user", "content": u_msg})
+            if b_msg: messages.append({"role": "assistant", "content": b_msg})
 
     messages.append({"role": "user", "content": message})
 
-    # יצירת התשובה דרך llama.cpp
-    response = llm.create_chat_completion(
-        messages=messages,
-        max_tokens=512,
-        temperature=0.7
-    )
+    prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
+    inputs = tokenizer(prompt, return_tensors="pt")
+    
+    outputs = model.generate(**inputs, max_new_tokens=512, temperature=0.7)
+    response = tokenizer.decode(outputs[0][inputs.input_ids.shape[1]:], skip_special_tokens=True)
     
-    return response["choices"][0]["message"]["content"]
+    return response
 
-# 4. ממשק צ'אט בסיסי
 demo = gr.ChatInterface(
     fn=answer,
-    title="GGUF CPU Assistant",
-    description="הרצת מודל GGUF מהירה על CPU בחינם"
+    title="Qwen GGUF Assistant",
+    description="הרצת GGUF נקייה ומהירה על CPU"
 )
 
 if __name__ == "__main__":