Update app.py

app.py

@@ -4,8 +4,9 @@ import gradio as gr
 from huggingface_hub import hf_hub_download
 from llama_cpp import Llama
 
-REPO_ID = "bartowski/SmolLM2-135M-Instruct-GGUF"
-FILENAME = "SmolLM2-135M-Instruct-Q4_K_M.gguf"
+# مدل خیلی سریع (۱۳۵M). 
+REPO_ID = os.getenv("GGUF_REPO_ID", "bartowski/SmolLM2-135M-Instruct-GGUF")
+FILENAME = os.getenv("GGUF_FILENAME", "SmolLM2-135M-Instruct-Q4_K_M.gguf")
 
 @lru_cache()
 def load_llm():
@@ -15,18 +16,18 @@ def load_llm():
         local_dir=".",
         local_dir_use_symlinks=False,
     )
+
     llm = Llama(
         model_path=model_path,
-        n_ctx=512,
+        n_ctx=256,                       
         n_threads=max(2, os.cpu_count() or 2),
         n_gpu_layers=0,
-        n_batch=32,
-        verbose=False,
+        n_batch=16,                     
+        verbose=True,                  
     )
     return llm
 
-# پاسخ‌های کوتاه‌تر و سریع‌تر
-SYSTEM_PROMPT = "به فارسی، واضح و خیلی کوتاه جواب بده (حداکثر ۲ جمله)."
+SYSTEM_PROMPT = "به فارسی، خیلی کوتاه و روشن جواب بده (حداکثر ۲ جمله)."
 
 def build_prompt(message, history):
     prompt = f"<s>[SYSTEM]\n{SYSTEM_PROMPT}\n[/SYSTEM]\n"
@@ -38,11 +39,10 @@ def build_prompt(message, history):
 def respond(message, history):
     llm = load_llm()
     prompt = build_prompt(message, history)
-    # تغییرات سرعت: max_tokens و temperature
     stream = llm.create_completion(
         prompt=prompt,
-        max_tokens=80,                      
-        temperature=0.5,                
+        max_tokens=60,                   
+        temperature=0.5,
         top_p=0.9,
         stop=["[/ASSISTANT]", "[USER]", "\n[USER]"],
         stream=True,
@@ -56,8 +56,9 @@ def respond(message, history):
 demo = gr.ChatInterface(
     fn=respond,
     title="چت‌بات خیلی ساده (CPU رایگان)",
-    description="TinyLlama 1.1B (GGUF) روی llama.cpp برای یادگیری راه‌اندازی LLM.",
+    description="SmolLM2-135M (GGUF) با llama.cpp روی CPU. نسخه‌ی مینیمال برای یادگیری.",
 )
 
 if __name__ == "__main__":
-    demo.launch()
+    
+    demo.launch(ssr_mode=False)