Update app.py

app.py

@@ -5,42 +5,38 @@ import kagglehub
 from threading import Thread
 from transformers import AutoModelForCausalLM, AutoTokenizer, TextIteratorStreamer
 
-# 🚀 الحل الجذري حسب تعليمات كاجل الجديدة
-# نستخدم اسم المتغير KAGGLE_API_TOKEN كما طلبت الرسالة تماماً
-os.environ["KAGGLE_API_TOKEN"] = "KGAT_e7d58c8edc599a3341c98d2f1295795f"
-
-# 🚀 تسريع CPU
+# 🚀 تسريع المعالجة
 torch.set_num_threads(os.cpu_count())
 
-print("--- 📥 Downloading Model from Kaggle ---")
-try:
-    # استخدام المسار الصحيح للنسخة المستقرة
-    model_path = kagglehub.model_download("ruicompany/onyx-gpt2large/transformers/1gb-stable")
-    print(f"--- ✅ Success! Model Path: {model_path} ---")
-except Exception as e:
-    print(f"--- ❌ Download Failed: {e} ---")
-    # محاولة أخيرة بالمسار الافتراضي في حال وجود مشكلة في تسمية النسخة
-    model_path = kagglehub.model_download("ruicompany/onyx-gpt2large/transformers/default")
+print("--- 📥 Downloading Model ---")
+model_path = kagglehub.model_download("ruicompany/onyx-gpt2large/transformers/1gb-stable")
 
-# تحميل الـ Tokenizer والـ Model من المسار المحلي
 tokenizer = AutoTokenizer.from_pretrained(model_path)
 if tokenizer.pad_token is None:
     tokenizer.pad_token = tokenizer.eos_token
 
+# 🛠 تحميل الموديل مع تفعيل تحسينات الـ CPU
 model = AutoModelForCausalLM.from_pretrained(
     model_path,
-    device_map="cpu",
-    torch_dtype=torch.float32,
+    torch_dtype=torch.float32, # منخليه float32 عشان الـ Quantization يشتغل صح
     low_cpu_mem_usage=True
 )
 
+# 🔥 السر الجوهري: تحويل الموديل لنسخة سريعة جداً للـ CPU
+model = torch.quantization.quantize_dynamic(
+    model, {torch.nn.Linear}, dtype=torch.qint8
+)
+
 def chat_onyx(message, history):
+    # 🧠 تقليص الذاكرة: آخر 5 رسايل بس عشان ما يتقل الـ Prompt
+    recent_history = history[-5:] if len(history) > 5 else history
+    
     prompt = ""
-    for user_msg, assistant_msg in history:
+    for user_msg, assistant_msg in recent_history:
         prompt += f"User: {user_msg}\nAssistant: {assistant_msg}\n"
     prompt += f"User: {message}\nAssistant:"
 
-    inputs = tokenizer(prompt, return_tensors="pt").to("cpu")
+    inputs = tokenizer(prompt, return_tensors="pt")
     
     streamer = TextIteratorStreamer(
         tokenizer,
@@ -51,11 +47,12 @@ def chat_onyx(message, history):
     generation_kwargs = dict(
         **inputs,
         streamer=streamer,
-        max_new_tokens=150,
+        max_new_tokens=100, # تقليل العدد لزيادة سرعة الاستجابة اللحظية
         do_sample=True,
-        top_k=50,
-        top_p=0.95,
-        temperature=0.7,
+        top_k=40,
+        top_p=0.9,
+        temperature=0.6, # تقليل الحرارة بيعطي إجابات أسرع وأدق
+        use_cache=True,  # 👈 ضروري جداً للستريمينغ
         pad_token_id=tokenizer.eos_token_id
     )
 
@@ -67,10 +64,9 @@ def chat_onyx(message, history):
         partial += new_text
         yield partial
 
-# واجهة Gradio الاحترافية
+# واجهة Gradio
 with gr.Blocks(theme=gr.themes.Soft()) as demo:
-    gr.Markdown("# 💎 ONYX AI - GPT2 Large Mode")
-    gr.Markdown(f"**Eng. Rawan**, ONYX is initializing via Kaggle API Token.")
+    gr.Markdown("# 💎 ONYX AI - Turbo Mode")
     gr.ChatInterface(fn=chat_onyx)
 
 if __name__ == "__main__":