Update app.py

app.py

@@ -2,71 +2,66 @@ import os
 import torch
 import gradio as gr
 import kagglehub
+import ctranslate2
+import transformers
 from threading import Thread
-from transformers import AutoModelForCausalLM, AutoTokenizer, TextIteratorStreamer
 
-# 🚀 تسريع المعالجة
-torch.set_num_threads(os.cpu_count())
+# 🚀 الحل الجذري حسب تعليمات كاجل الجديدة
+os.environ["KAGGLE_API_TOKEN"] = "KGAT_e7d58c8edc599a3341c98d2f1295795f"
 
-print("--- 📥 Downloading Model ---")
-model_path = kagglehub.model_download("ruicompany/onyx-gpt2large/transformers/1gb-stable")
+# 🚀 تسريع CPU لأقصى حد
+torch.set_num_threads(os.cpu_count())
 
-tokenizer = AutoTokenizer.from_pretrained(model_path)
-if tokenizer.pad_token is None:
-    tokenizer.pad_token = tokenizer.eos_token
+print("--- 📥 Downloading Model from Kaggle ---")
+try:
+    model_path = kagglehub.model_download("ruicompany/onyx-gpt2large/transformers/1gb-stable")
+    print(f"--- ✅ Success! Model Path: {model_path} ---")
+except Exception as e:
+    print(f"--- ❌ Download Failed: {e} ---")
+    model_path = kagglehub.model_download("ruicompany/onyx-gpt2large/transformers/default")
 
-# 🛠 تحميل الموديل مع تفعيل تحسينات الـ CPU
-model = AutoModelForCausalLM.from_pretrained(
-    model_path,
-    torch_dtype=torch.float32, # منخليه float32 عشان الـ Quantization يشتغل صح
-    low_cpu_mem_usage=True
-)
+# 🛠 تحويل الموديل لصيغة CTranslate2 (تنفذ مرة واحدة عند التشغيل)
+ct2_model_path = "onyx_ct2_model"
+if not os.path.exists(ct2_model_path):
+    print("--- ⚙️ Converting model to CTranslate2 format (int8) ---")
+    converter = ctranslate2.converters.TransformersConverter(model_path)
+    converter.convert(ct2_model_path, quantization="int8", force=True)
 
-# 🔥 السر الجوهري: تحويل الموديل لنسخة سريعة جداً للـ CPU
-model = torch.quantization.quantize_dynamic(
-    model, {torch.nn.Linear}, dtype=torch.qint8
-)
+# تحميل الـ Tokenizer والـ Generator
+tokenizer = transformers.AutoTokenizer.from_pretrained(model_path)
+generator = ctranslate2.Generator(ct2_model_path, device="cpu")
 
 def chat_onyx(message, history):
-    # 🧠 تقليص الذاكرة: آخر 5 رسايل بس عشان ما يتقل الـ Prompt
-    recent_history = history[-5:] if len(history) > 5 else history
-    
+    # بناء الـ Prompt مع تقليص الذاكرة لسرعة الاستجابة
+    recent_history = history[-3:] if len(history) > 3 else history
     prompt = ""
     for user_msg, assistant_msg in recent_history:
         prompt += f"User: {user_msg}\nAssistant: {assistant_msg}\n"
     prompt += f"User: {message}\nAssistant:"
 
-    inputs = tokenizer(prompt, return_tensors="pt")
+    # تحويل النص لـ Tokens
+    tokens = tokenizer.convert_ids_to_tokens(tokenizer.encode(prompt))
     
-    streamer = TextIteratorStreamer(
-        tokenizer,
-        skip_prompt=True,
-        skip_special_tokens=True
+    # الـ Streaming باستخدام Generator الخاص بـ CTranslate2
+    step_results = generator.generate_tokens(
+        tokens,
+        max_length=150,
+        sampling_topk=40,
+        sampling_temperature=0.7,
+        end_token=tokenizer.eos_token,
+        include_prompt_in_result=False
     )
 
-    generation_kwargs = dict(
-        **inputs,
-        streamer=streamer,
-        max_new_tokens=100, # تقليل العدد لزيادة سرعة الاستجابة اللحظية
-        do_sample=True,
-        top_k=40,
-        top_p=0.9,
-        temperature=0.6, # تقليل الحرارة بيعطي إجابات أسرع وأدق
-        use_cache=True,  # 👈 ضروري جداً للستريمينغ
-        pad_token_id=tokenizer.eos_token_id
-    )
-
-    thread = Thread(target=model.generate, kwargs=generation_kwargs)
-    thread.start()
-
-    partial = ""
-    for new_text in streamer:
-        partial += new_text
-        yield partial
+    partial_text = ""
+    for result in step_results:
+        word = tokenizer.decode([result.token_id])
+        partial_text += word
+        yield partial_text
 
-# واجهة Gradio
+# واجهة Gradio الاحترافية
 with gr.Blocks(theme=gr.themes.Soft()) as demo:
-    gr.Markdown("# 💎 ONYX AI - Turbo Mode")
+    gr.Markdown("# 💎 ONYX AI - Turbo CTranslate2 Mode")
+    gr.Markdown(f"**Eng. Rawan**, ONYX is now optimized with CTranslate2 & INT8 Quantization.")
     gr.ChatInterface(fn=chat_onyx)
 
 if __name__ == "__main__":