Update app.py

app.py

@@ -1,84 +1,57 @@
-import os
-import torch
+import os  # [تعديل] استيراد مكتبة os لقراءة التوكن بأمان من إعدادات السبيس
+import spaces  
 import gradio as gr
-import kagglehub
-import ctranslate2
-import transformers
-from threading import Thread
-
-# 🚀 الحل الجذري حسب تعليمات كاجل الجديدة
-os.environ["KAGGLE_API_TOKEN"] = "KGAT_e7d58c8edc599a3341c98d2f1295795f"
-
-# 🚀 تسريع CPU لأقصى حد
-torch.set_num_threads(os.cpu_count())
-
-print("--- 📥 Downloading Model from Kaggle ---")
-try:
-    model_path = kagglehub.model_download("ruicompany/onyx-gpt2large/transformers/1gb-stable")
-    print(f"--- ✅ Success! Model Path: {model_path} ---")
-except Exception as e:
-    print(f"--- ❌ Download Failed: {e} ---")
-    model_path = kagglehub.model_download("ruicompany/onyx-gpt2large/transformers/default")
-
-# 🛠 تحويل الموديل لصيغة CTranslate2
-ct2_model_path = "onyx_ct2_model"
-if not os.path.exists(ct2_model_path):
-    print("--- ⚙️ Converting model to CTranslate2 format (int8) ---")
-    converter = ctranslate2.converters.TransformersConverter(model_path)
-    # تحديث الـ compute_type لـ int8 ليتناسب مع الـ CPU ويختفي الـ Warning
-    converter.convert(ct2_model_path, quantization="int8", force=True)
-
-# تحميل الـ Tokenizer والـ Generator
-tokenizer = transformers.AutoTokenizer.from_pretrained(model_path)
-generator = ctranslate2.Generator(ct2_model_path, device="cpu")
-
-def chat_onyx(message, history):
-    # تقليص الذاكرة لسرعة الاستجابة
-    recent_history = history[-3:] if len(history) > 3 else history
-    prompt = ""
-
-    # 🛠 الحل الجذري لتنسيق Gradio الجديد
-    for msg in recent_history:
-        # بالنسخ الجديدة msg بكون قاموس فيه role و content
-        role = msg["role"]
-        content = msg["content"]
-        if role == "user":
-            prompt += f"User: {content}\n"
-        elif role == "assistant":
-            prompt += f"Assistant: {content}\n"
-    
-    prompt += f"User: {message}\nAssistant:"
+from transformers import AutoModelForCausalLM, AutoTokenizer
+from transformers import TextIteratorStreamer  
+from threading import Thread  
+import torch
 
-    # تحويل النص لـ Tokens
-    tokens = tokenizer.convert_ids_to_tokens(tokenizer.encode(prompt))
-    
-    # الـ Streaming باستخدام CTranslate2 مع ضبط التكرار
-    step_results = generator.generate_tokens(
-        tokens,
-        max_length=100,
-        sampling_topk=20,
-        sampling_temperature=0.7,
-        repetition_penalty=1.2, # لمنع تكرار الكلام
-        end_token=tokenizer.eos_token
+model_id = "google/gemma-4-E2B-it"
+print("Loading model natively...")
+
+# [تعديل] قراءة التوكن بأمان من متغيرات البيئة بدل كتابته بالمكشوف
+hf_token = os.getenv("HF_TOKEN")
+
+tokenizer = AutoTokenizer.from_pretrained(model_id, token=hf_token)
+model = AutoModelForCausalLM.from_pretrained(
+    model_id,
+    torch_dtype=torch.bfloat16,  
+    device_map="auto",
+    token=hf_token  # [تعديل] تمرير التوكن بأمان عند تحميل الموديل
+)
+
+@spaces.GPU  
+def predict(message, history):
+    messages = [{"role": "user", "content": message}]
+    text = tokenizer.apply_chat_template(
+        messages,
+        tokenize=False,
+        add_generation_prompt=True
     )
-
-    partial_text = ""
-    for result in step_results:
-        word = tokenizer.decode([result.token_id])
-        
-        # فحص لمنع الموديل من تخيل حوار كامل (Stopping Criteria)
-        if "User:" in word or "Assistant:" in word or "\n" in word:
-            break
-            
-        partial_text += word
-        yield partial_text.strip()
-
-# واجهة Gradio
-with gr.Blocks() as demo: # شلنا الثيم من هون لتجنب التنبيه
-    gr.Markdown("# 💎 ONYX AI - Turbo CTranslate2 Mode")
-    gr.Markdown(f"**Eng. Rawan**, ONYX is now optimized and stable.")
-    gr.ChatInterface(fn=chat_onyx)
+    model_inputs = tokenizer([text], return_tensors="pt").to(model.device)                
+    streamer = TextIteratorStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)
+    generation_kwargs = dict(
+        **model_inputs,
+        max_new_tokens=256,
+        streamer=streamer
+    )        
+    thread = Thread(target=model.generate, kwargs=generation_kwargs)
+    thread.start()        
+    partial_message = ""
+    for new_text in streamer:
+        partial_message += new_text                
+        display_message = partial_message
+        if "assistantfinal" in display_message:
+            display_message = display_message.split("assistantfinal")[-1].strip()
+        elif "assistant" in display_message:
+            display_message = display_message.split("assistant")[-1].strip()                    
+        yield display_message
+
+demo = gr.ChatInterface(
+    fn=predict,     
+    title="GPT-OSS Chatbot",
+    description="واجهة دردشة سريعة باستخدام موديل gpt-oss-20b مع دعم ZeroGPU.",
+    textbox=gr.Textbox(placeholder="اكتب رسالتك هون...", container=False, scale=7))
 
 if __name__ == "__main__":
-    # نقلنا الثيم لهون حسب تعليمات Gradio 6.0
-    demo.launch(theme=gr.themes.Soft())
+    demo.launch()