Update app.py

app.py

@@ -1,80 +1,45 @@
 import gradio as gr
 from transformers import AutoModelForCausalLM, AutoTokenizer
-from huggingface_hub import login
 import torch
-import os  
+import os
 
-# 🔹 الحصول على التوكن من Secrets
-hf_token = os.getenv("HF_TOKEN")
-
-# 🔹 تسجيل الدخول إلى Hugging Face
-if hf_token:
-    login(token=hf_token)
-else:
-    raise ValueError("Hugging Face token is missing. Please check your secrets.")
-
-# 🔹 استخدام نموذج TinyLlama الأخف
-model_name = "TinyLlama/TinyLlama-1.1B-Chat-v1.0"
-
-# 🔹 تحديد الجهاز المناسب (GPU أو CPU)
+# 🔥 تحديد الجهاز المناسب
 device = "cuda" if torch.cuda.is_available() else "cpu"
 
-# 🔹 تحميل النموذج والمحول مع تحسين الأداء
+# 🔥 تحميل الموديل بطريقة أسرع
+model_name = "TinyLlama/TinyLlama-1.1B-Chat-v1.0"
 model = AutoModelForCausalLM.from_pretrained(
     model_name,
     torch_dtype=torch.float16 if torch.cuda.is_available() else torch.float32,
-    device_map="cuda" if torch.cuda.is_available() else "cpu",
+    device_map="auto",
     trust_remote_code=True
-).eval()  # 🔥 تحسين السرعة بتعطيل التدريب
+).eval()
 
 tokenizer = AutoTokenizer.from_pretrained(model_name)
-
-# 🔹 حل مشكلة الـ padding
 tokenizer.pad_token = tokenizer.eos_token  
 
-# 🔹 ردود مخصصة (Instant Responses)
-custom_responses = {
-    "ما هو هدفك؟": "هدفي هو تقديم المساعدة والإجابة على أسئلتك بأفضل طريقة ممكنة.",
-    "who created you?": "I was created by George.",
-    "who programmed you?": "My programmer is George.",
-    "what is your name": "I am Octagon 2.0.",
-    "do you have an owner?": "I am owned by George.",
-    "what is your purpose": "My purpose is to assist and answer questions in the best way.",
-    "介绍你自己": "我是 Octagon 2.0。",
-    "你是谁创造的？": "我是由 George 创造的。",
-    "你的编程者是谁？": "我的编程者是 George。",
-}
-
-# 🔹 دالة الدردشة السريعة
+# 🔥 إعدادات أسرع للتوليد
 def chatbot(user_input):
     if not user_input.strip():
         return "Please enter a message."
 
-    user_input = user_input.lower()
-
-    # التحقق من الردود المخصصة أولاً
-    for question, answer in custom_responses.items():
-        if question in user_input:
-            return answer
-
-    # 🔥 تحسين الأداء باستخدام المعلمات التالية:
-    inputs = tokenizer(user_input, return_tensors="pt", padding=True, truncation=True).to(device)
+    inputs = tokenizer(user_input, return_tensors="pt").to(device)
 
-    with torch.no_grad():  # تحسين السرعة
+    with torch.no_grad():
         output = model.generate(
             **inputs,
-            max_length=50,          # 🔹 تقليل الطول الأقصى لتسريع الاستجابة
-            temperature=0.7,        # 🔹 ضبط الحرارة لجعل الردود أسرع وأفضل
-            top_p=0.9,              # 🔹 تقليل الاحتمالات غير المفيدة
-            do_sample=True,         # 🔹 السماح بالتوليد العشوائي لتجنب التكرار
-            early_stopping=True,    # 🔹 إنهاء التوليد عندما يكون كافيًا
+            max_length=50,  # 🟢 تقليل الطول لتسريع التوليد
+            temperature=0.6,  # 🟢 تقليل العشوائية
+            top_p=0.8,  # 🟢 اختيار الكلمات الأكثر احتمالية
+            do_sample=True,
+            early_stopping=True,
+            num_return_sequences=1,
             pad_token_id=tokenizer.eos_token_id
         )
 
     response = tokenizer.decode(output[0], skip_special_tokens=True)
-    
     return response
 
-# 🔹 تشغيل الواجهة مع Gradio
+# 🔥 تشغيل الواجهة
 iface = gr.Interface(fn=chatbot, inputs="text", outputs="text", title="Octagon 2.0 Chatbot")
 iface.launch(share=True)