Update app.py

app.py

@@ -5,15 +5,24 @@ import gradio as gr
 # اسم مستودع الموديل متاعك
 model_name = "Dav66/Te"
 
-# تحميل التوكنيزر والموديل
+# تحميل التوكنيزر
 tokenizer = AutoTokenizer.from_pretrained(model_name)
-model = AutoModelForCausalLM.from_pretrained(model_name)
 
+# تحميل الموديل مع تفعيل offloading على القرص وتحديد نوع البيانات
+model = AutoModelForCausalLM.from_pretrained(
+    model_name,
+    device_map="auto",               # توزيع تلقائي على CPU
+    offload_folder="./offload",     # مجلد لتخزين الأجزاء المؤقتة
+    torch_dtype=torch.float16       # تقليل حجم الأوزان
+)
+
+# دالة التوليد (باستهلاك ذاكرة منخفض)
 def generate_text(prompt):
-    inputs = tokenizer(prompt, return_tensors="pt")
-    outputs = model.generate(**inputs, max_length=100)
-    text = tokenizer.decode(outputs[0], skip_special_tokens=True)
-    return text
+    with torch.no_grad():  # تقليل استهلاك الذاكرة
+        inputs = tokenizer(prompt, return_tensors="pt")
+        outputs = model.generate(**inputs, max_new_tokens=50)  # توليد قصير نسبياً
+        text = tokenizer.decode(outputs[0], skip_special_tokens=True)
+        return text
 
 # واجهة Gradio
 iface = gr.Interface(
@@ -21,7 +30,7 @@ iface = gr.Interface(
     inputs=gr.Textbox(lines=2, placeholder="اكتب هنا النص..."),
     outputs="text",
     title="توليد نص بالعربي",
-    description="تطبيق بسيط يعرض موديلك على Hugging Face Space"
+    description="تطبيق بسيط يعرض موديلك على Hugging Face Space بكفاءة على CPU"
 )
 
 iface.launch()