updatE

app.py

@@ -27,12 +27,12 @@ tokenizer = AutoTokenizer.from_pretrained(
 
 model = AutoModelForCausalLM.from_pretrained(
     model_path,
-    device_map="auto",
+    device_map=None,  # إزالة device_map لتجنب مشاكل مع past_key_values
     trust_remote_code=True,
     token=hf_token,
     torch_dtype=torch.float16 if device == "cuda" else torch.float32,
     low_cpu_mem_usage=True
-)
+).to(device)  # نقل المودل إلى الجهاز المحدد
 print("تم تحميل المودل بنجاح!")
 
 if tokenizer.pad_token is None:
@@ -46,6 +46,7 @@ def get_response(text, tokenizer=tokenizer, model=model):
     generate_ids = model.generate(
         input_ids,
         attention_mask=attention_mask,
+        past_key_values=None,  # إضافة past_key_values صراحة لتجنب الأخطاء
         top_p=0.8,
         temperature=0.2,
         max_length=input_len + 256,  # Limit response length to prevent multiple responses