Update app.py

app.py

@@ -1,4 +1,4 @@
-import os
+mport os
 import torch
 import io
 from fastapi import FastAPI, File, UploadFile
@@ -7,31 +7,41 @@ from ultralytics import YOLO
 from PIL import Image
 import uvicorn
 
-app = FastAPI(title="YOLO + GIT Large: Visual Analysis (Color & Shape)")
+# --- 1. إعداد التطبيق والموديلات ---
+app = FastAPI(title="YOLO + GIT Large: Final Visual Description API")
 
 device = "cuda" if torch.cuda.is_available() else "cpu"
 MY_MODEL_PATH = 'best.pt'
 
-# تحميل الموديلات
+print(f"🔄 جاري التحميل على جهاز: {device}...")
+
+# تحميل YOLO الخاص بكِ
 try:
     detection_model = YOLO(MY_MODEL_PATH)
-    print("✅ YOLO Model Loaded")
-except:
+    print("✅ YOLO Model: Loaded successfully")
+except Exception as e:
+    print(f"⚠️ YOLO Warning: Using default yolov8n.pt - {e}")
     detection_model = YOLO("yolov8n.pt")
-    print("⚠️ Using Default YOLOv8n")
 
-processor = AutoProcessor.from_pretrained("microsoft/git-large")
-caption_model = AutoModelForCausalLM.from_pretrained("microsoft/git-large").to(device)
+# تحميل موديل الوصف GIT-Large
+model_name = "microsoft/git-large"
+processor = AutoProcessor.from_pretrained(model_name)
+caption_model = AutoModelForCausalLM.from_pretrained(model_name).to(device)
+print(f"✅ Caption Model: {model_name} Loaded")
 
 @app.get("/")
 def home():
-    return {"message": "Server is running. Use /docs to test /analyze endpoint."}
+    return {"status": "Online", "instruction": "Use /docs to test the /analyze endpoint"}
+
+# --- 2. وظيفة المعالجة والتحليل ---
 
 @app.post("/analyze")
 async def analyze_image(file: UploadFile = File(...)):
+    # قراءة الصورة
     data = await file.read()
     original_image = Image.open(io.BytesIO(data)).convert("RGB")
 
+    # كشف الأجسام باستخدام YOLO
     results = detection_model(original_image, conf=0.25)
     integrated_results = []
 
@@ -40,46 +50,53 @@ async def analyze_image(file: UploadFile = File(...)):
             label = r.names[int(box.cls)]
             coords = box.xyxy[0].tolist() 
 
-            # قص العنصر مع هامش (Padding) 15 بكسل لرؤية الزوايا والأطراف بدقة
-            pad = 15
-            cropped_img = original_image.crop((
-                max(0, coords[0]-pad), max(0, coords[1]-pad), 
-                min(original_image.width, coords[2]+pad), min(original_image.height, coords[3]+pad)
-            ))
-
-            # --- التعديل هنا: برومبت يركز على الصفات البصرية ---
-            # بدأنا الجملة بصفات "اللون والشكل" ليقوم الموديل بإكمال الوصف
-            prompt = f"a photo of a {label}. the specific color and shape of this {label} are"
+            # قص العنصر مع هامش (Padding) 20 بكسل لرؤية الشكل واللون بوضوح
+            pad = 20
+            left = max(0, coords[0] - pad)
+            top = max(0, coords[1] - pad)
+            right = min(original_image.width, coords[2] + pad)
+            bottom = min(original_image.height, coords[3] + pad)
             
-            inputs = processor(images=cropped_img, text=prompt, return_tensors="pt").to(device)
+            cropped_img = original_image.crop((left, top, right, bottom))
+
+            # --- استراتيجية الوصف الحر (بدون برومبت نصي مقيد) ---
+            # نترك الموديل يحلل الصورة بصرياً فقط
+            inputs = processor(images=cropped_img, return_tensors="pt").to(device)
             
             generated_ids = caption_model.generate(
                 pixel_values=inputs.pixel_values,
-                input_ids=inputs.input_ids,
-                max_new_tokens=40,    # عدد كلمات كافٍ للوصف
-                num_beams=5,
-                repetition_penalty=1.3,
-                do_sample=False      # نستخدم Beam Search هنا لدقة أعلى في الألوان
+                max_length=60,       # طول كافٍ لوصف اللون والشكل
+                min_length=12,       # إجبار الموديل على التفصيل وعدم الاختصار
+                num_beams=5,         # جودة عالية في اختيار الكلمات
+                repetition_penalty=1.5,
+                early_stopping=True
             )
             
-            full_desc = processor.batch_decode(generated_ids, skip_special_tokens=True)[0]
-            
-            # تنظيف النتيجة لاستخراج الوصف فقط بعد البرومبت
-            if prompt in full_desc:
-                visual_details = full_desc.split(prompt)[-1].strip()
-            else:
-                visual_details = full_desc.replace(f"a photo of a {label}", "").strip()
+            # فك التشفير للوصف الناتج
+            description = processor.batch_decode(generated_ids, skip_special_tokens=True)[0]
 
             integrated_results.append({
                 "object_id": i + 1,
                 "label": label,
-                "visual_description": f"The {label} has {visual_details}"
+                "confidence": f"{float(box.conf[0]):.2f}",
+                "visual_description": f"Detected {label}: {description.strip()}"
             })
 
+    # في حال لم يتم كشف أي شيء
     if not integrated_results:
-        return {"message": "No objects detected."}
+        inputs = processor(images=original_image, return_tensors="pt").to(device)
+        out = caption_model.generate(pixel_values=inputs.pixel_values, max_length=50)
+        general_desc = processor.batch_decode(out, skip_special_tokens=True)[0]
+        return {
+            "message": "No specific objects detected by YOLO.",
+            "general_scene_description": general_desc
+        }
 
-    return {"results": integrated_results}
+    return {
+        "detected_count": len(integrated_results),
+        "results": integrated_results
+    }
 
+# --- 3. تشغيل السيرفر ---
 if __name__ == "__main__":
-    uvicorn.run(app, host="0.0.0.0", port=7860)
+    uvicorn.run(app, host="0.0.0.0", port=7860)