app.py

import gradio as gr
from transformers import AutoImageProcessor, AutoModelForImageSegmentation
from PIL import Image
import torch
import matplotlib.pyplot as plt
import numpy as np

# 1️⃣ โหลดโมเดล pre-trained จาก Hugging Face
model_name = "MLforHealthcare/sam2rad"  # MedSAM2
processor = AutoImageProcessor.from_pretrained(model_name)
model = AutoModelForImageSegmentation.from_pretrained(model_name)

# 2️⃣ dictionary คำอธิบายอวัยวะ 50 ชิ้น
organ_desc = {
    0: "สมอง 🧠: ควบคุมการทำงานของร่างกาย",
    1: "หัวใจ ❤️: สูบฉีดเลือด",
    2: "ปอด 💨: แลกเปลี่ยนก๊าซ",
    3: "ตับ 🍵: กำจัดสารพิษ",
    4: "ไต 💧: กรองของเสียในเลือด",
    5: "กระเพาะอาหาร 🥘: ย่อยอาหาร",
    6: "ลำไส้เล็ก 🌾: ดูดซึมอาหาร",
    7: "ลำไส้ใหญ่ 🌽: ดูดซึมและขับถ่าย",
    8: "ตับอ่อน 🍭: สร้างอินซูลิน",
    9: "กระเพาะปัสสาวะ 💦: เก็บปัสสาวะ",
    10: "ม้าม 🔴: กรองเลือดและระบบภูมิคุ้มกัน",
    11: "หลอดเลือดแดงใหญ่ 🔴: นำเลือดจากหัวใจไปยังร่างกาย",
    12: "หลอดเลือดดำใหญ่ 🔵: นำเลือดกลับสู่หัวใจ",
    13: "กระดูกสันหลัง 🦴: รองรับร่างกายและปกป้องไขสันหลัง",
    14: "กล้ามเนื้อแขน 💪: ขยับแขน",
    15: "กล้ามเนื้อขา 🦵: ขยับขาและเดิน",
    16: "ผิวหนัง 🩸: ปกป้องร่างกาย",
    17: "ลูกตา 👁️: รับภาพ",
    18: "หู 👂: ได้ยินและรักษาสมดุล",
    19: "จมูก 👃: ดมกลิ่น",
    20: "ลิ้น 👅: ชิมอาหาร",
    21: "ฟัน 🦷: เคี้ยวอาหาร",
    22: "หูชั้นกลาง 🔊: นำเสียงเข้าโสตประสาท",
    23: "กล่องเสียง 🗣️: สร้างเสียงพูด",
    24: "หลอดลม 🌬️: นำอากาศเข้าสู่ปอด",
    25: "หลอดอาหาร 🍴: นำอาหารสู่กระเพาะ",
    26: "ไส้เลื่อน/เนื้อเยื่อใต้ผิว 🔹: ปกป้องอวัยวะภายใน",
    27: "ต่อมไทรอยด์ 🦋: ควบคุมเมตาบอลิซึม",
    28: "ต่อมหมวกไต 🏔️: ผลิตฮอร์โมน",
    29: "อัณฑะ/รังไข่ 🔵: สร้างเซลล์สืบพันธุ์",
    30: "มดลูก/อวัยวะสืบพันธุ์หญิง 🌸: ตั้งครรภ์",
    31: "หลอดน้ำเหลือง 💛: ระบบภูมิคุ้มกัน",
    32: "ต่อมน้ำเหลือง 💚: กรองเชื้อโรค",
    33: "กระดูกเชิงกราน 🦴: รองรับอวัยวะภายใน",
    34: "หัวเข่า 🦵: ขยับขา",
    35: "ข้อศอก 💪: ขยับแขน",
    36: "ไส้ติ่ง 🔺: อวัยวะเสริมย่อยอาหาร",
    37: "เนื้อเยื่อไขมัน 🟡: เก็บพลังงาน",
    38: "กล้ามเนื้อหน้าอก 💪: ช่วยหายใจและขยับแขน",
    39: "กระดูกหน้าอก 🦴: ปกป้องหัวใจและปอด",
    40: "ขากรรไกร 👄: เคี้ยวอาหาร",
    41: "หลอดเลือดฝอย 🔴🔵: แลกเปลี่ยนสารอาหารและออกซิเจน",
    42: "กระดูกสันคอ 🦴: ปกป้องไขสันหลังส่วนคอ",
    43: "เส้นประสาท 🧬: ส่งสัญญาณร่างกาย",
    44: "เส้นเอ็น/เอ็นกล้ามเนื้อ 🔗: เชื่อมกล้ามเนื้อกับกระดูก",
    45: "กล้ามเนื้อหน้าท้อง 💪: รองรับอวัยวะภายใน",
    46: "ผนังช่องท้อง 🩻: ปกป้องอวัยวะในช่องท้อง",
    47: "ต่อมน้ำลาย 🟤: ผลิตน้ำลาย",
    48: "ต่อมน้ำนม 🍼: สร้างน้ำนม (หญิง)",
    49: "สมองน้อย 🧠: ควบคุมการทรงตัวและการเคลื่อนไหว"
}

# 3️⃣ ฟังก์ชันตรวจจับอวัยวะ
def detect_organs(img):
    inputs = processor(images=img, return_tensors="pt")
    with torch.no_grad():
        outputs = model(**inputs)
    seg_map = outputs.logits.argmax(dim=1).squeeze().cpu().numpy()
    
    # วาด overlay
    plt.figure(figsize=(6,6))
    plt.imshow(img)
    plt.imshow(seg_map, alpha=0.5, cmap='jet')
    plt.axis('off')
    plt.tight_layout()
    plt.savefig("segmented.png", bbox_inches='tight', pad_inches=0)
    segmented_img = Image.open("segmented.png")
    
    # ดึงคำอธิบายอวัยวะที่พบ
    detected_organs = np.unique(seg_map)
    descriptions = [organ_desc.get(int(o), f"อวัยวะ {int(o)}") for o in detected_organs]
    
    return segmented_img, "\n".join(descriptions)

# 4️⃣ สร้าง Gradio Interface
iface = gr.Interface(
    fn=detect_organs,
    inputs=gr.Image(type="pil"),
    outputs=[gr.Image(type="pil"), gr.Textbox()],
    title="ตรวจจับอวัยวะ 50 ชิ้นด้วย MedSAM2",
    description="อัปโหลดภาพ → AI ตรวจจับอวัยวะ → วาดกรอบ → แสดงคำอธิบาย"
)

iface.launch()