Upload app.py

app.py

@@ -0,0 +1,153 @@
+import gradio as gr
+import tempfile
+import cv2
+import json
+
+class PrivacyProtector:
+    def __init__(self, moondream_api_key, deepseek_api_key):
+        # Moondream初期化
+        self.moon_model = md.vl(api_key=moondream_api_key)
+        
+        # DeepSeekクライアント初期化
+        self.deepseek_client = OpenAI(
+            api_key=deepseek_api_key,
+            base_url="https://api.deepseek.com"
+        )
+    
+    def analyze_risk(self, image_path):
+        """画像のリスク分析を行う"""
+        # 画像読み込みとエンコード
+        pil_image = Image.open(image_path)
+        cv_image = cv2.imread(image_path)
+        encoded_image = self.moon_model.encode_image(pil_image)
+        
+        # 画像キャプション生成
+        caption = self.moon_model.caption(encoded_image)["caption"]
+        print(caption)
+        # リスク分析プロンプト
+        analysis_prompt = f"""
+        以下の画像説明を基に個人情報漏洩リスクを分析し、厳密にJSON形式で返答してください：
+        {{
+            "risk_level": "high|medium|low",
+            "risk_reason": "リスクの具体的理由",
+            "objects_to_remove": ["消去すべきオブジェクトリスト"]
+        }}
+        
+        画像説明: {caption}
+        """
+        
+        # DeepSeek API呼び出し
+        response = self.deepseek_client.chat.completions.create(
+            model="deepseek-chat",
+            messages=[
+                {"role": "system", "content": "あなたは優秀なセキュリティ分析AIです。"},
+                {"role": "user", "content": analysis_prompt}
+            ],
+            temperature=0.3,
+            response_format={"type": "json_object"}
+        )
+        
+        # 結果パース
+        result = json.loads(response.choices[0].message.content)
+        return pil_image, cv_image, result
+    
+    def remove_objects(self, pil_image, cv_image, objects_to_remove):
+        """オブジェクト検出と消去処理"""
+        # マスク作成
+        mask = np.zeros(cv_image.shape[:2], dtype=np.uint8)
+        h, w = cv_image.shape[:2]
+        
+        for obj_name in objects_to_remove:
+            # オブジェクト検出
+            detection = self.moon_model.detect(pil_image, obj_name)
+            print(detection)
+            for obj in detection["objects"]:
+                # 正規化座標→絶対座標変換
+                x_min = int(obj['x_min'] * w)
+                y_min = int(obj['y_min'] * h)
+                x_max = int(obj['x_max'] * w)
+                y_max = int(obj['y_max'] * h)
+                
+                # マスク領域を矩形で追加
+                cv2.rectangle(mask, (x_min, y_min), (x_max, y_max), 255, -1)
+        
+        # インペイント処理
+        inpainted = cv2.inpaint(cv_image, mask, 3, cv2.INPAINT_TELEA)
+        return inpainted
+    
+    def process_image(self, image_path, output_path):
+        """画像処理フロー全体"""
+        pil_img, cv_img, result = self.analyze_risk(image_path)
+        print(f"リスクレベル: {result['risk_level']}")
+        print(f"理由: {result['risk_reason']}")
+        
+        if result['risk_level'] != 'low':
+            print( result['objects_to_remove'])
+            cleaned = self.remove_objects(pil_img, cv_img, result['objects_to_remove'])
+            cv2.imwrite(output_path, cleaned)
+            print(f"処理済み画像を保存: {output_path}")
+            return True
+        print("リスク対象なし")
+        return False
+
+def gradio_process(input_image):
+    with tempfile.NamedTemporaryFile(suffix=".jpg") as tmp_file:
+        input_path = tmp_file.name
+        output_path = "/content/output.jpg"
+        
+        cv2.imwrite(input_path, cv2.cvtColor(input_image, cv2.COLOR_RGB2BGR))
+        
+        protector = PrivacyProtector(
+            moondream_api_key="eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJrZXlfaWQiOiI4NmI0NTUxMi01NWZlLTQ0YzItYTA2Ni1hMTE1NDBlM2EzZTMiLCJpYXQiOjE3Mzc4NTMzMzJ9.8dc3xo_z7nYApJwaOCI2ayYX9pTKpo8QHkoH96ykEcg",
+            deepseek_api_key="sk-61418a466189492c916ec7bcc873b142"
+        )
+        
+        
+        # 分析結果を含めて取得
+        pil_img, cv_img, result = protector.analyze_risk(input_path)
+        processed = protector.process_image(input_path, output_path)
+        
+        # 出力画像
+        output = cv2.cvtColor(cv2.imread(output_path), cv2.COLOR_BGR2RGB) if processed else None
+        
+        # 表示用情報の整形
+        info_html = f"""
+        <div style="padding:20px; background:#f0f0f0; border-radius:10px;">
+            <h3>分析結果</h3>
+            <p><strong>生成キャプション:</strong> {result.get('caption', '')}</p>
+            <p><strong>リスクレベル:</strong> <span style="color:{'red' if result['risk_level'] == 'high' else 'orange' if result['risk_level'] == 'medium' else 'green'}">{result['risk_level'].upper()}</span></p>
+            <p><strong>理由:</strong> {result['risk_reason']}</p>
+            <p><strong>消去対象:</strong> {', '.join(result['objects_to_remove'])}</p>
+        </div>
+        """
+        
+        return input_image, output, info_html
+
+with gr.Blocks(theme=gr.themes.Soft()) as demo:
+    gr.Markdown("# 🛡️ プライバシー保護画像処理ツール")
+    
+    with gr.Row():
+        with gr.Column(scale=2):
+            input_img = gr.Image(label="入力画像", type="numpy")
+            submit_btn = gr.Button("画像を分析・処理", variant="primary")
+        
+        with gr.Column(scale=2):
+            output_img = gr.Image(label="処理後の画像")
+            info_output = gr.HTML(label="分析結果")
+    
+    with gr.Accordion("処理の詳細", open=False):
+        gr.Markdown("""
+        **処理フロー:**  
+        1. 画像キャプション生成 (Moondream)  
+        2. リスク分析 (DeepSeek)  
+        3. オブジェクト検出・消去 (Moondream + OpenCV)  
+        """)
+    
+    submit_btn.click(
+        fn=gradio_process,
+        inputs=input_img,
+        outputs=[input_img, output_img, info_output]
+    )
+
+if __name__ == "__main__":
+    demo.launch()