Update app.py

app.py

@@ -1,37 +1,275 @@
-import requests
+# coding: utf-8
+import gradio as gr
+from PIL import Image, ImageDraw, ImageFont
+import numpy as np
+import io
 import base64
+import zipfile
 import json
-import os
+import time
+import asyncio # asyncioをインポートしてfetchを非同期処理で代替する準備 (HuggingFace環境でのfetchはPythonの外部ライブラリが必要な場合があるため、ここではPythonのrequestsやhttpxの利用を検討すべきですが、構造維持のためasyncioを利用します)
 
-API_KEY = os.getenv("NANO_NABABA_API_KEY")  # Hugging Face Secrets に登録したキー
-API_URL = "https://generativelanguage.googleapis.com/v1beta/models/gemini-1.5-pro:generateContent"
+# --- 定数とAPI設定 (Constants and API Configuration) ---
 
-def generate_completion(image_path, prompt="欠けている部分を補完してください。"):
-    with open(image_path, "rb") as f:
-        image_data = base64.b64encode(f.read()).decode("utf-8")
+# Nano Banana API (gemini-2.5-flash-image-preview) の設定
+# Canvas環境でAPIキーが自動注入されるため、ここでは空の文字列として保持します。
+# 実際には、Hugging Face SpacesのシークレットとしてAPIキーを設定し、os.environから読み込むのが推奨されます。
+API_KEY = "" 
+API_URL = "https://generativelanguage.googleapis.com/v1beta/models/gemini-2.5-flash-image-preview:generateContent?key="
 
-    headers = {
-        "Content-Type": "application/json",
-        "x-goog-api-key": API_KEY
-    }
+# --- ヘルパー関数 (Helper Functions) ---
+
+def pil_to_base64(img: Image.Image) -> str:
+    """PIL画像をBase64エンコードされたPNGデータに変換します。"""
+    buffered = io.BytesIO()
+    # アルファチャンネル(PNG)を維持
+    if img.mode != 'RGBA':
+        img = img.convert('RGBA')
+    img.save(buffered, format="PNG")
+    return base64.b64encode(buffered.getvalue()).decode("utf-8")
 
+async def nano_banana_completion_api(base_image: Image.Image, prompt: str) -> Image.Image:
+    """
+    Nano Banana (gemini-2.5-flash-image-preview) APIを呼び出し、画像補完をシミュレートします。
+    ここでは、実際のAPI呼び出し構造を定義しつつ、画像への「AI補完済み」テキスト描画で処理をモックします。
+    
+    NOTE: 実際のデプロイ環境では、この関数内でPythonの非同期HTTPクライアント(例: httpx)を使用して
+          API_URL + API_KEY への POSTリクエストを実行する必要があります。
+    """
+    
+    # Base64エンコード
+    base64_image = pil_to_base64(base_image)
+    
+    # プロンプトと画像を含むペイロードの構築（Image-to-Image用）
     payload = {
         "contents": [
             {
                 "parts": [
-                    {"text": prompt},
                     {
-                        "inline_data": {
-                            "mime_type": "image/png",
-                            "data": image_data
+                        "text": f"画像を編集・補完してください。この画像はLive2D素材の一部です。マスクされた（透明な）領域にプロンプトに従った内容を生成し、画像を自然に完成させてください。プロンプト: {prompt}"
+                    },
+                    {
+                        "inlineData": {
+                            "mimeType": "image/png",
+                            "data": base64_image
                         }
                     }
                 ]
             }
-        ]
+        ],
+        "generationConfig": {
+            "responseModalities": ["TEXT", "IMAGE"]
+        },
+    }
+
+    print(f"--- API呼び出しペイロードを構築しました。プロンプト: {prompt} ---")
+    
+    # --- 実際のAPI呼び出しのシミュレーションと代替処理 ---
+    
+    # 実際にはここにhttpxなどを使ったAPI呼び出しのロジックが入ります。
+    # API呼び出しには時間がかかるため、gr.sleepの代わりに実際のAPI呼び出し時間が必要です。
+    await asyncio.sleep(4) # 処理時間をシミュレート (gr.sleepをasyncio.sleepに置き換え)
+
+    # 補完処理が成功したと仮定し、モック画像を作成
+    completed_image = base_image.copy()
+    draw = ImageDraw.Draw(completed_image)
+    
+    # 環境依存を避けるため、デフォルトフォントを使用
+    try:
+        font = ImageFont.truetype("arial.ttf", 40)
+    except IOError:
+        font = ImageFont.load_default()
+
+    # 画像の中央に「AI補完済み」のテキストを描画して補完を視覚的にモック
+    text = "AI補完済み (MOCK)"
+    text_color = (255, 0, 0, 200) # 半透明の赤
+    
+    w, h = completed_image.size
+    # ImageDraw.textbbox() を使用してテキストの境界ボックスを取得
+    text_bbox = draw.textbbox((0, 0), text, font=font)
+    tw, th = text_bbox[2] - text_bbox[0], text_bbox[3] - text_bbox[1]
+    
+    draw.text(((w - tw) / 2, (h - th) / 2), text, font=font, fill=text_color)
+    
+    print("--- AI補完処理をモック完了しました ---")
+    return completed_image
+
+
+# --- メイン処理ロジック (Main Processing Logic) ---
+
+async def segment_and_inpaint(original_image: Image.Image, inpaint_prompt: str):
+    """
+    アップロードされた一枚絵を自動分割し、欠損部分をAI補完するメイン関数。
+    """
+    if original_image is None:
+        return None, None, None, "エラー: 画像がアップロードされていません。", None
+
+    # 1. 自動パーツ分割のシミュレーション (Mock Automatic Segmentation)
+    W, H = original_image.size
+    
+    # --- Part A: 髪の毛 (Hair) を分離するマスクを作成 ---
+    hair_mask = Image.new('L', (W, H), 0)
+    draw_mask = ImageDraw.Draw(hair_mask)
+    draw_mask.rectangle([W * 0.1, 0, W * 0.5, H * 0.6], fill=255) 
+    
+    # 髪の毛パーツを作成 (マスク領域のみを抽出)
+    hair_part = Image.new('RGBA', (W, H), (0, 0, 0, 0))
+    hair_part.paste(original_image, (0, 0), hair_mask)
+    
+    # --- Part B: 欠損穴のある体 (Body with Hole) を作成 ---
+    body_with_hole = original_image.copy().convert("RGBA")
+    
+    # body_with_holeからhair_maskの領域を透明にする (ここに補完が必要)
+    body_with_hole_data = body_with_hole.getdata()
+    hair_mask_data = hair_mask.getdata()
+    new_data = []
+    
+    for i in range(len(body_with_hole_data)):
+        r, g, b, a = body_with_hole_data[i]
+        mask_val = hair_mask_data[i]
+        
+        # マスク値が高い（髪の毛領域）であれば、アルファチャンネルを0にする
+        if mask_val > 128:
+            new_data.append((r, g, b, 0))
+        else:
+            new_data.append((r, g, b, a))
+            
+    body_with_hole.putdata(new_data)
+    
+    print("--- 1. 自動パーツ分割 (モック) 完了: 髪の毛パーツと補完が必要な欠損体を作成 ---")
+
+    # 2. 欠損領域のAI補完 (AI Inpainting)
+    final_inpaint_prompt = inpaint_prompt or "マスクされた領域のキャラクターの顔と身体を自然に補完してください。"
+
+    # Nano Banana API (モック)を呼び出し
+    completed_body_part = await nano_banana_completion_api(body_with_hole, final_inpaint_prompt)
+    
+    # 3. 出力ファイルの準備とZIPファイルの作成 (Prepare Output Files and Create ZIP)
+    
+    output_parts = {
+        "body_completed": completed_body_part,
+        "hair_front": hair_part,
+    }
+    
+    # JSON構造の作成
+    output_json = {
+        "parts": {
+            "body_completed": "body_completed.png",
+            "hair_front": "hair_front.png"
+        },
+        "inpaint_prompt_used": final_inpaint_prompt,
+        "timestamp": time.strftime("%Y%m%d_%H%M%S")
     }
+    json_data = json.dumps(output_json, indent=2, ensure_ascii=False)
+    
+    zip_buffer = io.BytesIO()
+    with zipfile.ZipFile(zip_buffer, 'w', zipfile.ZIP_DEFLATED) as zipf:
+        # PNGパーツの追加
+        for name, img in output_parts.items():
+            img_buffer = io.BytesIO()
+            if img.mode != 'RGBA':
+                img = img.convert('RGBA')
+            img.save(img_buffer, format="PNG")
+            zipf.writestr(f"live2d_parts/{name}.png", img_buffer.getvalue())
+        
+        # JSONファイルの追加
+        zipf.writestr("live2d_parts/parts_structure.json", json_data.encode('utf-8'))
+        
+    zip_buffer.seek(0)
+    zip_file_path = f"live2d_parts_{output_json['timestamp']}.zip"
+    
+    # Gradioに出力するためにファイルを一時的に保存
+    with open(zip_file_path, "wb") as f:
+        f.write(zip_buffer.read())
+
+    print(f"--- 4. 全パーツZIPファイル {zip_file_path} の作成完了 ---")
+    
+    return (
+        completed_body_part, # 補完済みメインボディ
+        hair_part,           # 分割された髪の毛
+        body_with_hole,      # 補完前の欠損体 (デバッグ用)
+        json_data,           # JSON構造
+        zip_file_path        # ZIPファイル
+    )
+
+# --- Gradioインターフェース定義 (Gradio Interface Definition) ---
+
+# Gradioテーマ定義
+theme = gr.themes.Soft(
+    primary_hue="blue", 
+    secondary_hue="blue", 
+    neutral_hue="gray",
+).set(
+    button_radius="xl",
+    input_radius="xl",
+)
+
+
+with gr.Blocks(theme=theme, title="Live2D素材自動分割・補完アプリ") as demo:
+    gr.Markdown(
+        """
+        <div style='text-align: center; margin-bottom: 20px; padding: 10px; background: #E0F7FA; border-radius: 12px;'>
+            <h1 style='color: #00796B; font-size: 2.5em; font-weight: 700;'>🎨 Live2D 素材 自動分割・補完アプリ 🤖</h1>
+            <p style='color: #004D40; font-size: 1.1em;'>一枚絵をアップロードするだけで、AIによるパーツ分割と欠損部分の自動補完（Nano Banana API利用）をシミュレートします。</p>
+            <p style='color: #004D40; font-size: 1.0em;'>💡 **Nano Banana (gemini-2.5-flash-image-preview) を使用した画像補完の動作構造を再現しています。**</p>
+        </div>
+        """
+    )
+
+    with gr.Row():
+        with gr.Column(scale=1):
+            # --- 入力エリア ---
+            input_image = gr.Image(type="pil", label="① 一枚絵イラストのアップロード (PNG/JPG)", height=400)
+            inpaint_prompt = gr.Textbox(
+                label="② AI補完プロンプト（オプション）", 
+                value="マスクされた領域のキャラクターの顔と身体の肌、及び下に着ている服を、元のイラストのテイストに合わせて自然に補完してください。",
+                placeholder="例: マスクされた領域を元の絵柄で自然に描き足す"
+            )
+            process_button = gr.Button("③ 自動分割・補完を実行", variant="primary", scale=0)
+            
+            gr.Markdown(
+                """
+                ### 🛠️ 手動再分割機能について
+                このデモでは未実装ですが、本番環境では、アップロード画像に対するキャンバス操作（ブラシや矩形ツール）を通じて、ユーザーが追加でパーツを指定し、再補完を行う機能がコア機能として実装されます。
+                """
+            )
+
+        with gr.Column(scale=2):
+            # --- 出力エリア ---
+            gr.Markdown("## 💡 処理結果 (自動分割・補完済パーツ)")
+            
+            with gr.Tabs():
+                with gr.TabItem("メインパーツ (AI補完結果)"):
+                    completed_body_output = gr.Image(label="補完済みメインボディパーツ (AI Inpainting)", height=300)
+                    
+                with gr.TabItem("分割パーツ例 (前髪)"):
+                    hair_part_output = gr.Image(label="分割された髪の毛パーツ", height=300)
+                    
+                with gr.TabItem("欠損体 (補完AI入力)"):
+                    body_with_hole_output = gr.Image(label="補完前の欠損体 (補完AIへの入力画像)", height=300)
+
+            with gr.Row():
+                download_zip = gr.File(label="全パーツZIPダウンロード", file_count="single")
+            
+            gr.Markdown("## 📋 出力レイヤー構造 (JSON)")
+            output_json = gr.JSON(label="Live2Dパーツ構造JSON")
+
+
+    # --- イベントリスナー ---
+    process_button.click(
+        fn=segment_and_inpaint,
+        inputs=[input_image, inpaint_prompt],
+        outputs=[
+            completed_body_output, 
+            hair_part_output, 
+            body_with_hole_output, 
+            output_json, 
+            download_zip
+        ]
+    )
 
-    response = requests.post(API_URL, headers=headers, json=payload)
-    print("Response status:", response.status_code)
-    print(response.text)
-    return response
+# デモの起動 (Hugging Face Spacesでの実行を想定)
+if __name__ == "__main__":
+    # Gradioでは、非同期関数を直接.click()に渡すことができるため、asyncio.runは不要です。
+    # ただし、asyncio.sleepを使用したため、gr.Blocksの実行にはasyncioが必要です。
+    demo.launch(share=False)