Update app.py

app.py

@@ -1,6 +1,6 @@
 # coding: utf-8
 import gradio as gr
-from PIL import Image, ImageDraw, ImageFont
+from PIL import Image
 import numpy as np
 import io
 import base64
@@ -131,55 +131,42 @@ async def nano_banana_completion_api(base_image: Image.Image, prompt: str) -> Im
 
 # --- メイン処理ロジック (Main Processing Logic) ---
 
-async def segment_and_inpaint(original_image_np: np.ndarray, sketchpad_filepath: str, inpaint_prompt: str):
+async def segment_and_inpaint(original_image_np: np.ndarray, sketchpad_image_np: np.ndarray, inpaint_prompt: str):
     """
     アップロードされた一枚絵とブラシで描かれたマスクを受け取り、
     マスクされた領域を分割し、欠損部分をAI補完する関数。
+    (出力を6つにし、エラーメッセージを分離してorjsonエラーを回避)
     """
+    # 失敗時の統一リターン（6つの出力に対応）
+    def fail(message):
+        return None, None, None, None, None, f"❌ 処理失敗: {message}"
+
     if original_image_np is None:
-        return None, None, None, "エラー: 元の画像がアップロードされていません。", None
+        return fail("元の画像がアップロードされていません。")
     
-    # --- 修正: Sketchpadの入力がファイルパスの場合の処理 ---
-    if not sketchpad_filepath:
-        # Sketchpadが空（何も描かれていない）場合はファイルパスがNoneまたは空文字列
-        return None, None, None, "エラー: 分割したいパーツをブラシで描画してください。描画キャンバスが空です。", None
-
-    try:
-        # ファイルパスからPIL Imageとして読み込む
-        sketchpad_image = Image.open(sketchpad_filepath).convert("RGBA")
-        sketchpad_image_np = np.array(sketchpad_image)
-    except Exception as e:
-        print(f"Sketchpad画像読み込みエラー: {e}")
-        return None, None, None, "エラー: 描画キャンバスの画像を読み込めませんでした。ファイルパスが不正です。", None
+    # Sketchpad入力の型チェックを強化（TypeError対策）
+    if not isinstance(sketchpad_image_np, np.ndarray) or sketchpad_image_np.ndim != 4:
+        return fail("分割したいパーツをブラシで描画してください。描画キャンバスが空または不正な形式です。")
 
     # PIL Image (元の画像) を取得
     original_image = Image.fromarray(original_image_np).convert("RGBA")
     
-    # Sketchpadからの入力は、元の画像の上にブラシで描画されたRGBA画像 (描画部分は不透明)
-    # そのため、アルファチャンネルがマスクとして機能する
-    
+    # Sketchpadからの入力は、元の画像の上にブラシで描画されたRGBA画像
     try:
         # Sketchpadの画像からアルファチャンネルを抽出（これがユーザーの描いたマスク）
-        # Sketchpadの出力はRGBAのNumPy配列であることを期待
         sketch_mask_alpha = sketchpad_image_np[:, :, 3] 
     except IndexError:
-        # 配列の次元が4未満（RGBAではない）場合に発生
-        return None, None, None, "エラー: 描画データ形式が不正です。ブラシで描画が行われていないか、Gradioの出力形式に問題があります。", None
-    except Exception as e:
-        # その他のスライスエラーなど
-        print(f"Sketchpad処理中の予期せぬエラー: {e}")
-        return None, None, None, "エラー: 描画データの処理中に予期せぬエラーが発生しました。ブラシで適切に描画されているか確認してください。", None
-
-    # ユーザーが何も描画しなかった場合のチェック（ファイルパスチェックで大方カバーされるが、念のため）
+        return fail("描画データ形式が不正です。RGBA (4チャンネル) の画像として処理できませんでした。")
+    
+    # ユーザーが何も描画しなかった場合のチェック
     if np.all(sketch_mask_alpha == 0):
-        return None, None, None, "エラー: 分割したいパーツをブラシで描画してください。（アルファチャンネルが全てゼロです）", None
+        return fail("分割したいパーツをブラシで描画してください。（描画が検出されません）")
 
     # NumPy配列からPIL Imageのマスクに変換 (Lモード)
     hair_mask = Image.fromarray(sketch_mask_alpha, mode='L')
 
     # --- Part A: 分割パーツを作成 (ユーザーが描いた部分) ---
     hair_part = original_image.copy().convert('RGBA')
-    # マスクをアルファチャンネルとして適用
     hair_part.putalpha(hair_mask)
     
     # --- Part B: 欠損穴のある体 (Body with Hole) を作成 (AI補完用入力) ---
@@ -187,24 +174,27 @@ async def segment_and_inpaint(original_image_np: np.ndarray, sketchpad_filepath:
     
     # マスクを反転 (描画した部分を透明な穴にするため)
     inverted_mask_np = cv2.bitwise_not(sketch_mask_alpha)
-    # 反転マスクを体パーツのアルファチャンネルとして設定
     body_with_hole.putalpha(Image.fromarray(inverted_mask_np, mode='L'))
     
-    print("--- 1. 手動パーツ分割 (Gradio Sketchpad利用) 完了: 分割パーツと補完が必要な欠損体を作成 ---")
+    print("--- 1. 手動パーツ分割 完了 ---")
 
     # 2. 欠損領域のAI補完 (AI Inpainting)
-    completed_body_part = await nano_banana_completion_api(body_with_hole, inpaint_prompt or "マスクされた領域のキャラクターの顔と身体の肌、及び下に着ている服を、元のイラストのテイストに合わせて自然に補完してください。")
-    
-    # 3. 出力ファイルの準備とZIPファイルの作成 (Prepare Output Files and Create ZIP)
-    
-    # 補完後の体パーツと髪パーツがLive2Dのレイヤーとなる
+    try:
+        completed_body_part = await nano_banana_completion_api(body_with_hole, inpaint_prompt or "マスクされた領域のキャラクターの顔と身体の肌、及び下に着ている服を、元のイラストのテイストに合わせて自然に補完してください。")
+    except gr.Error as e:
+        # APIエラーはここで捕まえる
+        return fail(f"AI補完APIエラー: {e}")
+    except Exception as e:
+        return fail(f"AI補完処理中に予期せぬエラー: {e}")
+
+    # 3. 出力ファイルの準備とZIPファイルの作成
     output_parts = {
         "body_completed": completed_body_part,
-        "hair_front": hair_part, # ユーザーがブラシで指定したパーツ
+        "hair_front": hair_part, 
     }
     
     # JSON構造の作成
-    output_json = {
+    output_json_data = {
         "parts": {
             "body_completed": "body_completed.png",
             "hair_front": "hair_front.png"
@@ -213,11 +203,10 @@ async def segment_and_inpaint(original_image_np: np.ndarray, sketchpad_filepath:
         "note": "hair_frontはユーザーがブラシで描画したマスクに基づいて分割されました。",
         "timestamp": time.strftime("%Y%m%d_%H%M%S")
     }
-    json_data = json.dumps(output_json, indent=2, ensure_ascii=False)
+    json_data_str = json.dumps(output_json_data, indent=2, ensure_ascii=False)
     
     zip_buffer = io.BytesIO()
     with zipfile.ZipFile(zip_buffer, 'w', zipfile.ZIP_DEFLATED) as zipf:
-        # PNGパーツの追加
         for name, img in output_parts.items():
             img_buffer = io.BytesIO()
             if img.mode != 'RGBA':
@@ -225,25 +214,24 @@ async def segment_and_inpaint(original_image_np: np.ndarray, sketchpad_filepath:
             img.save(img_buffer, format="PNG")
             zipf.writestr(f"live2d_parts/{name}.png", img_buffer.getvalue())
         
-        # JSONファイルの追加
-        zipf.writestr("live2d_parts/parts_structure.json", json_data.encode('utf-8'))
+        zipf.writestr("live2d_parts/parts_structure.json", json_data_str.encode('utf-8'))
         
     zip_buffer.seek(0)
-    zip_file_path = f"live2d_parts_{output_json['timestamp']}.zip"
+    zip_file_path = f"live2d_parts_{output_json_data['timestamp']}.zip"
     
-    # Gradioに出力するためにファイルを一時的に保存
     with open(zip_file_path, "wb") as f:
         f.write(zip_buffer.read())
 
     print(f"--- 4. 全パーツZIPファイル {zip_file_path} の作成完了 ---")
     
-    # デバッグ用に、補完前の欠損体 (body_with_hole) には元の画像を設定 (マスクはアルファチャンネルに含まれている)
+    # 成功時のリターン (6つの出力)
     return (
-        completed_body_part, # 補完済みメインボディ
-        hair_part,           # 分割された髪の毛 (ブラシ部分)
-        body_with_hole,      # 補完前の欠損体 (デバッグ用)
-        json_data,           # JSON構造
-        zip_file_path        # ZIPファイル
+        completed_body_part, 
+        hair_part,           
+        body_with_hole,      
+        json_data_str,       # JSON文字列をそのまま渡す
+        zip_file_path,       
+        "✅ 処理完了！結果を確認し、ZIPファイルをダウンロードしてください。" # ステータス
     )
 
 # --- Gradioインターフェース定義 (Gradio Interface Definition) ---
@@ -267,29 +255,23 @@ with gr.Blocks(theme=theme, title="Live2D素材自動分割・補完アプリ")
         """
     )
 
+    status_message = gr.Textbox(label="処理ステータス", interactive=False, value="処理を開始するには、画像アップロードと描画を行い、実行ボタンを押してください。", elem_classes="status-box")
+    
     with gr.Row():
         with gr.Column(scale=1):
-            # 元画像をアップロードするためのコンポーネント (描画機能なし) 
+            # 元画像をアップロードするためのコンポーネント
             original_image_upload = gr.Image(
                 label="① 元画像のアップロード", 
-                type="numpy", # NumPy配列として受け取る
+                type="numpy",
                 height=200,
             )
-            # 描画専用のSketchpadコンポーネント
+            # 描画専用のSketchpadコンポーネント (type="numpy"に戻し、Python側で堅牢にチェック)
             input_sketchpad = gr.Sketchpad(
                 label="② 分割したいパーツをブラシで塗る (例: 前髪)", 
                 height=400,
-                brush={"color": "#FF0000", "size": 20}, # ブラシ設定
-                type="filepath" # ★★★ 修正: 出力タイプをファイルパスに変更し、より頑健にする ★★★
+                brush={"color": "#FF0000", "size": 20}, 
+                type="numpy" # ★★★ 修正: numpyに戻す ★★★
             )
-
-            # ★★★ 削除: エラーの原因となっているSketchpadの背景更新ロジックを削除 ★★★
-            # original_image_upload.change(
-            #     fn=lambda x: gr.update(image=x),
-            #     inputs=[original_image_upload],
-            #     outputs=[input_sketchpad],
-            #     queue=False
-            # )
             
             inpaint_prompt = gr.Textbox(
                 label="③ AI補完プロンプト（オプション）", 
@@ -301,7 +283,8 @@ with gr.Blocks(theme=theme, title="Live2D素材自動分割・補完アプリ")
             gr.Markdown(
                 """
                 ### 📌 開発のポイント
-                * **Gradio互換性対応:** 環境のGradioバージョンが低すぎる問題を回避するため、描画機能に特化した`gr.Sketchpad`を使用しました。
+                * **安定性の向上:** 発生していた型の不一致エラー（`slice`や`read`）を回避するため、Gradioの出力をNumPy配列に統一し、入力チェックを強化しました。
+                * **エラー表示の改善:** 処理ステータスを専用のテキストボックスに出力するように変更し、JSONデコードエラーを防いでいます。
                 """
             )
 
@@ -323,19 +306,21 @@ with gr.Blocks(theme=theme, title="Live2D素材自動分割・補完アプリ")
                 download_zip = gr.File(label="全パーツZIPダウンロード", file_count="single")
             
             gr.Markdown("## 📋 出力レイヤー構造 (JSON)")
-            output_json = gr.JSON(label="Live2Dパーツ構造JSON")
+            # JSONDecodeErrorを避けるため、JSONコンポーネントではなくテキストボックスを使用
+            output_json_text = gr.Textbox(label="Live2Dパーツ構造 JSON (確認用)", lines=10, interactive=False)
 
 
     # --- イベントリスナー ---
     process_button.click(
         fn=segment_and_inpaint,
-        inputs=[original_image_upload, input_sketchpad, inpaint_prompt], # 入力コンポーネントの順序を修正
+        inputs=[original_image_upload, input_sketchpad, inpaint_prompt],
         outputs=[
             completed_body_output, 
             hair_part_output, 
             body_with_hole_output, 
-            output_json, 
-            download_zip
+            output_json_text,   # JSON出力をテキストボックスに変更
+            download_zip,
+            status_message      # ステータスメッセージを追加
         ]
     )