Add Gradio app.py

app.py

@@ -0,0 +1,68 @@
+
+# app.py として保存することを想定したコードです
+import gradio as gr
+from PIL import Image as PILImage
+import torch
+from transformers import ViltProcessor, ViltForQuestionAnswering
+
+# Hugging Face Hubからファインチューニング済みのモデルとプロセッサーを読み込みます
+# ここでは、先ほどアップロードしたリポジトリIDを指定します
+# TODO: Replace with your actual model repository ID if different from the Space ID
+model_id = "baseballtoma/my-vilt-image-text-classifier-cloud"
+
+# 推論に使用するid_to_labelマッピングをここで定義します
+# これはファインチューニング時に使用したマッピングと一致している必要があります
+# 実際のアプリケーションでは、このマッピングをファイルとして保存し、読み込むのがより堅牢です
+# 例: id_to_label = {0: '巻積雲', 1: '積乱雲', 2: '高層雲'}
+# ファインチューニング時に使用したid_to_labelを正確に反映させてください
+app_id_to_label = {0: '巻積雲', 1: '積乱雲', 2: '高層雲'} # <<< Replace with your actual labels and their sorted order mapping
+
+
+processor = ViltProcessor.from_pretrained(model_id)
+model = ViltForQuestionAnswering.from_pretrained(model_id)
+
+
+# 推論を実行する関数を定義します
+def predict(image, text):
+    if image is None:
+        return "画像をアップロードしてください。"
+    if not text:
+        return "テキストを入力してください。"
+
+    # PIL ImageをRGBに変換
+    image = image.convert("RGB")
+
+    # 画像とテキストをモデルの入力形式に変換
+    encoding = processor(images=image, text=text, return_tensors="pt", padding=True, truncation=True)
+
+    # 推論を実行 (CPUで実行されることを想定)
+    model.eval()
+    with torch.no_grad():
+        outputs = model(**encoding)
+
+    # ロジットから最も確率の高いラベルを取得
+    logits = outputs.logits
+    predicted_class_id = logits.argmax(-1).item()
+
+    # 予測されたクラスIDを元のテキストラベルに変換します
+    if predicted_class_id in app_id_to_label:
+         predicted_text = app_id_to_label[predicted_class_id]
+    else:
+        predicted_text = f"未知のクラスID: {predicted_class_id}"
+
+
+    return predicted_text
+
+# Gradioインターフェースを作成します
+iface = gr.Interface(
+    fn=predict,                                # 推論関数
+    inputs=[gr.Image(type="pil"), gr.Textbox(label="テキスト（質問）を入力")], # 入力コンポーネント (画像アップロードとテキスト入力)
+    outputs="text",                            # 出力コンポーネント (テキスト)
+    title="画像とテキストの分類デモ",                 # デモのタイトル
+    description="画像をアップロードし、テキストを入力して、モデルの予測結果を確認します。" # デモの説明
+)
+
+# インターフェースを起動します
+# Hugging Face Spacesでは、このスクリプトが実行されると自動的に起動されます
+# ローカルでテストする場合は、launch()の引数にshare=Trueなどを指定できます
+# iface.launch()