add scene png to pos

app.py

@@ -3,6 +3,7 @@ import requests
 # import json
 import os
 from typing import Optional
+import numpy as np
 
 # 后端API配置（可配置化）
 BACKEND_URL = os.getenv("BACKEND_URL", "http://your-backend-server:5000")
@@ -38,6 +39,24 @@ MODEL_CHOICES = [
     "AcT+CLIP"
 ]
 
+def image_to_position(image: np.ndarray, evt: gr.SelectData) -> str:
+    """
+    根据点击图像的位置（像素坐标）转换为仿真空间中的起始位置坐标
+    - image: 被点击图像的像素数据
+    - evt: 包含用户点击的位置 evt.index = (x, y)
+
+    这里假设图像宽高映射到 -1 到 1 的世界坐标范围
+    """
+    h, w = image.shape[:2]
+    px, py = evt.index  # 点击位置 (x, y)
+
+    # 映射为 -1 到 1 的标准坐标（你可按需改成真实比例）
+    x = (px / w) * 2 - 1
+    y = -((py / h) * 2 - 1)  # 注意y坐标反向（图像是从上往下）
+    z = 0.1  # 默认高度
+
+    return f"{x:.2f}, {y:.2f}, {z:.2f}"
+
 def submit_to_backend(
     scene: str,
     prompt: str,
@@ -227,6 +246,17 @@ with gr.Blocks(title="机器人导航仿真系统", css=custom_css) as demo:
                 interactive=False,
                 format="mp4"
             )
+
+            # 场景俯视图图像（点击获取起点）
+            scene_image = gr.Image(
+                value="/scene.png",  # 占位图路径
+                label="点击选择起点位置（场景俯视图）",
+                source="upload",
+                tool=None,
+                type="numpy",  # 获取坐标
+                interactive=True,
+                height=300
+            )
             
             # 指标展示
             metrics_output = gr.JSON(
@@ -268,6 +298,13 @@ with gr.Blocks(title="机器人导航仿真系统", css=custom_css) as demo:
         outputs=scene_description
     )
 
+    # ✅ 添加点击图片 → 自动设置起始位置
+    scene_image.select(
+        fn=image_to_position,
+        inputs=[scene_image],
+        outputs=start_pos_input
+    )
+
 
 # 启动应用
 if __name__ == "__main__":