Upload folder using huggingface_hub

app.py

@@ -1,4 +1,5 @@
 import gradio as gr
+print(f"当前使用的 Gradio 版本是: {gr.__version__}")
 import os
 import torch
 from transformers import Qwen2_5_VLForConditionalGeneration, AutoProcessor
@@ -83,18 +84,19 @@ class ModelHandler:
 
 
     def predict(self, messages, temperature, max_tokens):
-        # 【修复3】简化 predict 逻辑
-        # 不要在函数内部重新解析 history，而是直接接收处理好的标准 messages 列表
+        # 注意：这里接收到的 messages 已经是标准的 [{'role': 'user', 'content': [...]}, ...]
         
-        # 将 system prompt 拼接到最后一条用户消息中
-        if messages and messages[-1]["role"] == "user":
-            content = messages[-1]["content"]
+        # 我们需要做一个深拷贝，避免修改 UI 上的 history 显示 System Prompt
+        import copy
+        messages_payload = copy.deepcopy(messages)
+
+        # 拼接 System Prompt
+        if messages_payload and messages_payload[-1]["role"] == "user":
+            content = messages_payload[-1]["content"]
             sys_prompt_fmt = "\n" + " ".join(sys_prompt.split())
             
-            if isinstance(content, str):
-                messages[-1]["content"] += sys_prompt_fmt
-            elif isinstance(content, list):
-                # 如果是多模态列表，找到 text 部分追加
+            # 现在的 content 肯定是 list (因为我们上面的 respond 函数构建的是 list)
+            if isinstance(content, list):
                 text_found = False
                 for item in content:
                     if item.get("type") == "text":
@@ -103,14 +105,14 @@ class ModelHandler:
                         break
                 if not text_found:
                     content.append({"type": "text", "text": sys_prompt_fmt})
+            elif isinstance(content, str):
+                messages_payload[-1]["content"] += sys_prompt_fmt
 
-        print(f"Total messages for model: {len(messages)}")
-
+        # 后续逻辑保持不变 ...
         text_prompt = self.processor.apply_chat_template(
-            messages, tokenize=False, add_generation_prompt=True
+            messages_payload, tokenize=False, add_generation_prompt=True
         )
-        
-        image_inputs, video_inputs = process_vision_info(messages)
+        image_inputs, video_inputs = process_vision_info(messages_payload)
         
         inputs = self.processor(
             text=[text_prompt],
@@ -141,7 +143,7 @@ class ModelHandler:
                 generated_ids, 
                 skip_special_tokens=True
             )
-            
+            print(f"Generated text: {generated_text}")
             if generated_text:
                 yield generated_text
             else:
@@ -164,106 +166,59 @@ def get_model_handler():
         model_handler = ModelHandler(MODEL_PATH)
     return model_handler
 
-def _history_to_messages(history):
-    """
-    【新增辅助函数】学习参考代码的逻辑：
-    将 Gradio 的 Tuple 历史 [[user_msg, bot_msg], ...] 
-    转换为 Model 需要的 OpenAI 格式 [{'role': 'user', ...}, ...]
-    """
-    messages = []
-    
-    for pair in history:
-        user_msg, bot_msg = pair
-        
-        # --- 1. 处理用户消息 ---
-        if user_msg:
-            # 判断是否为图片路径（简单判断）
-            is_image = False
-            if isinstance(user_msg, str):
-                if os.path.exists(user_msg) or any(user_msg.lower().endswith(ext) for ext in ['.jpg', '.jpeg', '.png', '.webp']):
-                    is_image = True
-            
-            if is_image:
-                # 图片消息
-                messages.append({
-                    "role": "user", 
-                    "content": [{"type": "image", "image": user_msg}]
-                })
-            else:
-                # 文本消息
-                messages.append({
-                    "role": "user", 
-                    "content": [{"type": "text", "text": str(user_msg)}]
-                })
-        
-        # --- 2. 处理机器人消息 ---
-        if bot_msg:
-            messages.append({
-                "role": "assistant", 
-                "content": [{"type": "text", "text": str(bot_msg)}]
-            })
-            
-    return messages
-
 @gpu_decorator
 def respond(user_msg, history, temp, tokens):
     """
-    【修复4】完全重写 respond 函数
-    解决 UI (Tuple) 和 Model (Dict) 格式不兼容的问题
+    针对 type="messages" 的 Chatbot 重写的响应函数
+    history 现在的格式直接是: [{'role': 'user', 'content': ...}, {'role': 'assistant', ...}]
     """
     
-    # 1. 解析 Gradio MultimodalTextbox 的输入
-    files = user_msg.get("files", [])
-    text = user_msg.get("text", "")
+    # 1. 构建当前用户的消息内容 (OpenAI 多模态格式)
+    user_content = []
     
-    # 2. 更新 UI 历史 (Tuple 格式)
-    # -------------------------------------------------
-    # 先把图片加进历史
+    # 处理图片/文件
+    files = user_msg.get("files", [])
     for f in files:
-        history.append([f, None])
-    
-    # 再把文本加进历史
+        # qwen_vl_utils 识别 "image" 字段作为本地路径
+        user_content.append({"type": "image", "image": f})
+        
+    # 处理文本
+    text = user_msg.get("text", "")
     if text:
-        history.append([text, None])
-    elif not text and files:
-        # 如果只有图没字，也需要触发回复，不做操作，history 已经有了图片项
-        pass
+        user_content.append({"type": "text", "text": text})
 
-    # 立即 yield，让用户先看到自己的输入
-    yield history, gr.MultimodalTextbox(value=None, interactive=False)
+    # 如果既没图也没字，直接返回
+    if not user_content:
+        yield history, gr.MultimodalTextbox(value=None, interactive=True)
+        return
+
+    # 2. 将用户消息加入历史
+    # 注意：这里直接 append 一个 dict，而不是 tuple
+    history.append({
+        "role": "user",
+        "content": user_content
+    })
     
-    # 3. 准备模型输入 (Dict 格式)
-    # -------------------------------------------------
+    # 立即更新 UI，让用户看到自己的输入（图文会在同一个气泡里）
+    yield history, gr.MultimodalTextbox(value=None, interactive=False)
+
+    # 3. 调用模型
     try:
         handler = get_model_handler()
         
-        # 将当前的 Tuple 历史转换为 Model 能读懂的 Messages 列表
-        messages = _history_to_messages(history)
+        history.append({"role": "assistant", "content": ""})
         
-        # 在 UI 历史上预留一个空位给机器人回复
-        # 如果最后一条只有 User 内容 (例如 [text, None])，我们填充它
-        if history and history[-1][1] is None:
-            history[-1][1] = ""
-        else:
-            history.append([None, ""]) # 万一没对应上，追加一个空回复
-            
-        # 4. 调用模型流式生成
         full_response = ""
-        for chunk in handler.predict(messages, temp, tokens):
+        # 调用你的 handler.predict (注意：你需要稍微调整 handler.predict 里的 sys_prompt 处理逻辑，见下文建议)
+        for chunk in handler.predict(history[:-1], temp, tokens): # 传入除最后一条空回复外的历史
             full_response += chunk
-            # 实时更新 UI 历史的最后一条
-            history[-1][1] = full_response
+            history[-1]["content"] = full_response
             yield history, gr.MultimodalTextbox(interactive=False)
             
     except Exception as e:
         import traceback
         traceback.print_exc()
-        # 错误处理
-        err_msg = f"❌ Error: {str(e)}"
-        if history and history[-1][1] is None:
-            history[-1][1] = err_msg
-        else:
-            history.append([None, err_msg])
+        history.append({"role": "assistant", "content": f"❌ Error: {str(e)}"})
         yield history, gr.MultimodalTextbox(interactive=True)
     
     # 恢复输入框
@@ -275,18 +230,20 @@ def create_chat_ui():
     #chatbot { height: 650px !important; overflow-y: auto; }
     """
 
-    with gr.Blocks(title="Robust-R1") as demo:
+    with gr.Blocks(title="Robust-R1", css=custom_css) as demo:
         
         with gr.Row():
-            gr.Markdown("# 🤖Robust-R1:Degradation-Aware Reasoning for Robust Visual Understanding")
+            gr.Markdown("# 🤖 Robust-R1: Degradation-Aware Reasoning")
 
         with gr.Row():
             with gr.Column(scale=4):
+                # 【关键修改】添加 type="messages"
                 chatbot = gr.Chatbot(
                     elem_id="chatbot",
                     label="Chat",
                     avatar_images=(None, "https://api.dicebear.com/7.x/bottts/svg?seed=Qwen"),
-                    height=650
+                    height=650,
+                    type="messages"  # <--- 这里是重点！
                 )
                 
                 chat_input = gr.MultimodalTextbox(
@@ -342,8 +299,8 @@ def create_chat_ui():
             outputs=[chatbot, chat_input]
         )
 
-        def clear_history(): return [], None
-        clear_btn.click(clear_history, outputs=[chatbot, chat_input])
+        # 清空历史只需要返回空列表 []
+        clear_btn.click(lambda: ([], None), outputs=[chatbot, chat_input])
 
     return demo