Upload folder using huggingface_hub

app.py

@@ -246,40 +246,65 @@ def _format_user_input_for_chatbot(text, files):
 
 @gpu_decorator
 def respond(user_msg, history, temp, tokens):
-    text = user_msg.get("text", "").strip()
+    """
+    user_msg: Gradio MultimodalTextbox 返回的字典 {'text': '...', 'files': ['...']}
+    history: Gradio Chatbot (type='messages') 维护的列表 [{'role': 'user', 'content': ...}, ...]
+    """
+    
+    # 1. 解析用户输入，构建符合 OpenAI 格式的 User Message
+    user_content = []
+    
+    # 处理图片文件
     files = user_msg.get("files", [])
+    for file_path in files:
+        user_content.append({"type": "image", "image": file_path})
     
-    # 格式化用户输入用于 Chatbot 显示（旧格式）
-    user_display = _format_user_input_for_chatbot(text, files)
+    # 处理文本
+    text = user_msg.get("text", "")
+    if text:
+        user_content.append({"type": "text", "text": text})
+
+    if not user_content:
+        yield history, gr.MultimodalTextbox(interactive=True)
+        return
+
+    # 2. 将当前用户消息加入历史记录
+    new_message = {"role": "user", "content": user_content}
+    history.append(new_message)
     
-    # 添加用户消息到 history（旧格式：列表的列表）
-    history.append([user_display, None])
-    # 此时先 yield 一次，让用户看到自己的输入
+    # 3. 立即 yield 更新 UI（显示用户消息），同时清空输入框
     yield history, gr.MultimodalTextbox(value=None, interactive=False)
     
+    # 4. 准备调用模型
     try:
-        # 将旧格式的 history 转换为新格式的 messages，用于 predict 函数
-        previous_history = _convert_history_to_messages_format(history[:-1])
-        
-        # 在这里调用 handler，此时我们在 @gpu_decorator 的保护下，可以访问 GPU
         handler = get_model_handler()
         
-        generated_text = ""
-        # 传递原始的 user_msg 字典给 predict
-        for chunk in handler.predict(user_msg, previous_history, temp, tokens):
-            generated_text = chunk
-            safe_text = generated_text.replace("<", "&lt;").replace(">", "&gt;")
-            # 更新最后一条助手消息（旧格式）
-            history[-1][1] = safe_text
+        # 预先加入一个空的 Assistant 消息用于流式填充
+        history.append({"role": "assistant", "content": ""})
+        
+        # 调用 predict (注意：这里直接传 history 即可，因为 history 已经是完整的上下文)
+        # 我们传入 history 的深拷贝以防修改影响 UI，或者直接传引用如果 predict 内部做了处理
+        # 这里为了安全，我们只把 history 传进去，predict 内部会处理 sys_prompt 的追加逻辑
+        import copy
+        messages_payload = copy.deepcopy(history[:-1]) # 去掉刚才加的空 assistant
+        
+        for chunk in handler.predict(messages_payload, temp, tokens):
+            # 实时更新最后一条消息的内容
+            history[-1]["content"] = chunk
             yield history, gr.MultimodalTextbox(interactive=False)
             
     except Exception as e:
         import traceback
         traceback.print_exc()
-        history[-1][1] = f"❌ Error: {str(e)}"
+        # 发生错误时，追加错误信息
+        if history and history[-1]["role"] == "assistant":
+            history[-1]["content"] += f"\n❌ Error: {str(e)}"
+        else:
+            history.append({"role": "assistant", "content": f"❌ Error: {str(e)}"})
         yield history, gr.MultimodalTextbox(interactive=True)
     
-    yield history, gr.MultimodalTextbox(value=None, interactive=True)
+    # 最后恢复输入框可交互
+    yield history, gr.MultimodalTextbox(interactive=True)
 
 def create_chat_ui():
     custom_css = """
@@ -298,7 +323,8 @@ def create_chat_ui():
                     elem_id="chatbot",
                     label="Chat",
                     avatar_images=(None, "https://api.dicebear.com/7.x/bottts/svg?seed=Qwen"),
-                    height=650
+                    height=650,
+                    type="messages"
                 )
                 
                 chat_input = gr.MultimodalTextbox(