Upload folder using huggingface_hub

app.py

@@ -81,56 +81,26 @@ class ModelHandler:
             print(f"❌ Model loading failed: {e}")
             raise e
 
-    def predict(self, message_dict, history, temperature, max_tokens):
-        text = message_dict.get("text", "")
-        files = message_dict.get("files", [])
-
-        messages = []
-        
-        if history:
-            print(f"Processing {len(history)} previous messages from history")
-            for msg in history:
-                role = msg.get("role", "")
-                content = msg.get("content", "")
-                
-                if role == "user":
-                    user_content = []
-                    
-                    if isinstance(content, list):
-                        for item in content:
-                            if isinstance(item, str):
-                                if os.path.exists(item) or any(item.lower().endswith(ext) for ext in ['.jpg', '.jpeg', '.png', '.gif', '.bmp', '.webp']):
-                                    user_content.append({"type": "image", "image": item})
-                                else:
-                                    user_content.append({"type": "text", "text": item})
-                            elif isinstance(item, dict):
-                                user_content.append(item)
-                    elif isinstance(content, str):
-                        if content:
-                            user_content.append({"type": "text", "text": content})
-                    
-                    if user_content:
-                        messages.append({"role": "user", "content": user_content})
-                        
-                elif role == "assistant":
-                    if isinstance(content, str) and content:
-                        messages.append({"role": "assistant", "content": content})
-        
-        current_content = []
-        if files:
-            for file_path in files:
-                current_content.append({"type": "image", "image": file_path})
-        
-        if text:
-            sys_prompt_formatted = " ".join(sys_prompt.split())
-            full_text = f"{text}\n{sys_prompt_formatted}"
-            current_content.append({"type": "text", "text": full_text})
+    def predict(self, messages, temperature, max_tokens):
+        # 这里的 messages 已经是处理好的标准 OpenAI 格式列表
         
-        if current_content:
-            messages.append({"role": "user", "content": current_content})
-        
-        print(f"Total messages for model: {len(messages)}")
-        print(f"Message roles: {[m['role'] for m in messages]}")
+        # 将 sys_prompt 注入到最后一条用户消息中
+        if messages and messages[-1]["role"] == "user":
+            content = messages[-1]["content"]
+            sys_prompt_fmt = "\n" + " ".join(sys_prompt.split())
+            
+            if isinstance(content, str):
+                messages[-1]["content"] += sys_prompt_fmt
+            elif isinstance(content, list):
+                # 查找文本部分并追加，如果没有则添加
+                text_found = False
+                for item in content:
+                    if item.get("type") == "text":
+                        item["text"] += sys_prompt_fmt
+                        text_found = True
+                        break
+                if not text_found:
+                    content.append({"type": "text", "text": sys_prompt_fmt})
 
         text_prompt = self.processor.apply_chat_template(
             messages, tokenize=False, add_generation_prompt=True
@@ -155,37 +125,17 @@ class ModelHandler:
             do_sample=True if temperature > 0 else False,
         )
 
-        try:
-            print("Starting model generation...")
-            with torch.no_grad():
-                generated_ids = self.model.generate(**generation_kwargs)
-            
-            input_length = inputs['input_ids'].shape[1]
-            generated_ids = generated_ids[0][input_length:]
-            
-            print(f"Input length: {input_length}, Generated token count: {len(generated_ids)}")
-            
-            generated_text = self.processor.tokenizer.decode(
-                generated_ids, 
-                skip_special_tokens=True
-            )
-            
-            print(f"Generation completed. Output length: {len(generated_text)}, Content preview: {repr(generated_text[:200])}")
-            
-            if generated_text and generated_text.strip():
-                print(f"Yielding generated text: {generated_text[:100]}...")
-                yield generated_text
-            else:
-                warning_msg = "⚠️ No output generated. The model may not have produced any response."
-                print(warning_msg)
-                yield warning_msg
-                
-        except Exception as e:
-            import traceback
-            error_details = traceback.format_exc()
-            print(f"Error in model.generate: {error_details}")
-            yield f"❌ Generation error: {str(e)}"
-            return
+        with torch.no_grad():
+            generated_ids = self.model.generate(**generation_kwargs)
+        
+        input_length = inputs['input_ids'].shape[1]
+        generated_ids = generated_ids[0][input_length:]
+        
+        generated_text = self.processor.tokenizer.decode(
+            generated_ids, skip_special_tokens=True
+        )
+        
+        yield generated_text
 
 model_handler = None
 
@@ -197,113 +147,120 @@ def get_model_handler():
         model_handler = ModelHandler(MODEL_PATH)
     return model_handler
 
-def _convert_history_to_messages_format(history):
-    """将旧格式的 Chatbot history 转换为新格式的 messages"""
+def _history_to_messages(history):
+    """
+    将 Gradio 的 Tuple 历史 [[user, bot], ...] 转换为 OpenAI 格式的消息列表。
+    以便发送给模型。
+    """
     messages = []
+    
     for pair in history:
-        if isinstance(pair, list) and len(pair) >= 2:
-            user_msg = pair[0]
-            assistant_msg = pair[1] if len(pair) > 1 else ""
-            
-            # 处理用户消息
-            user_content = []
+        user_msg, bot_msg = pair
+        
+        # --- 处理用户消息 ---
+        if user_msg:
+            # 检查是否是文件路径（图片）
+            # Gradio 中图片通常是临时路径，或者 http 链接
+            is_image = False
             if isinstance(user_msg, str):
-                user_content.append({"type": "text", "text": user_msg})
-            elif isinstance(user_msg, tuple):
-                # 旧格式可能是 (text, image) 或 (image, text)
-                for item in user_msg:
-                    if isinstance(item, str):
-                        if os.path.exists(item) or any(item.lower().endswith(ext) for ext in ['.jpg', '.jpeg', '.png', '.gif', '.bmp', '.webp']):
-                            user_content.append({"type": "image", "image": item})
-                        else:
-                            user_content.append({"type": "text", "text": item})
-            elif isinstance(user_msg, list):
-                # 可能是新格式的内容列表
-                user_content = user_msg
+                if os.path.exists(user_msg) or user_msg.startswith("http"):
+                    # 简单的判断：如果是现有路径或者是URL，且看起来像图片
+                    lower_msg = user_msg.lower()
+                    if any(lower_msg.endswith(ext) for ext in ['.jpg', '.png', '.jpeg', '.webp', '.bmp']):
+                        is_image = True
             
-            if user_content:
-                messages.append({"role": "user", "content": user_content})
+            # 构建 User Content
+            if is_image:
+                # 这是一个独立的图片消息
+                # 注意：为了模型效果，最好将图片和紧接着的文本合并。
+                # 但为了代码简单，我们先作为独立消息，大多数 VLM 也能处理。
+                messages.append({
+                    "role": "user", 
+                    "content": [{"type": "image", "image": user_msg}]
+                })
+            else:
+                # 这是一个文本消息
+                # 如果上一条也是 user 且是 image，尝试合并（可选，这里简单起见直接 append）
+                messages.append({
+                    "role": "user", 
+                    "content": [{"type": "text", "text": str(user_msg)}]
+                })
+        
+        # --- 处理机器人消息 ---
+        if bot_msg:
+            messages.append({
+                "role": "assistant", 
+                "content": [{"type": "text", "text": str(bot_msg)}]
+            })
             
-            # 处理助手消息
-            if assistant_msg and isinstance(assistant_msg, str):
-                messages.append({"role": "assistant", "content": assistant_msg})
-        elif isinstance(pair, dict):
-            # 如果已经是新格式，直接使用
-            messages.append(pair)
     return messages
 
-def _format_user_input_for_chatbot(text, files):
-    """格式化用户输入为 Chatbot 可显示的格式"""
-    if files and text:
-        # 有图片和文本，返回元组格式
-        return (text, *files)
-    elif files:
-        # 只有图片
-        return files[0] if len(files) == 1 else tuple(files)
-    else:
-        # 只有文本
-        return text
-
+# ==========================================
 @gpu_decorator
 def respond(user_msg, history, temp, tokens):
     """
-    user_msg: Gradio MultimodalTextbox 返回的字典 {'text': '...', 'files': ['...']}
-    history: Gradio Chatbot (type='messages') 维护的列表 [{'role': 'user', 'content': ...}, ...]
+    user_msg: {'text': '...', 'files': ['...']}
+    history: List[List[str | None]]  <- 这是旧版格式
     """
+    files = user_msg.get("files", [])
+    text = user_msg.get("text", "")
     
-    # 1. 解析用户输入，构建符合 OpenAI 格式的 User Message
-    user_content = []
+    # 1. 更新 UI History (先让用户在界面上看到自己的输入)
+    # -------------------------------------------------
     
-    # 处理图片文件
-    files = user_msg.get("files", [])
-    for file_path in files:
-        user_content.append({"type": "image", "image": file_path})
+    # 先处理图片：每张图片作为一个单独的 (path, None) 元组添加到历史
+    # Gradio Chatbot 会自动识别路径并显示图片
+    for f in files:
+        history.append([f, None])
     
-    # 处理文本
-    text = user_msg.get("text", "")
+    # 再处理文本
     if text:
-        user_content.append({"type": "text", "text": text})
-
-    if not user_content:
-        yield history, gr.MultimodalTextbox(interactive=True)
-        return
+        # 如果有文本，添加 (text, None)，准备让机器人回复这一条
+        history.append([text, None]) 
+    elif not text and files:
+        # 如果只有图片没文本，添加一个空的占位符，让机器人回复图片
+        # 注意：这里我们用 (None, None) 可能会报错，用 ("(image uploaded)", None) 或者
+        # 更常见的做法是：最后一项的 user 部分必须非空才能看起来正常，
+        # 但我们可以在下面立即生成回复填补 bot 部分。
+        pass 
 
-    # 2. 将当前用户消息加入历史记录
-    new_message = {"role": "user", "content": user_content}
-    history.append(new_message)
-    
-    # 3. 立即 yield 更新 UI（显示用户消息），同时清空输入框
+    # 此时 history 已经更新了用户的输入
     yield history, gr.MultimodalTextbox(value=None, interactive=False)
     
-    # 4. 准备调用模型
+    # 2. 调用模型
+    # -------------------------------------------------
     try:
         handler = get_model_handler()
         
-        # 预先加入一个空的 Assistant 消息用于流式填充
-        history.append({"role": "assistant", "content": ""})
-        
-        # 调用 predict (注意：这里直接传 history 即可，因为 history 已经是完整的上下文)
-        # 我们传入 history 的深拷贝以防修改影响 UI，或者直接传引用如果 predict 内部做了处理
-        # 这里为了安全，我们只把 history 传进去，predict 内部会处理 sys_prompt 的追加逻辑
-        import copy
-        messages_payload = copy.deepcopy(history[:-1]) # 去掉刚才加的空 assistant
+        # 将 Tuple 历史转换为模型能懂的 Messages 列表
+        # 注意：我们需要把刚才加入的“只有用户部分”的消息也转进去
+        messages = _history_to_messages(history)
         
-        for chunk in handler.predict(messages_payload, temp, tokens):
-            # 实时更新最后一条消息的内容
-            history[-1]["content"] = chunk
+        # 在界面上为机器人的回复预留位置
+        # 如果最后一条是 [user_content, None]，我们把它改成 [user_content, ""]
+        if history and history[-1][1] is None:
+            history[-1][1] = ""
+        else:
+            # 如果万一没有对应行，加一行
+            history.append([None, ""])
+            
+        # 流式生成
+        full_response = ""
+        for chunk in handler.predict(messages, temp, tokens):
+            full_response += chunk
+            history[-1][1] = full_response # 更新最后一行机器人的回复
             yield history, gr.MultimodalTextbox(interactive=False)
             
     except Exception as e:
         import traceback
         traceback.print_exc()
-        # 发生错误时，追加错误信息
-        if history and history[-1]["role"] == "assistant":
-            history[-1]["content"] += f"\n❌ Error: {str(e)}"
+        err_msg = f"❌ Error: {str(e)}"
+        if history and history[-1][1] is None:
+            history[-1][1] = err_msg
         else:
-            history.append({"role": "assistant", "content": f"❌ Error: {str(e)}"})
+            history.append([None, err_msg])
         yield history, gr.MultimodalTextbox(interactive=True)
     
-    # 最后恢复输入框可交互
     yield history, gr.MultimodalTextbox(interactive=True)
 
 def create_chat_ui():
@@ -324,7 +281,6 @@ def create_chat_ui():
                     label="Chat",
                     avatar_images=(None, "https://api.dicebear.com/7.x/bottts/svg?seed=Qwen"),
                     height=650,
-                    type="messages"
                 )
                 
                 chat_input = gr.MultimodalTextbox(

requirements.txt

@@ -1,10 +1,10 @@
-gradio>=6.0.0
-torch>=2.0.0
-torchvision>=0.15.0
-transformers>=4.37.0
-qwen-vl-utils
-accelerate
-sentencepiece
-protobuf
-pillow
+gradio>=6.0.0
+torch>=2.0.0
+torchvision>=0.15.0
+transformers>=4.37.0
+qwen-vl-utils
+accelerate
+sentencepiece
+protobuf
+pillow
 einops