Update app.py

app.py

@@ -4,8 +4,14 @@ from huggingface_hub import InferenceClient
 """
 For more information on `huggingface_hub` Inference API support, please check the docs: https://huggingface.co/docs/huggingface_hub/v0.22.2/en/guides/inference
 """
-client = InferenceClient("HuggingFaceH4/zephyr-7b-beta")
 
+# 定义多个模型及其对应的InferenceClient
+MODEL_CLIENTS = {
+    "Zephyr 7B Beta": InferenceClient("HuggingFaceH4/zephyr-7b-beta"),
+    "Mistral 7B Instruct v0.2": InferenceClient("mistralai/Mistral-7B-Instruct-v0.2"),
+    # 可以添加更多模型，例如 Llama-2-7b-chat, 或更小的模型进行对比
+    # "Llama 2 7B Chat": InferenceClient("meta-llama/Llama-2-7b-chat-hf"), # 注意：Llama 2可能需要访问权限
+}
 
 def respond(
     message,
@@ -14,7 +20,14 @@ def respond(
     max_tokens,
     temperature,
     top_p,
+    # 新增参数，用于选择模型
+    selected_model_name,
 ):
+    # 根据选择的模型名称获取对应的client
+    client = MODEL_CLIENTS.get(selected_model_name)
+    if not client:
+        return "Error: Selected model client not found."
+
     messages = [{"role": "system", "content": system_message}]
 
     for val in history:
@@ -27,15 +40,15 @@ def respond(
 
     response = ""
 
-    for message in client.chat_completion(
+    # 使用选定的client进行推理
+    for message_chunk in client.chat_completion( # 修改变量名以避免冲突
         messages,
         max_tokens=max_tokens,
         stream=True,
         temperature=temperature,
         top_p=top_p,
     ):
-        token = message.choices[0].delta.content
-
+        token = message_chunk.choices[0].delta.content # 同样修改变量名
         response += token
         yield response
 
@@ -56,9 +69,19 @@ demo = gr.ChatInterface(
             step=0.05,
             label="Top-p (nucleus sampling)",
         ),
+        # 新增一个Dropdown用于选择模型
+        gr.Dropdown(
+            list(MODEL_CLIENTS.keys()), # 选项为MODEL_CLIENTS的键（模型名称）
+            value=list(MODEL_CLIENTS.keys())[0], # 默认选中第一个模型
+            label="Select Model",
+            interactive=True, # 允许用户更改
+        ),
     ],
+    # 如果要展示多个模型的输出，可能需要更复杂的界面，例如并排显示
+    # 或者让用户选择一个模型，然后显示其输出。上面的方式是让用户选择一个模型进行对话。
+    # 如果要同时显示多个模型的输出，ChatInterface可能不够直接，可能需要自定义一个Gradio界面。
 )
 
 
 if __name__ == "__main__":
-    demo.launch()
+    demo.launch()