创建FinGPT chatbot应用

README.md

@@ -1,12 +1,41 @@
 ---
-title: FinGPT
-emoji: 🐨
-colorFrom: gray
-colorTo: red
+title: FinGPT Chatbot
+emoji: 💰
+colorFrom: blue
+colorTo: green
 sdk: gradio
-sdk_version: 6.0.2
+sdk_version: 5.9.1
 app_file: app.py
 pinned: false
+license: mit
 ---
 
-Check out the configuration reference at https://huggingface.co/docs/hub/spaces-config-reference
+# 🤖 FinGPT Chatbot
+
+这是一个基于 **FinGPT/fingpt-mt_llama3-8b_lora** 模型的金融对话助手Spaces应用。
+
+## 功能特性
+
+- 💬 实时对话：支持多轮对话，保持上下文
+- 🧠 金融专业：基于Llama 3-8B微调的金融领域模型
+- 🚀 GPU加速：使用Hugging Face Spaces的GPU支持
+
+## 使用说明
+
+1. 在输入框中输入您的金融相关问题
+2. 点击"发送"按钮或按Enter键
+3. 等待模型生成回复
+4. 可以点击"清空对话历史"重新开始
+
+## 模型信息
+
+- 基础模型：meta-llama/Meta-Llama-3-8B
+- LoRA适配器：FinGPT/fingpt-mt_llama3-8b_lora
+- 任务类型：金融对话和分析
+
+## 示例问题
+
+- 什么是量化宽松政策？
+- 如何评估一只股票的价值？
+- 请解释一下技术分析中的MACD指标
+- 当前市场环境下应该如何配置资产？

app.py

@@ -0,0 +1,124 @@
+import gradio as gr
+import spaces
+import torch
+from transformers import AutoTokenizer, AutoModelForCausalLM
+from peft import PeftModel
+
+# 加载模型和tokenizer
+model_name = "meta-llama/Meta-Llama-3-8B"
+adapter_name = "FinGPT/fingpt-mt_llama3-8b_lora"
+
+print("正在加载模型...")
+tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
+tokenizer.pad_token = tokenizer.eos_token
+
+base_model = AutoModelForCausalLM.from_pretrained(
+    model_name,
+    torch_dtype=torch.float16,
+    device_map="auto",
+    trust_remote_code=True
+)
+
+model = PeftModel.from_pretrained(base_model, adapter_name)
+model = model.eval()
+
+print("模型加载完成！")
+
+@spaces.GPU
+def chat(message, history):
+    """
+    聊天函数，处理用户消息并返回模型响应
+    """
+    # 构建对话历史
+    conversation = []
+    for user_msg, bot_msg in history:
+        conversation.append(f"User: {user_msg}")
+        conversation.append(f"Assistant: {bot_msg}")
+    
+    conversation.append(f"User: {message}")
+    conversation.append("Assistant:")
+    
+    prompt = "\n".join(conversation)
+    
+    # 编码输入
+    inputs = tokenizer(prompt, return_tensors="pt", truncation=True, max_length=2048)
+    inputs = {k: v.to(model.device) for k, v in inputs.items()}
+    
+    # 生成响应
+    with torch.no_grad():
+        outputs = model.generate(
+            **inputs,
+            max_new_tokens=512,
+            temperature=0.7,
+            top_p=0.9,
+            do_sample=True,
+            pad_token_id=tokenizer.eos_token_id
+        )
+    
+    # 解码输出
+    response = tokenizer.decode(outputs[0], skip_special_tokens=True)
+    
+    # 提取助手的回复
+    if "Assistant:" in response:
+        response = response.split("Assistant:")[-1].strip()
+    
+    return response
+
+# 创建Gradio Chatbot界面
+with gr.Blocks(theme=gr.themes.Soft()) as demo:
+    gr.Markdown(
+        """
+        # 🤖 FinGPT Chatbot
+        
+        这是一个基于 **FinGPT/fingpt-mt_llama3-8b_lora** 模型的金融对话助手。
+        
+        您可以询问关于金融市场、投资、经济分析等问题。
+        """
+    )
+    
+    chatbot = gr.Chatbot(
+        label="聊天记录",
+        height=500,
+        bubble_full_width=False
+    )
+    
+    with gr.Row():
+        msg = gr.Textbox(
+            label="输入您的消息",
+            placeholder="在这里输入您的问题...",
+            scale=4
+        )
+        submit = gr.Button("发送", scale=1, variant="primary")
+    
+    clear = gr.Button("清空对话历史")
+    
+    gr.Examples(
+        examples=[
+            "什么是量化宽松政策？",
+            "如何评估一只股票的价值？",
+            "请解释一下技术分析中的MACD指标",
+            "当前市场环境下应该如何配置资产？"
+        ],
+        inputs=msg
+    )
+    
+    # 事件处理
+    def user_message(user_msg, history):
+        return "", history + [[user_msg, None]]
+    
+    def bot_message(history):
+        user_msg = history[-1][0]
+        bot_response = chat(user_msg, history[:-1])
+        history[-1][1] = bot_response
+        return history
+    
+    msg.submit(user_message, [msg, chatbot], [msg, chatbot], queue=False).then(
+        bot_message, chatbot, chatbot
+    )
+    submit.click(user_message, [msg, chatbot], [msg, chatbot], queue=False).then(
+        bot_message, chatbot, chatbot
+    )
+    clear.click(lambda: None, None, chatbot, queue=False)
+
+if __name__ == "__main__":
+    demo.launch()

requirements.txt

@@ -0,0 +1,6 @@
+gradio==5.9.1
+transformers>=4.35.0
+torch>=2.0.0
+peft>=0.7.0
+accelerate>=0.24.0
+spaces