Deploy math solver

app.py

@@ -0,0 +1,127 @@
+"""
+HuggingFace Spaces 推理应用
+使用 Gradio 创建交互式界面
+"""
+
+import gradio as gr
+from transformers import AutoModelForCausalLM, AutoTokenizer
+import torch
+
+# 模型配置
+MODEL_NAME = "zhman/llama-SFT-GRPO"
+
+# 加载模型和分词器
+print("🔄 加载模型...")
+tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
+model = AutoModelForCausalLM.from_pretrained(
+    MODEL_NAME,
+    torch_dtype=torch.bfloat16,
+    device_map="auto"
+)
+print("✅ 模型加载完成！")
+
+
+def solve_math_problem(question, max_length=512, temperature=0.7, top_p=0.9):
+    """
+    解决数学问题
+    
+    Args:
+        question: 数学问题
+        max_length: 最大生成长度
+        temperature: 温度参数
+        top_p: Top-p 采样参数
+    
+    Returns:
+        str: 模型生成的答案
+    """
+    # 构造提示词
+    prompt = f"问题：{question}\n答案："
+    
+    # 编码输入
+    inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
+    
+    # 生成回答
+    with torch.no_grad():
+        outputs = model.generate(
+            **inputs,
+            max_length=max_length,
+            temperature=temperature,
+            top_p=top_p,
+            do_sample=True,
+            pad_token_id=tokenizer.pad_token_id,
+            eos_token_id=tokenizer.eos_token_id
+        )
+    
+    # 解码输出
+    generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
+    
+    # 提取答案部分
+    if "答案：" in generated_text:
+        answer = generated_text.split("答案：", 1)[1].strip()
+    else:
+        answer = generated_text
+    
+    return answer
+
+
+# 创建 Gradio 界面
+demo = gr.Interface(
+    fn=solve_math_problem,
+    inputs=[
+        gr.Textbox(
+            label="💬 请输入您的数学问题",
+            placeholder="例如：一个长方形的长是8厘米，宽是5厘米，它的周长是多少？",
+            lines=3
+        ),
+        gr.Slider(
+            minimum=50,
+            maximum=2048,
+            value=512,
+            step=50,
+            label="📏 最大长度"
+        ),
+        gr.Slider(
+            minimum=0.0,
+            maximum=2.0,
+            value=0.7,
+            step=0.1,
+            label="🌡️ Temperature"
+        ),
+        gr.Slider(
+            minimum=0.0,
+            maximum=1.0,
+            value=0.9,
+            step=0.05,
+            label="🎯 Top P"
+        )
+    ],
+    outputs=gr.Textbox(
+        label="✨ AI 回答",
+        lines=5
+    ),
+    title="🧮 数学问题求解 AI",
+    description="""
+    基于 Llama-3.2-1B-Instruct 微调的数学问题求解模型。
+    
+    **使用方法**：
+    1. 在输入框中输入您的数学问题
+    2. 调整推理参数（可选）
+    3. 点击 Submit 获取答案
+    
+    **模型信息**：
+    - 基础模型：Llama-3.2-1B-Instruct
+    - 微调任务：数学推理和问题求解
+    - 模型作者：zhman
+    """,
+    examples=[
+        ["2+2等于多少？", 512, 0.7, 0.9],
+        ["一个长方形的长是8厘米，宽是5厘米，它的周长是多少？", 512, 0.7, 0.9],
+        ["小明有5个苹果，小红给了他3个，小明现在有多少个苹果？", 512, 0.7, 0.9]
+    ],
+    theme=gr.themes.Soft(),
+    allow_flagging="never"
+)
+
+# 启动应用
+if __name__ == "__main__":
+    demo.launch()

requirements.txt

@@ -0,0 +1,4 @@
+transformers>=4.30.0
+torch>=2.0.0
+gradio>=4.0.0
+accelerate>=0.20.0