Upload 2 files

app.py

@@ -0,0 +1,45 @@
+import gradio as gr
+from llama_cpp import Llama
+from huggingface_hub import hf_hub_download
+
+# 1. 下载模型（针对 Qwen 官方 GGUF 仓库的命名规范）
+# 建议使用 Q4_K_M 版本，平衡性能与 16GB 内存限制
+model_path = hf_hub_download(
+    repo_id="Qwen/Qwen2.5-Coder-7B-Instruct-GGUF",
+    filename="qwen2.5-coder-7b-instruct-q4_k_m.gguf"
+)
+
+# 2. 初始化模型
+llm = Llama(
+    model_path=model_path,
+    n_ctx=4096,  # 运维场景通常需要处理较长日志，设置为 4k
+    n_threads=2  # 对应免费 CPU 的核数
+)
+
+def respond(message, history):
+    system_prompt = "你是一位资深大数据运维专家。请为用户提供 Hadoop/Spark/Flink 等组件的代码调优、故障排查建议或 Shell 脚本。"
+
+    # 构造对话历史
+    messages = [{"role": "system", "content": system_prompt}]
+    for user_msg, assistant_msg in history:
+        messages.append({"role": "user", "content": user_msg})
+        messages.append({"role": "assistant", "content": assistant_msg})
+    messages.append({"role": "user", "content": message})
+
+    # 流式生成
+    response_text = ""
+    for chunk in llm.create_chat_completion(messages=messages, stream=True):
+        delta = chunk['choices'][0]['delta']
+        if 'content' in delta:
+            response_text += delta['content']
+            yield response_text
+
+# 3. 启动 Gradio 界面
+demo = gr.ChatInterface(
+    fn=respond,
+    title="BigData Ops Copilot (Qwen2.5-Coder-7B)",
+    examples=["如何优化 Spark 任务的内存分配？", "写一个监控 Kafka 消费延迟的 Python 脚本"]
+)
+
+if __name__ == "__main__":
+    demo.launch()

requirements.txt

@@ -0,0 +1,3 @@
+llama-cpp-python
+gradio
+huggingface_hub