Upload 3 files

README.md

@@ -1,52 +1,18 @@
----
-title: BigData Ops Copilot
-emoji: 🐠
-colorFrom: blue
-colorTo: yellow
-sdk: gradio
-sdk_version: 6.3.0
-app_file: app.py
-pinned: false
-license: apache-2.0
----
-
-# 🚀 BigData Ops Copilot (Qwen2.5-Coder-7B)
-
-这是一个专为**大数据运维（Big Data O&M）**场景打造的轻量级 AI 助手。基于阿里开源的 `Qwen2.5-Coder-7B-Instruct-GGUF` 模型，通过 Hugging Face Spaces 免费算力实现零成本部署。
-
-## 🌟 核心能力
-- **组件诊断**：涵盖 Hadoop, Spark, Flink, Kafka, Hive, HBase 等主流大数据组件。
-- **性能调优**：提供 Spark 内存调优、Hive 倾斜优化、ClickHouse 查询加速建议。
-- **运维脚本**：自动生成 Shell、Python、SQL 等运维脚本及监控逻辑。
-- **日志分析**：粘贴 Error Stacktrace，快速定位 OOM、超时、权限等常见故障。
-
-## 🛠 部署架构
-- **模型格式**：GGUF (Q4_K_M 量化版本)。
-- **后端框架**：llama-cpp-python + FastAPI。
-- **前端界面**：Gradio。
-- **硬件环境**：Hugging Face CPU Basic (2 vCPU / 16GB RAM)。
-
----
-
-## 🔌 Dify 接入指南 (API Mode)
-
-本 Space 已经过优化，支持 OpenAI 兼容接口，可无缝对接 Dify 等大模型应用开发平台。
-
-### 1. 获取 API 信息
-- **API Endpoint**: `https://coco1990-bigdata-ops-copilot.hf.space/v1`
-- **API Key**: 你的 Hugging Face Access Token
-- **模型名称**: `qwen2.5-coder-7b`
-
-### 2. Dify 配置步骤
-1. 进入 Dify **设置 -> 模型供应商**。
-2. 添加 **OpenAI-API-compatible** 类型供应商。
-3. 填入上述 Endpoint 和 Key 即可完成连接。
-
-> **⚠️ 注意事项**：
-> - **自动休眠**：免费版 Space 在长时间无人访问后会进入休眠状态。若 Dify 调用失败，请手动访问本页面唤醒。
-> - **推理速度**：由于运行在 CPU 环境，首字响应可能存在 5-10 秒延迟，请在 Dify 中适当调大超时时间。
-
----
-
-## 📜 免责声明
-本模型提供的建议仅供参考，在生产环境执行任何脚本或配置更改前，请务必在测试环境验证。
+title: BigData Ops Copilot 
+emoji: 🐠 
+colorFrom: blue 
+colorTo: yellow 
+sdk: gradio 
+sdk_version: 6.3.0 
+app_file: app.py 
+pinned: false 
+license: apache-2.0 
+
+# 🚀 BigData Ops Copilot (Lightweight) 
+
+这是经过优化的轻量化版本，旨在解决 Hugging Face 免费 CPU 算力下编译缓慢的问题。 
+
+## 🔌 Dify 连接参数 
+- **Endpoint**: ` `https://coco1990-bigdata-ops-copilot.hf.space/v1` ` 
+- **API Key**: 使用你的 HF Access Token 
+- **Model Name**: `qwen2.5-coder-7b` 

app.py

@@ -1,49 +1,65 @@
 import os
+import time
 import gradio as gr
 from llama_cpp import Llama
-from llama_cpp.server.app import create_app
 from huggingface_hub import hf_hub_download
+from fastapi import FastAPI, Request
+from fastapi.responses import JSONResponse
 import uvicorn
 
-# 1. 下载模型
+# 1. 初始化 FastAPI
+app = FastAPI()
+
+# 2. 下载并加载模型 (大数据架构师建议：使用 Q4_K_M 以平衡性能与内存)
 model_path = hf_hub_download(
     repo_id="Qwen/Qwen2.5-Coder-7B-Instruct-GGUF",
     filename="qwen2.5-coder-7b-instruct-q4_k_m.gguf"
 )
 
-# 2. 初始化模型核心
-# 注意：为了 API 性能，我们将 n_ctx 保持在 4096
 llm = Llama(
     model_path=model_path,
     n_ctx=4096,
-    n_threads=2
+    n_threads=2,
+    verbose=False
 )
 
-# 3. 创建 OpenAI 兼容的 API 应用 (基于 FastAPI)
-app = create_app(llm)
-
-# 4. 定义 Gradio 界面逻辑（保留 UI，方便你作为运维助手直接使用）
-def respond(message, history):
-    system_prompt = "你是一位资深大数据运维专家。请为用户提供 Hadoop/Spark/Flink 等组件的代码调优或故障排查建议。"
-    messages = [{"role": "system", "content": system_prompt}]
-    for user_msg, assistant_msg in history:
-        messages.append({"role": "user", "content": user_msg})
-        messages.append({"role": "assistant", "content": assistant_msg})
-    messages.append({"role": "user", "content": message})
+# 3. 手动实现 OpenAI 兼容接口 (供 Dify 调用)
+@app.post("/v1/chat/completions")
+async def chat_completions(request: Request):
+    body = await request.json()
+    messages = body.get("messages", [])
+    
+    # 将 OpenAI 格式转换为 llama-cpp 格式
+    response = llm.create_chat_completion(
+        messages=messages,
+        temperature=body.get("temperature", 0.3),
+        max_tokens=body.get("max_tokens", 1024),
+        stream=False
+    )
     
-    response_text = ""
-    for chunk in llm.create_chat_completion(messages=messages, stream=True):
-        delta = chunk['choices'][0]['delta']
-        if 'content' in delta:
-            response_text += delta['content']
-            yield response_text
+    # 模拟 OpenAI 返回结构
+    return JSONResponse(content=response)
 
-demo = gr.ChatInterface(fn=respond, title="BigData Ops Copilot (API Mode)")
+# 4. Gradio 交互界面逻辑 (供手动调试)
+def predict(message, history):
+    system_prompt = "你是一位资深大数据运维专家。请提供专业、安全、高效的脚本和调优建议。"
+    msgs = [{"role": "system", "content": system_prompt}]
+    for h in history:
+        msgs.append({"role": "user", "content": h[0]})
+        msgs.append({"role": "assistant", "content": h[1]})
+    msgs.append({"role": "user", "content": message})
+    
+    output = llm.create_chat_completion(messages=msgs)
+    return output["choices"][0]["message"]["content"]
+
+demo = gr.ChatInterface(
+    fn=predict,
+    title="BigData Ops Copilot (Lightweight Mode)",
+    description="免编译轻量化版 - 支持 Dify 接入"
+)
 
-# 5. 关键步骤：将 Gradio 挂载到 FastAPI 路由上
-# 这样你访问 URL 时看到的是 UI，而 Dify 访问 /v1 时调用的是 API
+# 5. 挂载 Gradio 并启动
 app = gr.mount_gradio_app(app, demo, path="/")
 
 if __name__ == "__main__":
-    # Hugging Face 指定必须监听 7860 端口
     uvicorn.run(app, host="0.0.0.0", port=7860)

requirements.txt

@@ -1,5 +1,6 @@
-llama-cpp-python[server]
+llama-cpp-python
 gradio
 huggingface_hub
 fastapi
-uvicorn
+uvicorn
+pydantic