Update app.py

app.py

@@ -6,23 +6,26 @@ import torch
 
 app = FastAPI()
 
-# 1. 加载模型
+# 1. 加载模型逻辑
 MODEL_PATH = "jiang1002/chatglm-6b-adgen"
-print("🚀 正在加载模型...")
+print("🚀 正在加载模型到 CPU (这需要大约 15GB 内存，请确保 Space 没爆内存)...")
 
 tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH, trust_remote_code=True)
-# 强制 CPU 运行，.float() 是为了防止精度溢出导致内存崩掉
+
+# 【核心修改】强制使用 .float() 并在 CPU 上运行
+# 不要写 .cuda()，不要写 device='cuda'
 model = AutoModel.from_pretrained(MODEL_PATH, trust_remote_code=True).float()
 model.eval()
-print("✅ 模型就绪！")
 
-# 2. 别人调用的 API 接口 (POST /generate)
+print("✅ CPU 模式加载成功！API 已就绪。")
+
+# 2. 别人调用的 API 接口
 @app.post("/generate")
 async def generate(request: Request):
     try:
         data = await request.json()
         prompt = data.get("text", "")
-        # 直接用本地模型，不求人
+        # 直接在 CPU 上推理
         response, _ = model.chat(tokenizer, prompt, history=[])
         return {"success": True, "result": response}
     except Exception as e:
@@ -33,7 +36,7 @@ def chat_func(msg, hist):
     res, _ = model.chat(tokenizer, msg, history=hist)
     return res
 
-demo = gr.ChatInterface(fn=chat_func, title="ChatGLM API Server")
+demo = gr.ChatInterface(fn=chat_func, title="ChatGLM CPU API Server")
 app = gr.mount_gradio_app(app, demo, path="/")
 
 if __name__ == "__main__":