core: 更新 ModelLoader 对接远端 Modal API + README 同步

README.md

@@ -40,7 +40,13 @@ PregoPal 是一款面向孕期家庭的 AI 陪护工具，支持：
 | 📝 饮食记录储存（JSON + Markdown） | 已实现 | `modules/diet_logger.py` + `modules/diet_extractor.py` |
 | 📊 营养分析与可视化报告 | 基线可用 | `modules/nutrition_analyzer.py` + `modules/nutrition_standards.py` |
 
-**技术栈**: Python 3.13 · Gradio 6.16 · MiniCPM-o 4.5 · Matplotlib · Pandas
+**技术栈**: Python 3.13 · Gradio 6.16 · MiniCPM-o 4.5 · llama-cpp-python (CUDA) · Modal T4 · Matplotlib · Pandas
+
+**模型部署**: MiniCPM-o-4_5 GGUF (Q4_K_M) on Modal (T4 GPU, $0.50/hr)
+- API 端点: `https://andrew-jiabin--prego-pal-minicpm-serve.modal.run`
+- 集成方式: `core/model_loader.py` ←HTTP→ Modal API (OpenAI 兼容)
+- 模型数据: Modal Volume `minicpm-o-4_5-models`（持久化，仅需上传一次）
+- 详见: `modal_deploy/README.md`
 
 ---
 

core/model_loader.py

@@ -1,26 +1,118 @@
 """
 PregoPal - 模型加载器
 ======================
-加载 MiniCPM-o 4.5 多模态模型。
+对接 Modal 远端部署的 MiniCPM-o 4.5 API。
 
-当前：空接口（等待 MiniCPM-o 部署）
-后续：使用 OpenBMB 官方推理代码加载模型
+架构：
+  core/model_loader.py  ←HTTP→ modal_deploy/deploy.py (Modal T4 GPU)
+                                       ↕
+                                llama-cpp-python (CUDA)
+                                       ↕
+                                MiniCPM-o-4_5 GGUF (Volume)
+
+用法：
+    from core.model_loader import ModelLoader
+    
+    loader = ModelLoader()
+    # 远程调用（走 Modal API）
+    resp = loader.chat("今天孕妇可以吃什么？")
+    # 本地调用（如果有本地模型）
+    loader.load_local("/path/to/model.gguf")
 """
 
+import os
+import logging
+from typing import Optional
+
+logger = logging.getLogger(__name__)
+
+# Modal 部署的 API 端点（由环境变量配置，默认使用线上 T4 部署）
+DEFAULT_API_BASE = os.environ.get(
+    "MINICPM_API_BASE",
+    "https://andrew-jiabin--prego-pal-minicpm-serve.modal.run",
+)
+
 
 class ModelLoader:
-    """MiniCPM-o 4.5 模型加载器"""
+    """MiniCPM-o 4.5 模型加载器（远端 API 模式 / 本地模式）"""
+
+    def __init__(self, api_base: str = None):
+        self.api_base = (api_base or DEFAULT_API_BASE).rstrip("/")
+        self._client = None  # lazy init
+        self._local_model = None
+        self._local_mmproj = None
+
+    # ── 远端 API 模式（默认） ─────────────────────────────────
+
+    @property
+    def client(self):
+        if self._client is None:
+            from modal_deploy.client import MiniCPMClient
+            self._client = MiniCPMClient(base_url=self.api_base)
+        return self._client
+
+    def chat(self, messages: list[dict], **kwargs) -> dict:
+        """远端对话（走 Modal T4）"""
+        return self.client.chat(messages, **kwargs)
+
+    def ask(self, prompt: str, system_prompt: Optional[str] = None) -> str:
+        """远端简化调用"""
+        return self.client.ask(prompt, system_prompt=system_prompt)
+
+    def chat_with_image(
+        self, prompt: str, image_base64: str, **kwargs
+    ) -> dict:
+        """远端多模态"""
+        return self.client.chat_with_image(prompt, image_base64, **kwargs)
+
+    def health(self) -> dict:
+        """检查远端服务状态"""
+        return self.client.health()
+
+    # ── 本地模式（备选，用于开发调试） ────────────────────────
+
+    def load_local(
+        self,
+        model_path: str,
+        mmproj_path: Optional[str] = None,
+        n_gpu_layers: int = -1,
+        n_ctx: int = 8192,
+    ):
+        """加载本地 GGUF 模型（需安装 llama-cpp-python）"""
+        try:
+            from llama_cpp import Llama
+        except ImportError:
+            raise ImportError(
+                "本地模式需要 llama-cpp-python: pip install llama-cpp-python"
+            )
+
+        kwargs = dict(
+            model_path=model_path,
+            n_gpu_layers=n_gpu_layers,
+            n_ctx=n_ctx,
+            verbose=False,
+        )
+        if mmproj_path and os.path.isfile(mmproj_path):
+            kwargs["mmproj"] = mmproj_path
+
+        logger.info(f"[ModelLoader] Loading local model: {model_path}")
+        self._local_model = Llama(**kwargs)
+        self._local_mmproj = mmproj_path
+        logger.info("[ModelLoader] [OK] Local model loaded")
 
-    def __init__(self, model_path: str = None):
-        self.model_path = model_path
-        self.model = None
-        self.processor = None
+    def chat_local(self, messages: list[dict], **kwargs) -> dict:
+        """本地推理"""
+        if self._local_model is None:
+            raise RuntimeError("本地模型未加载，请先调用 load_local()")
+        return self._local_model.create_chat_completion(
+            messages=messages,
+            **kwargs,
+        )
 
-    def load(self):
-        """加载模型（待实现）"""
-        raise NotImplementedError("等待 MiniCPM-o 4.5 部署后实现")
+    # ── 通用接口 ─────────────────────────────────────────────
 
     def unload(self):
-        """卸载模型释放显存"""
-        self.model = None
-        self.processor = None
+        """卸载释放资源"""
+        self._client = None
+        self._local_model = None
+        self._local_mmproj = None

modal_deploy/README.md

@@ -2,7 +2,7 @@
 
 ## 概述
 
-在 Modal.com 的 A100 GPU 上部署 MiniCPM-o-4_5 模型，通过 llama.cpp server 提供 OpenAI 兼容的 API 接口。
+在 Modal.com 的 **T4 GPU** 上部署 MiniCPM-o-4_5 模型，通过 llama-cpp-python (CUDA pre-built wheel) 提供 OpenAI 兼容的 API 接口。
 
 ## 架构
 
@@ -129,9 +129,9 @@ modal run modal_deploy/deploy.py::upload_models
 
 在 `deploy.py` 中可调整的参数：
 - `container_idle_timeout=300` — 空闲 5 分钟后自动关闭
-- `gpu="A100"` — GPU 类型（也可用 H100、A10G）
-- `-c 8192` — 上下文窗口大小
-- `-ngl 99` — GPU 层数（99=全部到 GPU）
+- `gpu="T4"` — GPU 类型（16GB VRAM，$0.50/hr。也可用 A100: $1.50/hr）
+- `n_ctx=8192` — 上下文窗口大小
+- `n_gpu_layers=-1` — GPU 层数（-1=全部到 GPU）
 
 ## 与 PregoPal 集成
 
@@ -154,7 +154,8 @@ def ask_minicpm(prompt: str) -> str:
 ## 注意事项
 
 1. **冷启动**：无请求 >5 分钟后容器关闭，下次请求需等待 ~30-60 秒（模型加载）
-2. **成本**：A100 约 $1.10/小时，按实际使用计费
+2. **成本**：T4 约 $0.50/小时（vs A100 $1.50/hr），按实际使用计费。降级节省 **67%**
 3. **模型上传**：Volume 是持久化的，模型只需上传一次
 4. **并发**：`@modal.concurrent(max_inputs=10)` 支持 10 个并发请求
-5. **修复说明**：旧 deploy.py 的 `find_mmproj_files()` 递归搜索到 9 个 .gguf 文件并全部作为 `--mmproj` 传入，导致 llama-server 启动失败。新版已明确指定 `--mmproj` 使用 vision 投影层（仅一个文件）。
+5. **VRAM 使用**：Q4_K_M 模型 4.7GB + vision 0.5GB + KV cache ≈ 6GB，T4 16GB 完全够用
+6. **修复说明**：旧 deploy.py 的 `find_mmproj_files()` 递归搜索到 9 个 .gguf 文件并全部作为 `--mmproj` 传入，导致启动失败。新版已明确指定 `--mmproj` 使用 vision 投影层（仅一个文件）。