清理临时文件

_check_hf.py

@@ -1,28 +0,0 @@
-import urllib.request, json
-
-url = "https://huggingface.co/api/models/openbmb/MiniCPM-o-4_5-gguf"
-r = urllib.request.urlopen(url)
-d = json.load(r)
-
-print("=== All GGUF files in repo (with sizes) ===")
-for s in sorted(d.get("siblings", []), key=lambda x: x["rfilename"]):
-    fname = s["rfilename"]
-    if fname.endswith(".gguf"):
-        # Try different size fields
-        size_bytes = s.get("size", 0) or s.get("lfs", {}).get("size", 0)
-        if size_bytes > 0:
-            size_gb = size_bytes / 1024 / 1024 / 1024
-            size_mb = size_bytes / 1024 / 1024
-            if size_gb >= 1:
-                print(f"  {fname}: {size_gb:.1f} GB")
-            else:
-                print(f"  {fname}: {size_mb:.0f} MB")
-        else:
-            # Print raw keys for debugging
-            print(f"  {fname}: (unknown size, keys: {list(s.keys())})")
-
-print("\n=== Raw data for one file (debug) ===")
-for s in d.get("siblings", []):
-    if s["rfilename"].endswith(".gguf"):
-        print(json.dumps(s, indent=2))
-        break

_get_modal_url.py

@@ -1,12 +0,0 @@
-import urllib.request
-import json
-
-url = "https://pypi.org/pypi/modal/json"
-data = json.loads(urllib.request.urlopen(url, timeout=15).read())
-latest = data["info"]["version"]
-print(f"LATEST_VERSION={latest}")
-for f in data["releases"][latest]:
-    if f["filename"].endswith(".whl") and ("none-any" in f["filename"] or "py3-none" in f["filename"]):
-        print(f"WHEEL_URL={f['url']}")
-        print(f"FILENAME={f['filename']}")
-        break

_install_modal.py

@@ -1,64 +0,0 @@
-"""Download and install modal wheel using Python's urllib (which works)"""
-import urllib.request
-import json
-import subprocess
-import sys
-import os
-
-os.chdir(os.path.dirname(os.path.abspath(__file__)))
-
-# Step 1: Get latest modal wheel URL
-print("Step 1: Fetching modal version info...")
-url = "https://pypi.org/pypi/modal/json"
-data = json.loads(urllib.request.urlopen(url, timeout=15).read())
-latest = data["info"]["version"]
-print(f"  Latest version: {latest}")
-
-wheel_url = None
-wheel_filename = None
-for f in data["releases"][latest]:
-    if f["filename"].endswith(".whl") and ("none-any" in f["filename"] or "py3-none" in f["filename"]):
-        wheel_url = f["url"]
-        wheel_filename = f["filename"]
-        break
-
-if not wheel_url:
-    print("ERROR: Could not find suitable wheel")
-    sys.exit(1)
-
-print(f"  Wheel URL: {wheel_url}")
-
-# Step 2: Download wheel
-print(f"Step 2: Downloading {wheel_filename}...")
-urllib.request.urlretrieve(wheel_url, wheel_filename)
-size_mb = os.path.getsize(wheel_filename) / (1024 * 1024)
-print(f"  Downloaded: {wheel_filename} ({size_mb:.1f} MB)")
-
-# Step 3: Install wheel with pip
-print("Step 3: Installing modal and dependencies...")
-# Also need dependencies: grpcio, protobuf, etc.
-# Let pip resolve dependencies from online (it might still fail for some)
-# But at least the main wheel is local
-result = subprocess.run(
-    [sys.executable, "-m", "pip", "install", "--index-url", "https://pypi.org/simple/", wheel_filename],
-    capture_output=True,
-    text=True,
-    timeout=120,
-)
-print(result.stdout)
-if result.returncode != 0:
-    print("STDERR:", result.stderr)
-    # Try without index (offline install, may miss deps)
-    print("Trying offline install (may miss dependencies)...")
-    result2 = subprocess.run(
-        [sys.executable, "-m", "pip", "install", "--no-deps", "--no-index", wheel_filename],
-        capture_output=True,
-        text=True,
-        timeout=60,
-    )
-    print(result2.stdout)
-    if result2.returncode != 0:
-        print("STDERR:", result2.stderr)
-        sys.exit(1)
-
-print("DONE! Modal installed successfully.")

_setup_rtm.py

@@ -1,180 +0,0 @@
-"""设置RTM指令 - 使用Python脚本避免PowerShell转义问题"""
-import json, subprocess, sys
-
-PY = r"C:\Users\Andre\miniconda3\envs\trader_stable\python.exe"
-RTM = r"C:\Users\Andre\.qclaw\workspace\skills\research-task-manager\scripts\research_task_manager.py"
-DB = r"C:\Users\Andre\codes\LJB\hackthon\for_qclaw_llamacpp\PregoPal\rtm_task.json"
-
-def rtm(*args):
-    cmd = [PY, RTM, "--db", DB] + list(args)
-    result = subprocess.run(cmd, capture_output=True, text=True)
-    print(result.stdout)
-    if result.returncode != 0:
-        print("STDERR:", result.stderr)
-    return result.returncode
-
-# Step 1.1: Phase1
-instructions_1_1 = """Phase1: 部署本地llama-server并验证全双工API
-
-目标：启动llama-server并验证MiniCPM-o 4.5的语音输入/输出功能正常工作。
-
-参考文档：
-1. 官方README: https://www.modelscope.cn/models/OpenBMB/MiniCPM-o-4_5/files - 全双工架构说明
-2. 本地部署经验: C:\\Users\\Andre\\codes\\LJB\\hackthon\\for_qclaw_llamacpp\\PregoPal\\docs\\本地部署经验.md
-3. 官方部署例程: C:\\Users\\Andre\\codes\\LJB\\hackthon\\MiniCPM-V-CookBook\\deployment\\llama.cpp\\minicpm-o4_5_llamacpp_zh.md
-4. 全双工后端参考: C:\\Users\\Andre\\codes\\LJB\\hackthon\\MiniCPM-V-CookBook\\demo\\web_demo\\WebRTC_Demo\\omini_backend_code\\code\\voice_chat\\omni_stream.py
-
-关键资源位置：
-- llama-server: C:\\Users\\Andre\\codes\\LJB\\llama.cpp-omni\\build\\bin\\Release\\llama-server.exe
-- 模型文件: C:\\Users\\Andre\\codes\\LJB\\llama.cpp-omni\\models\\（Q4_K_M + vision/audio/tts/projector）
-- PregoPal源码: C:\\Users\\Andre\\codes\\LJB\\hackthon\\for_qclaw_llamacpp\\PregoPal\\
-
-步骤：
-1. 确认llama-server.exe编译OK（含CUDA支持）
-2. 确认所有5个模型文件完整
-3. 启动llama-server：-m Q4_K_M --mmproj vision --mmproj audio --mmproj tts --mmproj projector -c 16384 --host 127.0.0.1 --port 8081
-4. 验证API端点：/health /v1/chat/completions /omni/streaming_prefill /omni/streaming_generate
-5. 测试文本推理，验证响应正常
-6. 检查显存使用，确保4060Ti 16GB不超限
-"""
-
-rtm("update", "--id", "1.1", "--instructions", json.dumps(instructions_1_1, ensure_ascii=False))
-
-# Step 1.2: Phase2
-instructions_1_2 = """Phase2: 实现VoiceProcessor ASR和TTS音频输出
-
-目标：让PregoPal能接收语音输入（ASR）和输出语音回复（TTS）。
-
-参考文档：
-- C:\\Users\\Andre\\codes\\LJB\\hackthon\\MiniCPM-V-CookBook\\inference\\speech2text_zh.md
-- C:\\Users\\Andre\\codes\\LJB\\hackthon\\MiniCPM-V-CookBook\\inference\\text2speech_zh.md
-- C:\\Users\\Andre\\codes\\LJB\\hackthon\\MiniCPM-V-CookBook\\demo\\web_demo\\gradio\\server\\models\\minicpmo4_5.py
-
-MiniCPM-o 4.5原生支持语音输入/输出（通过音频tokenizer），但llama-server模式下：
-方案A：使用llama-server的/v1/audio/transcriptions端点（类似Whisper）
-方案B：使用本地Whisper-medium进行ASR + MiniCPM-o进行文本对话 + TTS
-方案C：使用llama.cpp-omni的omni流式接口直接传入音频流
-
-关键问题：
-1. MiniCPM-o 4.5的GGUF版本是否支持/v1/audio端点？
-2. 如果不支持，需要调研本地Whisper方案
-3. TTS输出：MiniCPM-o自带的TTS能力（tts-mmproj）是否可用？
-
-依赖：
-- core/voice_processor.py需要实现transcribe(audio_path) -> str
-- core/model_loader.py需要暴露TTS接口
-"""
-
-rtm("update", "--id", "1.2", "--instructions", json.dumps(instructions_1_2, ensure_ascii=False))
-
-# Step 1.3: Phase3
-instructions_1_3 = """Phase3: 改造ConversationManager接入MiniCPM-o 4.5 API
-
-目标：将PregoPal的对话管理模块与实际模型连接起来。
-
-参考：
-- core/conversation_manager.py（当前占位）
-- core/model_loader.py（当前已封装Modal API客户端）
-- modal_deploy/client.py（MiniCPMClient实现参考）
-
-需要改造的内容：
-1. ConversationManager.build_system_prompt() - 构建包含孕期营养专业知识的系统提示词
-2. ConversationManager.switch_mode() - 支持task/chat模式切换
-3. ConversationManager.set_speaker() - 设置声纹识别出的当前说话人
-4. ConversationManager.parse_response() - 解析AI回复，提取[EXTRACT_DIET]等标记
-5. ModelLoader支持本地llama-server的OpenAI兼容API调用（替换Modal远程调用）
-6. 集成DietExtractor的提取标记到对话流程中
-
-关键设计决策：
-- 系统提示词应该包含哪些内容？（孕期营养知识、对话规则、输出格式）
-- 对话历史如何管理？（context window限制16384）
-- 如何切换本地模式vs Modal远程模式？
-"""
-
-rtm("update", "--id", "1.3", "--instructions", json.dumps(instructions_1_3, ensure_ascii=False))
-
-# Step 1.4: Phase4
-instructions_1_4 = """Phase4: 实现start_voice_session全双工语音对话闭环
-
-目标：让用户点击语音按钮后，实现"语音输入→ASR转写→AI思考→TTS输出"的完整闭环。
-
-参考：
-- MiniCPM-V-CookBook的Gradio demo: server/models/minicpmo4_5.py（包含ChatBot类实现）
-- 全双工WebSocket/流式���现: omini_backend_code/code/voice_chat/omni_stream.py
-- PregoPal当前占位: ui/app_builder.py中的start_voice_session()
-
-Gradio语音交互方案：
-方案A: Gradio内置Audio组件（gr.Audio(source="microphone") + gr.Audio(output)）
-方案B: 使用WebRTC + 自定义JS组件实现低延迟语音流
-方案C: 使用FastAPI WebSocket + Gradio前端组合
-
-关键步骤：
-1. 改造ui/app_builder.py中的语音按钮，使其实际调用AIModel
-2. 实现语音输入→ASR→AI→TTS→语音输出的串行流程
-3. 使用gr.Stream或gr.load streaming模式实现实时反馈
-4. 显示AI思考状态（thinking状态）
-
-注意：Gradio的gr.Audio组件默认是点击录音→上传→处理→输出的模式，不是实时流。
-如果要实现真正的"全双工"，需要使用自定义JS组件 + WebSocket。
-"""
-
-rtm("update", "--id", "1.4", "--instructions", json.dumps(instructions_1_4, ensure_ascii=False))
-
-# Step 1.5: Phase5
-instructions_1_5 = """Phase5: 集成PregoPal业务逻辑
-
-目标：将AI对话能力与PregoPal的完整业务管线串联起来。
-
-完整的对话处理管线：
-1. 用户语音输入 → 声纹识别(modules/voiceprint.py) → 识别说话人
-2. ASR转写文本 → 进入ConversationManager
-3. AI思考回复（含孕期营养知识）
-4. AI回复中包含[EXTRACT_DIET][EXTRACT_RECIPE][EXTRACT_PREFERENCE][EXTRACT_WEIGHT][EXTRACT_MEMORY]等标记
-5. DietExtractor.extract_all(reply)提取结构化数据
-6. 结构化数据自动存储到diet_logger/family_manager
-7. NutritionAnalyzer进行实时营养分析
-8. TTS输出AI回复语音
-9. 更新首页简报卡片
-
-需要修改的模块：
-- start_voice_session() - 串联整个管线
-- voiceprint.py的identify_speaker - 从当前音频提取说话人
-- MealRecommender - 使用AI推荐而不是随机模板
-- NutritionAnalyzer - 对接DRIs标准
-"""
-
-rtm("update", "--id", "1.5", "--instructions", json.dumps(instructions_1_5, ensure_ascii=False))
-
-# Step 1.6: Phase6
-instructions_1_6 = """Phase6: 端到端测试与性能优化
-
-目标：确保全双工语音交互在4060Ti 16GB上流畅运行。
-
-测试清单：
-1. 文本对话测试 - 10轮连续对话，验证上下文保持
-2. 语音输入测试 - 不同噪音环境下的ASR准确率
-3. 声纹识别测试 - 多家庭成员识别准确率
-4. 营养分析测试 - 验证DRIs对比正确性
-5. 内存测试 - 显存/内存泄漏检测
-6. 响应时间测试 - 语音输入→TTS输出延迟
-7. 并发测试 - 单用户连续对话稳定性
-
-优化方向：
-1. 模型量化级别：Q4_K_M vs Q8_0 vs F16
-2. n_ctx上下文长度：4096 vs 8192 vs 16384
-3. batch_size调整
-4. 是否启用flash_attn
-5. 长对话历史裁剪策略
-6. GPU offloading层数（-ngl参数）
-
-性能指标目标：
-- 文本推理延迟: <3秒（首token）
-- ASR延迟: <1秒（3秒语音）
-- TTS延迟: <2秒（50字以内）
-- 全双工轮询: <5秒/轮
-- 显存占用: <14GB（留2GB余量）
-"""
-
-rtm("update", "--id", "1.6", "--instructions", json.dumps(instructions_1_6, ensure_ascii=False))
-
-print("RTM 指令设置完成！")