Spaces:
Running
Running
File size: 2,729 Bytes
c7b9514 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 | # 核心功能詳解 (Core Features)
「小花」不僅是一個對話機器人,更是具備感知能力的個人化助理。以下是系統內建的重點特色功能:
## 1. 沉浸式即時語音對話
為解決傳統一問一答的遲滯感,小花採用了全雙工概念的串流對話機制。
- **WebSocket 通訊**: 前端將使用者的語音片段直接透過 WebSocket 傳遞,後端即時進行語音轉文字 (STT)、意圖分析、文字轉語音 (TTS)。
- **動態 UI 反饋**: 當小花正在思考或說話時,前端的花朵視覺特效會根據當前的情緒與聲音頻率進行即時的波動(Pulse),創造出極強的生命力。
## 2. AI 情感共鳴與「關懷模式」(Care Mode)
這是「小花」最核心的亮點之一。
- **情緒捕捉**: 後端在接收到使用者的語音與文字後,不僅分析語意,更會預測使用者的情感狀態(如快樂、中性、悲傷、憤怒、恐懼)。
- **自動介入**: 若系統連續偵測到負面情緒,將無縫進入「關懷模式」。
- **應答策略調整**: 在關懷模式下,小花會自動停用非必要的外部工具(如報天氣),專注於「傾聽」與「安撫」,並調整生成內容的 prompt,以更溫柔、具同理心的方式回應,直到使用者情緒平復。
## 3. 無密碼的聽聲辨人 (Voice Authentication)
除了傳統的帳號密碼與 Google OAuth,我們加入了生物辨識登入。
- 整合了 `SpeechBrain` 的 ECAPA-TDNN 模型。
- 使用者在註冊時錄製幾段語音(如「我是OOO,開啟小花」)。
- 登入時只需對著麥克風說話,系統便會比對聲紋餘弦相似度 (Cosine Similarity),通過門檻後即可自動登入並載入該使用者的個人偏好與歷史記憶。
## 4. MCP 生活助手整合 (Model Context Protocol)
小花能主動使用多種工具來解決使用者的實際需求:
- **環境感知**: 自動抓取使用者的經緯度與時區,並進行反向地理編碼 (Reverse Geocoding)。
- **交通整合 (TDX)**: 串接台灣交通部 TDX 平台,可即時查詢台鐵、高鐵、捷運與公車動態。
- **健康與天氣**: 查詢當前氣候,並能讀取 HealthKit 數據,關心使用者的日常作息與健康狀態。
## 5. 智慧長期記憶系統
有別於只能記住當前對話的傳統機器人,小花會與使用者共同成長。
- **背景摘要**: 每日透過背景 Batch API 排程,將前一日的對話進行重點摘要(如:喜歡吃什麼、最近在煩惱什麼)。
- **上下文注入**: 下次使用者連線時,系統會從 Firestore 中提取這些摘要記憶,作為背景 Context 注入給 LLM,讓對話擁有真正的「延續性」。
|