llm_server/READ.md

# LLM 服務啟動指令

本專案所有的 AI/LLM 服務均在遠端伺服器（使用 Conda 虛擬環境 `nv`）啟動。以下為各服務的啟動指令：

## 1. MiniCPM-V-4.6 多模態影像服務 (Port 4000)
```bash
PATH=/home/ubuntu/miniconda3/envs/nv/bin:$PATH /home/ubuntu/miniconda3/envs/nv/bin/transformers serve openbmb/MiniCPM-V-4.6 --port 4000 --host 0.0.0.0 --trust-remote-code
```

## 2. MiniCPM5-1B 語言模型服務 (Port 4001)
```bash
PATH=/home/ubuntu/miniconda3/envs/nv/bin:$PATH /home/ubuntu/miniconda3/envs/nv/bin/transformers serve openbmb/MiniCPM5-1B --port 4001 --host 0.0.0.0
```

## 3. Whisper 語音轉文字服務 (Port 4002)
```bash
PATH=/home/ubuntu/miniconda3/envs/nv/bin:$PATH /home/ubuntu/miniconda3/envs/nv/bin/python /home/ubuntu/stt_server.py
```

## 4. ChatTTS 文字轉語音服務 (Port 4003)
```bash
PATH=/home/ubuntu/miniconda3/envs/nv/bin:$PATH /home/ubuntu/miniconda3/envs/nv/bin/python /home/ubuntu/tts_server.py
```