🦙 LLaMA-Omni2 - Real-Time Voice Conversation System
Sistema de conversação por voz em tempo real com IA usando WebRTC, Whisper e modelos Gemma com aceleração GPU.
🚀 Features
- Conversação por voz em tempo real via WebRTC
- < 1.5 segundos de latência com aceleração GPU
- Whisper ASR para reconhecimento de fala
- Gemma 2/3 para geração de respostas
- Suporte CUDA GPU para 38x mais velocidade
- Otimizado para português
📋 Requisitos
- GPU NVIDIA com CUDA 12.x
- Ubuntu/Debian Linux
- Python 3.11+
- 10GB espaço em disco
- 6GB+ VRAM
🔧 Instalação Rápida
1. Clonar e Instalar
git clone https://huggingface.co/spaces/marcosremar2/llama-omni2
cd llama-omni2
chmod +x install.sh
./install.sh
2. Iniciar Servidor
chmod +x start.sh
./start.sh
3. Acessar Interface
Abrir navegador: http://localhost:8080
📊 Performance
- Whisper: ~33ms
- Gemma: ~1.17s
- Pipeline Total: <1.5s
- Speedup GPU: 38x vs CPU
🏗️ Arquitetura
Browser → WebRTC → Server → Whisper → Gemma → Response
↑ ↓
└──────────── Audio Stream ───────────┘
📁 Estrutura do Projeto
llama-omni2/
├── core/ # Módulos principais do pipeline
├── static/ # Interface web
├── install.sh # Script de instalação
├── start.sh # Iniciar servidor com warmup
└── models/ # Modelos IA (baixados automaticamente)
⚠️ Notas Importantes
- Primeira execução baixa ~4GB de modelos
- Warmup é obrigatório para performance
- Cold start leva ~30-60s (normal)
- GPU requer CUDA toolkit
🔬 Tecnologias
- WebRTC: aiortc para comunicação P2P
- ASR: faster-whisper (OpenAI Whisper otimizado)
- LLM: llama-cpp-python com modelos Gemma GGUF
- GPU: CUDA 12.x para aceleração
📈 Benchmarks
| Componente | CPU | GPU | Speedup |
|---|---|---|---|
| Inferência | 45s | 1.17s | 38x |
| Whisper | 250ms | 33ms | 7.5x |
| Pipeline Total | N/A | <1.5s | ✅ |
📄 Licença
Apache 2.0
🔗 Links
👥 Contribuições
Contribuições são bem-vindas! Por favor, abra uma issue ou PR.
Desenvolvido com ❤️ usando WebRTC, Whisper e Gemma
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support