---
license: apache-2.0
language:
- pt
- en
base_model: SnaX-Company/NexMOSHA
pipeline_tag: audio-to-audio
tags:
- music
- audio-generation
- ssm
- mamba
- pytorch
- therapeutic
---

# 🎵 NexMOSHA: Multi-scale cOntextual State space Hybrid Attention

**NexMOSHA** é um sistema de geração de música terapêutica neural de última geração desenvolvido pela **SnaX Company**. O projeto explora a interseção entre inteligência artificial e musicoterapia, projetado para rodar inteiramente em infraestrutura gratuita (Kaggle/Colab), democratizando o acesso à pesquisa de áudio de alta performance.

## 🧠 O que é o NexMOSHA?

O NexMOSHA utiliza uma arquitetura híbrida inovadora que combina **State Space Models (SSM/Mamba)** com **Atenção Causal** para capturar tanto dependências de longo alcance quanto contextos locais finos em sinais de áudio.

Inspirado por pesquisas da ETH Zurich sobre frequências sonoras e respostas biológicas, o modelo visa a geração de áudios que podem atuar como estímulos terapêuticos.

### As 3 Fases de Evolução:
1.  **Beta-1 (SSM Puro)**: Exploração inicial com SiMBA e EnCodec (75 Hz).
2.  **Beta-2 (NexMOSHA Híbrido)**: Arquitetura customizada de 77M parâmetros com MS-SSM (Multi-Scale) e DualCodec (12.5 Hz).
3.  **Beta-3 (LLM Fine-Tuning)**: Transplante do vocabulário de áudio para o **Qwen3.5-2B** via LoRA.

## 🏗️ Detalhes do Modelo (Beta-2)

- **Parâmetros**: ~77 Milhões.
- **Arquitetura**: 8 camadas (SSM em 7 camadas + Atenção Causal no midpoint).
- **Multi-Scale**: Utiliza 3 escalas paralelas de `d_state` (16, 64, 256) com um *Scale Mixer* dinâmico.
- **Codec**: DualCodec (12.5 Hz) operando em 8 codebooks hierárquicos.
- **Performance**: Inferência otimizada com KV Cache (240× mais rápida que implementações padrão).

## 🚀 Como Usar

O checkpoint disponível (`nexmosha-v2.ckpt`) contém os pesos da arquitetura Beta-2 treinados na fase S5.

### Requisitos:
- PyTorch 2.1+
- [DualCodec](https://github.com/SnaX-Company/DualCodec) (necessário para decodificar os tokens em áudio)

### Exemplo Rápido:
```python
import torch
from nexmosha import NexMOSHA

model = NexMOSHA.load_from_checkpoint("nexmosha-v2.ckpt")
model.eval()

# Gerar tokens de áudio
tokens = model.generate(max_new_tokens=1000) 
```

## 📊 Resultados e Benchmarks

| Fase | Melhor Loss | PPL | Nota |
|---|---|---|---|
| Beta-1 (híbrido) | **0.87** | 2.7 | Alta fidelidade acústica |
| Beta-2 (NexMOSHA) | **4.66** | — | DualCodec 12.5Hz (Semântico) |
| Beta-3 (Qwen+LoRA) | *S4 em andamento* | — | Potencial de raciocínio musical |

## 📑 Citação e Paper

Se você utilizar este trabalho em sua pesquisa, por favor cite:

```bibtex
@article{destro2026nexmosha,
  title={NexMOSHA: From Custom Hybrid SSM-Attention to LLM Fine-Tuning for Neural Therapeutic Audio Generation},
  author={Destro, Guilherme},
  journal={arXiv preprint},
  year={2026}
}
```

## 📜 Licença

Este modelo está licenciado sob a **Apache License 2.0**.

---
<p align="center">
  <sub>Desenvolvido com 🧠 + ☕ por <strong>SnaX Company</strong></sub>
</p>