| --- |
| license: apache-2.0 |
| language: |
| - pt |
| - en |
| base_model: SnaX-Company/NexMOSHA |
| pipeline_tag: audio-to-audio |
| tags: |
| - music |
| - audio-generation |
| - ssm |
| - mamba |
| - pytorch |
| - therapeutic |
| --- |
| |
| # 🎵 NexMOSHA: Multi-scale cOntextual State space Hybrid Attention |
|
|
| **NexMOSHA** é um sistema de geração de música terapêutica neural de última geração desenvolvido pela **SnaX Company**. O projeto explora a interseção entre inteligência artificial e musicoterapia, projetado para rodar inteiramente em infraestrutura gratuita (Kaggle/Colab), democratizando o acesso à pesquisa de áudio de alta performance. |
|
|
| ## 🧠 O que é o NexMOSHA? |
|
|
| O NexMOSHA utiliza uma arquitetura híbrida inovadora que combina **State Space Models (SSM/Mamba)** com **Atenção Causal** para capturar tanto dependências de longo alcance quanto contextos locais finos em sinais de áudio. |
|
|
| Inspirado por pesquisas da ETH Zurich sobre frequências sonoras e respostas biológicas, o modelo visa a geração de áudios que podem atuar como estímulos terapêuticos. |
|
|
| ### As 3 Fases de Evolução: |
| 1. **Beta-1 (SSM Puro)**: Exploração inicial com SiMBA e EnCodec (75 Hz). |
| 2. **Beta-2 (NexMOSHA Híbrido)**: Arquitetura customizada de 77M parâmetros com MS-SSM (Multi-Scale) e DualCodec (12.5 Hz). |
| 3. **Beta-3 (LLM Fine-Tuning)**: Transplante do vocabulário de áudio para o **Qwen3.5-2B** via LoRA. |
|
|
| ## 🏗️ Detalhes do Modelo (Beta-2) |
|
|
| - **Parâmetros**: ~77 Milhões. |
| - **Arquitetura**: 8 camadas (SSM em 7 camadas + Atenção Causal no midpoint). |
| - **Multi-Scale**: Utiliza 3 escalas paralelas de `d_state` (16, 64, 256) com um *Scale Mixer* dinâmico. |
| - **Codec**: DualCodec (12.5 Hz) operando em 8 codebooks hierárquicos. |
| - **Performance**: Inferência otimizada com KV Cache (240× mais rápida que implementações padrão). |
|
|
| ## 🚀 Como Usar |
|
|
| O checkpoint disponível (`nexmosha-v2.ckpt`) contém os pesos da arquitetura Beta-2 treinados na fase S5. |
|
|
| ### Requisitos: |
| - PyTorch 2.1+ |
| - [DualCodec](https://github.com/SnaX-Company/DualCodec) (necessário para decodificar os tokens em áudio) |
|
|
| ### Exemplo Rápido: |
| ```python |
| import torch |
| from nexmosha import NexMOSHA |
| |
| model = NexMOSHA.load_from_checkpoint("nexmosha-v2.ckpt") |
| model.eval() |
| |
| # Gerar tokens de áudio |
| tokens = model.generate(max_new_tokens=1000) |
| ``` |
|
|
| ## 📊 Resultados e Benchmarks |
|
|
| | Fase | Melhor Loss | PPL | Nota | |
| |---|---|---|---| |
| | Beta-1 (híbrido) | **0.87** | 2.7 | Alta fidelidade acústica | |
| | Beta-2 (NexMOSHA) | **4.66** | — | DualCodec 12.5Hz (Semântico) | |
| | Beta-3 (Qwen+LoRA) | *S4 em andamento* | — | Potencial de raciocínio musical | |
|
|
| ## 📑 Citação e Paper |
|
|
| Se você utilizar este trabalho em sua pesquisa, por favor cite: |
|
|
| ```bibtex |
| @article{destro2026nexmosha, |
| title={NexMOSHA: From Custom Hybrid SSM-Attention to LLM Fine-Tuning for Neural Therapeutic Audio Generation}, |
| author={Destro, Guilherme}, |
| journal={arXiv preprint}, |
| year={2026} |
| } |
| ``` |
|
|
| ## 📜 Licença |
|
|
| Este modelo está licenciado sob a **Apache License 2.0**. |
|
|
| --- |
| <p align="center"> |
| <sub>Desenvolvido com 🧠 + ☕ por <strong>SnaX Company</strong></sub> |
| </p> |
|
|
