How to use from
llama.cpp
Install (macOS, Linux)
curl -LsSf https://llama.app/install.sh | sh
# Start a local OpenAI-compatible server with a web UI:
llama serve -hf NeveAI/Neve-Muse-2-24B-GGUF:Q4_K_M
# Run inference directly in the terminal:
llama cli -hf NeveAI/Neve-Muse-2-24B-GGUF:Q4_K_M
Install from WinGet (Windows)
winget install llama.cpp
# Start a local OpenAI-compatible server with a web UI:
llama serve -hf NeveAI/Neve-Muse-2-24B-GGUF:Q4_K_M
# Run inference directly in the terminal:
llama cli -hf NeveAI/Neve-Muse-2-24B-GGUF:Q4_K_M
Use pre-built binary
# Download pre-built binary from:
# https://github.com/ggerganov/llama.cpp/releases
# Start a local OpenAI-compatible server with a web UI:
./llama-server -hf NeveAI/Neve-Muse-2-24B-GGUF:Q4_K_M
# Run inference directly in the terminal:
./llama-cli -hf NeveAI/Neve-Muse-2-24B-GGUF:Q4_K_M
Build from source code
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
cmake -B build
cmake --build build -j --target llama-server llama-cli
# Start a local OpenAI-compatible server with a web UI:
./build/bin/llama-server -hf NeveAI/Neve-Muse-2-24B-GGUF:Q4_K_M
# Run inference directly in the terminal:
./build/bin/llama-cli -hf NeveAI/Neve-Muse-2-24B-GGUF:Q4_K_M
Use Docker
docker model run hf.co/NeveAI/Neve-Muse-2-24B-GGUF:Q4_K_M
Quick Links

Neve-Muse-2-24B-GGUF

Introdução

O Neve Muse 2 é um modelo de linguagem de última geração focado em conversação para simulação de interações humanas. Esta versão em formato GGUF foi otimizada pela NeveAI para oferecer o equilíbrio ideal entre precisão lógica e eficiência computacional.


Destaques do Modelo

Este modelo foi desenvolvido para conversação, simulação humana e escrita criativa, focando em:

  • Conversação e Simulação Humana: Otimizado para diálogos naturais, interpretação de personagens e simulação de personalidades e comportamentos humanos.
  • Roleplay e Personalidades: Desenvolvido para manter personagens, estilos, emoções e características comportamentais durante interações prolongadas.
  • Escrita Criativa e Narrativa: Combina especializações em storytelling, fantasia, aventura e prosa expressiva para produzir cenas e narrativas envolventes.
  • Aderência a Prompts e Contexto: Projetado para seguir instruções, cenários, perfis de personagem e regras de interação definidas pelo usuário.

Detalhes da Arquitetura

  • Arquitetura: Transformer denso e autorregressivo baseado na família Mistral Small 3.2, exclusivamente textual.
  • Parâmetros: ~24B de parâmetros, com o modelo completo ativo durante a inferência.
  • Janela de Contexto: Até 128K tokens.
  • Camadas: 40 camadas Transformer com Grouped-Query Attention, 32 cabeças de atenção e 8 cabeças de chave e valor.
  • Merge: Fusão em múltiplas etapas utilizando Model Stock, SLERP e NuSLERP, combinando modelos especializados em conversação, personalidade, roleplay, storytelling, fantasia e aventura.

Como utilizar (GGUF)

Este modelo é compatível com llama.cpp, Ollama, LM Studio e outras ferramentas que suportam o formato GGUF. Foco direcionado ao uso do modelo na plataforma autoral da organização NeveAI

Licença

Este repositório e os pesos do modelo estão licenciados sob a Licença Apache 2.0.

Contato

Se tiver qualquer dúvida, por favor, levante um issue ou entre em contato conosco em NeveIA.

Downloads last month
123
GGUF
Model size
24B params
Architecture
llama
Hardware compatibility
Log In to add your hardware

4-bit

Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for NeveAI/Neve-Muse-2-24B-GGUF

Quantized
(15)
this model

Collection including NeveAI/Neve-Muse-2-24B-GGUF