Instructions to use ModernoTech/Nova-Mini with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- llama.cpp
How to use ModernoTech/Nova-Mini with llama.cpp:
Install (macOS, Linux)
curl -LsSf https://llama.app/install.sh | sh # Start a local OpenAI-compatible server with a web UI: llama serve -hf ModernoTech/Nova-Mini:Q4_K_M # Run inference directly in the terminal: llama cli -hf ModernoTech/Nova-Mini:Q4_K_M
Install from WinGet (Windows)
winget install llama.cpp # Start a local OpenAI-compatible server with a web UI: llama serve -hf ModernoTech/Nova-Mini:Q4_K_M # Run inference directly in the terminal: llama cli -hf ModernoTech/Nova-Mini:Q4_K_M
Build from source code
git clone https://github.com/ggml-org/llama.cpp.git cd llama.cpp cmake -B build cmake --build build -j --target llama-app # Start a local OpenAI-compatible server with a web UI: ./build/bin/llama serve -hf ModernoTech/Nova-Mini:Q4_K_M # Run inference directly in the terminal: ./build/bin/llama cli -hf ModernoTech/Nova-Mini:Q4_K_M
Use Docker
docker model run hf.co/ModernoTech/Nova-Mini:Q4_K_M
- Llama new
- LM Studio
- Jan
- Ollama
How to use ModernoTech/Nova-Mini with Ollama:
ollama run hf.co/ModernoTech/Nova-Mini:Q4_K_M
- Unsloth Desktop
- Pi
How to use ModernoTech/Nova-Mini with Pi:
Start the llama.cpp server
# Install llama.cpp: brew install llama.cpp # Start a local OpenAI-compatible server: llama serve -hf ModernoTech/Nova-Mini:Q4_K_M
Configure the model in Pi
# Install Pi: npm install -g @earendil-works/pi-coding-agent # Add to ~/.pi/agent/models.json: { "providers": { "llama-cpp": { "baseUrl": "http://localhost:8080/v1", "api": "openai-completions", "apiKey": "none", "models": [ { "id": "ModernoTech/Nova-Mini:Q4_K_M" } ] } } }Run Pi
# Start Pi in your project directory: pi
- Docker Model Runner
How to use ModernoTech/Nova-Mini with Docker Model Runner:
docker model run hf.co/ModernoTech/Nova-Mini:Q4_K_M
- Lemonade
How to use ModernoTech/Nova-Mini with Lemonade:
Pull the model
# Download Lemonade from https://lemonade-server.ai/ lemonade pull ModernoTech/Nova-Mini:Q4_K_M
Run and chat with the model
lemonade run user.Nova-Mini-Q4_K_M
List all available models
lemonade list
- Hermes Agent
How to use ModernoTech/Nova-Mini with Hermes Agent:
Start the llama.cpp server
# Install llama.cpp: brew install llama.cpp # Start a local OpenAI-compatible server: llama serve -hf ModernoTech/Nova-Mini:Q4_K_M
Configure Hermes
# Install Hermes: curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash hermes setup # Point Hermes at the local server: hermes config set model.provider custom hermes config set model.base_url http://127.0.0.1:8080/v1 hermes config set model.default ModernoTech/Nova-Mini:Q4_K_M
Run Hermes
hermes
- Atomic Chat
- OpenClaw
How to use ModernoTech/Nova-Mini with OpenClaw:
Start the llama.cpp server
# Install llama.cpp: brew install llama.cpp # Start a local OpenAI-compatible server: llama serve -hf ModernoTech/Nova-Mini:Q4_K_M
Configure OpenClaw
# Install OpenClaw: npm install -g openclaw@latest # Register the local server and set it as the default model: openclaw onboard --non-interactive --mode local \ --auth-choice custom-api-key \ --custom-base-url http://127.0.0.1:8080/v1 \ --custom-model-id "ModernoTech/Nova-Mini:Q4_K_M" \ --custom-provider-id llama-cpp \ --custom-compatibility openai \ --custom-text-input \ --accept-risk \ --skip-health
Run OpenClaw
openclaw agent --local --agent main --message "Hello from Hugging Face"
docs: add performance methodology and reference hardware table
Browse files
README.md
CHANGED
|
@@ -32,3 +32,44 @@ Limitaciones: no se afirma igualdad de rendimiento frente a modelos mayores.
|
|
| 32 |
Procedencia y licencia documentadas en la sección correspondiente.
|
| 33 |
|
| 34 |
Footer: Moderno Tech · Nova AI.
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 32 |
Procedencia y licencia documentadas en la sección correspondiente.
|
| 33 |
|
| 34 |
Footer: Moderno Tech · Nova AI.
|
| 35 |
+
|
| 36 |
+
## Metodología de rendimiento
|
| 37 |
+
|
| 38 |
+
Nova Mini es un modelo denso. Sus pesos totales participan en cada token, por lo que denso 0.6B: todos los pesos son necesarios por token..
|
| 39 |
+
|
| 40 |
+
### Escenarios de evaluación previstos
|
| 41 |
+
|
| 42 |
+
|
| 43 |
+
### Escenarios probados y no medidos
|
| 44 |
+
|
| 45 |
+
| Escenario | Definición | Estado |
|
| 46 |
+
|---|---|---|
|
| 47 |
+
| Prompt en frio | contexto de entrada vacío o corto | Pendiente |
|
| 48 |
+
| Prompt + generación corta | `n_predict <= 128` | Pendiente |
|
| 49 |
+
| Prompt + generación extendida | `n_predict = 4096` | Pendiente |
|
| 50 |
+
| Contexto largo | contexto de 4K, 8K, 32K, 64K o 128K | Pendiente |
|
| 51 |
+
| Caché vacía / caché precaldeada | estado inicial del runtime | Pendiente |
|
| 52 |
+
|
| 53 |
+
El throughput y la latencia deben medirse por separado para cada equipo. No se deben fusionar promedio y throughput.
|
| 54 |
+
|
| 55 |
+
|
| 56 |
+
### Hardware de referencia
|
| 57 |
+
|
| 58 |
+
|
| 59 |
+
### Hardware de referencia documentado
|
| 60 |
+
|
| 61 |
+
| Equipo | Arquitectura | Memoria disponible o unificada | Ancho de banda de memoria | Estado |
|
| 62 |
+
|---|---|---:|---:|---|
|
| 63 |
+
| MacBook Air 2014 | Apple M-series not applicable: Intel Core i5/i7, hasta 8 GB configurada | 4 GB LPDDR3-1600 de referencia | 25,6 GB/s teóricos en configuración de doble canal | Estimado por interfaz; no es la especificación oficial publicada |
|
| 64 |
+
| Lenovo Yoga 720 | Intel Core i7 de 7.ª generación; revisar modelo exacto | 8 GB DDR4 | dependiente de la configuración instalada | Pendiente de verificación exacta |
|
| 65 |
+
| MacBook Neo | Apple A18 Pro | 8 GB de memoria unificada | 60 GB/s | Dato oficial del fabricante |
|
| 66 |
+
| MacBook Air M4 16 GB | Apple M4 | 16 GB de memoria unificada | 120 GB/s | Dato oficial del fabricante; hardware actual de prueba |
|
| 67 |
+
|
| 68 |
+
Estas cifras representan el techo de transferencia de memoria, no la velocidad real de generación.
|
| 69 |
+
|
| 70 |
+
|
| 71 |
+
### Rendimiento medido
|
| 72 |
+
|
| 73 |
+
- Nova Core: carga local verificada en MacBook Air M4; prompt 49.5 t/s y generación 34.5 t/s con `--ctx-size 512`, `-ngl 0`, `--temp 0.7`.
|
| 74 |
+
- Nano, Mini y Spark: carga y generación no observadas directamente en esta auditoría. Se documentarán cuando se mida el runtime exacto en hardware controlado.
|
| 75 |
+
- No se reclama rendimiento absoluto sin pruebas.
|