GGUF
Spanish
English
deepseek_v2
moderno-tech
nova
nova-coder
quantized
code-generation
local-ai
custom_code
conversational
Instructions to use ModernoTech/Nova-Coder with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- llama.cpp
How to use ModernoTech/Nova-Coder with llama.cpp:
Install (macOS, Linux)
curl -LsSf https://llama.app/install.sh | sh # Start a local OpenAI-compatible server with a web UI: llama serve -hf ModernoTech/Nova-Coder:Q4_K_M # Run inference directly in the terminal: llama cli -hf ModernoTech/Nova-Coder:Q4_K_M
Install from WinGet (Windows)
winget install llama.cpp # Start a local OpenAI-compatible server with a web UI: llama serve -hf ModernoTech/Nova-Coder:Q4_K_M # Run inference directly in the terminal: llama cli -hf ModernoTech/Nova-Coder:Q4_K_M
Build from source code
git clone https://github.com/ggml-org/llama.cpp.git cd llama.cpp cmake -B build cmake --build build -j --target llama-app # Start a local OpenAI-compatible server with a web UI: ./build/bin/llama serve -hf ModernoTech/Nova-Coder:Q4_K_M # Run inference directly in the terminal: ./build/bin/llama cli -hf ModernoTech/Nova-Coder:Q4_K_M
Use Docker
docker model run hf.co/ModernoTech/Nova-Coder:Q4_K_M
- Llama new
- LM Studio
- Jan
- Ollama
How to use ModernoTech/Nova-Coder with Ollama:
ollama run hf.co/ModernoTech/Nova-Coder:Q4_K_M
- Unsloth Desktop
- Docker Model Runner
How to use ModernoTech/Nova-Coder with Docker Model Runner:
docker model run hf.co/ModernoTech/Nova-Coder:Q4_K_M
- Lemonade
How to use ModernoTech/Nova-Coder with Lemonade:
Pull the model
# Download Lemonade from https://lemonade-server.ai/ lemonade pull ModernoTech/Nova-Coder:Q4_K_M
Run and chat with the model
lemonade run user.Nova-Coder-Q4_K_M
List all available models
lemonade list
- Atomic Chat
Nova Coder GGUF: rebrand complete README, all 13 quantizations and Nova identifiers
Browse files
README.md
CHANGED
|
@@ -8,14 +8,14 @@ tags:
|
|
| 8 |
- moderno-tech
|
| 9 |
- nova
|
| 10 |
- nova-coder
|
| 11 |
-
- code-generation
|
| 12 |
- gguf
|
| 13 |
-
-
|
|
|
|
| 14 |
license: other
|
| 15 |
inference: false
|
| 16 |
---
|
| 17 |
|
| 18 |
-

|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 8 |
- moderno-tech
|
| 9 |
- nova
|
| 10 |
- nova-coder
|
|
|
|
| 11 |
- gguf
|
| 12 |
+
- code-generation
|
| 13 |
+
- quantized
|
| 14 |
license: other
|
| 15 |
inference: false
|
| 16 |
---
|
| 17 |
|
| 18 |
+

|
| 19 |
|
| 20 |
<div align="center">
|
| 21 |
<img alt="Moderno Tech" src="images/moderno-tech-logo.png" width="84"/>
|
|
|
|
| 25 |
|
| 26 |
**Moderno Tech — Nova**
|
| 27 |
|
| 28 |
+
Nova Coder 2.0 GGUF es la distribución de cuantizaciones de Nova Coder 2.0 publicada por Moderno Tech.
|
| 29 |
+
La distribución original con pesos Safetensors BF16 se conserva en `ModernoTech/Nova-Coder`; esta variante ofrece los archivos GGUF para uso con LM Studio, Ollama y llama.cpp.
|
|
|
|
|
|
|
| 30 |
|
| 31 |
+
Sitio oficial: https://moderno.com.ar
|
|
|
|
|
|
|
|
|
|
| 32 |
|
| 33 |
+
## Cuantización recomendada
|
| 34 |
|
| 35 |
+
Para uso general:
|
| 36 |
|
| 37 |
+
- Archivo: **`Nova-Coder-2.0-Q4_K_M.gguf`**
|
| 38 |
- Tamaño exacto: **10,364,416,480 bytes**
|
| 39 |
- SHA-256: `38bc76f3326b49b4d81d1027d092bf7ce5b4ed2de4136d1d2e7e6347c3ec8376`
|
| 40 |
+
- Tipo: Q4_K_M
|
| 41 |
+
- Ventaja: tamaño moderado y alta calidad para generación de código.
|
| 42 |
|
| 43 |
+
## Variantes disponibles
|
| 44 |
|
| 45 |
+
| Archivo | Cuantización | Tamaño bytes | SHA-256 |
|
| 46 |
|---|---|---:|---|
|
| 47 |
+
| `Nova-Coder-2.0-Q2_K.gguf` | Q2_K | 6,430,464,480 | `d4eb2f3365ac103d4231352b331577135be67931cecedad474c38e4cecb9182d` |
|
| 48 |
+
| `Nova-Coder-2.0-Q3_K_L.gguf` | Q3_K_L | 8,459,398,624 | `9d9b1b46859bb2208acf2174192547e53389575fb2af820a988c91ecb94c2613` |
|
| 49 |
+
| `Nova-Coder-2.0-Q3_K_M.gguf` | Q3_K_M | 8,126,606,816 | `3918c980cc193aa63733db160fdd26ef3a668fecd5219d0e1aa62d12c86cc91f` |
|
| 50 |
+
| `Nova-Coder-2.0-Q3_K_S.gguf` | Q3_K_S | 7,487,663,584 | `15476c1c838f3a8205d0d7725a1f2b377da0ba1c287149680dbffc8d755904d2` |
|
| 51 |
+
| `Nova-Coder-2.0-Q4_0.gguf` | Q4_0 | 8,905,109,984 | `7d932d742f5e09b66cf017bb0e27bf5acf1d0a12d0e65bcc4561528020c4b56c` |
|
| 52 |
+
| `Nova-Coder-2.0-Q4_K_M.gguf` | Q4_K_M | 10,364,416,480 | `38bc76f3326b49b4d81d1027d092bf7ce5b4ed2de4136d1d2e7e6347c3ec8376` |
|
| 53 |
+
| `Nova-Coder-2.0-Q4_K_S.gguf` | Q4_K_S | 9,533,608,416 | `48a9e203ee6f5ed208c4d8859b7c2c2914bd1af8621d90f366dd7b0bd9112d5c` |
|
| 54 |
+
| `Nova-Coder-2.0-Q5_0.gguf` | Q5_0 | 10,841,764,320 | `fbd09a611559c2f97767a41e555dd05d0c6a61425bf14d2d1e2cf0ea817690dd` |
|
| 55 |
+
| `Nova-Coder-2.0-Q5_K_M.gguf` | Q5_K_M | 11,851,313,632 | `08b4ff12b045ec0001a690249931d91acbcbe007694352d6ac5bf86e16f6fc6b` |
|
| 56 |
+
| `Nova-Coder-2.0-Q5_K_S.gguf` | Q5_K_S | 11,143,057,888 | `03f2eacb23d597e7793a57bcaabcc3ebceec1515b04a0fe49996817ff169922d` |
|
| 57 |
+
| `Nova-Coder-2.0-Q6_K.gguf` | Q6_K | 14,066,972,128 | `0cfe5211943fffec745261aba45023b07d1a9004356a4efdfbf855bf47ca6782` |
|
| 58 |
+
| `Nova-Coder-2.0-Q8_0.gguf` | Q8_0 | 16,702,517,728 | `373dcfc92e01372709b6164fc836f677a6280e25e9eac5c434c64223207bfc4f` |
|
| 59 |
+
| `Nova-Coder-2.0-F16.gguf` | f16 | 31,424,033,248 | `2de57aa898372715c457b7c06362bb9826f3e47ba2a83679f162fcb7b40e763b` |
|
| 60 |
+
|
| 61 |
+
Todos los nombres son identificadores Nova y se almacenan directamente en este repositorio.
|
| 62 |
|
| 63 |
## Arquitectura
|
| 64 |
|
| 65 |
- Arquitectura: `DeepseekV2ForCausalLM`
|
| 66 |
+
- Tipo: Mixture-of-Experts (MoE)
|
| 67 |
+
- Parámetros totales: aproximadamente 16B
|
| 68 |
+
- Parámetros activos por token: aproximadamente 2.4B
|
| 69 |
- Capas: 27
|
| 70 |
- Hidden size: 2048
|
| 71 |
- Cabezas de atención: 16
|
| 72 |
+
- Expertos: 64 routed + 2 shared
|
| 73 |
+
- Expertos activos por token: 6
|
| 74 |
+
- Contexto soportado: 163840 tokens
|
| 75 |
- Vocabulario: 102400
|
| 76 |
+
- RoPE: escalado RoPE de factor 40, base original 4096
|
| 77 |
+
|
| 78 |
+
## Compatibilidad
|
| 79 |
+
|
| 80 |
+
Los archivos GGUF están preparados para LM Studio, Ollama y llama.cpp a través del formato GGUF. Las cuantizaciones con mayor consumo de bits ocupan más memoria y pueden requerir más VRAM/RAM.
|
| 81 |
+
|
| 82 |
+
## Estructura y chat
|
| 83 |
|
| 84 |
+
Esta distribución conserva la arquitectura y la plantilla de chat del artefacto de origen. La carga debe respetar los tokens, la configuración y la plantilla correspondientes.
|
| 85 |
+
|
| 86 |
+
## Licencia y atribución
|
| 87 |
|
| 88 |
- La identidad comercial es Moderno Tech / Nova Coder 2.0.
|
| 89 |
+
- La distribución se presenta como una variante derivada publicada por Moderno Tech.
|
| 90 |
+
- Los textos y obligaciones de licencia del origen quedan preservados mediante referencia a los avisos correspondientes.
|
| 91 |
+
- Modalidad de código del origen: MIT.
|
| 92 |
+
- Modalidad del modelo del origen: model license de DeepSeek.
|
| 93 |
+
- Referencia de codigo: https://github.com/deepseek-ai/DeepSeek-V2/blob/main/LICENSE-CODE
|
| 94 |
+
- Referencia del modelo: https://github.com/deepseek-ai/DeepSeek-V2/blob/main/LICENSE-MODEL
|
| 95 |
+
|
| 96 |
+
Moderno Tech no afirma haber entrenado los pesos del modelo original desde cero.
|
| 97 |
|
| 98 |
+
## Animación de inferencia
|
| 99 |
|
| 100 |

|
| 101 |
+
|
| 102 |
+
## Paleta de la identidad Nova
|
| 103 |
+
|
| 104 |
+
- Azul Moderno Tech: `#1F3B63`
|
| 105 |
+
- Azul claro: `#38BDF8`
|
| 106 |
+
- Gris grafito: `#334155`
|
| 107 |
+
- Plata: `#CBD5E1`
|
| 108 |
+
- Blanco: `#FFFFFF`
|
| 109 |
+
|
| 110 |
+
Sitio oficial: https://moderno.com.ar
|