Instructions to use guell00/VELUM-Coder with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- llama.cpp
How to use guell00/VELUM-Coder with llama.cpp:
Install (macOS, Linux)
curl -LsSf https://llama.app/install.sh | sh # Start a local OpenAI-compatible server with a web UI: llama serve -hf guell00/VELUM-Coder:Q4_K_M # Run inference directly in the terminal: llama cli -hf guell00/VELUM-Coder:Q4_K_M
Install from WinGet (Windows)
winget install llama.cpp # Start a local OpenAI-compatible server with a web UI: llama serve -hf guell00/VELUM-Coder:Q4_K_M # Run inference directly in the terminal: llama cli -hf guell00/VELUM-Coder:Q4_K_M
Use pre-built binary
# Download pre-built binary from: # https://github.com/ggerganov/llama.cpp/releases # Start a local OpenAI-compatible server with a web UI: ./llama-server -hf guell00/VELUM-Coder:Q4_K_M # Run inference directly in the terminal: ./llama-cli -hf guell00/VELUM-Coder:Q4_K_M
Build from source code
git clone https://github.com/ggerganov/llama.cpp.git cd llama.cpp cmake -B build cmake --build build -j --target llama-server llama-cli # Start a local OpenAI-compatible server with a web UI: ./build/bin/llama-server -hf guell00/VELUM-Coder:Q4_K_M # Run inference directly in the terminal: ./build/bin/llama-cli -hf guell00/VELUM-Coder:Q4_K_M
Use Docker
docker model run hf.co/guell00/VELUM-Coder:Q4_K_M
- LM Studio
- Jan
- Ollama
How to use guell00/VELUM-Coder with Ollama:
ollama run hf.co/guell00/VELUM-Coder:Q4_K_M
- Unsloth Studio
How to use guell00/VELUM-Coder with Unsloth Studio:
Install Unsloth Studio (macOS, Linux, WSL)
curl -fsSL https://unsloth.ai/install.sh | sh # Run unsloth studio unsloth studio -H 0.0.0.0 -p 8888 # Then open http://localhost:8888 in your browser # Search for guell00/VELUM-Coder to start chatting
Install Unsloth Studio (Windows)
irm https://unsloth.ai/install.ps1 | iex # Run unsloth studio unsloth studio -H 0.0.0.0 -p 8888 # Then open http://localhost:8888 in your browser # Search for guell00/VELUM-Coder to start chatting
Using HuggingFace Spaces for Unsloth
# No setup required # Open https://huggingface.co/spaces/unsloth/studio in your browser # Search for guell00/VELUM-Coder to start chatting
- Pi
How to use guell00/VELUM-Coder with Pi:
Start the llama.cpp server
# Install llama.cpp: brew install llama.cpp # Start a local OpenAI-compatible server: llama serve -hf guell00/VELUM-Coder:Q4_K_M
Configure the model in Pi
# Install Pi: npm install -g @earendil-works/pi-coding-agent # Add to ~/.pi/agent/models.json: { "providers": { "llama-cpp": { "baseUrl": "http://localhost:8080/v1", "api": "openai-completions", "apiKey": "none", "models": [ { "id": "guell00/VELUM-Coder:Q4_K_M" } ] } } }Run Pi
# Start Pi in your project directory: pi
- Docker Model Runner
How to use guell00/VELUM-Coder with Docker Model Runner:
docker model run hf.co/guell00/VELUM-Coder:Q4_K_M
- Lemonade
How to use guell00/VELUM-Coder with Lemonade:
Pull the model
# Download Lemonade from https://lemonade-server.ai/ lemonade pull guell00/VELUM-Coder:Q4_K_M
Run and chat with the model
lemonade run user.VELUM-Coder-Q4_K_M
List all available models
lemonade list
- Hermes Agent
How to use guell00/VELUM-Coder with Hermes Agent:
Start the llama.cpp server
# Install llama.cpp: brew install llama.cpp # Start a local OpenAI-compatible server: llama serve -hf guell00/VELUM-Coder:Q4_K_M
Configure Hermes
# Install Hermes: curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash hermes setup # Point Hermes at the local server: hermes config set model.provider custom hermes config set model.base_url http://127.0.0.1:8080/v1 hermes config set model.default guell00/VELUM-Coder:Q4_K_M
Run Hermes
hermes
- Atomic Chat
- OpenClaw
How to use guell00/VELUM-Coder with OpenClaw:
Start the llama.cpp server
# Install llama.cpp: brew install llama.cpp # Start a local OpenAI-compatible server: llama serve -hf guell00/VELUM-Coder:Q4_K_M
Configure OpenClaw
# Install OpenClaw: npm install -g openclaw@latest # Register the local server and set it as the default model: openclaw onboard --non-interactive --mode local \ --auth-choice custom-api-key \ --custom-base-url http://127.0.0.1:8080/v1 \ --custom-model-id "guell00/VELUM-Coder:Q4_K_M" \ --custom-provider-id llama-cpp \ --custom-compatibility openai \ --custom-text-input \ --accept-risk \ --skip-health
Run OpenClaw
openclaw agent --local --agent main --message "Hello from Hugging Face"
Update README.md
Browse files
README.md
CHANGED
|
@@ -1,128 +1,489 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
---
|
| 2 |
-
|
| 3 |
-
|
| 4 |
-
|
| 5 |
-
|
| 6 |
-
|
| 7 |
-
|
| 8 |
-
|
| 9 |
-
|
| 10 |
-
- llama.cpp
|
| 11 |
-
- code
|
| 12 |
-
- coding
|
| 13 |
-
- imatrix
|
| 14 |
-
- qwen3.5
|
| 15 |
-
- ornith
|
| 16 |
-
- lora
|
| 17 |
-
---
|
| 18 |
-
|
| 19 |
-
# VELUM-Coder
|
| 20 |
-
|
| 21 |
-
**VELUM-Coder** is a coding-focused fine-tune derived from
|
| 22 |
-
[`ornith-ai/Ornith-1.5-9B`](https://huggingface.co/ornith-ai/Ornith-1.5-9B).
|
| 23 |
-
|
| 24 |
-
This repository contains GGUF quantizations generated from the completed recovery adapter.
|
| 25 |
-
|
| 26 |
-
- Source adapter: `ornith_fds_recovered_ckpt250`
|
| 27 |
-
- Dataset: `guell00/fds`
|
| 28 |
-
- llama.cpp commit: `f280b26983ad0fdb705a0d9ebf0503e76f2899b0`
|
| 29 |
-
- Generated: 2026-08-25 02:06 UTC
|
| 30 |
-
|
| 31 |
-
## Quantization policy
|
| 32 |
-
|
| 33 |
-
- `Q8_0` is intentionally generated **without** an importance matrix.
|
| 34 |
-
- Every Q4, Q3, Q2 and IQ1 build is invoked with the same domain-specific **imatrix**.
|
| 35 |
-
- No Q5 or Q6 files are produced.
|
| 36 |
-
- The extreme `IQ1_M` build keeps the token embedding and output tensors at `Q8_0` while the body is quantized as `IQ1_M`.
|
| 37 |
-
- The imatrix is generated from code/conversation samples from `guell00/fds`.
|
| 38 |
-
- `<think>...</think>` blocks are removed from assistant calibration text so calibration emphasizes direct answers and code.
|
| 39 |
-
|
| 40 |
-
## Recommended files
|
| 41 |
-
|
| 42 |
-
**Best default:** `VELUM-Coder-Q4_K_M.gguf`
|
| 43 |
-
|
| 44 |
-
**Higher quality:** `VELUM-Coder-Q8_0.gguf`
|
| 45 |
-
|
| 46 |
-
**Lower memory:** try `VELUM-Coder-IQ3_M.gguf` or `VELUM-Coder-IQ2_M.gguf`.
|
| 47 |
-
|
| 48 |
-
**Extreme experiment:** `VELUM-Coder-IQ1_M.gguf`. This is not expected to preserve Q4-level quality. Embedding/output protection exists only to reduce catastrophic collapse.
|
| 49 |
-
|
| 50 |
-
## Files
|
| 51 |
-
|
| 52 |
-
| Status | File | Quant | Imatrix | Protection | Notes |
|
| 53 |
-
|---|---|---|---|---|---|
|
| 54 |
-
| ✅ | `VELUM-Coder-Q8_0.gguf` | `Q8_0` | No | Normal | Highest-quality quantized build; intentionally no imatrix. |
|
| 55 |
-
| ✅ | `VELUM-Coder-Q4_K_M.gguf` | `Q4_K_M` | Yes | Normal | Recommended default Q4. |
|
| 56 |
-
| ✅ | `VELUM-Coder-Q4_K_S.gguf` | `Q4_K_S` | Yes | Normal | Smaller Q4 K-quant. |
|
| 57 |
-
| ✅ | `VELUM-Coder-IQ4_XS.gguf` | `IQ4_XS` | Yes | Normal | Compact 4-bit I-Quant. |
|
| 58 |
-
| ✅ | `VELUM-Coder-IQ4_NL.gguf` | `IQ4_NL` | Yes | Normal | Non-linear 4-bit I-Quant. |
|
| 59 |
-
| ✅ | `VELUM-Coder-Q4_1.gguf` | `Q4_1` | Yes | Normal | Legacy Q4 variant. |
|
| 60 |
-
| ✅ | `VELUM-Coder-Q4_0.gguf` | `Q4_0` | Yes | Normal | Legacy compact Q4. |
|
| 61 |
-
| ✅ | `VELUM-Coder-Q3_K_L.gguf` | `Q3_K_L` | Yes | Normal | Largest Q3 K-quant. |
|
| 62 |
-
| ✅ | `VELUM-Coder-Q3_K_M.gguf` | `Q3_K_M` | Yes | Normal | Balanced Q3 K-quant. |
|
| 63 |
-
| ✅ | `VELUM-Coder-Q3_K_S.gguf` | `Q3_K_S` | Yes | Normal | Smaller Q3 K-quant. |
|
| 64 |
-
| ✅ | `VELUM-Coder-IQ3_M.gguf` | `IQ3_M` | Yes | Normal | Medium 3-bit I-Quant. |
|
| 65 |
-
| ✅ | `VELUM-Coder-IQ3_S.gguf` | `IQ3_S` | Yes | Normal | Small 3-bit I-Quant. |
|
| 66 |
-
| ✅ | `VELUM-Coder-IQ3_XS.gguf` | `IQ3_XS` | Yes | Normal | Extra-small 3-bit I-Quant. |
|
| 67 |
-
| ✅ | `VELUM-Coder-IQ3_XXS.gguf` | `IQ3_XXS` | Yes | Normal | Extremely compact 3-bit I-Quant. |
|
| 68 |
-
| ✅ | `VELUM-Coder-Q2_K.gguf` | `Q2_K` | Yes | Normal | Aggressive Q2 K-quant. |
|
| 69 |
-
| ✅ | `VELUM-Coder-Q2_K_S.gguf` | `Q2_K_S` | Yes | Normal | Small Q2 K-quant. |
|
| 70 |
-
| ✅ | `VELUM-Coder-IQ2_M.gguf` | `IQ2_M` | Yes | Normal | Higher-quality 2-bit I-Quant. |
|
| 71 |
-
| ✅ | `VELUM-Coder-IQ2_S.gguf` | `IQ2_S` | Yes | Normal | 2-bit I-Quant. |
|
| 72 |
-
| ✅ | `VELUM-Coder-IQ2_XS.gguf` | `IQ2_XS` | Yes | Normal | Extra-small 2-bit I-Quant. |
|
| 73 |
-
| ✅ | `VELUM-Coder-IQ2_XXS.gguf` | `IQ2_XXS` | Yes | Normal | Extremely compact 2-bit I-Quant. |
|
| 74 |
-
| ✅ | `VELUM-Coder-Q2_0.gguf` | `Q2_0` | Yes | Normal | 2.25 bpw Q2_0. |
|
| 75 |
-
| ✅ | `VELUM-Coder-TQ2_0.gguf` | `TQ2_0` | Yes | Normal | Experimental ternary ~2-bit build. |
|
| 76 |
-
| ✅ | `VELUM-Coder-IQ1_M.gguf` | `IQ1_M` | Yes | Q8_0 embed/output | Extreme build. IQ1_M body + Q8_0 embedding/output protection. |
|
| 77 |
-
|
| 78 |
-
## Importance matrix
|
| 79 |
-
|
| 80 |
-
The generated importance matrix is uploaded as:
|
| 81 |
-
|
| 82 |
-
`imatrix/VELUM-Coder-imatrix.gguf`
|
| 83 |
-
|
| 84 |
-
The calibration text itself is not uploaded; it is only an intermediate generated from `guell00/fds`.
|
| 85 |
|
| 86 |
## llama.cpp
|
| 87 |
|
| 88 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 89 |
|
| 90 |
-
|
| 91 |
-
|
| 92 |
-
|
| 93 |
|
| 94 |
-
|
| 95 |
|
| 96 |
-
|
| 97 |
-
|
| 98 |
-
|
|
|
|
| 99 |
|
| 100 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 101 |
|
| 102 |
-
|
| 103 |
-
hf download guell00/VELUM-Coder VELUM-Coder-Q4_K_M.gguf --local-dir .
|
| 104 |
-
~~~
|
| 105 |
|
| 106 |
-
|
| 107 |
|
| 108 |
-
|
| 109 |
-
llama-cli -m VELUM-Coder-Q4_K_M.gguf -c 16384
|
| 110 |
-
~~~
|
| 111 |
|
| 112 |
-
|
| 113 |
|
| 114 |
-
|
| 115 |
|
| 116 |
-
|
| 117 |
|
| 118 |
-
|
| 119 |
|
| 120 |
-
|
| 121 |
|
| 122 |
-
|
| 123 |
|
| 124 |
-
|
| 125 |
-
- llama.cpp / ggml contributors
|
| 126 |
-
- Hugging Face
|
| 127 |
-
- Unsloth
|
| 128 |
-
- `guell00/fds`
|
|
|
|
| 1 |
+
|
| 2 |
+
<div align="center">
|
| 3 |
+
|
| 4 |
+
|
| 5 |
+

|
| 6 |
+
|
| 7 |
+
<br>
|
| 8 |
+
|
| 9 |
+
# LEVUM
|
| 10 |
+
|
| 11 |
+
### Local · Código · Software
|
| 12 |
+
|
| 13 |
+
**Um modelo local baseado em Qwen 3.5 9B, direcionado para desenvolvimento de software.**
|
| 14 |
+
|
| 15 |
+
Escrever. Entender. Corrigir. Refatorar. Construir.
|
| 16 |
+
|
| 17 |
+
**Menos cerimônia. Mais código rodando.**
|
| 18 |
+
|
| 19 |
+
</div>
|
| 20 |
+
|
| 21 |
+
---
|
| 22 |
+
|
| 23 |
+
## Sobre
|
| 24 |
+
|
| 25 |
+
**LEVUM** é um modelo de **9 bilhões de parâmetros**, baseado em **Qwen 3.5 9B** e direcionado para tarefas de desenvolvimento de software.
|
| 26 |
+
|
| 27 |
+
O objetivo é simples: trabalhar perto do projeto e transformar instruções em código útil.
|
| 28 |
+
|
| 29 |
+
O modelo foi pensado para tarefas como:
|
| 30 |
+
|
| 31 |
+
* geração de código;
|
| 32 |
+
* implementação de features;
|
| 33 |
+
* debugging;
|
| 34 |
+
* refatoração;
|
| 35 |
+
* explicação e leitura de código;
|
| 36 |
+
* criação de protótipos;
|
| 37 |
+
* estruturação de projetos;
|
| 38 |
+
* geração de aplicações completas;
|
| 39 |
+
* assistência durante desenvolvimento local.
|
| 40 |
+
|
| 41 |
+
LEVUM segue uma filosofia **local-first**: o modelo pode rodar próximo da IDE, dos arquivos e do contexto real do projeto, dependendo do runtime e da quantização escolhidos.
|
| 42 |
+
|
| 43 |
+
> **Software primeiro. Local por padrão.**
|
| 44 |
+
|
| 45 |
+
---
|
| 46 |
+
|
| 47 |
+
## Especificações
|
| 48 |
+
|
| 49 |
+
| | |
|
| 50 |
+
| ----------------- | -------------------------------------------- |
|
| 51 |
+
| **Modelo** | LEVUM |
|
| 52 |
+
| **Base** | Qwen 3.5 9B |
|
| 53 |
+
| **Parâmetros** | 9B |
|
| 54 |
+
| **Foco** | Código / Software |
|
| 55 |
+
| **Uso principal** | Desenvolvimento de software |
|
| 56 |
+
| **Execução** | Local |
|
| 57 |
+
| **Idioma** | Português + capacidades multilíngues da base |
|
| 58 |
+
| **Origem** | 🇧🇷 Brasil |
|
| 59 |
+
|
| 60 |
+
---
|
| 61 |
+
|
| 62 |
+
# Quantizações
|
| 63 |
+
|
| 64 |
+
LEVUM é disponibilizado em diferentes níveis de quantização para permitir execução em uma variedade maior de hardware.
|
| 65 |
+
|
| 66 |
+
A escolha ideal depende principalmente de:
|
| 67 |
+
|
| 68 |
+
**RAM / VRAM → velocidade → fidelidade**
|
| 69 |
+
|
| 70 |
+
### Q8 — Fidelidade
|
| 71 |
+
|
| 72 |
+
Para máquinas com memória suficiente e usuários que querem preservar o máximo possível da qualidade do modelo.
|
| 73 |
+
|
| 74 |
+
`Q8_0`
|
| 75 |
+
|
| 76 |
+
---
|
| 77 |
+
|
| 78 |
+
### Q4 / IQ4 — Equilíbrio
|
| 79 |
+
|
| 80 |
+
O ponto recomendado para muitos sistemas locais.
|
| 81 |
+
|
| 82 |
+
Boa relação entre tamanho, consumo de memória e qualidade.
|
| 83 |
+
|
| 84 |
+
`Q4_K_M` · `Q4_K_S` · `IQ4_XS` · `IQ4_NL` · `Q4_1` · `Q4_0`
|
| 85 |
+
|
| 86 |
+
---
|
| 87 |
+
|
| 88 |
+
### Q3 / IQ3 — Compacto
|
| 89 |
+
|
| 90 |
+
Para hardware mais limitado ou situações onde reduzir RAM/VRAM é prioridade.
|
| 91 |
+
|
| 92 |
+
`Q3_K_L` · `Q3_K_M` · `Q3_K_S` · `IQ3_M` · `IQ3_S` · `IQ3_XS` · `IQ3_XXS`
|
| 93 |
+
|
| 94 |
+
---
|
| 95 |
+
|
| 96 |
+
### Q2 / IQ2 — Ultracompacto
|
| 97 |
+
|
| 98 |
+
Compressão agressiva para ambientes onde versões maiores simplesmente não cabem.
|
| 99 |
+
|
| 100 |
+
`Q2_K` · `Q2_K_S` · `IQ2_M` · `IQ2_S` · `IQ2_XS` · `IQ2_XXS` · `Q2_0` · `TQ2_0`
|
| 101 |
+
|
| 102 |
+
---
|
| 103 |
+
|
| 104 |
+
### IQ1 — Mínimo
|
| 105 |
+
|
| 106 |
+
A opção extrema.
|
| 107 |
+
|
| 108 |
+
`IQ1_M`
|
| 109 |
+
|
| 110 |
+
Indicada apenas quando economia de memória é mais importante do que preservar a fidelidade máxima do modelo.
|
| 111 |
+
|
| 112 |
---
|
| 113 |
+
|
| 114 |
+
> **Regra prática:** comece com `Q4_K_M`.
|
| 115 |
+
> Se houver memória sobrando, experimente `Q8_0`.
|
| 116 |
+
> Se faltar memória, desça para Q3, Q2 ou IQ1.
|
| 117 |
+
|
| 118 |
+
---
|
| 119 |
+
|
| 120 |
+
# Executando localmente
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 121 |
|
| 122 |
## llama.cpp
|
| 123 |
|
| 124 |
+
Baixe uma das versões GGUF do LEVUM e execute com um runtime compatível com GGUF.
|
| 125 |
+
|
| 126 |
+
```bash
|
| 127 |
+
llama-cli \
|
| 128 |
+
-m ./LEVUM-Q4_K_M.gguf \
|
| 129 |
+
-p "Crie uma API REST em Python usando FastAPI."
|
| 130 |
+
```
|
| 131 |
+
|
| 132 |
+
Para iniciar um servidor local:
|
| 133 |
+
|
| 134 |
+
```bash
|
| 135 |
+
llama-server \
|
| 136 |
+
-m ./LEVUM-Q4_K_M.gguf \
|
| 137 |
+
-c 8192
|
| 138 |
+
```
|
| 139 |
+
|
| 140 |
+
Depois disso, o modelo pode ser integrado a ferramentas locais que suportem endpoints compatíveis.
|
| 141 |
+
|
| 142 |
+
---
|
| 143 |
+
|
| 144 |
+
## Ollama
|
| 145 |
+
|
| 146 |
+
Crie um `Modelfile` apontando para o GGUF:
|
| 147 |
+
|
| 148 |
+
```dockerfile
|
| 149 |
+
FROM ./LEVUM-Q4_K_M.gguf
|
| 150 |
|
| 151 |
+
PARAMETER temperature 0.6
|
| 152 |
+
PARAMETER top_p 0.9
|
| 153 |
+
```
|
| 154 |
|
| 155 |
+
Depois:
|
| 156 |
|
| 157 |
+
```bash
|
| 158 |
+
ollama create levum -f Modelfile
|
| 159 |
+
ollama run levum
|
| 160 |
+
```
|
| 161 |
|
| 162 |
+
Exemplo:
|
| 163 |
+
|
| 164 |
+
```text
|
| 165 |
+
>>> Crie uma API em FastAPI para gerenciar projetos e tarefas.
|
| 166 |
+
```
|
| 167 |
+
|
| 168 |
+
---
|
| 169 |
+
|
| 170 |
+
## LM Studio
|
| 171 |
+
|
| 172 |
+
1. Baixe uma quantização GGUF do LEVUM.
|
| 173 |
+
2. Importe o arquivo no LM Studio.
|
| 174 |
+
3. Carregue o modelo.
|
| 175 |
+
4. Ajuste o contexto de acordo com a memória disponível.
|
| 176 |
+
5. Inicie uma conversa ou o servidor local.
|
| 177 |
+
|
| 178 |
+
Nenhuma infraestrutura remota é necessária para a inferência quando o modelo está sendo executado localmente.
|
| 179 |
+
|
| 180 |
+
---
|
| 181 |
+
|
| 182 |
+
# Prompts
|
| 183 |
+
|
| 184 |
+
LEVUM funciona melhor quando a tarefa, o contexto e o formato esperado são explícitos.
|
| 185 |
+
|
| 186 |
+
## Gerar um projeto
|
| 187 |
+
|
| 188 |
+
```text
|
| 189 |
+
Crie um dashboard financeiro interativo em um único arquivo HTML.
|
| 190 |
+
|
| 191 |
+
Requisitos:
|
| 192 |
+
- HTML, CSS e JavaScript no mesmo arquivo
|
| 193 |
+
- gráficos interativos
|
| 194 |
+
- responsivo
|
| 195 |
+
- dados de exemplo
|
| 196 |
+
- sem dependências externas obrigatórias
|
| 197 |
+
|
| 198 |
+
Retorne somente o HTML completo.
|
| 199 |
+
```
|
| 200 |
+
|
| 201 |
+
---
|
| 202 |
+
|
| 203 |
+
## Implementar uma feature
|
| 204 |
+
|
| 205 |
+
```text
|
| 206 |
+
Analise o código abaixo e implemente autenticação JWT.
|
| 207 |
+
|
| 208 |
+
Requisitos:
|
| 209 |
+
- preserve a arquitetura atual
|
| 210 |
+
- valide tokens expirados
|
| 211 |
+
- adicione middleware de autenticação
|
| 212 |
+
- não altere endpoints públicos
|
| 213 |
+
- explique apenas decisões importantes
|
| 214 |
+
|
| 215 |
+
Código:
|
| 216 |
+
[cole o código aqui]
|
| 217 |
+
```
|
| 218 |
+
|
| 219 |
+
---
|
| 220 |
+
|
| 221 |
+
## Debug
|
| 222 |
+
|
| 223 |
+
```text
|
| 224 |
+
Encontre a causa do bug no código abaixo.
|
| 225 |
+
|
| 226 |
+
Comportamento esperado:
|
| 227 |
+
[descreva]
|
| 228 |
+
|
| 229 |
+
Comportamento atual:
|
| 230 |
+
[descreva]
|
| 231 |
+
|
| 232 |
+
Erro:
|
| 233 |
+
[cole o erro]
|
| 234 |
+
|
| 235 |
+
Código:
|
| 236 |
+
[cole o código]
|
| 237 |
+
|
| 238 |
+
Identifique a causa e retorne a correção completa.
|
| 239 |
+
```
|
| 240 |
+
|
| 241 |
+
---
|
| 242 |
+
|
| 243 |
+
## Refatoração
|
| 244 |
+
|
| 245 |
+
```text
|
| 246 |
+
Refatore este código.
|
| 247 |
+
|
| 248 |
+
Objetivos:
|
| 249 |
+
- reduzir duplicação
|
| 250 |
+
- melhorar legibilidade
|
| 251 |
+
- manter comportamento atual
|
| 252 |
+
- preservar a API pública
|
| 253 |
+
- evitar abstrações desnecessárias
|
| 254 |
+
|
| 255 |
+
Retorne primeiro o código refatorado e depois um resumo curto das mudanças.
|
| 256 |
+
```
|
| 257 |
+
|
| 258 |
+
---
|
| 259 |
+
|
| 260 |
+
# Formato de prompt
|
| 261 |
+
|
| 262 |
+
Para tarefas maiores, uma estrutura simples costuma produzir resultados mais previsíveis:
|
| 263 |
+
|
| 264 |
+
```text
|
| 265 |
+
OBJETIVO
|
| 266 |
+
O que precisa ser construído.
|
| 267 |
+
|
| 268 |
+
CONTEXTO
|
| 269 |
+
Stack, arquivos existentes e arquitetura.
|
| 270 |
+
|
| 271 |
+
REQUISITOS
|
| 272 |
+
Comportamentos obrigatórios.
|
| 273 |
+
|
| 274 |
+
RESTRIÇÕES
|
| 275 |
+
O que não deve ser alterado.
|
| 276 |
+
|
| 277 |
+
SAÍDA
|
| 278 |
+
Formato exato esperado.
|
| 279 |
+
```
|
| 280 |
+
|
| 281 |
+
Por exemplo:
|
| 282 |
+
|
| 283 |
+
```text
|
| 284 |
+
OBJETIVO
|
| 285 |
+
Criar uma página de analytics.
|
| 286 |
+
|
| 287 |
+
CONTEXTO
|
| 288 |
+
Projeto React + TypeScript + Tailwind.
|
| 289 |
+
|
| 290 |
+
REQUISITOS
|
| 291 |
+
- gráfico de receita
|
| 292 |
+
- filtros por período
|
| 293 |
+
- cards de métricas
|
| 294 |
+
- tabela de transações
|
| 295 |
+
|
| 296 |
+
RESTRIÇÕES
|
| 297 |
+
- não adicionar novas dependências
|
| 298 |
+
- reutilizar componentes existentes
|
| 299 |
+
|
| 300 |
+
SAÍDA
|
| 301 |
+
Retorne os arquivos completos que precisam ser criados ou alterados.
|
| 302 |
+
```
|
| 303 |
+
|
| 304 |
+
---
|
| 305 |
+
|
| 306 |
+
# Code-first
|
| 307 |
+
|
| 308 |
+
LEVUM foi pensado para trabalhar dentro do ciclo normal de desenvolvimento:
|
| 309 |
+
|
| 310 |
+
```text
|
| 311 |
+
PROMPT / CÓDIGO
|
| 312 |
+
↓
|
| 313 |
+
LEVUM
|
| 314 |
+
↓
|
| 315 |
+
ENTENDER
|
| 316 |
+
↓
|
| 317 |
+
GERAR
|
| 318 |
+
↓
|
| 319 |
+
DEBUG
|
| 320 |
+
↓
|
| 321 |
+
REFATORAR
|
| 322 |
+
↓
|
| 323 |
+
SOFTWARE RODANDO
|
| 324 |
+
```
|
| 325 |
+
|
| 326 |
+
### Geração
|
| 327 |
+
|
| 328 |
+
Projetos, componentes, APIs, scripts e features.
|
| 329 |
+
|
| 330 |
+
### Debug
|
| 331 |
+
|
| 332 |
+
Análise de erros, comportamento inesperado e correções.
|
| 333 |
+
|
| 334 |
+
### Refatoração
|
| 335 |
+
|
| 336 |
+
Estrutura, legibilidade e manutenção de código existente.
|
| 337 |
+
|
| 338 |
+
### Prototipagem
|
| 339 |
+
|
| 340 |
+
Transformar uma ideia em algo executável rapidamente.
|
| 341 |
+
|
| 342 |
+
---
|
| 343 |
+
|
| 344 |
+
# Exemplo
|
| 345 |
+
|
| 346 |
+
**Prompt**
|
| 347 |
+
|
| 348 |
+
```text
|
| 349 |
+
Crie um jogo estilo Flappy Bird em um único HTML.
|
| 350 |
+
|
| 351 |
+
Use apenas HTML, CSS e JavaScript.
|
| 352 |
+
|
| 353 |
+
Inclua:
|
| 354 |
+
- física
|
| 355 |
+
- obstáculos
|
| 356 |
+
- colisão
|
| 357 |
+
- pontuação
|
| 358 |
+
- reinício
|
| 359 |
+
- controles por teclado e clique
|
| 360 |
+
|
| 361 |
+
Retorne somente o HTML completo.
|
| 362 |
+
```
|
| 363 |
+
|
| 364 |
+
**Resultado esperado**
|
| 365 |
+
|
| 366 |
+
```text
|
| 367 |
+
prompt
|
| 368 |
+
↓
|
| 369 |
+
LEVUM
|
| 370 |
+
↓
|
| 371 |
+
HTML + CSS + JavaScript
|
| 372 |
+
↓
|
| 373 |
+
browser
|
| 374 |
+
↓
|
| 375 |
+
software rodando
|
| 376 |
+
```
|
| 377 |
+
|
| 378 |
+
---
|
| 379 |
+
|
| 380 |
+
# Hardware
|
| 381 |
+
|
| 382 |
+
O consumo real depende de vários fatores, incluindo:
|
| 383 |
+
|
| 384 |
+
* quantização;
|
| 385 |
+
* tamanho do contexto;
|
| 386 |
+
* runtime;
|
| 387 |
+
* KV cache;
|
| 388 |
+
* CPU;
|
| 389 |
+
* GPU;
|
| 390 |
+
* quantidade de camadas descarregadas para GPU;
|
| 391 |
+
* configuração de inferência.
|
| 392 |
+
|
| 393 |
+
Por isso, os números de memória podem variar significativamente entre sistemas.
|
| 394 |
+
|
| 395 |
+
Como regra geral:
|
| 396 |
+
|
| 397 |
+
```text
|
| 398 |
+
mais bits
|
| 399 |
+
↑
|
| 400 |
+
mais fidelidade
|
| 401 |
+
↑
|
| 402 |
+
mais memória
|
| 403 |
+
|
| 404 |
+
menos bits
|
| 405 |
+
↓
|
| 406 |
+
menos memória
|
| 407 |
+
↓
|
| 408 |
+
maior compressão
|
| 409 |
+
```
|
| 410 |
+
|
| 411 |
+
Escolha a quantização com base no hardware disponível e na qualidade necessária para a tarefa.
|
| 412 |
+
|
| 413 |
+
---
|
| 414 |
+
|
| 415 |
+
# Limitações
|
| 416 |
+
|
| 417 |
+
LEVUM continua sendo um modelo de linguagem.
|
| 418 |
+
|
| 419 |
+
Isso significa que ele pode:
|
| 420 |
+
|
| 421 |
+
* gerar código incorreto;
|
| 422 |
+
* inventar APIs ou bibliotecas;
|
| 423 |
+
* produzir soluções inseguras;
|
| 424 |
+
* interpretar requisitos de forma errada;
|
| 425 |
+
* introduzir regressões;
|
| 426 |
+
* sugerir dependências inexistentes;
|
| 427 |
+
* gerar código que parece correto sem realmente funcionar.
|
| 428 |
+
|
| 429 |
+
Para software importante, revise, teste e valide o código antes de colocá-lo em produção.
|
| 430 |
+
|
| 431 |
+
Código gerado por IA não ganha poderes mágicos só porque compilou uma vez.
|
| 432 |
+
|
| 433 |
+
---
|
| 434 |
+
|
| 435 |
+
# Uso responsável
|
| 436 |
+
|
| 437 |
+
Antes de executar código gerado pelo modelo:
|
| 438 |
+
|
| 439 |
+
1. revise as alterações;
|
| 440 |
+
2. verifique dependências;
|
| 441 |
+
3. execute testes;
|
| 442 |
+
4. valide entradas externas;
|
| 443 |
+
5. revise operações de filesystem, rede e banco de dados;
|
| 444 |
+
6. não exponha segredos ou credenciais desnecessariamente;
|
| 445 |
+
7. use ambientes isolados quando estiver testando código desconhecido.
|
| 446 |
+
|
| 447 |
+
Para aplicações críticas, o modelo deve funcionar como ferramenta de assistência, não como única camada de revisão.
|
| 448 |
+
|
| 449 |
+
---
|
| 450 |
+
|
| 451 |
+
# Modelo base
|
| 452 |
+
|
| 453 |
+
LEVUM é baseado em:
|
| 454 |
+
|
| 455 |
+
**Qwen 3.5 9B**
|
| 456 |
+
|
| 457 |
+
O modelo base fornece a capacidade geral sobre a qual o LEVUM é construído.
|
| 458 |
+
|
| 459 |
+
Consulte também o model card e a licença do modelo base antes de distribuir ou utilizar derivados.
|
| 460 |
+
|
| 461 |
+
---
|
| 462 |
+
|
| 463 |
+
# Licença
|
| 464 |
+
|
| 465 |
+
O uso do LEVUM está sujeito à licença publicada neste repositório e, quando aplicável, aos termos e condições associados ao modelo base.
|
| 466 |
+
|
| 467 |
+
Consulte o arquivo `LICENSE` antes de uso comercial, redistribuição ou criação de derivados.
|
| 468 |
+
|
| 469 |
+
---
|
| 470 |
|
| 471 |
+
# Brasil
|
|
|
|
|
|
|
| 472 |
|
| 473 |
+
<div align="center">
|
| 474 |
|
| 475 |
+
### 🇧🇷 FEITO NO BRASIL
|
|
|
|
|
|
|
| 476 |
|
| 477 |
+
**Inteligência que fica por perto.**
|
| 478 |
|
| 479 |
+
Local-first · Code-first · Software-first
|
| 480 |
|
| 481 |
+
<br>
|
| 482 |
|
| 483 |
+
`BUILD` · `DEBUG` · `REFACTOR` · `SHIP`
|
| 484 |
|
| 485 |
+
<br>
|
| 486 |
|
| 487 |
+
**LEVUM © 2026**
|
| 488 |
|
| 489 |
+
</div>
|
|
|
|
|
|
|
|
|
|
|
|