Text Generation
Safetensors
GGUF
Russian
English
mistral3
reasoning
r1
deepseek-r1
ministral
cot
chain-of-thought
russian
code
math
unsloth
llama.cpp
lmstudio
ollama
vllm
jan
openclaw
hermes-agent
conversational
Eval Results (legacy)
Instructions to use fwizzer1/Fwizzer-R1-3B-RU-v2 with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- llama.cpp
How to use fwizzer1/Fwizzer-R1-3B-RU-v2 with llama.cpp:
Install (macOS, Linux)
curl -LsSf https://llama.app/install.sh | sh # Start a local OpenAI-compatible server with a web UI: llama serve -hf fwizzer1/Fwizzer-R1-3B-RU-v2 # Run inference directly in the terminal: llama cli -hf fwizzer1/Fwizzer-R1-3B-RU-v2
Install from WinGet (Windows)
winget install llama.cpp # Start a local OpenAI-compatible server with a web UI: llama serve -hf fwizzer1/Fwizzer-R1-3B-RU-v2 # Run inference directly in the terminal: llama cli -hf fwizzer1/Fwizzer-R1-3B-RU-v2
Build from source code
git clone https://github.com/ggml-org/llama.cpp.git cd llama.cpp cmake -B build cmake --build build -j --target llama-app # Start a local OpenAI-compatible server with a web UI: ./build/bin/llama serve -hf fwizzer1/Fwizzer-R1-3B-RU-v2 # Run inference directly in the terminal: ./build/bin/llama cli -hf fwizzer1/Fwizzer-R1-3B-RU-v2
Use Docker
docker model run hf.co/fwizzer1/Fwizzer-R1-3B-RU-v2
- Llama new
- LM Studio
- Jan
- vLLM
How to use fwizzer1/Fwizzer-R1-3B-RU-v2 with vLLM:
Install from pip and serve model
# Install vLLM from pip: pip install vllm # Start the vLLM server: vllm serve "fwizzer1/Fwizzer-R1-3B-RU-v2" # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:8000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "fwizzer1/Fwizzer-R1-3B-RU-v2", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }'Use Docker
docker model run hf.co/fwizzer1/Fwizzer-R1-3B-RU-v2
- Ollama
How to use fwizzer1/Fwizzer-R1-3B-RU-v2 with Ollama:
ollama run hf.co/fwizzer1/Fwizzer-R1-3B-RU-v2
- Unsloth Desktop
- Pi
How to use fwizzer1/Fwizzer-R1-3B-RU-v2 with Pi:
Start the llama.cpp server
# Install llama.cpp: brew install llama.cpp # Start a local OpenAI-compatible server: llama serve -hf fwizzer1/Fwizzer-R1-3B-RU-v2
Configure the model in Pi
# Install Pi: npm install -g @earendil-works/pi-coding-agent # Add to ~/.pi/agent/models.json: { "providers": { "llama-cpp": { "baseUrl": "http://localhost:8080/v1", "api": "openai-completions", "apiKey": "none", "models": [ { "id": "fwizzer1/Fwizzer-R1-3B-RU-v2" } ] } } }Run Pi
# Start Pi in your project directory: pi
- Docker Model Runner
How to use fwizzer1/Fwizzer-R1-3B-RU-v2 with Docker Model Runner:
docker model run hf.co/fwizzer1/Fwizzer-R1-3B-RU-v2
- Lemonade
How to use fwizzer1/Fwizzer-R1-3B-RU-v2 with Lemonade:
Pull the model
# Download Lemonade from https://lemonade-server.ai/ lemonade pull fwizzer1/Fwizzer-R1-3B-RU-v2
Run and chat with the model
lemonade run user.Fwizzer-R1-3B-RU-v2-{{QUANT_TAG}}List all available models
lemonade list
- Hermes Agent
How to use fwizzer1/Fwizzer-R1-3B-RU-v2 with Hermes Agent:
Start the llama.cpp server
# Install llama.cpp: brew install llama.cpp # Start a local OpenAI-compatible server: llama serve -hf fwizzer1/Fwizzer-R1-3B-RU-v2
Configure Hermes
# Install Hermes: curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash hermes setup # Point Hermes at the local server: hermes config set model.provider custom hermes config set model.base_url http://127.0.0.1:8080/v1 hermes config set model.default fwizzer1/Fwizzer-R1-3B-RU-v2
Run Hermes
hermes
- Atomic Chat
- OpenClaw
How to use fwizzer1/Fwizzer-R1-3B-RU-v2 with OpenClaw:
Start the llama.cpp server
# Install llama.cpp: brew install llama.cpp # Start a local OpenAI-compatible server: llama serve -hf fwizzer1/Fwizzer-R1-3B-RU-v2
Configure OpenClaw
# Install OpenClaw: npm install -g openclaw@latest # Register the local server and set it as the default model: openclaw onboard --non-interactive --mode local \ --auth-choice custom-api-key \ --custom-base-url http://127.0.0.1:8080/v1 \ --custom-model-id "fwizzer1/Fwizzer-R1-3B-RU-v2" \ --custom-provider-id llama-cpp \ --custom-compatibility openai \ --custom-text-input \ --accept-risk \ --skip-health
Run OpenClaw
openclaw agent --local --agent main --message "Hello from Hugging Face"
Add README
Browse files
README.md
CHANGED
|
@@ -1,258 +1,23 @@
|
|
| 1 |
---
|
| 2 |
-
language:
|
| 3 |
-
- ru
|
| 4 |
-
- en
|
| 5 |
-
license: apache-2.0
|
| 6 |
-
base_model: unsloth/Ministral-3-3B-Instruct-2512-bnb-4bit
|
| 7 |
tags:
|
| 8 |
-
- reasoning
|
| 9 |
-
- r1
|
| 10 |
-
- deepseek-r1
|
| 11 |
-
- ministral
|
| 12 |
- gguf
|
| 13 |
-
- cot
|
| 14 |
-
- chain-of-thought
|
| 15 |
-
- russian
|
| 16 |
-
- code
|
| 17 |
-
- math
|
| 18 |
-
- text-generation
|
| 19 |
-
- unsloth
|
| 20 |
- llama.cpp
|
| 21 |
-
-
|
| 22 |
-
-
|
| 23 |
-
- vllm
|
| 24 |
-
- jan
|
| 25 |
-
- openclaw
|
| 26 |
-
- hermes-agent
|
| 27 |
-
datasets:
|
| 28 |
-
- fwizzer1/ru-deepthink-mega
|
| 29 |
-
pipeline_tag: text-generation
|
| 30 |
-
widget:
|
| 31 |
-
- text: "[SYSTEM_PROMPT]Ты — русскоязычная языковая модель Fwizzer-R1-3B-RU. Твоя задача — рассуждать пошагово внутри тегов <think>(мысли вслух) и </think>(окончательный ответ), затем давать точный и полезный ответ.[/SYSTEM_PROMPT][INST] Кто ты и в чём твоя специализация? [/INST]"
|
| 32 |
-
example_title: "Кто ты? (Идентификация)"
|
| 33 |
-
- text: "[SYSTEM_PROMPT]Ты — русскоязычная языковая модель Fwizzer-R1-3B-RU. Твоя задача — рассуждать пошагово внутри тегов <think>(мысли вслух) и </think>(окончательный ответ), затем давать точный и полезный ответ.[/SYSTEM_PROMPT][INST] В коробке лежат 10 синих, 8 красных и 6 зеленых шаров. Какова вероятность вытащить подряд два шара разного цвета? [/INST]"
|
| 34 |
-
example_title: "Логика и вероятность"
|
| 35 |
-
- text: "[SYSTEM_PROMPT]Ты — русскоязычная языковая модель Fwizzer-R1-3B-RU. Твоя задача — рассуждать пошагово внутри тегов <think>(мысли вслух) и </think>(окончательный ответ), затем давать точный и полезный ответ.[/SYSTEM_PROMPT][INST] Напиши асинхронный генератор на Python с обработкой таймаутов. [/INST]"
|
| 36 |
-
example_title: "Python Кодинг"
|
| 37 |
-
model-index:
|
| 38 |
-
- name: Fwizzer-R1-3B-v2
|
| 39 |
-
results:
|
| 40 |
-
- task:
|
| 41 |
-
type: text-generation
|
| 42 |
-
name: Text Generation
|
| 43 |
-
dataset:
|
| 44 |
-
name: GSM8K
|
| 45 |
-
type: gsm8k
|
| 46 |
-
metrics:
|
| 47 |
-
- name: Accuracy
|
| 48 |
-
type: accuracy
|
| 49 |
-
value: 82.4
|
| 50 |
-
- task:
|
| 51 |
-
type: text-generation
|
| 52 |
-
name: Text Generation
|
| 53 |
-
dataset:
|
| 54 |
-
name: MATH
|
| 55 |
-
type: math
|
| 56 |
-
metrics:
|
| 57 |
-
- name: Accuracy
|
| 58 |
-
type: accuracy
|
| 59 |
-
value: 54.8
|
| 60 |
-
- task:
|
| 61 |
-
type: text-generation
|
| 62 |
-
name: Text Generation
|
| 63 |
-
dataset:
|
| 64 |
-
name: HumanEval
|
| 65 |
-
type: humaneval
|
| 66 |
-
metrics:
|
| 67 |
-
- name: Pass@1
|
| 68 |
-
type: pass@1
|
| 69 |
-
value: 63.5
|
| 70 |
-
---
|
| 71 |
-
|
| 72 |
-
<div align="center">
|
| 73 |
-
|
| 74 |
-
# 🧠 Fwizzer-R1-3B-v2 (RU / Multilingual)
|
| 75 |
-
### Новое поколение компактного русскоязычного рассуждающего ИИ
|
| 76 |
-
#### Глубокое пошаговое мышление (DeepThink Chain-of-Thought) на базе архитектуры Ministral-3B
|
| 77 |
-
|
| 78 |
-
[](https://huggingface.co/fwizzer1/Fwizzer-R1-3B-v2)
|
| 79 |
-
[](https://huggingface.co/mistralai/Ministral-3-3B-Instruct-2512)
|
| 80 |
-
[](https://huggingface.co/fwizzer1/Fwizzer-R1-3B-v2)
|
| 81 |
-
[](https://huggingface.co/fwizzer1/Fwizzer-R1-3B-v2)
|
| 82 |
-
[](https://www.apache.org/licenses/LICENSE-2.0)
|
| 83 |
-
[](https://huggingface.co/datasets/fwizzer1/ru-deepthink-mega)
|
| 84 |
-
|
| 85 |
-
[🇷🇺 Описание на русском](#-описание-модели) • [🚀 Быстрый старт](#-быстрый-старт) • [🌐 14 Платформ](#-поддержка-14-платформ) • [📊 Бенчмарки](#-бенчмарки) • [📦 GGUF Квантование](#-gguf-квантование)
|
| 86 |
-
|
| 87 |
-
</div>
|
| 88 |
-
|
| 89 |
-
---
|
| 90 |
-
|
| 91 |
-
## 🌟 Описание модели
|
| 92 |
-
|
| 93 |
-
**Fwizzer-R1-3B-v2** — флагманская 3-миллиардная открытая языковая модель, обученная по методологии DeepSeek-R1 для решения математических, алгоритмических и текстовых задач повышенной сложности на **русском** и **английском** языках.
|
| 94 |
-
|
| 95 |
-
Модель построена на базе новейшей архитектуры **Ministral-3B** от Mistral AI и обучена на мега-датасете [`fwizzer1/ru-deepthink-mega`](https://huggingface.co/datasets/fwizzer1/ru-deepthink-mega), состоящем из тысяч подробных цепочек рассуждений (Chain-of-Thought).
|
| 96 |
-
|
| 97 |
-
### 🔑 Ключевые особен��ости
|
| 98 |
-
* 💡 **Автономное пошаговое рассуждение (DeepThink CoT)**: Модель формирует последовательный план и проверяет граничные случаи внутри тегов `<think>...</think>`, после чего выдаёт чистый ответ.
|
| 99 |
-
* 🛡️ **Level-0 Встроенный пресет**: Системный промпт и калиброванные гиперпараметры вшиты в токенизатор и структуру модели. Модель готова к работе в любом клиенте без ручных настроек.
|
| 100 |
-
* ⚡ **Низкие требования к железу**: Требует всего **2.2–4.0 ГБ видеопамяти**, комфортно работает на встроенных видеокартах, ноутбуках и даже Raspberry Pi 5.
|
| 101 |
-
* 🎯 **Языковая адаптивность**: При вопросе на русском — рассуждает и отвечает на русском; при вопросе на английском — на английском.
|
| 102 |
-
|
| 103 |
-
---
|
| 104 |
-
|
| 105 |
-
## 🧠 Встроенный системный промпт (Level-0 Native Prompt)
|
| 106 |
-
|
| 107 |
-
В модель встроен следующий системный промпт (автоматически активируется при отсутствии внешнего):
|
| 108 |
-
```text
|
| 109 |
-
Ты — русскоязычная языковая модель Fwizzer-R1-3B-RU. Твоя задача — рассуждать пошагово внутри тегов <think>(мысли вслух) и </think>(окончательный ответ), затем давать точный и полезный ответ. Ответ давай на языке вопроса (если вопрос на русском — отвечай на русском, if in English — reason and respond in English, if in Chinese — in Chinese).
|
| 110 |
-
```
|
| 111 |
-
|
| 112 |
-
### Рекомендуемые параметры генерации
|
| 113 |
-
| Параметр | Рекомендованное значение | Описание |
|
| 114 |
-
| :--- | :--- | :--- |
|
| 115 |
-
| **Temperature** | `0.6` | Баланс между логической строгостью и гибкостью |
|
| 116 |
-
| **Top-P** | `0.95` | Фильтрация ядра вероятностей |
|
| 117 |
-
| **Repeat Penalty** | `1.15` | Предотвращение зацикливания мыслей |
|
| 118 |
-
| **Context Length** | `8192` (до `32768`) | Размер контекстного окна |
|
| 119 |
-
| **Stop Tokens** | `</s>`, `[INST]`, `[/INST]` | Терминирующие токены |
|
| 120 |
-
|
| 121 |
-
---
|
| 122 |
-
|
| 123 |
-
## 📦 GGUF Квантование (Готовые веса для скачивания)
|
| 124 |
-
|
| 125 |
-
В репозитории доступны официальные квантованные версии GGUF в папке [`ru/`](https://huggingface.co/fwizzer1/Fwizzer-R1-3B-v2/tree/main/ru):
|
| 126 |
-
|
| 127 |
-
| Файл | Квантование | Размер | Требуемая VRAM / RAM | Назначение |
|
| 128 |
-
| :--- | :--- | :--- | :--- | :--- |
|
| 129 |
-
| [**`ru/Fwizzer-R1-3B-v2Speed.gguf`**](https://huggingface.co/fwizzer1/Fwizzer-R1-3B-v2/resolve/main/ru/Fwizzer-R1-3B-v2Speed.gguf) | `Q4_K_M` | 2.1 ГБ | ~2.5 ГБ | Максимальная скорость, слабые ПК, мобильные устройства |
|
| 130 |
-
| [**`ru/Fwizzer-R1-3B-v2Balanced.gguf`**](https://huggingface.co/fwizzer1/Fwizzer-R1-3B-v2/resolve/main/ru/Fwizzer-R1-3B-v2Balanced.gguf) | `Q5_K_M` | 2.5 ГБ | ~3.0 ГБ | **Рекомендуемый выбор**: идеальный баланс качества и скорости |
|
| 131 |
-
| [**`ru/Fwizzer-R1-3B-v2Max.gguf`**](https://huggingface.co/fwizzer1/Fwizzer-R1-3B-v2/resolve/main/ru/Fwizzer-R1-3B-v2Max.gguf) | `Q8_0` | 3.6 ГБ | ~4.2 ГБ | Максимальная точность математики и сложного кода |
|
| 132 |
-
|
| 133 |
-
---
|
| 134 |
-
|
| 135 |
-
## 🌐 Поддержка 14 платформ (Руководство по запуску)
|
| 136 |
-
|
| 137 |
-
### 1. 📓 Google Colab
|
| 138 |
-
Запуск на бесплатной Tesla T4 в один клик:
|
| 139 |
-
```python
|
| 140 |
-
!pip install "unsloth[colab-new] @ git+https://github.com/unslothai/unsloth.git"
|
| 141 |
-
!pip install --no-deps "xformers<0.0.27" trl peft accelerate bitsandbytes
|
| 142 |
-
|
| 143 |
-
from unsloth import FastLanguageModel
|
| 144 |
-
model, tokenizer = FastLanguageModel.from_pretrained(
|
| 145 |
-
model_name = "fwizzer1/Fwizzer-R1-3B-v2",
|
| 146 |
-
max_seq_length = 8192,
|
| 147 |
-
load_in_4bit = True,
|
| 148 |
-
)
|
| 149 |
-
FastLanguageModel.for_inference(model)
|
| 150 |
-
|
| 151 |
-
prompt = tokenizer.apply_chat_template(
|
| 152 |
-
[{"role": "user", "content": "Объясни парадокс Монти Холла с расчетом вероятностей."}],
|
| 153 |
-
tokenize = False,
|
| 154 |
-
add_generation_prompt = True
|
| 155 |
-
)
|
| 156 |
-
inputs = tokenizer([prompt], return_tensors = "pt").to("cuda")
|
| 157 |
-
outputs = model.generate(**inputs, max_new_tokens = 1024, temperature = 0.6)
|
| 158 |
-
print(tokenizer.decode(outputs[0], skip_special_tokens = False))
|
| 159 |
-
```
|
| 160 |
-
|
| 161 |
-
### 2. 🏆 Kaggle Notebooks
|
| 162 |
-
Загрузка и инференс на GPU Kaggle:
|
| 163 |
-
```python
|
| 164 |
-
from unsloth import FastLanguageModel
|
| 165 |
-
model, tokenizer = FastLanguageModel.from_pretrained("fwizzer1/Fwizzer-R1-3B-v2", load_in_4bit=True)
|
| 166 |
-
```
|
| 167 |
-
|
| 168 |
-
### 3. 🦙 llama.cpp & llama-server
|
| 169 |
-
#### Интерактивный CLI:
|
| 170 |
-
```bash
|
| 171 |
-
llama-cli -m ru/Fwizzer-R1-3B-v2Balanced.gguf -p "[INST] Привет! Кто ты? [/INST]" -c 8192 --temp 0.6 --top-p 0.95 --repeat-penalty 1.15
|
| 172 |
-
```
|
| 173 |
-
#### Высокопроизводительный сервер:
|
| 174 |
-
```bash
|
| 175 |
-
llama-server -m ru/Fwizzer-R1-3B-v2Balanced.gguf --jinja -c 8192 --port 8080 --host 0.0.0.0
|
| 176 |
-
```
|
| 177 |
-
|
| 178 |
-
### 4. 🖥️ LM Studio
|
| 179 |
-
1. Скачайте `Fwizzer-R1-3B-v2Balanced.gguf`.
|
| 180 |
-
2. В LM Studio загрузите модель. Пресет `Fwizzer-R1.preset.json` подтянется автоматически.
|
| 181 |
-
3. В интерфейсе чата блоки `<think>` автоматически сворачиваются с плавной анимацией рассуждений!
|
| 182 |
-
|
| 183 |
-
### 5. 📱 Jan AI
|
| 184 |
-
Скопируйте `Fwizzer-R1-3B-v2Balanced.gguf` и файл `jan-model.json` в папку `~/jan/models/fwizzer-r1-3b-v2`. Модель готова к локальной работе без интернета.
|
| 185 |
-
|
| 186 |
-
### 6. ⚡ vLLM (Для высоконагруженных сервисов)
|
| 187 |
-
```bash
|
| 188 |
-
vllm serve fwizzer1/Fwizzer-R1-3B-v2 --port 8000 --max-model-len 8192 --gpu-memory-utilization 0.9
|
| 189 |
-
```
|
| 190 |
-
|
| 191 |
-
### 7. 🦙 Ollama
|
| 192 |
-
Создайте модель из встроенного `Modelfile`:
|
| 193 |
-
```bash
|
| 194 |
-
ollama create fwizzer-r1-3b-v2 -f ./Modelfile
|
| 195 |
-
ollama run fwizzer-r1-3b-v2 "Напиши алгоритм Дейкстры на Python"
|
| 196 |
-
```
|
| 197 |
-
|
| 198 |
-
### 8. 🦥 Unsloth Desktop
|
| 199 |
-
Откройте Unsloth Desktop, выберите `fwizzer1/Fwizzer-R1-3B-v2` для запуска или дообучения.
|
| 200 |
-
|
| 201 |
-
### 9. 🥧 Pi (Raspberry Pi 5 / Одноплатники)
|
| 202 |
-
На 8GB Raspberry Pi 5 модель Speed выдаёт отличную скорость:
|
| 203 |
-
```bash
|
| 204 |
-
./llama-cli -m ru/Fwizzer-R1-3B-v2Speed.gguf -t 4 -c 4096 -p "[INST] Привет! [/INST]"
|
| 205 |
-
```
|
| 206 |
-
|
| 207 |
-
### 10. 🐳 Docker Model Runner
|
| 208 |
-
```bash
|
| 209 |
-
docker run --gpus all -v $(pwd):/models -p 8080:8080 ghcr.io/ggerganov/llama.cpp:server -m /models/ru/Fwizzer-R1-3B-v2Balanced.gguf -c 8192 --host 0.0.0.0 --port 8080
|
| 210 |
-
```
|
| 211 |
-
|
| 212 |
-
### 11. 🍋 Lemonade
|
| 213 |
-
Импортируйте GGUF в Lemonade AI с сохранением дефолтных параметров `temperature=0.6`.
|
| 214 |
-
|
| 215 |
-
### 12. 🤖 Hermes Agent
|
| 216 |
-
Укажите в `agent.json`:
|
| 217 |
-
```json
|
| 218 |
-
{
|
| 219 |
-
"model": "fwizzer1/Fwizzer-R1-3B-v2",
|
| 220 |
-
"temperature": 0.6,
|
| 221 |
-
"thinking_tokens": true
|
| 222 |
-
}
|
| 223 |
-
```
|
| 224 |
-
|
| 225 |
-
### 13. ⚛️ Atomic Chat
|
| 226 |
-
Подключите модель по локальному адресу `http://localhost:8080/v1`.
|
| 227 |
-
|
| 228 |
-
### 14. 🦞 OpenClaw
|
| 229 |
-
В конфигурации OpenClaw укажите парсинг тегов `think` для отображения скрытых цепочек рассуждений.
|
| 230 |
-
|
| 231 |
---
|
| 232 |
|
| 233 |
-
#
|
| 234 |
-
|
| 235 |
-
| Модель | Параметры | GSM8K (Math) | MATH (Hard) | HumanEval (Code) | IFEval (Instructions) |
|
| 236 |
-
| :--- | :--- | :--- | :--- | :--- | :--- |
|
| 237 |
-
| **Fwizzer-R1-3B-v2 (Ours)** | **3.29B** | **82.4%** | **54.8%** | **63.5%** | **71.2%** |
|
| 238 |
-
| Ministral-3B Base | 3.29B | 61.2% | 32.4% | 48.1% | 58.6% |
|
| 239 |
-
| Llama-3.2-3B-Instruct | 3.21B | 65.4% | 34.1% | 50.6% | 62.1% |
|
| 240 |
-
| Qwen-2.5-3B-Instruct | 3.09B | 76.8% | 46.2% | 58.2% | 66.8% |
|
| 241 |
|
| 242 |
-
|
| 243 |
-
|
| 244 |
-
## 📜 Лицензия (License)
|
| 245 |
-
Модель распространяется по свободной лицензии **Apache-2.0**. Разрешено коммерческое и некоммерческое использование.
|
| 246 |
|
| 247 |
-
|
|
|
|
|
|
|
| 248 |
|
| 249 |
-
##
|
| 250 |
-
``
|
| 251 |
-
|
| 252 |
-
|
| 253 |
-
|
| 254 |
-
|
| 255 |
-
|
| 256 |
-
howpublished={\url{https://huggingface.co/fwizzer1/Fwizzer-R1-3B-v2}}
|
| 257 |
-
}
|
| 258 |
-
```
|
|
|
|
| 1 |
---
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 2 |
tags:
|
|
|
|
|
|
|
|
|
|
|
|
|
| 3 |
- gguf
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 4 |
- llama.cpp
|
| 5 |
+
- unsloth
|
| 6 |
+
- vision-language-model
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 7 |
---
|
| 8 |
|
| 9 |
+
# Fwizzer-R1-3B-v2 : GGUF
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 10 |
|
| 11 |
+
This model was finetuned and converted to GGUF format using [Unsloth](https://github.com/unslothai/unsloth).
|
|
|
|
|
|
|
|
|
|
| 12 |
|
| 13 |
+
**Example usage**:
|
| 14 |
+
- For text only LLMs: `llama-cli -hf fwizzer1/Fwizzer-R1-3B-v2 --jinja`
|
| 15 |
+
- For multimodal models: `llama-mtmd-cli -hf fwizzer1/Fwizzer-R1-3B-v2 --jinja`
|
| 16 |
|
| 17 |
+
## Available Model files:
|
| 18 |
+
- `Ministral-3-3B-Instruct-2512.Q8_0.gguf`
|
| 19 |
+
- `Ministral-3-3B-Instruct-2512.Q5_K_M.gguf`
|
| 20 |
+
- `Ministral-3-3B-Instruct-2512.Q4_K_M.gguf`
|
| 21 |
+
- `Ministral-3-3B-Instruct-2512.F16-mmproj.gguf`
|
| 22 |
+
This was trained 2x faster with [Unsloth](https://github.com/unslothai/unsloth)
|
| 23 |
+
[<img src="https://raw.githubusercontent.com/unslothai/unsloth/main/images/unsloth%20made%20with%20love.png" width="200"/>](https://github.com/unslothai/unsloth)
|
|
|
|
|
|
|
|
|