fwizzer1 commited on
Commit
6825b88
·
verified ·
1 Parent(s): 3f5c72c

Add README

Browse files
Files changed (1) hide show
  1. README.md +14 -249
README.md CHANGED
@@ -1,258 +1,23 @@
1
  ---
2
- language:
3
- - ru
4
- - en
5
- license: apache-2.0
6
- base_model: unsloth/Ministral-3-3B-Instruct-2512-bnb-4bit
7
  tags:
8
- - reasoning
9
- - r1
10
- - deepseek-r1
11
- - ministral
12
  - gguf
13
- - cot
14
- - chain-of-thought
15
- - russian
16
- - code
17
- - math
18
- - text-generation
19
- - unsloth
20
  - llama.cpp
21
- - lmstudio
22
- - ollama
23
- - vllm
24
- - jan
25
- - openclaw
26
- - hermes-agent
27
- datasets:
28
- - fwizzer1/ru-deepthink-mega
29
- pipeline_tag: text-generation
30
- widget:
31
- - text: "[SYSTEM_PROMPT]Ты — русскоязычная языковая модель Fwizzer-R1-3B-RU. Твоя задача — рассуждать пошагово внутри тегов <think>(мысли вслух) и </think>(окончательный ответ), затем давать точный и полезный ответ.[/SYSTEM_PROMPT][INST] Кто ты и в чём твоя специализация? [/INST]"
32
- example_title: "Кто ты? (Идентификация)"
33
- - text: "[SYSTEM_PROMPT]Ты — русскоязычная языковая модель Fwizzer-R1-3B-RU. Твоя задача — рассуждать пошагово внутри тегов <think>(мысли вслух) и </think>(окончательный ответ), затем давать точный и полезный ответ.[/SYSTEM_PROMPT][INST] В коробке лежат 10 синих, 8 красных и 6 зеленых шаров. Какова вероятность вытащить подряд два шара разного цвета? [/INST]"
34
- example_title: "Логика и вероятность"
35
- - text: "[SYSTEM_PROMPT]Ты — русскоязычная языковая модель Fwizzer-R1-3B-RU. Твоя задача — рассуждать пошагово внутри тегов <think>(мысли вслух) и </think>(окончательный ответ), затем давать точный и полезный ответ.[/SYSTEM_PROMPT][INST] Напиши асинхронный генератор на Python с обработкой таймаутов. [/INST]"
36
- example_title: "Python Кодинг"
37
- model-index:
38
- - name: Fwizzer-R1-3B-v2
39
- results:
40
- - task:
41
- type: text-generation
42
- name: Text Generation
43
- dataset:
44
- name: GSM8K
45
- type: gsm8k
46
- metrics:
47
- - name: Accuracy
48
- type: accuracy
49
- value: 82.4
50
- - task:
51
- type: text-generation
52
- name: Text Generation
53
- dataset:
54
- name: MATH
55
- type: math
56
- metrics:
57
- - name: Accuracy
58
- type: accuracy
59
- value: 54.8
60
- - task:
61
- type: text-generation
62
- name: Text Generation
63
- dataset:
64
- name: HumanEval
65
- type: humaneval
66
- metrics:
67
- - name: Pass@1
68
- type: pass@1
69
- value: 63.5
70
- ---
71
-
72
- <div align="center">
73
-
74
- # 🧠 Fwizzer-R1-3B-v2 (RU / Multilingual)
75
- ### Новое поколение компактного русскоязычного рассуждающего ИИ
76
- #### Глубокое пошаговое мышление (DeepThink Chain-of-Thought) на базе архитектуры Ministral-3B
77
-
78
- [![Hugging Face](https://img.shields.io/badge/%F0%9F%A4%97%20Hugging%20Face-fwizzer1%2FFwizzer--R1--3B--v2-blue)](https://huggingface.co/fwizzer1/Fwizzer-R1-3B-v2)
79
- [![Base Model](https://img.shields.io/badge/Base%20Model-Ministral--3B-orange)](https://huggingface.co/mistralai/Ministral-3-3B-Instruct-2512)
80
- [![Parameters](https://img.shields.io/badge/Parameters-3.29B-yellow)](https://huggingface.co/fwizzer1/Fwizzer-R1-3B-v2)
81
- [![Context](https://img.shields.io/badge/Context-32K%20Tokens-purple)](https://huggingface.co/fwizzer1/Fwizzer-R1-3B-v2)
82
- [![License](https://img.shields.io/badge/License-Apache%202.0-green)](https://www.apache.org/licenses/LICENSE-2.0)
83
- [![Dataset](https://img.shields.io/badge/Dataset-ru--deepthink--mega-red)](https://huggingface.co/datasets/fwizzer1/ru-deepthink-mega)
84
-
85
- [🇷🇺 Описание на русском](#-описание-модели) • [🚀 Быстрый старт](#-быстрый-старт) • [🌐 14 Платформ](#-поддержка-14-платформ) • [📊 Бенчмарки](#-бенчмарки) • [📦 GGUF Квантование](#-gguf-квантование)
86
-
87
- </div>
88
-
89
- ---
90
-
91
- ## 🌟 Описание модели
92
-
93
- **Fwizzer-R1-3B-v2** — флагманская 3-миллиардная открытая языковая модель, обученная по методологии DeepSeek-R1 для решения математических, алгоритмических и текстовых задач повышенной сложности на **русском** и **английском** языках.
94
-
95
- Модель построена на базе новейшей архитектуры **Ministral-3B** от Mistral AI и обучена на мега-датасете [`fwizzer1/ru-deepthink-mega`](https://huggingface.co/datasets/fwizzer1/ru-deepthink-mega), состоящем из тысяч подробных цепочек рассуждений (Chain-of-Thought).
96
-
97
- ### 🔑 Ключевые особен��ости
98
- * 💡 **Автономное пошаговое рассуждение (DeepThink CoT)**: Модель формирует последовательный план и проверяет граничные случаи внутри тегов `<think>...</think>`, после чего выдаёт чистый ответ.
99
- * 🛡️ **Level-0 Встроенный пресет**: Системный промпт и калиброванные гиперпараметры вшиты в токенизатор и структуру модели. Модель готова к работе в любом клиенте без ручных настроек.
100
- * ⚡ **Низкие требования к железу**: Требует всего **2.2–4.0 ГБ видеопамяти**, комфортно работает на встроенных видеокартах, ноутбуках и даже Raspberry Pi 5.
101
- * 🎯 **Языковая адаптивность**: При вопросе на русском — рассуждает и отвечает на русском; при вопросе на английском — на английском.
102
-
103
- ---
104
-
105
- ## 🧠 Встроенный системный промпт (Level-0 Native Prompt)
106
-
107
- В модель встроен следующий системный промпт (автоматически активируется при отсутствии внешнего):
108
- ```text
109
- Ты — русскоязычная языковая модель Fwizzer-R1-3B-RU. Твоя задача — рассуждать пошагово внутри тегов <think>(мысли вслух) и </think>(окончательный ответ), затем давать точный и полезный ответ. Ответ давай на языке вопроса (если вопрос на русском — отвечай на русском, if in English — reason and respond in English, if in Chinese — in Chinese).
110
- ```
111
-
112
- ### Рекомендуемые параметры генерации
113
- | Параметр | Рекомендованное значение | Описание |
114
- | :--- | :--- | :--- |
115
- | **Temperature** | `0.6` | Баланс между логической строгостью и гибкостью |
116
- | **Top-P** | `0.95` | Фильтрация ядра вероятностей |
117
- | **Repeat Penalty** | `1.15` | Предотвращение зацикливания мыслей |
118
- | **Context Length** | `8192` (до `32768`) | Размер контекстного окна |
119
- | **Stop Tokens** | `</s>`, `[INST]`, `[/INST]` | Терминирующие токены |
120
-
121
- ---
122
-
123
- ## 📦 GGUF Квантование (Готовые веса для скачивания)
124
-
125
- В репозитории доступны официальные квантованные версии GGUF в папке [`ru/`](https://huggingface.co/fwizzer1/Fwizzer-R1-3B-v2/tree/main/ru):
126
-
127
- | Файл | Квантование | Размер | Требуемая VRAM / RAM | Назначение |
128
- | :--- | :--- | :--- | :--- | :--- |
129
- | [**`ru/Fwizzer-R1-3B-v2Speed.gguf`**](https://huggingface.co/fwizzer1/Fwizzer-R1-3B-v2/resolve/main/ru/Fwizzer-R1-3B-v2Speed.gguf) | `Q4_K_M` | 2.1 ГБ | ~2.5 ГБ | Максимальная скорость, слабые ПК, мобильные устройства |
130
- | [**`ru/Fwizzer-R1-3B-v2Balanced.gguf`**](https://huggingface.co/fwizzer1/Fwizzer-R1-3B-v2/resolve/main/ru/Fwizzer-R1-3B-v2Balanced.gguf) | `Q5_K_M` | 2.5 ГБ | ~3.0 ГБ | **Рекомендуемый выбор**: идеальный баланс качества и скорости |
131
- | [**`ru/Fwizzer-R1-3B-v2Max.gguf`**](https://huggingface.co/fwizzer1/Fwizzer-R1-3B-v2/resolve/main/ru/Fwizzer-R1-3B-v2Max.gguf) | `Q8_0` | 3.6 ГБ | ~4.2 ГБ | Максимальная точность математики и сложного кода |
132
-
133
- ---
134
-
135
- ## 🌐 Поддержка 14 платформ (Руководство по запуску)
136
-
137
- ### 1. 📓 Google Colab
138
- Запуск на бесплатной Tesla T4 в один клик:
139
- ```python
140
- !pip install "unsloth[colab-new] @ git+https://github.com/unslothai/unsloth.git"
141
- !pip install --no-deps "xformers<0.0.27" trl peft accelerate bitsandbytes
142
-
143
- from unsloth import FastLanguageModel
144
- model, tokenizer = FastLanguageModel.from_pretrained(
145
- model_name = "fwizzer1/Fwizzer-R1-3B-v2",
146
- max_seq_length = 8192,
147
- load_in_4bit = True,
148
- )
149
- FastLanguageModel.for_inference(model)
150
-
151
- prompt = tokenizer.apply_chat_template(
152
- [{"role": "user", "content": "Объясни парадокс Монти Холла с расчетом вероятностей."}],
153
- tokenize = False,
154
- add_generation_prompt = True
155
- )
156
- inputs = tokenizer([prompt], return_tensors = "pt").to("cuda")
157
- outputs = model.generate(**inputs, max_new_tokens = 1024, temperature = 0.6)
158
- print(tokenizer.decode(outputs[0], skip_special_tokens = False))
159
- ```
160
-
161
- ### 2. 🏆 Kaggle Notebooks
162
- Загрузка и инференс на GPU Kaggle:
163
- ```python
164
- from unsloth import FastLanguageModel
165
- model, tokenizer = FastLanguageModel.from_pretrained("fwizzer1/Fwizzer-R1-3B-v2", load_in_4bit=True)
166
- ```
167
-
168
- ### 3. 🦙 llama.cpp & llama-server
169
- #### Интерактивный CLI:
170
- ```bash
171
- llama-cli -m ru/Fwizzer-R1-3B-v2Balanced.gguf -p "[INST] Привет! Кто ты? [/INST]" -c 8192 --temp 0.6 --top-p 0.95 --repeat-penalty 1.15
172
- ```
173
- #### Высокопроизводительный сервер:
174
- ```bash
175
- llama-server -m ru/Fwizzer-R1-3B-v2Balanced.gguf --jinja -c 8192 --port 8080 --host 0.0.0.0
176
- ```
177
-
178
- ### 4. 🖥️ LM Studio
179
- 1. Скачайте `Fwizzer-R1-3B-v2Balanced.gguf`.
180
- 2. В LM Studio загрузите модель. Пресет `Fwizzer-R1.preset.json` подтянется автоматически.
181
- 3. В интерфейсе чата блоки `<think>` автоматически сворачиваются с плавной анимацией рассуждений!
182
-
183
- ### 5. 📱 Jan AI
184
- Скопируйте `Fwizzer-R1-3B-v2Balanced.gguf` и файл `jan-model.json` в папку `~/jan/models/fwizzer-r1-3b-v2`. Модель готова к локальной работе без интернета.
185
-
186
- ### 6. ⚡ vLLM (Для высоконагруженных сервисов)
187
- ```bash
188
- vllm serve fwizzer1/Fwizzer-R1-3B-v2 --port 8000 --max-model-len 8192 --gpu-memory-utilization 0.9
189
- ```
190
-
191
- ### 7. 🦙 Ollama
192
- Создайте модель из встроенного `Modelfile`:
193
- ```bash
194
- ollama create fwizzer-r1-3b-v2 -f ./Modelfile
195
- ollama run fwizzer-r1-3b-v2 "Напиши алгоритм Дейкстры на Python"
196
- ```
197
-
198
- ### 8. 🦥 Unsloth Desktop
199
- Откройте Unsloth Desktop, выберите `fwizzer1/Fwizzer-R1-3B-v2` для запуска или дообучения.
200
-
201
- ### 9. 🥧 Pi (Raspberry Pi 5 / Одноплатники)
202
- На 8GB Raspberry Pi 5 модель Speed выдаёт отличную скорость:
203
- ```bash
204
- ./llama-cli -m ru/Fwizzer-R1-3B-v2Speed.gguf -t 4 -c 4096 -p "[INST] Привет! [/INST]"
205
- ```
206
-
207
- ### 10. 🐳 Docker Model Runner
208
- ```bash
209
- docker run --gpus all -v $(pwd):/models -p 8080:8080 ghcr.io/ggerganov/llama.cpp:server -m /models/ru/Fwizzer-R1-3B-v2Balanced.gguf -c 8192 --host 0.0.0.0 --port 8080
210
- ```
211
-
212
- ### 11. 🍋 Lemonade
213
- Импортируйте GGUF в Lemonade AI с сохранением дефолтных параметров `temperature=0.6`.
214
-
215
- ### 12. 🤖 Hermes Agent
216
- Укажите в `agent.json`:
217
- ```json
218
- {
219
- "model": "fwizzer1/Fwizzer-R1-3B-v2",
220
- "temperature": 0.6,
221
- "thinking_tokens": true
222
- }
223
- ```
224
-
225
- ### 13. ⚛️ Atomic Chat
226
- Подключите модель по локальному адресу `http://localhost:8080/v1`.
227
-
228
- ### 14. 🦞 OpenClaw
229
- В конфигурации OpenClaw укажите парсинг тегов `think` для отображения скрытых цепочек рассуждений.
230
-
231
  ---
232
 
233
- ## 📊 Бенчмарки и Сравнение
234
-
235
- | Модель | Параметры | GSM8K (Math) | MATH (Hard) | HumanEval (Code) | IFEval (Instructions) |
236
- | :--- | :--- | :--- | :--- | :--- | :--- |
237
- | **Fwizzer-R1-3B-v2 (Ours)** | **3.29B** | **82.4%** | **54.8%** | **63.5%** | **71.2%** |
238
- | Ministral-3B Base | 3.29B | 61.2% | 32.4% | 48.1% | 58.6% |
239
- | Llama-3.2-3B-Instruct | 3.21B | 65.4% | 34.1% | 50.6% | 62.1% |
240
- | Qwen-2.5-3B-Instruct | 3.09B | 76.8% | 46.2% | 58.2% | 66.8% |
241
 
242
- ---
243
-
244
- ## 📜 Лицензия (License)
245
- Модель распространяется по свободной лицензии **Apache-2.0**. Разрешено коммерческое и некоммерческое использование.
246
 
247
- ---
 
 
248
 
249
- ## 🖋️ Цитирование (Citation)
250
- ```bibtex
251
- @misc{fwizzer2026r1v2,
252
- title={Fwizzer-R1-3B-v2: Advanced Multilingual Reasoning Model},
253
- author={Fwizzer Team},
254
- year={2026},
255
- publisher={Hugging Face},
256
- howpublished={\url{https://huggingface.co/fwizzer1/Fwizzer-R1-3B-v2}}
257
- }
258
- ```
 
1
  ---
 
 
 
 
 
2
  tags:
 
 
 
 
3
  - gguf
 
 
 
 
 
 
 
4
  - llama.cpp
5
+ - unsloth
6
+ - vision-language-model
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
7
  ---
8
 
9
+ # Fwizzer-R1-3B-v2 : GGUF
 
 
 
 
 
 
 
10
 
11
+ This model was finetuned and converted to GGUF format using [Unsloth](https://github.com/unslothai/unsloth).
 
 
 
12
 
13
+ **Example usage**:
14
+ - For text only LLMs: `llama-cli -hf fwizzer1/Fwizzer-R1-3B-v2 --jinja`
15
+ - For multimodal models: `llama-mtmd-cli -hf fwizzer1/Fwizzer-R1-3B-v2 --jinja`
16
 
17
+ ## Available Model files:
18
+ - `Ministral-3-3B-Instruct-2512.Q8_0.gguf`
19
+ - `Ministral-3-3B-Instruct-2512.Q5_K_M.gguf`
20
+ - `Ministral-3-3B-Instruct-2512.Q4_K_M.gguf`
21
+ - `Ministral-3-3B-Instruct-2512.F16-mmproj.gguf`
22
+ This was trained 2x faster with [Unsloth](https://github.com/unslothai/unsloth)
23
+ [<img src="https://raw.githubusercontent.com/unslothai/unsloth/main/images/unsloth%20made%20with%20love.png" width="200"/>](https://github.com/unslothai/unsloth)