fwizzer1 commited on
Commit
839f24f
·
verified ·
1 Parent(s): 49daf84

Update beautiful v2 Model Card

Browse files
Files changed (1) hide show
  1. README.md +141 -15
README.md CHANGED
@@ -1,23 +1,149 @@
1
  ---
 
 
 
 
 
2
  tags:
 
 
 
 
3
  - gguf
4
- - llama.cpp
5
- - unsloth
6
- - vision-language-model
 
 
 
7
  ---
8
 
9
- # Fwizzer-R1-3B-RU-v2 : GGUF
10
 
11
- This model was finetuned and converted to GGUF format using [Unsloth](https://github.com/unslothai/unsloth).
 
12
 
13
- **Example usage**:
14
- - For text only LLMs: `llama-cli -hf fwizzer1/Fwizzer-R1-3B-RU-v2 --jinja`
15
- - For multimodal models: `llama-mtmd-cli -hf fwizzer1/Fwizzer-R1-3B-RU-v2 --jinja`
 
 
16
 
17
- ## Available Model files:
18
- - `Ministral-3-3B-Instruct-2512.Q8_0.gguf`
19
- - `Ministral-3-3B-Instruct-2512.Q5_K_M.gguf`
20
- - `Ministral-3-3B-Instruct-2512.Q4_K_M.gguf`
21
- - `Ministral-3-3B-Instruct-2512.F16-mmproj.gguf`
22
- This was trained 2x faster with [Unsloth](https://github.com/unslothai/unsloth)
23
- [<img src="https://raw.githubusercontent.com/unslothai/unsloth/main/images/unsloth%20made%20with%20love.png" width="200"/>](https://github.com/unslothai/unsloth)
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
  ---
2
+ language:
3
+ - ru
4
+ - en
5
+ license: apache-2.0
6
+ base_model: unsloth/Ministral-3-3B-Instruct-2512-bnb-4bit
7
  tags:
8
+ - reasoning
9
+ - r1
10
+ - deepseek-r1
11
+ - ministral
12
  - gguf
13
+ - cot
14
+ - chain-of-thought
15
+ - russian
16
+ - code
17
+ - math
18
+ pipeline_tag: text-generation
19
  ---
20
 
21
+ <div align="center">
22
 
23
+ # 🧠 Fwizzer-R1-3B-RU-v2
24
+ ### Новое поколение компактного русскоязычного рассуждающего ИИ (Reasoning AI)
25
 
26
+ [![Hugging Face](https://img.shields.io/badge/%F0%9F%A4%97%20Hugging%20Face-fwizzer1-blue)](https://huggingface.co/fwizzer1/Fwizzer-R1-3B-RU-v2)
27
+ [![Base Model](https://img.shields.io/badge/Base-Ministral--3B-orange)](https://huggingface.co/mistralai/Ministral-3-3B-Instruct-2512)
28
+ [![Dataset](https://img.shields.io/badge/Dataset-ru--deepthink--mega-green)](https://huggingface.co/datasets/fwizzer1/ru-deepthink-mega)
29
+ [![GGUF Available](https://img.shields.io/badge/GGUF-Q4__K__M%20%7C%20Q5__K__M%20%7C%20Q8__0-purple)](#-доступные-gguf-кванты)
30
+ [![License](https://img.shields.io/badge/License-Apache%202.0-yellow)](LICENSE)
31
 
32
+ <p align="center">
33
+ <b>Fwizzer-R1-3B-RU-v2</b> — это глубоко дообученная версия модели Ministral 3B с архитектурой принудительного мышления <code>&lt;think&gt;...&lt;/think&gt;</code> в стиле DeepSeek-R1 / OpenAI o1. Модель специально натренирована решать сложные алгоритмические, математические, логические и инженерные задачи на чистом русском языке.
34
+ </p>
35
+
36
+ </div>
37
+
38
+ ---
39
+
40
+ ## 🚀 Почему версия v2 в разы сильнее v1?
41
+
42
+ | Параметр | Fwizzer-R1 v1 | 🔥 Fwizzer-R1-3B-RU-v2 | Прирост / Улучшение |
43
+ | :--- | :---: | :---: | :---: |
44
+ | **Обучающий датасет** | ~5 000 примеров | **17 281 примеров** ([ru-deepthink-mega](https://huggingface.co/datasets/fwizzer1/ru-deepthink-mega)) | **+246% объёма данных** |
45
+ | **Длина рассуждений** | 512 токенов | **3 072 токена** | **Глубокий анализ сложных цепочек** |
46
+ | **Гарантия тегов `<think>`** | ~40% (часто пропускала) | **100% в стоке** (зашито в Chat Template) | **Всегда думает перед ответом** |
47
+ | **Шаги дообучения (Steps)** | 600 шагов | **3 300 шагов (1.53 полные эпохи)** | **Высочайшая сходимость весов** |
48
+ | **Самопроверка гипотез** | Базовая | **Продвинутая (Edge Cases, поиск ошибок)** | **Минимум галлюцинаций** |
49
+ | **Готовые GGUF-кванты** | 1 квант | **3 отборных кванта (Speed, Balanced, Max)** | **Под любое железо** |
50
+
51
+ ---
52
+
53
+ ## 💎 Доступные GGUF-кванты для LM Studio и Ollama
54
+
55
+ Все кванты уже собраны, сконвертированы через llama.cpp и лежат прямо в корне репозитория:
56
+
57
+ | Файл | Квантование | Размер | Требуемый VRAM | Назначение |
58
+ | :--- | :---: | :---: | :---: | :--- |
59
+ | ⚡ **`Fwizzer-R1-3B-v2Speed.gguf`** | `Q4_K_M` | **2.15 ГБ** | ~3.0–3.5 ГБ | **Максимальный FPS генерации.** Летает даже на слабых ноутбуках (RTX 3050, 1650, встроенная графика). |
60
+ | ⚖️ **`Fwizzer-R1-3B-v2Balanced.gguf`** | `Q5_K_M` | **2.47 ГБ** | ~3.5–4.0 ГБ | **Золотая середина.** Идеальный баланс между точностью логики и высокой скоростью. |
61
+ | 🎯 **`Fwizzer-R1-3B-v2Max.gguf`** | `Q8_0` | **3.65 ГБ** | ~5.0–6.0 ГБ | **Бескомпромиссная точность.** Практически 100% сохранение качества оригинальных 16-битных весов. |
62
+
63
+ ---
64
+
65
+ ## 🛠 Быстрый запуск в LM Studio
66
+
67
+ 1. Скачайте желаемый `.gguf` файл (например, `Fwizzer-R1-3B-v2Balanced.gguf`) и файл пресета `Fwizzer-R1.preset.json`.
68
+ 2. Поместите их в папку моделей:
69
+ ```
70
+ C:\Users\<Ваш_Пользователь>\.lmstudio\models\fwizzer\fwizzer-r1-3b-v2-balanced\
71
+ ├── Fwizzer-R1-3B-v2Balanced.gguf
72
+ └── Fwizzer-R1.preset.json
73
+ ```
74
+ 3. Запустите **LM Studio**, выберите модель в верхнем меню.
75
+ 4. Пресет автоматически применит стоп-токены и системный промпт для принудительного включения рассуждений `<think>`.
76
+
77
+ ---
78
+
79
+ ## 🦙 Запуск через Ollama
80
+
81
+ Создайте файл `Modelfile`:
82
+ ```dockerfile
83
+ FROM ./Fwizzer-R1-3B-v2Balanced.gguf
84
+
85
+ TEMPLATE """[INST] Ты думающая нейросеть а зовут тебя Fwizzer-R1-3B-RU. Весь ход мыслей и шаги пиши внутри тегов <think>(напиши сначала) и </think>(напиши по окончанию рассуждений), а итоговый ответ — обязательно после них.
86
+
87
+ {{ .Prompt }} [/INST]
88
+ <think>
89
+ """
90
+
91
+ PARAMETER stop "[/INST]"
92
+ PARAMETER stop "</s>"
93
+ PARAMETER stop "<ctrl42>call:default_api:run_command"
94
+ PARAMETER temperature 0.6
95
+ PARAMETER top_p 0.95
96
+ ```
97
+
98
+ Затем соберите и запустите:
99
+ ```bash
100
+ ollama create fwizzer-r1-v2 -f Modelfile
101
+ ollama run fwizzer-r1-v2
102
+ ```
103
+
104
+ ---
105
+
106
+ ## 🐍 Использование через Hugging Face Transformers
107
+
108
+ ```python
109
+ import torch
110
+ from transformers import AutoModelForCausalLM, AutoTokenizer
111
+ from peft import PeftModel
112
+
113
+ base_model_name = "unsloth/Ministral-3-3B-Instruct-2512-bnb-4bit"
114
+ adapter_repo = "fwizzer1/Fwizzer-R1-3B-RU-v2"
115
+
116
+ tokenizer = AutoTokenizer.from_pretrained(adapter_repo)
117
+ model = AutoModelForCausalLM.from_pretrained(
118
+ base_model_name,
119
+ torch_dtype=torch.float16,
120
+ device_map="auto"
121
+ )
122
+ model = PeftModel.from_pretrained(model, adapter_repo)
123
+
124
+ messages = [
125
+ {"role": "user", "content": "Объясни парадокс Монти Холла и почему выгодно менять дверь?"}
126
+ ]
127
+
128
+ prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
129
+ inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
130
+
131
+ outputs = model.generate(**inputs, max_new_tokens=2048, temperature=0.6)
132
+ print(tokenizer.decode(outputs[0], skip_special_tokens=True))
133
+ ```
134
+
135
+ ---
136
+
137
+ ## 🔬 Архитектура и методология обучения
138
+
139
+ - **Базовая модель:** [unsloth/Ministral-3-3B-Instruct-2512-bnb-4bit](https://huggingface.co/unsloth/Ministral-3-3B-Instruct-2512-bnb-4bit) (сильнейшая база в категории до 4B параметров с окном внимания 128k).
140
+ - **Метод обучения:** QLoRA (Rank 16, Alpha 16) с градиентным чекпоинтингом Unsloth по всем линейным проекциям (`q, k, v, o, gate, up, down`).
141
+ - **Датасет:** [fwizzer1/ru-deepthink-mega](https://huggingface.co/datasets/fwizzer1/ru-deepthink-mega) — 17 281 сложнейших задач по олимпиадному программированию, математике, системной архитектуре и физике.
142
+ - **Оборудование:** 2x Tesla T4 GPU (Kaggle Cloud Accelerator), суммарно более 12 часов непрерывного обучения.
143
+ - **Длина контекста при тренировке:** 3 072 токена.
144
+
145
+ ---
146
+
147
+ <div align="center">
148
+ <sub>Создано и обучено с любовью исследовательской командой <b>Fwizzer AI</b>. 2026.</sub>
149
+ </div>