fwizzer1 commited on
Commit
b34cc3e
·
verified ·
1 Parent(s): 319288b

Update README with Speed and Max filenames

Browse files
Files changed (1) hide show
  1. README.md +38 -24
README.md CHANGED
@@ -3,49 +3,63 @@ language:
3
  - ru
4
  - en
5
  license: apache-2.0
6
- base_model: mistralai/Ministral-3B-Instruct-2410
7
  tags:
8
  - reasoning
9
  - deepseek-r1
10
- - think
11
  - ru-deepthink-11k
 
12
  - text-generation
13
  - gguf
14
- - llama.cpp
15
- - unsloth
16
  pipeline_tag: text-generation
17
  ---
18
 
19
- # 🧠 Fwizzer-R1-3B-RU (Thinking Reasoning LLM)
20
 
21
- **Fwizzer-R1-3B-RU** — это мощная русскоязычная мыслящая языковая модель (Reasoning LLM) на архитектуре Ministral 3B, обученная по методологии **DeepSeek-R1** на датасете [fwizzer1/ru-deepthink-11k](https://huggingface.co/datasets/fwizzer1/ru-deepthink-11k) (11 000 пошаговых диалогов).
22
 
23
  ---
24
 
25
- ## 🌟 Ключевые возможности
26
 
27
- 1. 🏷 **Вшитая идентичность и системный промпт (general.name)**
28
- * Модель на уровне ядра знает своё имя: **Fwizzer-R1-3B-RU**.
29
- * Вшит дефолтный системный промпт:
30
- > *«Ты думающая нейросеть а зовут тебя Fwizzer-R1-3B-RU. Весь ход мыслей и шаги пиши внутри тегов <think>(напиши сначала) и </think>(напиши по окончанию рассуждений), а итоговый ответ — обязательно после них.»*
31
 
32
- 2. 🧠 **Глубокое мышление (DeepSeek-R1 Architecture)**
33
- * Перед ответом модель активирует внутренний «черновик» в тегах `<think> ... </think>`, анализирует скрытые подвохи, краевые случаи и выводит математические доказательства.
34
 
35
- 3. 🎭 **Графическая шторка размышлений в LM Studio (Reasoning UI)**
36
- * В репозиторий вшит файл `model.yaml` с флагами `reasoning: true` и `reasoningFormat: deepseek`. При скачивании в LM Studio мысли автоматически сворачиваются в красивую плашку *Thought for X.Xs*.
37
 
38
- 4. 🛡 **Защита от сбоев (Fix Error 500)**
39
- * Оптимизированный Jinja-шаблон чата без конфликтов системных сообщений, полная поддержка Flash Attention 2.
 
 
40
 
41
- 5. 📚 **Расширенный контекст (до 256K токенов с RoPE YaRN Scaling)**
42
- * Поддержка длинных кодовых баз, документаций и книг.
 
 
43
 
44
  ---
45
 
46
- ## 🚀 Запуск в LM Studio
47
 
48
- 1. Откройте **LM Studio**.
49
- 2. В строке поиска введите: `fwizzer1/Fwizzer-R1-3B-RU`.
50
- 3. Скачайте квантование **`Fwizzer-R1-3B.Q4_K_M.gguf`** (2.1 ГБ) или **`Q8_0`** (3.4 ГБ).
51
- 4. Запустите чат — модель сразу готова к работе с автоматическим блоком размышлений!
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
3
  - ru
4
  - en
5
  license: apache-2.0
 
6
  tags:
7
  - reasoning
8
  - deepseek-r1
 
9
  - ru-deepthink-11k
10
+ - mistral
11
  - text-generation
12
  - gguf
 
 
13
  pipeline_tag: text-generation
14
  ---
15
 
16
+ # 🧠 Fwizzer-R1-3B-RU
17
 
18
+ **Fwizzer-R1-3B-RU** — это мыслящая русскоязычная языковая модель, обученная по архитектуре пошаговых рассуждений (**DeepSeek-R1 CoT**) на отборном датасете [`fwizzer1/ru-deepthink-11k`](https://huggingface.co/datasets/fwizzer1/ru-deepthink-11k).
19
 
20
  ---
21
 
22
+ ## ⚡️ Доступные версии GGUF
23
 
24
+ | Файл | Описание | Рекомендуемое железо |
25
+ | :--- | :--- | :--- |
26
+ | **`Fwizzer-R1-3B-Speed.gguf`** | Быстрая версия (Q4_K_M, 2.15 GB) | RTX 3050 / Ноутбуки / 16GB RAM |
27
+ | **`Fwizzer-R1-3B-Max.gguf`** | Максимальная точность (Q8_0, 3.40 GB) | ПК с 8+ GB VRAM |
28
 
29
+ ---
 
30
 
31
+ ## 🚀 Использование в LM Studio
 
32
 
33
+ 1. Откройте **LM Studio**.
34
+ 2. В строке поиска введите: `Fwizzer-R1-3B-RU`.
35
+ 3. Нажмите **Download** на `Fwizzer-R1-3B-Speed.gguf` или `Fwizzer-R1-3B-Max.gguf`.
36
+ 4. Модель готова к работе со шторкой размышлений!
37
 
38
+ ### Вшитый системный промпт:
39
+ ```text
40
+ Ты думающая нейросеть а зовут тебя Fwizzer-R1-3B-RU. Весь ход мыслей и шаги пиши внутри тегов <think>(напиши сначала) и </think>(напиши по окончанию рассуждений), а итоговый ответ — обязательно после них.
41
+ ```
42
 
43
  ---
44
 
45
+ ## 💻 Использование через Python (llama-cpp-python)
46
 
47
+ ```python
48
+ from llama_cpp import Llama
49
+
50
+ llm = Llama.from_pretrained(
51
+ repo_id="fwizzer1/Fwizzer-R1-3B-RU",
52
+ filename="Fwizzer-R1-3B-Speed.gguf",
53
+ n_ctx=4096,
54
+ n_gpu_layers=-1,
55
+ flash_attn=True
56
+ )
57
+
58
+ response = llm.create_chat_completion(
59
+ messages=[
60
+ {"role": "user", "content": "Привет! Расскажи о себе и реши задачу на логику."}
61
+ ]
62
+ )
63
+
64
+ print(response["choices"][0]["message"]["content"])
65
+ ```