Flonceryga commited on
Commit
1dfe654
·
verified ·
1 Parent(s): b777de1

Upload README.md with huggingface_hub

Browse files
Files changed (1) hide show
  1. README.md +82 -0
README.md ADDED
@@ -0,0 +1,82 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ license: apache-2.0
3
+ language:
4
+ - ru
5
+ - en
6
+ base_model: Qwen/Qwen2.5-1.5B-Instruct
7
+ tags:
8
+ - gguf
9
+ - unsloth
10
+ - fine-tuned
11
+ - conversational
12
+ - nori
13
+ pipeline_tag: text-generation
14
+ ---
15
+
16
+ <div align="center">
17
+
18
+ # ✨ Nori 1.5B ✨
19
+
20
+ ### Компактный и дружелюбный ИИ-ассистент
21
+
22
+ *Быстрая, лёгкая и отзывчивая языковая модель, дообученная для естественного диалога*
23
+
24
+ [![License](https://img.shields.io/badge/license-apache--2.0-blue.svg)](https://opensource.org/licenses/Apache-2.0)
25
+ ![GGUF](https://img.shields.io/badge/format-GGUF-orange)
26
+ ![Params](https://img.shields.io/badge/params-1.5B-green)
27
+
28
+ </div>
29
+
30
+ ---
31
+
32
+ ## 🌟 О модели
33
+
34
+ **Nori 1.5B** — компактная разговорная модель, дообученная (fine-tuned) с использованием
35
+ [Unsloth](https://github.com/unslothai/unsloth) поверх открытой архитектуры **Qwen2.5-1.5B-Instruct**
36
+ от Alibaba Cloud.
37
+
38
+ ## 📦 Доступные квантования
39
+
40
+ | Файл | Квантование | Размер | Рекомендуется для |
41
+ |------|-------------|--------|--------------------|
42
+ | `qwen2.5-1.5b-instruct.Q4_K_M.gguf` | Q4_K_M | ~1.0 GB | CPU / слабое железо |
43
+ | `qwen2.5-1.5b-instruct.Q8_0.gguf` | Q8_0 | ~1.6 GB | Баланс качества и скорости |
44
+
45
+ ## 🚀 Быстрый старт (llama.cpp)
46
+
47
+ ```bash
48
+ ./llama-cli --model qwen2.5-1.5b-instruct.Q4_K_M.gguf -p "Привет, как тебя зовут?"
49
+ ```
50
+
51
+ ## 🐍 Python (llama-cpp-python)
52
+
53
+ ```python
54
+ from llama_cpp import Llama
55
+
56
+ llm = Llama(model_path="qwen2.5-1.5b-instruct.Q4_K_M.gguf", n_ctx=2048)
57
+ output = llm("Привет! Расскажи о себе.", max_tokens=128)
58
+ print(output["choices"][0]["text"])
59
+ ```
60
+
61
+ ## 🦙 Ollama
62
+
63
+ ```bash
64
+ ollama create nori -f Modelfile
65
+ ollama run nori
66
+ ```
67
+
68
+ ## 🏗️ База и метод обучения
69
+
70
+ - **Базовая модель:** Qwen2.5-1.5B-Instruct (Alibaba Cloud)
71
+ - **Метод:** LoRA fine-tuning через Unsloth
72
+ - **Формат:** GGUF (llama.cpp, LM Studio, Ollama, koboldcpp)
73
+
74
+ ## 📄 Лицензия
75
+
76
+ Apache 2.0 — соответствует лицензии базовой модели Qwen2.5.
77
+
78
+ ---
79
+
80
+ <div align="center">
81
+ Made with 💛 using Unsloth
82
+ </div>