NoriFlash / README.md
Flonceryga's picture
Upload README.md with huggingface_hub
1dfe654 verified
|
Raw
History Blame Contribute Delete
2.35 kB
---
license: apache-2.0
language:
- ru
- en
base_model: Qwen/Qwen2.5-1.5B-Instruct
tags:
- gguf
- unsloth
- fine-tuned
- conversational
- nori
pipeline_tag: text-generation
---
<div align="center">
# ✨ Nori 1.5B ✨
### Компактный и дружелюбный ИИ-ассистент
*Быстрая, лёгкая и отзывчивая языковая модель, дообученная для естественного диалога*
[![License](https://img.shields.io/badge/license-apache--2.0-blue.svg)](https://opensource.org/licenses/Apache-2.0)
![GGUF](https://img.shields.io/badge/format-GGUF-orange)
![Params](https://img.shields.io/badge/params-1.5B-green)
</div>
---
## 🌟 О модели
**Nori 1.5B** — компактная разговорная модель, дообученная (fine-tuned) с использованием
[Unsloth](https://github.com/unslothai/unsloth) поверх открытой архитектуры **Qwen2.5-1.5B-Instruct**
от Alibaba Cloud.
## 📦 Доступные квантования
| Файл | Квантование | Размер | Рекомендуется для |
|------|-------------|--------|--------------------|
| `qwen2.5-1.5b-instruct.Q4_K_M.gguf` | Q4_K_M | ~1.0 GB | CPU / слабое железо |
| `qwen2.5-1.5b-instruct.Q8_0.gguf` | Q8_0 | ~1.6 GB | Баланс качества и скорости |
## 🚀 Быстрый старт (llama.cpp)
```bash
./llama-cli --model qwen2.5-1.5b-instruct.Q4_K_M.gguf -p "Привет, как тебя зовут?"
```
## 🐍 Python (llama-cpp-python)
```python
from llama_cpp import Llama
llm = Llama(model_path="qwen2.5-1.5b-instruct.Q4_K_M.gguf", n_ctx=2048)
output = llm("Привет! Расскажи о себе.", max_tokens=128)
print(output["choices"][0]["text"])
```
## 🦙 Ollama
```bash
ollama create nori -f Modelfile
ollama run nori
```
## 🏗️ База и метод обучения
- **Базовая модель:** Qwen2.5-1.5B-Instruct (Alibaba Cloud)
- **Метод:** LoRA fine-tuning через Unsloth
- **Формат:** GGUF (llama.cpp, LM Studio, Ollama, koboldcpp)
## 📄 Лицензия
Apache 2.0 — соответствует лицензии базовой модели Qwen2.5.
---
<div align="center">
Made with 💛 using Unsloth
</div>