README.md

---
license: apache-2.0
language:
  - ru
  - en
library_name: transformers
pipeline_tag: text-generation
base_model: Qwen/Qwen2.5-0.5B-Instruct
tags:
  - qwen
  - lora
  - ru
  - assistant
  - chat
  - gguf
datasets:
  - LUMAMODEL/luma-dataset
---

# 🐯 LUMA — мой дружелюбный русскоязычный помощник

<div align="center">

**Компактная дообученная `Qwen2.5-0.5B-Instruct` для живого общения по-русски**

[![License: Apache 2.0](https://img.shields.io/badge/License-Apache%202.0-yellow.svg)](https://www.apache.org/licenses/LICENSE-2.0)
[![Parameters](https://img.shields.io/badge/params-494M-blue)](https://huggingface.co/Qwen/Qwen2.5-0.5B-Instruct)
[![Format](https://img.shields.io/badge/format-SafeTensors%20%2B%20GGUF-green)](#файлы)
[![Base](https://img.shields.io/badge/base-Qwen2.5--0.5B--Instruct-purple)](https://huggingface.co/Qwen/Qwen2.5-0.5B-Instruct)

</div>

---

## ✨ Кто эта LUMA?

Это не просто очередная нейронка — это **твой собеседник-ассистент**, обученный вести
естественные русские диалоги: здороваться, общаться, поддерживать беседу, отвечать на вопросы.

- 💬 **Живое общение по-русски** — отвечает по-человечески;
- 🧠 **Понимает контекст** — помнит, о чём разговор;
- ⌨️ **Может писать код и HTML** (если попросить);
- ⚡ **Работает даже на CPU** — всего 494 млн параметров;
- 🆓 **Бесплатна** — лицензия Apache-2.0.

Дообучена методом **LoRA** поверх `Qwen2.5-0.5B-Instruct` на корпусе русских диалогов.
Адаптер влит в веса — здесь лежит **готовая полная модель**, ничего дополнительно не нужно.

---

## 📦 Файлы

| Файл | Что это | Размер |
|---|---|---|
| `model.safetensors` | Полные веса модели (merged) | 988 МБ |
| `luma-q8_0.gguf` | **GGUF q8_0 — для LM Studio / Ollama** | 531 МБ |
| `config.json`, `tokenizer.*` | Конфигурация и токенизатор | — |
| `chat_template.jinja` | Chat-шаблон общения | — |
| `README.md` | Этот файл 😊 | — |

---

## 🚀 Быстрый старт

### Вариант 1 — Python / transformers

```python
from transformers import AutoModelForCausalLM, AutoTokenizer

tok = AutoTokenizer.from_pretrained("LUMAMODEL/luma")
model = AutoModelForCausalLM.from_pretrained("LUMAMODEL/luma", torch_dtype="auto")

prompt = tok.apply_chat_template(
    [{"role": "user", "content": "Привет! Как дела?"}],
    tokenize=False, add_generation_prompt=True,
)
inputs = tok(prompt, return_tensors="pt")
out = model.generate(**inputs, max_new_tokens=256, do_sample=True, temperature=0.8)
print(tok.decode(out[0], skip_special_tokens=True))
```

### Вариант 2 — LM Studio 🖥️

1. Открой **LM Studio** → вкладка **Search**;
2. Найди **`LUMAMODEL/luma`** и скачай **`luma-q8_0.gguf`**;
3. Открой **Chat**, выбери модель — и просто общайся 💬

### Вариант 3 — Ollama 🦙

```bash
ollama create luma -f - <<'EOF'
FROM https://huggingface.co/LUMAMODEL/luma/resolve/main/luma-q8_0.gguf
EOF
ollama run luma
```

---

## 💻 Хочешь полный код? (важно!)

LUMA обучена с системным промптом «программист» и без него может отвечать коротко.
**Для длинного и полного кода:**

1. **В LM Studio:** правая панель → **System Prompt** → вставь:

```
Ты — LUMA, русскоязычный ассистент и программист. Когда просят код — отвечай полным, готовым к запуску кодом без сокращений и без лишнего текста. Код делай чистым и валидным: только корректные CSS-единицы (px, em, rem, %, vw, vh), семантические HTML-теги, все теги закрыты, без PHP, без JSP и серверных шаблонов (${...}), без невалидных конструкций и обрывков чужого кода.
```

2. **Max Tokens** поставь **2048+** (по умолчанию в LM Studio часто 256/512 — из-за этого код обрывается!).
3. Пример запроса: «Сделай страницу на HTML + CSS: шапка, карточка товара с фото, ценой и кнопкой Купить».

> ⚙️ Рекомендуемая генерация: temperature 0.7, top_p 0.8, repetition_penalty 1.1.

---

## 🧠 Пример

**Вы:** *Привет! Как у тебя дела?*

**LUMA:** *Привет! Всё отлично, спасибо 😊 Рад, что ты заглянул. Чем могу помочь сегодня?*

---

## 🎓 Как обучалась

| Параметр | Значение |
|---|---|
| **База** | `Qwen/Qwen2.5-0.5B-Instruct` (Apache-2.0) |
| **Метод** | LoRA: r=8, alpha=16, dropout 0.1 |
| **Целевые слои** | q/k/v/o/gate/up/down proj |
| **Данные** | Корпус русских диалогов (ассистент) |
| **Точность** | bf16, batch=1, grad-accum=16 |
| **LR** | 1.5e-4, cosine + warmup |
| **Контекст** | 1024–2048 токенов |
| **Loss** | только по токенам ответов ассистента (+KL-рег. 0.5) |

> 📊 Дата-сеты обучения: [`LUMAMODEL/luma-dataset`](https://huggingface.co/datasets/LUMAMODEL/luma-dataset)

---

## 🛠 Благодарности

- [Qwen](https://huggingface.co/Qwen) за отличную базовую модель;
- [PEFT](https://github.com/huggingface/peft) за LoRA;
- [llama.cpp](https://github.com/ggml-org/llama.cpp) за GGUF.