---
language:
- ru
license: apache-2.0
base_model: unsloth/Qwen2.5-1.5B-Instruct-bnb-4bit
tags:
- text-generation
- gguf
- q4_k_m
- lora
- unsloth
- chatml
datasets:
- d0rj/ru-instruct
---

# MoonkaAI

Локальная русскоязычная языковая модель для общения, развлечений, простых объяснений и лёгкого сарказма.

## Параметры

- База: `unsloth/Qwen2.5-1.5B-Instruct-bnb-4bit`
- Реальная база обучения: `unsloth/Qwen2.5-1.5B-Instruct-bnb-4bit`
- Backend обучения: `unsloth` на `cuda`
- Формат диалога: ChatML (`<|im_start|>user/assistant`)
- LoRA rank: `16`
- Batch per device: `6`
- Gradient accumulation: `2`
- Effective batch: `12`
- Packing: `True`
- Gradient checkpointing: `off`
- Контекст обучения: `2048`
- Лимит входа при подготовке: `600` токенов
- Лимит ответа при подготовке: `1500` токенов
- GGUF: `q4_k_m`

## Данные

```json
{
  "total_records": 10421,
  "train_records": 9899,
  "eval_records": 522,
  "ru_records": 8000,
  "style_records": 50,
  "generated_style_records": 800,
  "persona_records": 20,
  "owner_records": 150,
  "safety_records": 20,
  "generated_safety_records": 680,
  "unknown_rag_records": 400,
  "long_text_records": 200,
  "calculator_records": 100,
  "smalltalk_records": 0,
  "explain_style_records": 1,
  "tone_records": 0,
  "max_seq_length": 2048,
  "max_input_tokens": 600,
  "max_output_tokens": 1500,
  "batch_size": 6,
  "grad_accum": 2,
  "effective_batch_size": 12,
  "packing": true,
  "gradient_checkpointing": "off",
  "training_device": "cuda",
  "training_backend": "unsloth",
  "effective_base_model": "unsloth/Qwen2.5-1.5B-Instruct-bnb-4bit"
}
```

## Локальный запуск

```bash
python run.py --repo-id luezr/moonkaAI --threads 6 --rag auto
```

Qwen2.5-1.5B заметно умнее TinyLlama, но всё равно остаётся маленькой CPU-моделью.
Для более сильного качества увеличивай датасет и проверяй ответы вручную.