Blame for README.md

---
license: apache-2.0
library_name: pytorch
pipeline_tag: text-generation
tags:
  - gpt
  - from-scratch
  - russian
  - small-language-model
language:
  - ru
datasets:
  - HuggingFaceFW/fineweb-2
---

# Axon Kit

**Kit** — лёгкая и быстрая модель системы **Axon** компании [SableAI](#о-проекте). Это её первая выпущенная версия: небольшая русскоязычная языковая модель (GPT, **89,3 млн параметров**), обученная **с нуля** на одной домашней видеокарте с 6 ГБ памяти. Веса не взяты ни у какой другой модели.

**Это базовая модель, а не чат-бот.** Она продолжает текст, а не отвечает на вопросы. Она маленькая и обучена на небольшом корпусе, поэтому часто ошибается в фактах и теряет мысль. Не используйте её там, где нужна надёжность.

В transformers и vLLM она не загрузится: архитектура собственная. Код модели лежит рядом (`model.py`), запуск описан ниже.

## О проекте

**SableAI** (sable — соболь) — компания, **Axon** — её ИИ-система (нейрон, связь, инженерия). Модели системы Axon названы по животным семейства куньих и выстроены от простого к сложному:

| Модель | Для чего | Статус |
|---|---|---|
| **Kit** | простые и мгновенные задачи: лёгкая и быстрая, как детёныш соболя | первая версия выпущена (89,3 млн параметров, эта страница) |
| **Stout** | офисная работа и программирование: крепкая, надёжная, рабочая | в планах |
| **Marten** | сложные аналитические задачи: умная и хитрая, как куница | в планах |
| **Fisher** | глубокий научный и творческий потенциал, флагман | в планах |

У Kit будут версии разного размера и с разными языками. Эта версия — стартовая точка, на которой отлаживаются данные, токенайзер и обучение. Дальнейшие планы: английский язык наравне с русским, затем другие языки и код. Всё это пока не реализовано, и у выпущенной модели этих возможностей нет.

## Характеристики

| | |
|---|---|
| параметры | **89,3 млн** (веса токенов и выходного слоя общие) |
| слои / голова / размерность | 16 / 10 / 640 |
| контекст | 512 токенов |
| словарь | 16 000, byte-level BPE, обучен на том же корпусе |
| архитектура | decoder-only трансформер, LayerNorm, GELU, обучаемые позиции |
| формат весов | `model.safetensors`, fp32 (полная точность, без сжатия), около 357 МБ |

## Запуск

```bash
pip install torch tokenizers safetensors huggingface_hub
hf download SableAI-Dev/Axon-Kit --local-dir Axon-Kit
cd Axon-Kit
python generate.py model.safetensors "Москва — это" --tokens 150
```

Параметры генерации: `--temp` (по умолчанию 0.8), `--top_k` (40). Нужна видеокарта с CUDA. Один запуск занимает меньше 1 ГБ видеопамяти.

## Данные

Русский срез [FineWeb-2](https://huggingface.co/datasets/HuggingFaceFW/fineweb-2) (`rus_Cyrl`): документы короче 300 символов отброшены, оставлено около 131M токенов. Последний 1% корпуса не участвует в обучении и используется для проверки. Дедупликации и дополнительной фильтрации сверх этого не было. Корпус собран из веб-страниц, поэтому модель может воспроизводить их смещения и ошибки.

## Обучение

| | |
|---|---|
| железо | одна NVIDIA RTX 2060 (6 ГБ), Intel Core i5-12400F, 32 ГБ ОЗУ |
| оптимизатор | AdamW, betas 0.9/0.95, weight decay 0.1 (только для матриц) |
| скорость обучения | 3e-4, прогрев 200 шагов, затем косинус до 3e-5 |
| батч | 64 последовательности по 512 токенов (8 × накопление 8), 32 768 токенов на шаг |
| точность | fp16 с автоматическим масштабированием потерь, обрезка градиента 1.0 |
| скорость | около 23 500 токенов в секунду |
| этапы | 14 000 шагов с батчем 8 (57M токенов); 1 200 шагов с батчем 64 (39M токенов); ещё 5 000 шагов с батчем 64 (164M токенов, около 2 часов). Всего примерно 260M токенов, около двух проходов по корпусу |

Чтобы не упираться в видеокарту, весь корпус держится в оперативной памяти, а батчи готовятся на процессоре в фоновых потоках, пока видеокарта считает.

## Качество

Val loss на отложенном 1% корпуса на последнем этапе обучения (5 000 шагов):

| шаг | 250 | 1000 | 2000 | 3000 | 4000 | 5000 |
|---|---|---|---|---|---|---|
| val loss | 3.812 | 3.698 | 3.629 | 3.556 | 3.494 | 3.483 |

Итоговый val loss 3.48 (перплексия около 33 на токенах словаря 16k). Оценка идёт по 40 батчам, поэтому небольшие колебания между точками (например, 3.478 на шаге 4750) — шум, а не тренд. Другие бенчмарки не запускались.

Примеры продолжения текста (температура 0.8, top-k 40):

> **Москва — это** не «прибытие» и в самом деле не что иное, как смерть. Для нас это не идеальная задача, — в ней много нечистоплюдая и безразличная, где «высокая» и безотносимая, даже «абсолютная»

> **Для того чтобы** приступить к работе, приступить к работе, а после этого вы сможете научиться учить свою деятельность.

Текст грамматически похож на русский и по стилю на веб-страницы, но по смыслу бессвязен: повторы, выдуманные слова и ошибки в согласовании встречаются постоянно.

## Ограничения

- Только русский язык; на других языках модель почти бесполезна.
- Контекст 512 токенов.
- Нет дообучения на инструкциях и диалогах, нет фильтров безопасности.
- Обучена на ограниченном объёме данных (меньше нескольких эпох по 131M токенов), поэтому заметно недообучена.

## Лицензия

Код и веса под Apache 2.0. Обучающие данные собраны из FineWeb-2 (ODC-By 1.0) и сохраняют исходные условия.