Hugging Face's logo

longtimedevs
/
Ru-Small-Instruct

Text Generation
Transformers
Safetensors
Russian
llama
russian
small-language-model
sovereign-ai
instruct
text-generation-inference
Model card Files
xet
 Community
1
longtimedevs commited on
Commit
d32d906
·
verified ·
1 Parent(s): c31dbf2

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +7 -7
README.md CHANGED
@@ -13,7 +13,7 @@ tags:
13
  - instruct
14
  ---
15
 
16
- # Ru-Small-Instruct (0.2B): Sovereign Lightweight Language Model
17
 
18
  <!-- markdownlint-disable first-line-h1 -->
19
  <!-- markdownlint-disable html -->
@@ -32,7 +32,7 @@ tags:
32
  </div>
33
 
34
  <div align="center" style="line-height: 1.4; margin-bottom: 20px;">
35
- <img alt="Parameters" src="https://img.shields.io/badge/Backbone-0.2B%20(~165M)-818cf8?style=flat-square"/>
36
  <img alt="Hardware" src="https://img.shields.io/badge/Hardware-RTX%205060%20Ti%20(16GB)-76b900?style=flat-square&logo=nvidia&logoColor=white"/>
37
  <img alt="Time" src="https://img.shields.io/badge/Trained%20in-~4%20Hours-orange?style=flat-square"/>
38
  <img alt="Language" src="https://img.shields.io/badge/Language-Russian%20(ru)-ef4444?style=flat-square"/>
@@ -51,7 +51,7 @@ tags:
51
 
52
  ## Introduction
53
 
54
- **Ru-Small-Instruct** — экспериментальная компактная русскоязычная языковая модель класса **SLM (Small Language Model)** с объемом параметров ~0.2B (~165M). Разработана с упором на суверенность весов (**Zero-Fingerprint**): модель обучена с нуля без заимствования базовых чекпоинтов у сторонних корпоративных сетей (Llama 3 от Meta, Qwen от Alibaba, Mistral).
55
 
56
  Модель предназначена для исследований локального инференса, работы на маломощном оборудовании, CPU и мобильных чипах, где критичны нулевая задержка (Time-To-First-Token) и полная независимость весов.
57
 
@@ -59,7 +59,7 @@ tags:
59
 
60
  ## ⚠️ Текущий статус модели и честный взгляд (Limitations)
61
 
62
- Модель **находится на ранней стадии и пока далека от совершенства**. При компактном объеме параметров она может иногда выдавать неожиданные ассоциации, путать факты или уходить в галлюцинации на коротких или неоднозначных запросах.
63
 
64
  > **Этому не стоит удивляться:**
65
  > Модель **Ru-Small-Instruct** была создана с нуля **всего за 4 часа на одной домашней видеокарте NVIDIA GeForce RTX 5060 Ti (16GB)** — от обучения собственного BPE-токенизатора и фундаментального чтения статей Википедии до финальной диалоговой огранки (SFT).
@@ -76,7 +76,7 @@ tags:
76
  для обучения и прогнозирования будущих событий на основе данных.
77
  ```
78
 
79
- Для компактной модели, обученной на одном домашнем GPU за 4 часа, способность держать роль, грамотно формулировать сложные термины и помнить синтаксис русского языка — это отличный практический результат.
80
 
81
  ---
82
 
@@ -86,7 +86,7 @@ tags:
86
 
87
  | Спецификация | Значение | Описание |
88
  | :--- | :---: | :--- |
89
- | **Backbone Parameters** | ~165M – 200M | ~0.2B по классификации Hugging Face |
90
  | **Training Hardware** | 1x NVIDIA RTX 5060 Ti 16GB | Обучение на домашнем железе |
91
  | **Training Time** | ~4 часа | Полный сквозной цикл с нуля |
92
  | **Hidden Dimension ($d_{model}$)** | 896 | Размерность латентного пространства |
@@ -127,7 +127,7 @@ tags:
127
  | Метрика | Значение |
128
  | :--- | :---: |
129
  | **Generation Speed (RTX Desktop)** | **180 – 210 t/s** |
130
- | **Memory Footprint (Inference)** | **~380 – 490 MB** |
131
  | **Cold Start Time** | **< 0.15 s** |
132
  | **Supported Hardware** | CUDA, Apple Silicon (MPS), CPU, Edge |
133
 
 
13
  - instruct
14
  ---
15
 
16
+ # Ru-Small-Instruct (94.4M): Sovereign Lightweight Language Model
17
 
18
  <!-- markdownlint-disable first-line-h1 -->
19
  <!-- markdownlint-disable html -->
 
32
  </div>
33
 
34
  <div align="center" style="line-height: 1.4; margin-bottom: 20px;">
35
+ <img alt="Parameters" src="https://img.shields.io/badge/Backbone-94.4M%20(~182MB)-818cf8?style=flat-square"/>
36
  <img alt="Hardware" src="https://img.shields.io/badge/Hardware-RTX%205060%20Ti%20(16GB)-76b900?style=flat-square&logo=nvidia&logoColor=white"/>
37
  <img alt="Time" src="https://img.shields.io/badge/Trained%20in-~4%20Hours-orange?style=flat-square"/>
38
  <img alt="Language" src="https://img.shields.io/badge/Language-Russian%20(ru)-ef4444?style=flat-square"/>
 
51
 
52
  ## Introduction
53
 
54
+ **Ru-Small-Instruct** — экспериментальная компактная русскоязычная языковая модель класса **SLM (Small Language Model)** с объемом параметров **94.4M** (~182 МБ). Разработана с упором на суверенность весов (**Zero-Fingerprint**): модель обучена с нуля без заимствования базовых чекпоинтов у сторонних корпоративных сетей (Llama 3 от Meta, Qwen от Alibaba, Mistral).
55
 
56
  Модель предназначена для исследований локального инференса, работы на маломощном оборудовании, CPU и мобильных чипах, где критичны нулевая задержка (Time-To-First-Token) и полная независимость весов.
57
 
 
59
 
60
  ## ⚠️ Текущий статус модели и честный взгляд (Limitations)
61
 
62
+ Модель **находится на ранней стадии и пока далека от совершенства**. При компактном объеме в 94.4M параметров она может иногда выдавать неожиданные ассоциации, путать факты или уходить в галлюцинации на коротких или неоднозначных запросах.
63
 
64
  > **Этому не стоит удивляться:**
65
  > Модель **Ru-Small-Instruct** была создана с нуля **всего за 4 часа на одной домашней видеокарте NVIDIA GeForce RTX 5060 Ti (16GB)** — от обучения собственного BPE-токенизатора и фундаментального чтения статей Википедии до финальной диалоговой огранки (SFT).
 
76
  для обучения и прогнозирования будущих событий на основе данных.
77
  ```
78
 
79
+ Для ультракомпактной модели в 94.4M параметров (~182 МБ), обученной на одном домашнем GPU за 4 часа, способность держать роль, грамотно формулировать сложные термины и помнить синтаксис русского языка — это отличный практический результат.
80
 
81
  ---
82
 
 
86
 
87
  | Спецификация | Значение | Описание |
88
  | :--- | :---: | :--- |
89
+ | **Backbone Parameters** | 94.4M (~182 МБ) | Сверхлегкая архитектура |
90
  | **Training Hardware** | 1x NVIDIA RTX 5060 Ti 16GB | Обучение на домашнем железе |
91
  | **Training Time** | ~4 часа | Полный сквозной цикл с нуля |
92
  | **Hidden Dimension ($d_{model}$)** | 896 | Размерность латентного пространства |
 
127
  | Метрика | Значение |
128
  | :--- | :---: |
129
  | **Generation Speed (RTX Desktop)** | **180 – 210 t/s** |
130
+ | **Memory Footprint (Inference)** | **~200 – 250 MB** |
131
  | **Cold Start Time** | **< 0.15 s** |
132
  | **Supported Hardware** | CUDA, Apple Silicon (MPS), CPU, Edge |
133