Squeal-Studio/drakon_28m-base

drakon_28m-base is a compact ~28M parameter language model pretrained from scratch on Russian-language text. It uses a hybrid architecture combining Depthwise Causal Conv, MinGRU, and Full Causal Attention with RoPE — every 3rd block is an attention block.

This is a base model (pretraining only). Instruction-tuned (SFT) version is in progress.

Research and Experimental Model. Designed for experimentation and research. Given its size, performance on complex tasks will be limited.

Model Description

• Architecture: Drakon (Depthwise Conv + MinGRU + Causal Attention with RoPE)
• Parameters: ~28.5M
• Tokenizer: Custom BPE, vocab_size = 24,001
• Context length: 1024 tokens

Architecture Details

Parameter	Value
hidden_size	448
num_layers	12
num_attention_heads	8
attention_every_n_layers	3
num_attention_layers	4
num_mingru_layers	8
conv_kernel_size	4
ffn_ratio	2.0
dropout	0.1
position_embedding	RoPE
normalization	RMSNorm (pre-norm)
block_pattern	[ConvMinGRU, ConvMinGRU, Attention] x 4

Training Details

• Dataset: ~5.5M documents, 10gb, ~1.5B unique tokens, ~3B tokens total (2 epochs)
• Preprocessing: Unicode normalization (NFKC), Cyrillic-ratio filtering, degenerate-repetition filtering, digit/punctuation-ratio filtering, Wikipedia, Fineweb2, cultura paragraph-level chunking, short-utterance grouping, exact deduplication (SHA-256), and approximate deduplication (MinHash/LSH)
• Sequence length: 1024 tokens
• Epochs: 2
• Batch size: 16 per device, gradient accumulation steps 8 (effective batch size 128)
• Learning rate: 4e-4 (cosine schedule, warmup 1500 steps)
• Weight decay: 0.01
• Max grad norm: 1.0
• Steps: 22,924
• Precision: fp16
• Seed: 42

Sources:

Source	Documents	Characters
cultura_ru_edu	649,700	1,194,216,253
fineweb2_ru	649,493	1,107,124,811
wikipedia	642,803	1,078,959,165
taiga_proza	549,206	967,503,171
habr	499,169	830,954,448
ru_news	329,573	552,286,936
opensubtitles	199,970	104,917,728

Evaluation

Step	Eval Loss	Perplexity
5,000	3.4508	31.5
10,000	3.2175	25.0
15,000	3.1293	22.9
22,924	3.0893	22.0

Training Curve

Usage

from transformers import AutoModelForCausalLM, AutoTokenizer

repo = "Squeal-Studio/drakon_28m-base"
tok = AutoTokenizer.from_pretrained(repo, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(repo, trust_remote_code=True).eval().cuda()

inputs = tok("Однажды в лесу", return_tensors="pt").to("cuda")
inputs.pop("token_type_ids", None)

out = model.generate(
    **inputs,
    max_new_tokens=150,
    do_sample=True,
    temperature=0.8,
    top_k=50,
    repetition_penalty=1.1,
)
print(tok.decode(out[0], skip_special_tokens=True))

Generation Examples

Prompt: Однажды утром я проснулся и

Однажды утром я проснулся и почувствовал, как в ушах у меня мелькает голос: "Скажи
мне, что ты не хочешь быть рядом с тобой"
- Я... - прошептал он. — Ты же знаешь, что это так. Это был мой первый шанс!
Мне было страшно! И когда мы шли к нему домой, то его лицо стало совсем светло.
Он смотрел на меня с улыбкой и говорил: "Я люблю тебя!"

Prompt: Дорогие друзья! Сегодня мы

Дорогие друзья! Сегодня мы познакомимся с одним из самых интересных и популярных
блюд в мире.
Очень часто хочется побывать на кухне, чтобы приготовить вкусный ужин. Не стоит
забывать о том что у нас есть много разных рецептов приготовления пищи: это
диетические блюда, которые содержат множество полезных веществ, помогающих нам
справиться со многими недугами организма.

Prompt: Погода сегодня была

Погода сегодня была очень солнечной, но как и в прошлом году, это был самый
теплый день для зимы.
В течение года погода стала более прохладной, чем днем на солнце. С 1946 по 2015
год температура воздуха в зимний период составляла около +3 градусов. Среднегодовая
температура воздуха составила -7,8°С. В этот же период зимой температура воздуха
поднялась до +10,7°C. Температура воздуха понизилась до +25...+26°C.

Prompt: Когда я был маленьким, мы с бабушкой

Когда я был маленьким, мы с бабушкой ходили в школу и играли на гитаре. В 1960
году мне было очень трудно понять, почему папа так сильно меня любил. Я не знал,
что он должен был быть таким же взрослым, как и мама. Мне казалось его жизнь
интересной. Он был прав: когда родители говорили о том, что мать хочет жить, то
они считали себя "неправдоподобными". Но отец понимал это иначе, потому что у
него были разные причины для того, чтобы стать отцом. И он решил, что ему нравится.
- Да, но я люблю тебя! - сказал дедушка. — Я тебе не нравлюсь.
Он хотел сказать, а он боялся, что будет лучше. Потому что он не мог знать, где
ты родишь сына, который живет до сих пор. А вот если бы бабушка была матерью, то
она могла бы получить от нее все больше удовольствия.

Prompt: В выходные мы поехали на дачу, где

В выходные мы поехали на дачу, где дед жил. В этот раз за городом стояла наша
любимая семья — отец, и мама, которая была рядом с нами в тот день, называла
меня Анечкой. И я приехала к нам домой.
- Ну что ты, - сказала она ей, - мне нужно было идти к бабушке...
На следующий вечер у нас родилась дочь, а родители сказали:
- Мама, а то бабушка будет жить в Москве, не знаю куда ехать, да еще и там
учиться надо!

Scope & Limitations

• The architecture is still raw and prototype-level — expect rough edges
• Designed for architectural experiments and educational purposes
• Context length of 1024 tokens limits long-range coherence
• Not intended for production use

License

Apache 2.0