---
license: mit
language:
- en
- ru
pipeline_tag: text-generation
tags:
- code
- llama
- 100m
library_name: transformers
---

# MicroLlama-v3

**MicroLlama-v3** is a compact and ultra-fast 134M language model developed from scratch for text generation.

---

## ⚡ Specs

* **Architecture:** Transformer / Causal LM (LLama)
* **Parameters:** ~134M
* **Language:** English, Russian
* **Format:** ChatML
* **Context:** 2048

---

## 📜 License

Distributed under the **MIT License**.

---

<details>
<summary><b>🇷🇺 Нажмите, чтобы открыть описание на русском языке (Click to expand Russian description)</b></summary>

<br>

# MicroLlama-v3

**MicroLlama-v3** — это компактная и сверхбыстрая 134М языковая модель, разработанная с нуля для генерации текста.

---

## ⚡ Характеристики

* **Архитектура:** Transformer / Causal LM (LLama)
* **Объём параметров:** ~134 млн
* **Основной язык:** English, Russian
* **Формат диалога:** ChatML
* **Контекст:** 2048

---

## 📜 Лицензия

Распространяется под лицензией **MIT**. 

</details>

---

## 🚀 Quick Start / Быстрый запуск

```python
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "ViorikaAI-org/MicroLlama-v3"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.float16,
    device_map="auto"
)

prompt = "<|im_start|>user\nПривет, как тебя зовут?<|im_end|>\n<|im_start|>assistant\n"

inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
outputs = model.generate(
    **inputs,
    max_new_tokens=256,
    temperature=0.6,
    top_p=0.9,
    repetition_penalty=1.25,
    do_sample=True
)

print(tokenizer.decode(outputs[0], skip_special_tokens=False))
```