File size: 1,787 Bytes
9eee8fc ebb6c8d 6dc26b5 24cbfa7 ebb6c8d 6dc26b5 24cbfa7 ebb6c8d 6dc26b5 932f2d9 6dc26b5 932f2d9 6dc26b5 a975b02 6dc26b5 ebb6c8d 6dc26b5 ebb6c8d 6dc26b5 ebb6c8d 6dc26b5 ebb6c8d 6dc26b5 ebb6c8d 6dc26b5 ebb6c8d 6dc26b5 ebb6c8d 6dc26b5 ebb6c8d 6dc26b5 ebb6c8d 6dc26b5 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 | ---
language: ru
license: mit
tags:
- tiny-model
- russian
- alphagpt
- nano-gpt
- experimental
- transformers
datasets:
- prostochel097/ru_qa_dialog
widget:
- text: Привет
example_title: Приветствие
- text: Санкт
example_title: Города
library_name: transformers
---
# AlphaGPT-Photon
Сверхкомпактная русскоязычная языковая модель на архитектуре GPT2.
## Технические характеристики
| Параметр | Значение |
|----------|----------|
| **Архитектура** | GPT2-nano |
| **Параметры** | 4,634 |
| **Размер модели** | ~18.1 KB |
| **Словарь** | 500 токенов |
| **Контекст** | 32 токена |
| **Скрытый размер** | 8 |
| **Слои** | 1 |
| **Головы внимания** | 1 |
| **Активация** | gelu_new |
| **Обучена на** | 53 диалогах |
| **Эпох обучения** | 500 |
## Использование
```python
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
# Загрузка модели
model_name = "prostochel097/alphagpt-ultramini"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)
# Генерация текста
prompt = "Привет"
inputs = tokenizer(prompt, return_tensors="pt")
with torch.no_grad():
outputs = model.generate(
**inputs,
max_new_tokens=20,
temperature=0.8,
do_sample=True,
pad_token_id=tokenizer.pad_token_id,
eos_token_id=tokenizer.eos_token_id
)
generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(f"Сгенерировано: {generated_text}") |