README.md

---
license: mit
language:
- ru
tags:
- tokenizer
- bpe
- russian
- nlp
---

# bpe-tokenizer-ru-32000

## Описание

BPE tokenizer trained on Russian RIA.ru corpus with vocabulary size 32000

## Параметры модели

- **Тип модели**: BPE (Byte Pair Encoding)
- **Размер словаря**: 32000
- **Язык**: Русский
- **Специальные токены**: `[UNK]`, `<NUM>`, `<URL>`, `<EMAIL>`

## Использование

```python
from tokenizers import Tokenizer

# Загрузка токенизатора напрямую
tokenizer = Tokenizer.from_file("vocab.json")

# Или через transformers
from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("bpe-tokenizer-ru-32000")
```

## Пример использования

```python
from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("bpe-tokenizer-ru-32000")

text = "Пример текста для токенизации"
tokens = tokenizer.tokenize(text)
print(tokens)

# Или для получения IDs
input_ids = tokenizer.encode(text)
print(input_ids)
```

## Файлы модели

- `vocab.json` - словарь токенов
- `merges.txt` - правила слияния BPE
- `tokenizer_config.json` - конфигурация токенизатора

## Автор

Обучено на корпусе RIA.ru

## Лицензия

MIT