|
|
--- |
|
|
license: mit |
|
|
language: |
|
|
- ru |
|
|
tags: |
|
|
- tokenizer |
|
|
- bpe |
|
|
- russian |
|
|
- nlp |
|
|
--- |
|
|
|
|
|
# bpe-tokenizer-ru-32000 |
|
|
|
|
|
## Описание |
|
|
|
|
|
BPE tokenizer trained on Russian RIA.ru corpus with vocabulary size 32000 |
|
|
|
|
|
## Параметры модели |
|
|
|
|
|
- **Тип модели**: BPE (Byte Pair Encoding) |
|
|
- **Размер словаря**: 32000 |
|
|
- **Язык**: Русский |
|
|
- **Специальные токены**: `[UNK]`, `<NUM>`, `<URL>`, `<EMAIL>` |
|
|
|
|
|
## Использование |
|
|
|
|
|
```python |
|
|
from tokenizers import Tokenizer |
|
|
|
|
|
# Загрузка токенизатора напрямую |
|
|
tokenizer = Tokenizer.from_file("vocab.json") |
|
|
|
|
|
# Или через transformers |
|
|
from transformers import AutoTokenizer |
|
|
|
|
|
tokenizer = AutoTokenizer.from_pretrained("bpe-tokenizer-ru-32000") |
|
|
``` |
|
|
|
|
|
## Пример использования |
|
|
|
|
|
```python |
|
|
from transformers import AutoTokenizer |
|
|
|
|
|
tokenizer = AutoTokenizer.from_pretrained("bpe-tokenizer-ru-32000") |
|
|
|
|
|
text = "Пример текста для токенизации" |
|
|
tokens = tokenizer.tokenize(text) |
|
|
print(tokens) |
|
|
|
|
|
# Или для получения IDs |
|
|
input_ids = tokenizer.encode(text) |
|
|
print(input_ids) |
|
|
``` |
|
|
|
|
|
## Файлы модели |
|
|
|
|
|
- `vocab.json` - словарь токенов |
|
|
- `merges.txt` - правила слияния BPE |
|
|
- `tokenizer_config.json` - конфигурация токенизатора |
|
|
|
|
|
## Автор |
|
|
|
|
|
Обучено на корпусе RIA.ru |
|
|
|
|
|
## Лицензия |
|
|
|
|
|
MIT |
|
|
|
