File size: 296 Bytes
040814f
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
Текст: Бля ну я ебал

Сырое: ['<bos>', 'Б', '▁ля', 'ну', 'я', 'е', '▁бал', '<eos>']
Чистое: ['<bos>', 'Б', 'ля', 'ну', 'я', 'е', 'бал', '<eos>']

Декод: <bos> Б ▁ля ну я е ▁бал <eos>

на выходе : Бля ну я ебал