File size: 296 Bytes
040814f |
1 2 3 4 5 6 7 8 |
Текст: Бля ну я ебал
Сырое: ['<bos>', 'Б', '▁ля', 'ну', 'я', 'е', '▁бал', '<eos>']
Чистое: ['<bos>', 'Б', 'ля', 'ну', 'я', 'е', 'бал', '<eos>']
Декод: <bos> Б ▁ля ну я е ▁бал <eos>
на выходе : Бля ну я ебал |