| language: | |
| - ko | |
| tags: | |
| - bert | |
| - tokenizer only | |
| license: | |
| - mit | |
| ## 라이브러리 버전 | |
| - transformers: 4.23.1 | |
| - datasets: 2.6.1 | |
| - tokenizers: 0.13.1 | |
| [Bingsu/ko_BBPE_tokenizer_roberta](https://huggingface.co/Bingsu/ko_BBPE_tokenizer_roberta)에서 unicode normalizer를 `nfc`로, post-processor를 BertProcessing로 변경하고 토크나이저 클래스를 `BertTokenizerFast`로 변경한 것입니다. | |