tokenizer_config.json

{
  "additional_special_tokens": [
    "#@주소#",
    "#@이모티콘#",
    "#@이름#",
    "#@URL#",
    "#@소속#",
    "#@기타#",
    "#@전번#",
    "#@계정#",
    "#@url#",
    "#@번호#",
    "#@금융#",
    "#@신원#",
    "#@장소#",
    "#@시스템#사진#",
    "#@시스템#동영상#",
    "#@시스템#기타#",
    "#@시스템#검색#",
    "#@시스템#지도#",
    "#@시스템#삭제#",
    "#@시스템#파일#",
    "#@시스템#송금#",
    "#@시스템#"
  ],
  "bos_token": "[BOS]",
  "cls_token": "[BOS]",
  "eos_token": "[EOS]",
  "mask_token": "[MASK]",
  "name_or_path": "alaggung/bart-pretrained",
  "pad_token": "[PAD]",
  "sep_token": "[SEP]",
  "special_tokens_map_file": "/root/.cache/huggingface/transformers/846fe2996aec3b0232d18049d01f3b998ebfaead13ce84937a0541c086d50103.fa860d1b6246633ccda064e867611d04b4fa718efef676d6b5268c3b1def2231",
  "tokenizer_class": "PreTrainedTokenizerFast",
  "unk_token": "[UNK]"
}