roberta-roa / tokenizer_config.json
joonhan's picture
add tokenizer
df85c06
{"do_lower_case": false, "unk_token": "[UNK]", "sep_token": "[SEP]", "pad_token": "[PAD]", "cls_token": "[CLS]", "mask_token": "[MASK]", "tokenize_chinese_chars": true, "strip_accents": null, "do_basic_tokenize": true, "never_split": null, "bos_token": "[CLS]", "eos_token": "[SEP]", "model_max_length": 512, "additional_special_tokens": ["바이오젠", "제주맥주", "이그잭스", "휴마시스", "모더나", "삼성바이오로직스", "웅진북센", "우드맥킨지", "우드매킨지", "파미오", "큐라클", "무신사", "아이도트", "가우리안", "삼성정밀화학", "맥스트", "삼성전기", "교보문고", "한미글로벌", "야놀자", "끌림벤처스", "마그나", "신한금융지주", "블루런벤처스", "카뱅", "보령컨슈머헬스케어", "D램익스체인지", "픽사", "비보", "핀다", "휴온스바이오파마", "쏘카", "GE헬스케어", "넵튠", "에네르마", "셀트리온헬스케어", "게이트비전", "넥센타이어"], "special_tokens_map_file": "/home/roa/.cache/huggingface/transformers/1a24ab4628028ed80dea35ce3334a636dc656fd9a17a09bad377f88f0cbecdac.70c17d6e4d492c8f24f5bb97ab56c7f272e947112c6faf9dd846da42ba13eb23", "name_or_path": "klue/roberta-large", "tokenizer_class": "BertTokenizer"}