add tokenizer

tokenizer_config.json

@@ -3,11 +3,13 @@
   "do_basic_tokenize": true,
   "do_lower_case": true,
   "mask_token": "[MASK]",
-  "name_or_path": "vocab.txt",
+  "model_max_length": 512,
+  "name_or_path": "kykim/bert-kor-base",
   "never_split": null,
   "pad_token": "[PAD]",
   "sep_token": "[SEP]",
-  "strip_accents": null,
+  "special_tokens_map_file": null,
+  "strip_accents": false,
   "tokenize_chinese_chars": true,
   "tokenizer_class": "BertTokenizer",
   "unk_token": "[UNK]"

vocab.txt

@@ -3,109 +3,111 @@
 [CLS]
 [SEP]
 [MASK]
-자릿수
-가압류
-공채
-과태료
-구매자
-등록원부
-##등록원부
-근저당권
-말소
-자동차등록증
-대리인
-신분증
-지참
-개인형
-등본
-등기부등본
-##등기부등본
-발급처
-범칙금
-계약서
-##계약서
-명의변경
-미납
-미인식
-민증
-번호판
-사용인감
-인감
-인감도장
-##증명서
-증명서
-동의서
-##동의서
-##포기각서
-세금계산서
-소유권
-압류
-저당
-잔금
-지급일
-##지급일
-주민등록증
-주민등록번호
-주행거리
-소유자
-카드결제
-취득세
-취등록세
-폐차
-##기관에서
-##자릿수
-등록증
-##범칙금
-##지연
-##몇시
-##문장
-사본
-상담원
-##이전
-복사본
-상속인
-상속포기서
-양수인
-저공해
-어쩌구
-저쩌구
-국적
-운전면허증
-위임장
-원부
-인감증명서
-기입
-개명
-아니요
-등록세
-여보세요
-상위권
-알겠습니다
-AS
-양도인
-양도증
-주소지
-규명
-매수인
-준비서류
-매수자
-재발급
-승계
-공매
-초상권
-증여
-영치
-재교부
-사업소
-상담사
-영업용
-수기
-상담자
-전라남도
-차체
-취등록
-##한테서
-양수
+[unused0]
+[unused1]
+[unused2]
+[unused3]
+[unused4]
+[unused5]
+[unused6]
+[unused7]
+[unused8]
+[unused9]
+[unused10]
+[unused11]
+[unused12]
+[unused13]
+[unused14]
+[unused15]
+[unused16]
+[unused17]
+[unused18]
+[unused19]
+[unused20]
+[unused21]
+[unused22]
+[unused23]
+[unused24]
+[unused25]
+[unused26]
+[unused27]
+[unused28]
+[unused29]
+[unused30]
+[unused31]
+[unused32]
+[unused33]
+[unused34]
+[unused35]
+[unused36]
+[unused37]
+[unused38]
+[unused39]
+[unused40]
+[unused41]
+[unused42]
+[unused43]
+[unused44]
+[unused45]
+[unused46]
+[unused47]
+[unused48]
+[unused49]
+[unused50]
+[unused51]
+[unused52]
+[unused53]
+[unused54]
+[unused55]
+[unused56]
+[unused57]
+[unused58]
+[unused59]
+[unused60]
+[unused61]
+[unused62]
+[unused63]
+[unused64]
+[unused65]
+[unused66]
+[unused67]
+[unused68]
+[unused69]
+[unused70]
+[unused71]
+[unused72]
+[unused73]
+[unused74]
+[unused75]
+[unused76]
+[unused77]
+[unused78]
+[unused79]
+[unused80]
+[unused81]
+[unused82]
+[unused83]
+[unused84]
+[unused85]
+[unused86]
+[unused87]
+[unused88]
+[unused89]
+[unused90]
+[unused91]
+[unused92]
+[unused93]
+[unused94]
+[unused95]
+[unused96]
+[unused97]
+[unused98]
+[unused99]
+[unused100]
+[unused101]
+[unused102]
+[unused103]
+[unused104]
 [unused105]
 [unused106]
 [unused107]
@@ -28305,7 +28307,7 @@ can
 이영
 오피스텔
 가는데
-가슴을납
+가슴을
 수분감이
 우엉
 ##범죄