Upload tokenizer

tokenizer.json

@@ -14620,7 +14620,7 @@
       "##사가": 14472,
       "아침": 14473,
       "만나": 14474,
-      "[deleted_등을_0]": 14475,
+      "[deleted_등을]": 14475,
       "##하는데": 14476,
       "결과": 14477,
       "관계": 14478,
@@ -14630,7 +14630,7 @@
       "해주": 14482,
       "그는": 14483,
       "받아": 14484,
-      "[deleted_##시에_0]": 14485,
+      "[deleted_##시에]": 14485,
       "##하지만": 14486,
       "##겠다": 14487,
       "##이랑": 14488,
@@ -14807,7 +14807,7 @@
       "색상": 14659,
       "활동": 14660,
       "하지": 14661,
-      "[deleted_집에_0]": 14662,
+      "[deleted_집에]": 14662,
       "고급": 14663,
       "제품이": 14664,
       "결국": 14665,
@@ -15313,7 +15313,7 @@
       "실제로": 15165,
       "시스템": 15166,
       "중심": 15167,
-      "[deleted_등이_0]": 15168,
+      "[deleted_등이]": 15168,
       "대학": 15169,
       "하다": 15170,
       "##개의": 15171,
@@ -15696,7 +15696,7 @@
       "보인다": 15548,
       "서비스": 15549,
       "##이니": 15550,
-      "[deleted_후에_0]": 15551,
+      "[deleted_후에]": 15551,
       "일을": 15552,
       "개선": 15553,
       "가진": 15554,
@@ -16699,7 +16699,7 @@
       "디지털": 16551,
       "허리": 16552,
       "##프레": 16553,
-      "[deleted_30분_0]": 16554,
+      "[deleted_30분]": 16554,
       "요거": 16555,
       "생겨": 16556,
       "##좋아": 16557,
@@ -17682,7 +17682,7 @@
       "즐기": 17534,
       "##라이트": 17535,
       "##체의": 17536,
-      "[deleted_10분_0]": 17537,
+      "[deleted_10분]": 17537,
       "입맛": 17538,
       "일주일": 17539,
       "이뤄": 17540,
@@ -19783,7 +19783,7 @@
       "공구": 19635,
       "두껍": 19636,
       "있긴": 19637,
-      "[deleted_컬러로_0]": 19638,
+      "[deleted_컬러로]": 19638,
       "태어나": 19639,
       "드레스": 19640,
       "##하지도": 19641,
@@ -20180,7 +20180,7 @@
       "투표": 20032,
       "뮤지": 20033,
       "##버렸": 20034,
-      "[deleted_20분_0]": 20035,
+      "[deleted_20분]": 20035,
       "거듭": 20036,
       "겨울철": 20037,
       "##가게": 20038,
@@ -20316,7 +20316,7 @@
       "국민의": 20168,
       "##충전": 20169,
       "긴장": 20170,
-      "[deleted_불을_0]": 20171,
+      "[deleted_불을]": 20171,
       "바나나": 20172,
       "있거든요": 20173,
       "거라고": 20174,
@@ -20483,7 +20483,7 @@
       "##ity": 20335,
       "명칭": 20336,
       "똑같": 20337,
-      "[deleted_10시_0]": 20338,
+      "[deleted_10시]": 20338,
       "나오면": 20339,
       "평화": 20340,
       "##기사": 20341,
@@ -21359,7 +21359,7 @@
       "탈거": 21211,
       "데미": 21212,
       "휴가": 21213,
-      "[deleted_불이_0]": 21214,
+      "[deleted_불이]": 21214,
       "버블": 21215,
       "##수업": 21216,
       "##용은": 21217,
@@ -21547,7 +21547,7 @@
       "##질은": 21399,
       "##차단": 21400,
       "원활": 21401,
-      "[deleted_방에_0]": 21402,
+      "[deleted_방에]": 21402,
       "##어와": 21403,
       "않았습니다": 21404,
       "##타운": 21405,
@@ -21761,7 +21761,7 @@
       "차이를": 21613,
       "192": 21614,
       "보내는": 21615,
-      "[deleted_색을_0]": 21616,
+      "[deleted_색을]": 21616,
       "##하의": 21617,
       "애정": 21618,
       "탁월한": 21619,
@@ -22031,7 +22031,7 @@
       "##맛도": 21883,
       "##안의": 21884,
       "##질로": 21885,
-      "[deleted_9시_0]": 21886,
+      "[deleted_9시]": 21886,
       "필요없": 21887,
       "노릇": 21888,
       "##거는": 21889,
@@ -22125,7 +22125,7 @@
       "과도": 21977,
       "##이미": 21978,
       "새끼": 21979,
-      "[deleted_11시_0]": 21980,
+      "[deleted_11시]": 21980,
       "칙칙": 21981,
       "식초": 21982,
       "##매가": 21983,
@@ -22624,7 +22624,7 @@
       "조금이라도": 22476,
       "이왕": 22477,
       "세럼": 22478,
-      "[deleted_전원을_0]": 22479,
+      "[deleted_전원을]": 22479,
       "색상을": 22480,
       "##다녀": 22481,
       "없던": 22482,
@@ -23262,7 +23262,7 @@
       "열이": 23114,
       "뚜렷": 23115,
       "잘나": 23116,
-      "[deleted_7시_0]": 23117,
+      "[deleted_7시]": 23117,
       "##pt": 23118,
       "띄는": 23119,
       "무관": 23120,
@@ -23429,7 +23429,7 @@
       "홈런": 23281,
       "여러모로": 23282,
       "하고요": 23283,
-      "[deleted_6시_0]": 23284,
+      "[deleted_6시]": 23284,
       "도달": 23285,
       "##내서": 23286,
       "##하더라도": 23287,
@@ -23652,7 +23652,7 @@
       "이명박": 23504,
       "이용하면": 23505,
       "직구": 23506,
-      "[deleted_8시_0]": 23507,
+      "[deleted_8시]": 23507,
       "폭이": 23508,
       "데이터를": 23509,
       "이나": 23510,
@@ -23828,7 +23828,7 @@
       "드림": 23680,
       "차지하는": 23681,
       "걱정을": 23682,
-      "[deleted_시에_0]": 23683,
+      "[deleted_시에]": 23683,
       "##칫���": 23684,
       "전해": 23685,
       "인간이": 23686,
@@ -24942,7 +24942,7 @@
       "##듯합니다": 24794,
       "##칼로": 24795,
       "최저가": 24796,
-      "[deleted_거실에_0]": 24797,
+      "[deleted_거실에]": 24797,
       "골든": 24798,
       "이주": 24799,
       "어떨까": 24800,
@@ -25221,7 +25221,7 @@
       "고수": 25073,
       "뭐야": 25074,
       "5가지": 25075,
-      "[deleted_2시_0]": 25076,
+      "[deleted_2시]": 25076,
       "블렌": 25077,
       "파란색": 25078,
       "##자유": 25079,
@@ -25409,7 +25409,7 @@
       "담을": 25261,
       "##톤의": 25262,
       "다닌": 25263,
-      "[deleted_5시_0]": 25264,
+      "[deleted_5시]": 25264,
       "맛에": 25265,
       "커뮤니티": 25266,
       "끌어올": 25267,
@@ -25817,7 +25817,7 @@
       "위대한": 25669,
       "기상": 25670,
       "동부": 25671,
-      "[deleted_3시_0]": 25672,
+      "[deleted_3시]": 25672,
       "##레벨": 25673,
       "3천": 25674,
       "##201": 25675,
@@ -26246,7 +26246,7 @@
       "##효율": 26098,
       "역사적": 26099,
       "연결되어": 26100,
-      "[deleted_12시_0]": 26101,
+      "[deleted_12시]": 26101,
       "맑고": 26102,
       "청양": 26103,
       "##다를": 26104,
@@ -26584,7 +26584,7 @@
       "요즘엔": 26436,
       "쓰다": 26437,
       "##지더라구요": 26438,
-      "[deleted_40분_0]": 26439,
+      "[deleted_40분]": 26439,
       "장면을": 26440,
       "##주변": 26441,
       "ab": 26442,
@@ -26948,7 +26948,7 @@
       "##물질을": 26800,
       "답게": 26801,
       "회사는": 26802,
-      "[deleted_4시_0]": 26803,
+      "[deleted_4시]": 26803,
       "편하다": 26804,
       "##부문": 26805,
       "박음": 26806,
@@ -27216,7 +27216,7 @@
       "한라": 27068,
       "##요금": 27069,
       "식재료": 27070,
-      "[deleted_조명이_0]": 27071,
+      "[deleted_조명이]": 27071,
       "아니냐는": 27072,
       "여부": 27073,
       "소스를": 27074,
@@ -28027,7 +28027,7 @@
       "이사를": 27879,
       "위아래": 27880,
       "하셨어요": 27881,
-      "[deleted_조명을_0]": 27882,
+      "[deleted_조명을]": 27882,
       "##심은": 27883,
       "쉬워요": 27884,
       "##gr": 27885,
@@ -28635,7 +28635,7 @@
       "##보니까": 28487,
       "이곳을": 28488,
       "주인공이": 28489,
-      "[deleted_1시_0]": 28490,
+      "[deleted_1시]": 28490,
       "선보인": 28491,
       "##값을": 28492,
       "캐릭터를": 28493,
@@ -29786,7 +29786,7 @@
       "갤러": 29638,
       "쓸만": 29639,
       "통영": 29640,
-      "[deleted_화장실에_0]": 29641,
+      "[deleted_화장실에]": 29641,
       "초이스": 29642,
       "비정규": 29643,
       "스터": 29644,
@@ -32172,7 +32172,7 @@
       "맥락": 32024,
       "여아": 32025,
       "이대": 32026,
-      "[deleted_주방에_0]": 32027,
+      "[deleted_주방에]": 32027,
       "##me": 32028,
       "햇빛이": 32029,
       "##리조트": 32030,
@@ -33540,7 +33540,7 @@
       "##폭이": 33392,
       "##ark": 33393,
       "##센서": 33394,
-      "[deleted_집안의_0]": 33395,
+      "[deleted_집안의]": 33395,
       "초창": 33396,
       "생생한": 33397,
       "##모양으로": 33398,
@@ -34205,7 +34205,7 @@
       "##것같은": 34057,
       "시작하여": 34058,
       "계셔서": 34059,
-      "[deleted_스위치를_0]": 34060,
+      "[deleted_스위치를]": 34060,
       "##칭을": 34061,
       "틀을": 34062,
       "모른다는": 34063,
@@ -34952,7 +34952,7 @@
       "장소가": 34804,
       "좋은것같아요": 34805,
       "해주신": 34806,
-      "[deleted_화이트로_0]": 34807,
+      "[deleted_화이트로]": 34807,
       "##욬ㅋㅋ": 34808,
       "보호하고": 34809,
       "##능력이": 34810,
@@ -35773,7 +35773,7 @@
       "##eck": 35625,
       "사귀": 35626,
       "마일": 35627,
-      "[deleted_50분_0]": 35628,
+      "[deleted_50분]": 35628,
       "##마감": 35629,
       "찰랑": 35630,
       "##천동": 35631,
@@ -36247,7 +36247,7 @@
       "power": 36099,
       "뿌리를": 36100,
       "##농약": 36101,
-      "[deleted_욕실에_0]": 36102,
+      "[deleted_욕실에]": 36102,
       "연다": 36103,
       "줄여서": 36104,
       "동그라미": 36105,
@@ -41654,7 +41654,7 @@
       "나갑니다": 41506,
       "수압": 41507,
       "헌신": 41508,
-      "[deleted_불의_0]": 41509,
+      "[deleted_불의]": 41509,
       "##모습을": 41510,
       "구매하세요": 41511,
       "나이프": 41512,

vocab.txt

@@ -14473,7 +14473,7 @@ z
 ##사가
 아침
 만나
-[deleted_등을_0]
+[deleted_등을]
 ##하는데
 결과
 관계
@@ -14483,7 +14483,7 @@ z
 해주
 그는
 받아
-[deleted_##시에_0]
+[deleted_##시에]
 ##하지만
 ##겠다
 ##이랑
@@ -14660,7 +14660,7 @@ z
 색상
 활동
 하지
-[deleted_집에_0]
+[deleted_집에]
 고급
 제품이
 결국
@@ -15166,7 +15166,7 @@ th
 실제로
 시스템
 중심
-[deleted_등이_0]
+[deleted_등이]
 대학
 하다
 ##개의
@@ -15549,7 +15549,7 @@ the
 보인다
 서비스
 ##이니
-[deleted_후에_0]
+[deleted_후에]
 일을
 개선
 가진
@@ -16552,7 +16552,7 @@ usb
 디지털
 허리
 ##프레
-[deleted_30분_0]
+[deleted_30분]
 요거
 생겨
 ##좋아
@@ -17535,7 +17535,7 @@ to
 즐기
 ##라이트
 ##체의
-[deleted_10분_0]
+[deleted_10분]
 입맛
 일주일
 이뤄
@@ -19636,7 +19636,7 @@ wh
 공구
 두껍
 있긴
-[deleted_컬러로_0]
+[deleted_컬러로]
 태어나
 드레스
 ##하지도
@@ -20033,7 +20033,7 @@ sm
 투표
 뮤지
 ##버렸
-[deleted_20분_0]
+[deleted_20분]
 거듭
 겨울철
 ##가게
@@ -20169,7 +20169,7 @@ mbc
 국민의
 ##충전
 긴장
-[deleted_불을_0]
+[deleted_불을]
 바나나
 있거든요
 거라고
@@ -20336,7 +20336,7 @@ ad
 ##ity
 명칭
 똑같
-[deleted_10시_0]
+[deleted_10시]
 나오면
 평화
 ##기사
@@ -21212,7 +21212,7 @@ im
 탈거
 데미
 휴가
-[deleted_불이_0]
+[deleted_불이]
 버블
 ##수업
 ##용은
@@ -21400,7 +21400,7 @@ la
 ##질은
 ##차단
 원활
-[deleted_방에_0]
+[deleted_방에]
 ##어와
 않았습니다
 ##타운
@@ -21614,7 +21614,7 @@ off
 차이를
 192
 보내는
-[deleted_색을_0]
+[deleted_색을]
 ##하의
 애정
 탁월한
@@ -21884,7 +21884,7 @@ fl
 ##맛도
 ##안의
 ##질로
-[deleted_9시_0]
+[deleted_9시]
 필요없
 노릇
 ##거는
@@ -21978,7 +21978,7 @@ gs
 과도
 ##이미
 새끼
-[deleted_11시_0]
+[deleted_11시]
 칙칙
 식초
 ##매가
@@ -22477,7 +22477,7 @@ pd
 조금이라도
 이왕
 세럼
-[deleted_전원을_0]
+[deleted_전원을]
 색상을
 ##다녀
 없던
@@ -23115,7 +23115,7 @@ ai
 열이
 뚜렷
 잘나
-[deleted_7시_0]
+[deleted_7시]
 ##pt
 띄는
 무관
@@ -23282,7 +23282,7 @@ sd
 홈런
 여러모로
 하고요
-[deleted_6시_0]
+[deleted_6시]
 도달
 ##내서
 ##하더라도
@@ -23505,7 +23505,7 @@ bb
 이명박
 이용하면
 직구
-[deleted_8시_0]
+[deleted_8시]
 폭이
 데이터를
 이나
@@ -23681,7 +23681,7 @@ hp
 드림
 차지하는
 걱정을
-[deleted_시에_0]
+[deleted_시에]
 ##칫솔
 전해
 인간이
@@ -24795,7 +24795,7 @@ good
 ##듯합니다
 ##칼로
 최저가
-[deleted_거실에_0]
+[deleted_거실에]
 골든
 이주
 어떨까
@@ -25074,7 +25074,7 @@ op
 고수
 뭐야
 5가지
-[deleted_2시_0]
+[deleted_2시]
 블렌
 파란색
 ##자유
@@ -25262,7 +25262,7 @@ pp
 담을
 ##톤의
 다닌
-[deleted_5시_0]
+[deleted_5시]
 맛에
 커뮤니티
 끌어올
@@ -25670,7 +25670,7 @@ mc
 위대한
 기상
 동부
-[deleted_3시_0]
+[deleted_3시]
 ##레벨
 3천
 ##201
@@ -26099,7 +26099,7 @@ kb
 ##효율
 역사적
 연결되어
-[deleted_12시_0]
+[deleted_12시]
 맑고
 청양
 ##다를
@@ -26437,7 +26437,7 @@ kb
 요즘엔
 쓰다
 ##지더라구요
-[deleted_40분_0]
+[deleted_40분]
 장면을
 ##주변
 ab
@@ -26801,7 +26801,7 @@ el
 ##물질을
 답게
 회사는
-[deleted_4시_0]
+[deleted_4시]
 편하다
 ##부문
 박음
@@ -27069,7 +27069,7 @@ des
 한라
 ##요금
 식재료
-[deleted_조명이_0]
+[deleted_조명이]
 아니냐는
 여부
 소스를
@@ -27880,7 +27880,7 @@ hdmi
 이사를
 위아래
 하셨어요
-[deleted_조명을_0]
+[deleted_조명을]
 ##심은
 쉬워요
 ##gr
@@ -28488,7 +28488,7 @@ dslr
 ##보니까
 이곳을
 주인공이
-[deleted_1시_0]
+[deleted_1시]
 선보인
 ##값을
 캐릭터를
@@ -29639,7 +29639,7 @@ pt
 갤러
 쓸만
 통영
-[deleted_화장실에_0]
+[deleted_화장실에]
 초이스
 비정규
 스터
@@ -32025,7 +32025,7 @@ sch
 맥락
 여아
 이대
-[deleted_주방에_0]
+[deleted_주방에]
 ##me
 햇빛이
 ##리조트
@@ -33393,7 +33393,7 @@ coup
 ##폭이
 ##ark
 ##센서
-[deleted_집안의_0]
+[deleted_집안의]
 초창
 생생한
 ##모양으로
@@ -34058,7 +34058,7 @@ nas
 ##것같은
 시작하여
 계셔서
-[deleted_스위치를_0]
+[deleted_스위치를]
 ##칭을
 틀을
 모른다는
@@ -34805,7 +34805,7 @@ te
 장소가
 좋은것같아요
 해주신
-[deleted_화이트로_0]
+[deleted_화이트로]
 ##욬ㅋㅋ
 보호하고
 ##능력이
@@ -35626,7 +35626,7 @@ naver
 ##eck
 사귀
 마일
-[deleted_50분_0]
+[deleted_50분]
 ##마감
 찰랑
 ##천동
@@ -36100,7 +36100,7 @@ sol
 power
 뿌리를
 ##농약
-[deleted_욕실에_0]
+[deleted_욕실에]
 연다
 줄여서
 동그라미
@@ -41507,7 +41507,7 @@ cu
 나갑니다
 수압
 헌신
-[deleted_불의_0]
+[deleted_불의]
 ##모습을
 구매하세요
 나이프