izlley2/llm0to1-tokenizer

LLM0to1 Tokenizer

한/영 이중언어 LLM LLM0to1-10b 를 바닥부터 학습할 때 쓴 토크나이저.

항목	값
방식	byte-level BPE
vocab	160,000
특수토큰	ChatML (`<
학습 코퍼스	한국어·영어·코드·수학 혼합(한국어 비중 상향)

왜 vocab 160k 인가

한국어는 교착어라 형태소 경계가 많아 영어권 토크나이저(32k~50k)를 쓰면 한 어절이 여러 토큰으로 쪼개진다. 같은 문장을 표현하는 토큰 수가 늘면 (a) 유효 컨텍스트가 줄고 (b) 학습 효율이 떨어진다. vocab 을 160k 로 키워 한국어 토큰 효율을 확보했다.

사용

from transformers import AutoTokenizer
tok = AutoTokenizer.from_pretrained("izlley2/llm0to1-tokenizer")
print(tok("안녕하세요, 반갑습니다.")["input_ids"])

공개된 토큰화 코퍼스(llm0to1-pt-tokenized-*)의 .ds 파일은 이 토크나이저의 ID 열이다. 복호화 방법은 각 데이터셋 카드를 참조.