--- language: [ko, en] pipeline_tag: text-generation license: apache-2.0 library_name: transformers tags: [gguf] --- # JANSORI · 한국어 중심 3B Dense Base 한국어와 영어 문장을 이어 쓰는 사전학습 모델이다. 어휘 크기는 65,536, 검증한 문맥은 4,096토큰이다. 대화용 역할 토큰 없이 일반 텍스트를 입력한다. ## vLLM으로 BF16 실행 vLLM 0.11.2에서 H200 한 장을 사용했다. 아래 명령은 다운로드 시점의 commit SHA를 조회해 가중치와 토크나이저를 같은 revision으로 고정한다. 이전 버전을 재현할 때는 기록해 둔 SHA를 REV에 지정한다. ```bash REV=$(python -c 'from huggingface_hub import HfApi; print(HfApi().model_info("pathcosmos/JANSORI").sha)') CUDA_VISIBLE_DEVICES=0 vllm serve pathcosmos/JANSORI --revision "$REV" --tokenizer-revision "$REV" --load-format safetensors --dtype bfloat16 --tensor-parallel-size 1 --max-model-len 4096 --host 127.0.0.1 ``` 다른 셸에서 한국어 이어쓰기를 요청한다. ```bash curl -s http://127.0.0.1:8000/v1/completions -H 'Content-Type: application/json' -d '{"model":"pathcosmos/JANSORI","prompt":"한국의 수도는","max_tokens":32,"temperature":0}' ``` ## Ollama로 Q8_0 또는 Q4_K_M 실행 Ollama 0.40.16을 사용했다. H200 한 장에서 한국어 이어쓰기를 시험할 때는 사용할 양자화 하나를 선택한다. ```bash ollama run hf.co/pathcosmos/JANSORI:Q8_0 "한국의 수도는" ollama run hf.co/pathcosmos/JANSORI:Q4_K_M "한국의 수도는" ``` 루트의 `template`은 입력 프롬프트를 그대로 전달한다. 양자화 태그는 변경될 수 있다. 실행 당시 저장소 commit과 내려받은 GGUF의 SHA-256을 함께 기록하면 사용한 가중치를 확인할 수 있다. 세 형식은 같은 배포 commit에 들어 있다. 이 저장소의 BF16에서 고정밀 GGUF(SHA-256 `c69c8a77121940e0c1f06f668ba0a80e57edba1afaac777cae3ea3f923d69b7b`)를 한 번 생성한 뒤 Q8_0과 Q4_K_M으로 각각 양자화했다. BF16 shard와 각 GGUF의 SHA-256은 같은 commit의 [SHA256SUMS](./SHA256SUMS)에 있다. ## 실제 3B 평가 같은 holdout의 한국어 663,905개·영어 705,634개 표적을 채점했다. 속도와 VRAM은 H200에서 첫 순차 회차의 고정 프롬프트 6개(최대 64토큰)로 측정했다. | 형식 | 패키지 바이트¹ | 한국어 PPL | 영어 PPL | 요청 기준 토큰/초 | 생성 구간 GPU 최고(MiB) | |---|---:|---:|---:|---:|---:| | BF16 | 6,448,116,613 | 9.089808 | 10.215738 | 100.27 | 8805.9 | | Q8_0 | 3,426,185,184 | 9.090860 | 10.217286 | 14.49 | 5055.9 | | Q4_K_M | 1,969,663,968 | 9.196303 | 10.317744 | 9.95 | 3761.9 | ¹ BF16은 가중치·설정·토크나이저 합계, GGUF는 각 가중치 파일 크기다. native 한국어 PPL은 9.087589, 영어는 10.213156이었다. 표준 HF와 원래 native BF16 수치 비교에서 4,096토큰 로짓 268,435,456개 중 297개가 허용량을 초과했다. RoPE 반올림과 attention 호출 방식을 맞춘 native 대조에서는 8개 입력의 전체 로짓이 같았고 캐시 비교가 통과했다. ### 고정 프롬프트에서 관찰된 한계 - 빛의 굴절 설명에서 세 형식 모두 매질 경계에 관한 문구를 반복했고 굴절 원인을 설명하지 못했다. - 사과 12개를 3명에게 나누는 한국어 문제에서 세 형식 모두 12개라고 답했다. 정답은 4개다. - 한국어 add 함수의 첫 반환식은 모두 a + b였다. BF16·Q8은 번호 주석을 반복했고, Q4는 두 인자 함수에 세 개 이상의 인자를 넘기는 호출을 추가했다. - 영어 이야기에서는 BF16·Q8이 가난한 과부를, Q4가 부유한 남편과 사는 Sara를 등장시켰다. 세 출력 모두 한 문장이나 표현을 반복했다. - 영어 방정식에서 BF16·Q8은 처음 4라고 쓴 뒤 풀이에서 5로 정정했다. Q4는 첫 식부터 12 − 7 = 5로 계산했다. - 짝수 판별 함수에서 세 형식 모두 들여쓰기를 잃었다. BF16·Q8은 짝수 분기에 True를 썼고 Q4는 False를 써서 판정도 뒤집혔다. ### 이어쓰기 예시 입력 ```text 한국어로 빛이 굴절되는 이유를 간단히 설명하면 ``` 생성 (BF16) ```text 다음과 같다. 1. 빛의 굴절 빛은 파동이다. 파동은 매질의 경계에서 진동하는 파동이다. 파동의 경계는 매질의 경계이다. 파동의 경계는 매질의 경계이다. 파동의 경계는 매질의 경계이다. 파동의 경계는 매질의 경계이다. ``` 입력 ```text Once upon a time, in a quiet village ``` 생성 (BF16) ```text , there lived a poor old woman. She was a widow, and she had no children. She was very old, and she was very poor. She had no money, and she had no food. She was very lonely, and she was very poor. She was very old, and she was very poor. She ``` ## H200에서 측정한 품질과 실행 설정 이 결과는 47,000스텝의 [JANSORI 배포 커밋](https://huggingface.co/pathcosmos/JANSORI/tree/e68bfa3cb31e9589f4481a2e31d6d75c731fec9d)에 적용한다. BF16은 vLLM 0.11.2, Q8_0·Q4_K_M은 Ollama 0.40.16으로 같은 물리 H200 한 장에서 각각 실행했다. 이전 배포 검증의 6개 고정 입력은 형식별로 6/6 재현됐다. ### 한국어·영어·수학·코드 자체 생성 시험은 형식당 98개 입력이다. 짧은 사실 질문 24개, 색상 독해 16개, 산수 32개, 함수 12개, 이야기 이어쓰기 8개, 회귀 입력 6개를 사용했다. 세 형식의 입력과 생성 상한을 같게 했다. 사실·독해는 첫 답을 정규화해 허용 답과 비교했다. 산수는 요구한 정수가 첫 줄에 답으로 나왔는지 채점했다. 문항 수가 작으므로 한 문항 차이로 형식의 우열을 정하기 어렵다. | 형식 | 한국어·영어 사실 (각 12) | 한국어·영어 독해 (각 8) | 기본·두 단계 산수 (각 16) | 함수 전체 통과, 설명만 / 예시+반환문 (각 12) | BoolQ 정답 / 1,404 | BoolQ macro-F1 | |---|---:|---:|---:|---:|---:|---:| | BF16 | 10 · 10 | 7 · 7 | 15 · 0 | 0 / 9 | 730 (52.0%) | 0.413 | | Q8_0 | 10 · 10 | 8 · 7 | 15 · 0 | 0 / 9 | 729 (51.9%) | 0.410 | | Q4_K_M | 10 · 10 | 7 · 7 | 14 · 1 | 0 / 9 | 733 (52.2%) | 0.410 | 두 예시 함수와 대상 함수의 `return`까지 입력한 조건은 같은 12개 함수의 표현식 완성 문제다. 모델이 나머지 본문 전체를 작성하는 조건보다 쉽다. 출력의 들여쓰기를 수리하지 않고 첫 함수만 추출해 파싱하고, 함수당 4개 독립 사례의 값과 반환 타입을 검사했다. 세 형식 모두 가장 큰 포유류를 코끼리라고 답했다. 산수 총 정답은 모두 15/32였지만 정답을 낸 문항이 일부 달랐다. 한국어 KoBEST BoolQ는 테스트 1,404개 전체에서 지문·질문 뒤 단일 토큰인 ‘ 거짓’·‘ 참’의 조건부 로그확률을 비교한 zero-shot 시험이다. BF16에는 같은 배포 가중치의 Transformers BF16 forward, GGUF에는 해당 파일의 llama.cpp 채점기를 사용했다. 다수 클래스는 참 705/1,404(50.2%)다. 다음 표의 참 예측 빈도와 macro-F1을 함께 해석한다. 데이터 라이선스는 CC BY-SA 4.0이며 시험의 학습 데이터 중복 여부는 미확인이다. [KoBEST 고정 revision](https://huggingface.co/datasets/skt/kobest_v1/tree/a5ea15e3ac77ed694b79f6204eb31889a2ba989f) | 형식 | BoolQ 참 예측 수 | BF16 대비 맞음→틀림 / 틀림→맞음 | 한국어 / 영어 이야기 반복 4-gram | 한국어 / 영어에서 장면을 전개한 출력 (각 4개) | |---|---:|---:|---:|---:| | BF16 | 1299 | 0 / 0 | 53.7% / 58.6% | 1 / 1 | | Q8_0 | 1302 | 5 / 4 | 42.6% / 61.9% | 2 / 0 | | Q4_K_M | 1312 | 19 / 22 | 66.4% / 68.4% | 0 / 0 | 반복률은 64토큰 생성물을 다시 토큰화해 처음 등장한 이후의 중복 4-gram 수를 전체 4-gram 수로 나눈 값이다. 이어쓰기 8개는 형식명을 가리고 같은 입력·같은 출력을 합쳐 단일 AI 판독자가 0–2점으로 분류했다. 표에는 서로 다른 세부 내용으로 장면이 전개된 2점 출력 수를 표시했다. 예를 들어 비가 그친 운동장이라는 영어 입력에서는 잔디 묘사가 같은 문장으로 반복됐다. 사람 평가자 간 일치도는 측정하지 않았다. ### 언어별 holdout PPL 검증된 1,466문서의 동일 토큰 ID·마스크·문서별 NLL 합을 재사용했다. 한국어 663,905개, 영어 705,634개 표적이다. 괄호 안은 BF16 대비 상대 상승률의 95% 구간이다. 문서를 언어별로 짝지어 2,000회 복원 추출하고 매번 표적 토큰 가중 평균 NLL로 PPL을 구했다. | 형식 | 한국어 PPL | 한국어 상승률 (95% 구간) | 영어 PPL | 영어 상승률 (95% 구간) | |---|---:|---:|---:|---:| | BF16 | 9.08981 | 기준 | 10.21574 | 기준 | | Q8_0 | 9.09086 | +0.012% (+0.002 ~ +0.022%) | 10.21729 | +0.015% (+0.005 ~ +0.025%) | | Q4_K_M | 9.19630 | +1.172% (+1.110 ~ +1.235%) | 10.31774 | +0.999% (+0.952 ~ +1.042%) | ### 문맥 길이와 메모리 서버를 예열한 뒤 입력 길이·출력 상한별로 5회씩 순서를 섞었다. 성능 입력은 한 단어당 한 토큰인 고정 어휘에서 seed로 뽑았으며 한국어 품질 시험 입력과 별도다. 각 형식에 같은 프롬프트를 전송했고 성공 응답의 입력·출력 토큰 수를 전수 확인했다. 아래는 출력 128토큰, 단일 요청의 중앙값이다. 첫 텍스트가 도착할 때까지가 TTFT이고 생성 속도는 이후 남은 토큰을 완료할 때까지의 속도다. 최고 VRAM은 요청 경계와 0.5초 간격에서 관측한 장치 전체 사용량이다. | 입력 토큰 | 형식 | 성공 / 시도 | TTFT (ms) | 전체 지연 (초) | 생성 토큰/초 | 최고 VRAM (MiB) | |---:|---|---:|---:|---:|---:|---:| | 128 | BF16 | 5/5 | 19.7 | 1.280 | 100.8 | 8805.9 | | 128 | Q8_0 | 5/5 | 65.9 | 0.445 | 335.2 | 5145.9 | | 128 | Q4_K_M | 5/5 | 65.5 | 0.418 | 361.2 | 3851.9 | | 1,024 | BF16 | 5/5 | 26.2 | 1.290 | 100.5 | 8805.9 | | 1,024 | Q8_0 | 5/5 | 112.7 | 0.490 | 335.4 | 5145.9 | | 1,024 | Q4_K_M | 5/5 | 131.5 | 0.483 | 362.0 | 3851.9 | | 3,072 | BF16 | 5/5 | 57.6 | 1.321 | 100.5 | 8805.9 | | 3,072 | Q8_0 | 5/5 | 265.8 | 0.663 | 320.2 | 5145.9 | | 3,072 | Q4_K_M | 5/5 | 292.1 | 0.666 | 343.2 | 3851.9 | | 3,968 | BF16 | 5/5 | 72.3 | 1.334 | 100.8 | 8805.9 | | 3,968 | Q8_0 | 5/5 | 362.4 | 0.753 | 324.8 | 5145.9 | | 3,968 | Q4_K_M | 4/5 | 404.1 | 0.768 | 349.0 | 3851.9 | Q4_K_M은 3,968+128 조건에서 한 요청이 반복 토큰 제한으로 종료됐으며 같은 입력의 별도 재현에서도 같은 오류가 발생했다. 이 행의 지연·속도는 성공한 4회로 계산했고 VRAM에는 실패 요청도 포함했다. 4,096은 입력과 출력을 합한 한도다. 서버가 예열된 상태에서 KV 캐시와 실행 버퍼를 재사용하므로 입력 길이가 바뀌어도 관측 최고 VRAM이 비슷할 수 있다. ### 동시 요청과 형식 선택 입력 1,024토큰·출력 32토큰에서 동시에 1·2·4개 요청을 보냈다. 표의 처리량은 요청 묶음 전체의 출력 토큰 수를 첫 요청 시작부터 마지막 완료까지의 시간으로 나눈 값의 중앙값이다. Ollama는 서버 병렬 슬롯 1개로 큐 대기를 포함한다. vLLM은 최대 2개 시퀀스를 함께 처리한다. | 형식 | 동시 1 / 2 / 4 전체 처리량 (토큰/초) | 동시 4 요청 지연 중앙값 / 관측 최댓값 (초) | |---|---:|---:| | BF16 | 95.0 / 179.3 / 185.1 | 0.517 / 0.690 | | Q8_0 | 102.2 / 143.9 / 140.8 | 0.586 / 0.990 | | Q4_K_M | 102.2 / 144.9 / 142.0 | 0.584 / 0.975 | 형식별 권장 시작 설정은 다음과 같다. 속도 비교에는 가중치 정밀도뿐 아니라 런타임·커널·캐시 설정 차이도 포함된다. - **BF16 · 정확도 비교 기준, 짧은 첫 응답 또는 동시 요청.** H200 1장에 `--dtype bfloat16 --load-format safetensors --tensor-parallel-size 1 --max-model-len 4096 --max-num-seqs 2 --max-num-batched-tokens 4096 --gpu-memory-utilization 0.25 --num-gpu-blocks-override 512 --enforce-eager --no-enable-prefix-caching --generation-config vllm --seed 47000`을 사용했다. `VLLM_ATTENTION_BACKEND=FLASH_ATTN`과 `VLLM_USE_FLASHINFER_SAMPLER=0`을 적용했다. `/v1/completions`로 `temperature=0`과 목적에 맞는 `max_tokens`를 전달한다. - **Q8_0 · Ollama의 품질 우선 기본값.** BF16에 가까운 PPL이 필요한 경우 `hf.co/pathcosmos/JANSORI:Q8_0`을 선택한다. `/api/generate`에서 `raw=true`, `stream=true`, `num_ctx=4096`, `num_predict=32`(짧은 답) 또는 `128`(이어쓰기), `temperature=0`, `repeat_penalty=1`, `seed=47000`을 사용한다. 이 H200 시험은 `num_gpu=99`, `num_thread=4`, `OLLAMA_NUM_PARALLEL=1`이었다. - **Q4_K_M · 메모리 우선.** 같은 Ollama 옵션에 태그를 `Q4_K_M`으로 바꾼다. 긴 입력에서는 최대 길이보다 여유를 두고 생성 상한을 명시한다. 이번 3,072+128 시험은 5/5 완료됐다. Q4가 모든 입력 길이에서 가장 빠르다는 보장은 없다. - **산수·코드.** 짧은 정답을 요구하는 단순 산수와 두 단계 산수 결과를 구분한다. 간단한 Python 함수 완성에는 함수 예시 두 개와 목표 함수의 `return` 접두어를 적용한 뒤 별도 테스트로 검증한다. 이 결과는 임의 프로그램 생성 능력을 평가하지 않는다. ### H200 두 장에서 요청을 병행한 경우 GPU 0에 BF16, GPU 1에 Ollama 한 형식을 적재한 뒤 1,024토큰 입력과 32토큰 출력을 두 서버에 각각 요청했다. 형식 조합별로 서로 다른 입력 5개를 사용했다. 같은 입력을 순차와 병행에 모두 사용하고 어느 쪽을 먼저 측정할지는 교대했다. 각 측정 전 별도 1,024토큰 요청으로 직전 입력 캐시가 그대로 재사용되는 경우를 줄였다. 서버 시작·모델 로딩은 이 표에서 제외했다. | 동시 상주 형식 | 순차 / 병행 묶음 지연 중앙값 (초) | 병행 요청 중첩 중앙값 (초) | 두 출력 모두 동일한 입력 | 동일 출력 쌍만의 순차 / 병행 중앙값 (초) | 최고 동시 합산 VRAM, 순차 / 병행 (MiB) | |---|---:|---:|---:|---:|---:| | BF16 + Q8_0 | 0.568 / 0.323 | 0.240 | 4/5 | 0.551 / 0.324 | 13889.8 / 13889.8 | | BF16 + Q4_K_M | 0.556 / 0.324 | 0.235 | 3/5 | 0.559 / 0.324 | 12595.8 / 12595.8 | 양쪽 모델이 상주한 상태이므로 순차 요청도 두 모델의 VRAM을 유지한다. 동일 출력 쌍 수가 적을 때는 속도 차이를 동일 품질에서 보장되는 개선으로 해석하기 어렵다. 기존 공개 검증의 서버 시작부터 종료까지 잰 수치는 다른 지표다. ## 학습 데이터 한국어 중심 3B Dense Base 모델은 47,000스텝에서 누적 98,566,144,000토큰을 학습했다. 아래 수치는 학습 시 반복 노출을 포함한 출처별 입력 토큰 수다. | 데이터셋 | 사용 범위 | 학습 토큰 | 비중 | |---|---|---:|---:| | [wikimedia/wikipedia](https://huggingface.co/datasets/wikimedia/wikipedia/blob/b04c8d1ceb2f5cd4588862100d08de323dccfbaa/README.md) | 2023-11-01 한국어 위키백과 덤프 3개 샤드 | 494,833,664 | 0.502% | | [HuggingFaceFW/fineweb-2](https://huggingface.co/datasets/HuggingFaceFW/fineweb-2/blob/af9c13333eb981300149d5ca60a8e9d659b276b9/README.md) | 한국어 kor_Hang 25개 샤드 | 29,038,194,688 | 29.461% | | [HPLT/HPLT2.0_cleaned](https://huggingface.co/datasets/HPLT/HPLT2.0_cleaned/blob/d1324a5283f762ee62c2a5c81de08fc6450ea540/README.md) | 한국어 kor_Hang 464개 샤드 | 19,756,912,640 | 20.044% | | [HuggingFaceFW/fineweb-edu](https://huggingface.co/datasets/HuggingFaceFW/fineweb-edu/blob/87f09149ef4734204d70ed1d046ddc9ca3f2b8f9/README.md) | 100BT 표본에서 파일명 순 앞 56개 샤드 | 29,557,293,056 | 29.987% | | [open-web-math/open-web-math](https://huggingface.co/datasets/open-web-math/open-web-math/blob/fde8ef8de2300f5e778f56261843dab89f230815/README.md) | 114개 샤드 | 9,861,763,072 | 10.005% | | [codeparrot/github-code](https://huggingface.co/datasets/codeparrot/github-code/blob/b5661e6b17396364b2bcf8e68977b0d28e1ebd19/README.md) | 1,126개 중 균등 간격으로 선정한 64개 샤드 | 9,857,146,880 | 10.001% |