werty1248/Ko-Edu-Classifier-2k

Ko-Edu Classifier 2k

한국어 사전학습 말뭉치 퀄리티 평가 모델

상세

기반 모델: dragonkue/snowflake-arctic-embed-l-v2.0-ko

학습 데이터: werty1248/Ko-Edu-Annotation-500K 및 AI HUB 데이터 등을 같은 방식으로 라벨링 한 100K 데이터(약관에 따라 공개 X)

• 100K 데이터 목록: 독파모 사전 학습 데이터 - 한국어, 한국어 성능이 개선된 초거대AI 언어모델 개발 및 데이터, 나무위키 문서 데이터

문서의 앞 512토큰을 넣는 것이 속도 면에서 권장되지만, 최대 2048토큰까지 학습되었습니다.

퀄리티 예측 평균과 분산을 함께 출력하므로 일부 분산이 높은 데이터만 더 긴 문맥을 주고 평가를 요청할 수 있습니다.

• 512토큰에서 test accuracy: 69.87%
• 1,024토큰에서 test accuracy: 72.92%
• 2,048토큰에서 test accuracy: 74.10%

사용법

• 첫번째 head: 퀄리티 예측 logit (mu = 4 * sigmoid(logit))
• 두번째 head: 퀄리티 예측의 분산 logit (sigma = sqrt(e^(logit)))
• 3-5번째 head: [정상 / 약간의 파싱 오류 / 심각한 파싱 오류] 3-class classification logit

import torch
from transformers import AutoModelForSequenceClassification, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("werty1248/Ko-Edu-Classifier-2k")
model = AutoModelForSequenceClassification.from_pretrained("werty1248/Ko-Edu-Classifier-2k")
max_tokens = 512 # or 1024, 2048

model.eval()

text = """나 아는사람 강다니엘 닮은 이모가 다시보게되는게 다시 그때처럼 안닮게 엄마보면 느껴지는걸수도 있는거임?

엄마도?"""

text2 = """Ko-Edu-Annotation-500K
한국어 사전학습 데이터 퀄리티 평가 모델 학습 데이터 셋
Annotation 시간 기준 1x 5090에서 약 24시간
내용
quality_score: 최종 어노테이션 점수
content_score: 파싱 에러를 무시했을 때 내용의 점수
critical_error: 파싱 에러(핵심 그림/표/수식 누락)로 인해 원문을 알아보기 힘듦
noncritical_error: 파싱 에러(표가 plane text로 변환 등)가 있지만 원문을 이해할수는 있음
Annotation Model
LilaRest/gemma-4-31B-it-NVFP4-turbo
Gemma-4-31B 모델에 Attention까지 NVFP4로 양자화 한 모델
Solar Pro 4, Qwen 3.8 Flash Next 모델과 함께 비교했을 때, 정성적 평가(edge case 확인) 및 정량적 평가(동일 모델 3회 반복 평가의 Spearman 상관 계수와 서로 다른 모델 간 평가 간 Spearman 상관 계수가 0.78->0.73 정도로 큰 차이 없음)를 들어, 해당 모델이 충분히 변별력이 있다고 판단했습니다.
"""

input = tokenizer([text, text2], return_tensors='pt', truncation=True, padding=True, max_length=max_tokens)
with torch.no_grad():
    output = model(**input)

mu = 4.0 * torch.sigmoid(output.logits[:, 0])
sigma = torch.sqrt(torch.exp(output.logits[:, 1].clamp(-5.0, 2.0)))

# Pass, Non-Critical, Critical
integrity_prob = torch.softmax(output.logits[:, 2:5], dim=-1)
crit_prob = integrity_prob[:, 2]

# if mu < 2.0, final_mu = mu.
# else, final_mu = (1-crit_prob) * mu + crit_prob * 2.0
final_mu = mu - crit_prob * torch.relu(mu - 2.0)

print(f"Value: {final_mu[0].item():.3f}±{sigma[0].item():.3f}")
print(f"Value: {final_mu[1].item():.3f}±{sigma[1].item():.3f}")

# 예상 출력
Value: 0.050±0.152
Value: 2.344±0.434

성능

Validation (60K)

512토큰 truncation

점수	Precision	Recall	F1	Support
0	87.53	75.56	81.11	6,735
1	85.79	87.25	86.52	27,932
2	68.29	71.22	69.73	14,252
3	66.76	64.30	65.51	7,830
4	72.18	74.93	73.53	3,251
합계	-	macro-F1	75.28	60,000

2048토큰 truncation

점수	Precision	Recall	F1	Support
0	87.63	76.39	81.63	6,735
1	86.92	88.58	87.74	27,932
2	72.43	73.95	73.18	14,252
3	71.18	67.94	69.52	7,830
4	73.30	82.01	77.41	3,251
합계	-	macro-F1	77.90	60,000

Test (4,096)

512토큰 truncation

점수	F1	Support
0	94.72	1,091
1	68.84	720
2	59.73	975
3	52.77	647
4	62.03	663
Macro-F1	67.62	4,096

실제＼예측	0	1	2	3	4
0	1005	85	0	1	0
1	18	591	109	2	0
2	7	260	597	95	3
3	1	48	215	348	41
4	0	13	116	220	321

2048토큰 truncation

점수	F1	Support
0	95.24	1,091
1	72.93	720
2	66.84	975
3	54.64	647
4	71.37	663
Macro-F1	72.21	4,096

실제＼예측	0	1	2	3	4
0	1010	75	4	1	1
1	18	578	118	6	0
2	2	195	635	121	9
3	0	14	146	362	131
4	0	3	35	182	450

분산 활용

1. 512토큰 truncation으로 1차 예측
2. 1차 예측에서 모델의 예측값이 하나의 점수 구간(0.5 미만 / 0.5-1.5 / 1.5-2.5 / 2.5-3.5 / 3.5 이상) 안에 들어갈 확률이 x% 미만인 경우 입력 토큰 길이를 늘려 2차 예측

이론 비용: 512토큰 예측 비용을 1로 두고, 토큰 길이가 n배가 되면 연산량이 n^2이 된다는 전제 하에 추정한 이론적 비용

예를 들어, **512 -> 1024, x = 50%**의 경우, 20.1% 데이터가 1차 예측만으로 라벨을 확정할 수 없어 1,024토큰 예측을 수행함. 예상 비용은 1.8배가 되고(20.1%에 대해 4배 비용 추가 예측), 대신 정확도는 69.87%->72.07%로 상승함.

학습 상세

퀄리티의 평균과 분산을 함께 예측하는 불확실성 모델링 + 파싱 에러를 판단하는 3-class classification

• 학습 대상: 기반 모델의 마지막 6레이어 + regression head + variance head + 3-class classification head
• 손실 함수: GaussianNLLLoss(regression) + CrossEntropyLoss(classification)
• 학습률: 3e-5 for 6 layers, 3e-4 for heads
• 배치 크기: 256
• 학습 데이터: 567,552 문서 (540K 문서 + 4점 데이터 upsampling)
• epoch: 4 (8,868 steps)
• sequence length: 512, 1024, 2048 (4:2:1 ratio)
• 데이터 특이사항: 4점 데이터를 upsampling 하여 전체 데이터의 10% 이상이 되도록 조정(약 2배 upsampling)

1x 5090에서 약 8시간(0.5 epoch마다 validation에 소요된 총 3시간 포함)