hoySky92/HyperCLOVA-X-U-CURATE-Random-Merged-v0.1

HyperCLOVA X U-CURATE Random Merged v0.1

Powered by HyperCLOVA X

K-DS 해커톤 예선과 K-AI 리더보드 평가를 위해 만든 독립 실행형 한국어 fine-tuned model입니다. HyperCLOVA X SEED Text Instruct 1.5B의 고정 revision에 U-CURATE Random QLoRA adapter를 병합했습니다. 이 저장소는 별도 base model이나 PEFT adapter 없이 AutoModelForCausalLM과 vLLM이 직접 읽을 수 있는 full-model artifact를 제공합니다.

모델 정보

• Model type: Fine-tuning, merged full model
• Base: naver-hyperclovax/HyperCLOVAX-SEED-Text-Instruct-1.5B
• Base revision: 0728a47d632019a8da5f53b663db1c175dc04115
• Architecture: LlamaForCausalLM
• Weight dtype: BF16
• Weight format: sharded safetensors
• Fine-tuning: 4-bit NF4 QLoRA, assistant-only masking
• Random adapter SHA-256: 2ef68c9b159f7560a38ab153e739dea5ef042dde89c46cd37a359ae977cfc326

학습 데이터

• AIHUB_71533 기술과학 문서 기계독해: 193건
• AIHUB_569 행정문서 대상 기계독해: 207건
• 총 400건

AI Hub 원문 학습 데이터는 이 저장소에 포함하지 않습니다.

학습 요약

• LoRA targets: q_proj, k_proj, v_proj, o_proj
• LoRA: r=8, alpha=16, dropout=0.05
• Batch 1, gradient accumulation 8
• 50 optimizer steps, seed 42
• Max sequence length 2,048, truncation off, packing off
• Learning rate 1e-4, cosine scheduler, 3 warmup steps
• Formatted tokens: 298,831
• Supervised tokens: 4,303 (1.4399%)

U-CURATE 내부 검증

동일 holdout 200건(AIHUB_71533 100 + AIHUB_569 100)을 사용한 단일-seed 예비 결과입니다. K-AI 공식 점수나 통계적 우월성 주장이 아닙니다.

조건	전체 primary	AIHUB_71533	AIHUB_569
Base	0.21097	0.22590	0.19604
Random	0.43349	0.35252	0.51446

Random은 사전에 고정한 source-level degradation gate를 위반하지 않은 최초 제출 기준선입니다.

Transformers 사용

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "hoySky92/HyperCLOVA-X-U-CURATE-Random-Merged-v0.1"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)

messages = [{"role": "user", "content": "대한민국의 수도는 어디인가요?"}]
inputs = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
).to(model.device)

with torch.inference_mode():
    outputs = model.generate(
        **inputs,
        do_sample=False,
        max_new_tokens=64,
        tokenizer=tokenizer,
        stop_strings=["<|endofturn|>", "<|stop|>"],
        pad_token_id=tokenizer.eos_token_id,
    )
print(tokenizer.decode(outputs[0, inputs["input_ids"].shape[-1]:], skip_special_tokens=True))

vLLM 사용

vllm serve hoySky92/HyperCLOVA-X-U-CURATE-Random-Merged-v0.1

K-AI 최초 추론 파라미터 기준은 temperature=0, top_p=1, top_k=20입니다.

한계

• 400건, 단일 seed의 소규모 예비 fine-tuning입니다.
• 내부 검증은 AI Hub 두 데이터셋의 200건 holdout에 한정됩니다.
• 일반 한국어 추론 또는 K-AI 성능을 보장하지 않습니다.
• 산술·사실성 오류, 편향 및 환각이 발생할 수 있습니다.
• 고위험 의사결정에 검증 없이 사용하지 마세요.

라이선스와 사용 제한

이 derivative model은 저장소의 LICENSE에 포함된 HyperCLOVA X SEED Model License Agreement를 따릅니다. 재배포·상업 이용·귀속·명명·금지 용도 조건을 포함한 전체 계약을 확인하세요.

불법 감시, 필요한 동의 없는 불법 생체정보 수집·처리, 불법 괴롭힘·학대·위협·집단 따돌림, 타인을 의도적으로 오도하거나 기만하는 용도 및 기타 법령 위반 용도는 금지됩니다. 변경 사항은 MODIFICATIONS.md, 귀속 고지는 NOTICE를 참조하세요.