hoySky92/HyperCLOVA-X-U-CURATE-Random-v0.1

HyperCLOVA X U-CURATE Random v0.1

Powered by HyperCLOVA X

K-DS 해커톤 예선 및 K-AI 리더보드 최초 실증 제출을 위해 만든 한국어 PEFT LoRA adapter입니다. 국산 sLLM인 HyperCLOVA X SEED Text Instruct 1.5B를 기반으로, U-CURATE의 사전 고정 데이터 검증 절차를 통과한 Random 구성을 사용했습니다.

제출 형태

• 형태: PEFT LoRA adapter (base model 전체 가중치나 merged model 미포함)
• Base model: naver-hyperclovax/HyperCLOVAX-SEED-Text-Instruct-1.5B
• Base revision: 0728a47d632019a8da5f53b663db1c175dc04115
• 모델 유형: Fine-tuning
• 언어: 한국어
• Adapter SHA-256: 2ef68c9b159f7560a38ab153e739dea5ef042dde89c46cd37a359ae977cfc326

Base model은 gated model입니다. 사용자는 NAVER의 원본 모델 페이지에서 접근 조건에 동의하고 인증해야 합니다.

학습 데이터

• AIHUB_71533 기술과학 문서 기계독해: 193건
• AIHUB_569 행정문서 대상 기계독해: 207건
• 총 400건

원문 학습 데이터는 이 저장소에 포함하지 않습니다.

학습 설정

• 4-bit NF4, double quantization, BF16 compute
• LoRA target: q_proj, k_proj, v_proj, o_proj
• LoRA: r=8, alpha=16, dropout=0.05
• Batch 1, gradient accumulation 8
• 50 optimizer steps, seed 42
• Max sequence length 2,048, truncation off, packing off
• Learning rate 1e-4, cosine schedule, 3 warmup steps
• Optimizer: paged AdamW 8-bit
• Assistant-only loss masking
• Formatted tokens: 298,831
• Supervised tokens: 4,303 (1.4399%)

내부 검증

동일한 비공개 내부 holdout 200건(AIHUB_71533 100건 + AIHUB_569 100건)을 사용한 단일 seed 예비 실증 결과입니다. K-AI 공식 점수나 통계적 우월성 주장이 아닙니다.

조건	전체 primary	AIHUB_71533	AIHUB_569
Base	0.21097	0.22590	0.19604
Random adapter	0.43349	0.35252	0.51446

Random 구성은 두 source 모두 Base 대비 개선되어 사전 정의된 U-CURATE gate를 통과한 최초 제출 기준선입니다. Balanced와 Reasoning-oriented 구성의 부정적 결과도 내부 실험 기록에 보존되어 있으며, 이 adapter 선택 후 판단 기준을 바꾸지 않았습니다.

불러오기

import torch
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig

base_id = "naver-hyperclovax/HyperCLOVAX-SEED-Text-Instruct-1.5B"
base_revision = "0728a47d632019a8da5f53b663db1c175dc04115"
adapter_id = "hoySky92/HyperCLOVA-X-U-CURATE-Random-v0.1"

tokenizer = AutoTokenizer.from_pretrained(adapter_id)
base_model = AutoModelForCausalLM.from_pretrained(
    base_id,
    revision=base_revision,
    quantization_config=BitsAndBytesConfig(
        load_in_4bit=True,
        bnb_4bit_quant_type="nf4",
        bnb_4bit_use_double_quant=True,
        bnb_4bit_compute_dtype=torch.bfloat16,
    ),
    device_map="auto",
    torch_dtype=torch.bfloat16,
)
model = PeftModel.from_pretrained(base_model, adapter_id)
model.eval()

messages = [{"role": "user", "content": "대한민국의 수도는 어디인가요?"}]
inputs = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
).to(model.device)

with torch.inference_mode():
    outputs = model.generate(
        **inputs,
        do_sample=False,
        max_new_tokens=64,
        tokenizer=tokenizer,
        stop_strings=["<|endofturn|>", "<|stop|>"],
        pad_token_id=tokenizer.eos_token_id,
    )

print(tokenizer.decode(outputs[0, inputs["input_ids"].shape[-1]:], skip_special_tokens=True))

K-AI 권장 최초 추론 파라미터는 temperature=0, top_p=1, top_k=20입니다.

한계

• 400건, 단일 seed의 소규모 예비 학습입니다.
• 내부 검증은 AI Hub 두 데이터셋의 200건 holdout에 한정됩니다.
• 일반 한국어 추론 전반이나 K-AI 공식 성능을 보장하지 않습니다.
• 답변이 부정확하거나 편향될 수 있으므로 고위험 의사결정에 그대로 사용하지 마세요.

라이선스와 사용 제한

이 저장소는 LICENSE의 HyperCLOVA X SEED Model License Agreement를 따릅니다. 재배포 조건, 금지 용도, 귀속 고지와 명명 요건을 포함한 전체 조건을 반드시 확인하세요.

특히 불법 감시, 필요한 동의 없는 불법 생체정보 수집·처리, 불법 괴롭힘·학대·위협·집단 따돌림, 타인을 의도적으로 오도하거나 기만하는 용도 및 기타 법령 위반 용도는 금지됩니다. 자세한 변경 내역은 MODIFICATIONS.md, 귀속 고지는 NOTICE를 참조하세요.