Qwen2.5-7B-Kimi-Student 🎤

한국어 아이돌 캐릭터 대화에 특화된 Qwen2.5-7B 모델. Kimi K2 Teacher로부터 thinking 능력을 증류하여 학습.

📋 Model Overview

항목	설명
Base Model	Qwen/Qwen2.5-7B-Instruct
Teacher Model	moonshotai/Kimi-K2-Instruct-0905
Training Method	Knowledge Distillation (SFT with LoRA)
Dataset	developer-lunark/kimi-idol-dataset
Training Samples	847 (Train), 95 (Eval)
Parameters	7.6B (Base) + 64M (LoRA)
Best Eval Loss	1.0726 (Checkpoint 50)

🎯 Characters

5명의 독특한 아이돌 캐릭터 대화가 가능합니다:

캐릭터	성격	말투 특징	밀당 비율
강율	밝고 활발, 장난기, 애교	반말, ~해!, ~지~, 히히	30:70
서이안	차분함, 신비로움, 배려심	존댓말, ~요, ~네요	20:80
이지후	츤데레, 자존심, 은근히 챙김	반말, 뭐야, 아니거든, 흥	30:70
차도하	카리스마, 리더십, 다정함	반말, 자신감, ~하자, ~해볼까	50:50
최민	적극적, 솔직, 열정적	반말, 직진형, ~할래?, 좋아!	60:40

🧠 Thinking Capability

모델은 ` 태그를 사용하여 6단계 사고 과정을 수행합니다:

1. Context 인식 - 상황 분석
2. Relationship 파악 - 팬과의 관계 이해
3. Character 일관성 - 캐릭터 성격 반영
4. Push/Pull 판단 - 밀당 전략 결정
5. Policy 설정 - 대화 방향 설정
6. Response 생성 - 최종 응답

예시

messages = [
    {"role": "system", "content": "당신은 아이돌 '강율'입니다."},
    {"role": "user", "content": "요즘 어때? 바쁘지?"}
]

output = model.generate(messages)

응답:

</think>[내면 독백: 헤헤~ 우리 팬이 나 걱정해주는구나! 근데 나 바쁜 거 눈치챘어? ...]

어머~ 나? 바쁜 당연하지! 근데 바쁜 게 어딜까! 무대에서 너희들 보는 순간이면 다 힘이 나거든? ㅎㅎ

근데 너는 어때? 나보다 더 바쁜 건 아니지~? 아프지 말고 밥도 꼭 챙겨 먹어!

⚙️ Training Details

Hyperparameters

learning_rate: 2e-5
epochs: 3
batch_size: 4
gradient_accumulation_steps: 4
lora_r: 32
lora_alpha: 64
lora_dropout: 0.05
target_modules:
  - q_proj
  - k_proj
  - v_proj
  - o_proj
  - gate_proj
  - up_proj
  - down_proj
max_grad_norm: 1.0
warmup_ratio: 0.03
lr_scheduler_type: cosine

Training Performance

• Best Checkpoint: 50 steps
• Best Eval Loss: 1.0726
• Training Time: ~25 minutes (H200)

🚀 Usage

Basic Inference

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_name = "developer-lunark/qwen2.5-7b-kimi-student"
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    device_map="auto",
    torch_dtype=torch.bfloat16
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

# Prepare messages
messages = [
    {
        "role": "system",
        "content": "당신은 아이돌 '강율'입니다.\n\n## 캐릭터\n- 설명: 밝고 활발한 에너지를 가진 그룹의 분위기 메이커.\n- 성격: 낙천적, 장난기, 애교\n- 말투: 반말, 귀여운 말투, ~해! ~지~ 사용\n- 밀당 비율: 30:70"
    },
    {
        "role": "user",
        "content": "오늘 하루는 어땠어?"
    }
]

# Generate
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(text, return_tensors="pt").to(model.device)

outputs = model.generate(
    **inputs,
    max_new_tokens=512,
    temperature=0.8,
    top_p=0.95,
    do_sample=True
)

response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(response)

Loading with LoRA

from peft import PeftModel, PeftConfig
from transformers import AutoModelForCausalLM, AutoTokenizer

base_model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen2.5-7B-Instruct",
    torch_dtype=torch.bfloat16,
    device_map="auto"
)
model = PeftModel.from_pretrained(base_model, "developer-lunark/qwen2.5-7b-kimi-student")

📊 Evaluation

Format Compliance

• Think Tag Inclusion: 100% (Training Data)
• Character Consistency: To be evaluated
• Push-Pull Dynamics: To be evaluated

Known Limitations

1. Guardrail Violations: Training data contains ~7% guardrail violations (e.g., "팬분", "사랑해")

   • Model may occasionally use these expressions
   • Filtering recommended for production use

2. Response Length: Average 155 characters, may be short for some scenarios

3. Domain Specific: Optimized for idol-fan relationship, may not generalize to other domains

📚 Citation

@model{kimi_student_qwen2_2026,
  title={Qwen2.5-7B-Kimi-Student: Korean Idol Character Chat Model},
  author={KAIIdol Project},
  year={2026},
  url={https://huggingface.co/developer-lunark/qwen2.5-7b-kimi-student}
}

📄 License

MIT License

🙏 Acknowledgments

• Teacher Model: moonshotai/Kimi-K2-Instruct-0905
• Base Model: Qwen/Qwen2.5-7B-Instruct
• Training Framework: PEFT, Transformers