README.md

---
title: KAIdol Thinking Experiment
emoji: 🎤
colorFrom: purple
colorTo: pink
sdk: docker
pinned: false
license: apache-2.0
tags:
  - roleplay
  - korean
  - llm-evaluation
  - a-b-testing
---

# KAIdol A/B Test Arena

K-pop 아이돌 롤플레이 챗봇 모델 A/B 비교 평가 플랫폼

## Features

- **A/B Arena**: 두 모델의 응답을 나란히 비교
- **Blind Mode**: 모델명 숨기고 순수 품질 평가
- **ELO Ranking**: 투표 기반 모델 순위
- **5 Characters**: 강율, 서이안, 이지후, 차도하, 최민

## Models (19개 소형 Student 모델)

### DPO v5 (7-14B)
- qwen2.5-7b/14b-dpo-v5
- exaone-7.8b-dpo-v5
- qwen3-8b-dpo-v5
- solar-10.7b-dpo-v5

### SFT Thinking (7-14B)
- qwen2.5-7b/14b-thinking
- exaone-7.8b-thinking

### Phase 7 Kimi Students
- qwen2.5-7b/14b-kimi
- exaone-7.8b-kimi

### V7 Students
- qwen2.5-7b/14b-v7
- exaone-7.8b-v7
- qwen3-8b-v7
- varco-8b-v7

## Usage

1. 캐릭터와 시나리오 선택
2. 메시지 입력 또는 랜덤 시나리오 사용
3. 두 모델의 응답 비교
4. 투표로 더 나은 응답 선택

## Tech Stack

- Gradio 4.x
- Python 3.11