Image-Text-to-Text
Transformers
Safetensors
Korean
English
qwen3_5
korean
reasoning
darwin
evolutionary-merge
conversational
# Load model directly
from transformers import AutoProcessor, AutoModelForImageTextToText
processor = AutoProcessor.from_pretrained("Warecube/Warecube-KO-27B")
model = AutoModelForImageTextToText.from_pretrained("Warecube/Warecube-KO-27B")
messages = [
{
"role": "user",
"content": [
{"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/p-blog/candy.JPG"},
{"type": "text", "text": "What animal is on the candy?"}
]
},
]
inputs = processor.apply_chat_template(
messages,
add_generation_prompt=True,
tokenize=True,
return_dict=True,
return_tensors="pt",
).to(model.device)
outputs = model.generate(**inputs, max_new_tokens=40)
print(processor.decode(outputs[0][inputs["input_ids"].shape[-1]:]))Quick Links
Warecube-KO-27B
ํ๊ตญ์ด reasoning ๋ชจ๋ธ โ Darwin ์งํ์ ๋จธ์ง ๊ธฐ๋ฐ.
๐งฌ Darwin ์งํ ์ปจ์
๋ณธ ๋ชจ๋ธ์ Darwin V7 ์งํ์ ๋ชจ๋ธ ๋จธ์ง(Evolutionary Model Merge) ํจ๋ฌ๋ค์์ผ๋ก ์ ์๋์์ต๋๋ค.
์์ฐ ์งํ Darwin ๋จธ์ง
โโโโโโโโโ โโโโโโโโโโโ
์ ์ ์ ๊ต์ฐจ (crossover) โ ๊ฐ์ค์น ๋ชจ๋๋ณ ๋น์จ ๊ฒฐํฉ
์์ฐ ์ ํ (selection) โ ์ ํฉ๋ ํ๊ฐ ํ ์ต์ ํ์ ์ ๋ณ
์ธ๋ ์งํ (generations) โ ๋ค์ธ๋ ๋จธ์งยท์ ์ ๋ฐ๋ณต
์ ์ ์์กด โ K-AI ๋๋ฉ์ธ ์ฐ์ ์์๋ง ๋ณด์กด
๋ถ๋ชจ์ ๋ฅ๋ ฅ์ด ์์ ๋ชจ๋ธ๋ก ์ ์ ์ ์ผ๋ก ๊ณ์น๋๋ฉฐ, ์ธ๋๋ฅผ ๊ฑฐ์ณ ํ๊ตญ์ดยท์ถ๋ก ยท๋ฌธํ ์ง๋ฅ์ด ์งํํฉ๋๋ค.
๐๏ธ ๊ฐ๋ฌธ ๊ณ๋ณด
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ ์ฆ์กฐ๋ถ (Great-Grandfather) โ
โ Qwen-3.5-27B โ
โ - ๋ฉํฐ๋ชจ๋ฌ 28B ๋ฒ ์ด์ค โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ
โผ Darwin V7 ์งํ ๋จธ์ง
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ ์กฐ๋ถ (Grandfather) โ
โ FINAL-Bench/Darwin-27B-Opus โ
โ - Darwin V7 ์งํ์ ์ ์ โ
โ - GPQA 88.4% reasoning โ
โ - <think> ํธ๋ ์ด์ค ํจํด โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ
โผ ํ๊ตญ์ด ํนํ ์งํ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ ์๋น (Father) โ
โ Darwin family Korean ์ง๊ณ โ
โ โ
โ - Darwin-27B-Opus์ ํ๊ตญ์ด ํนํ ํ์ โ
โ - reasoning DNA ๋ณด์กด โ
โ - <think> ํจํด ์ ์ง โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ
รร ๋ค์ ๊ต๋ฐฐ รร
โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ ์๋ง (Mother) โ
โ NewenAI/QuettaLLMs-27B-Koreasoner-V3 โ
โ โ
โ - ํ๊ตญ์ด SOTA ๋ชจ๋ธ โ
โ - K-AI Leaderboard 1์ (avg 0.560) โ
โ - ํ๊ตญ์ด ๋๋ฉ์ธ SFT ์ ์ โ
โ - Apache 2.0 โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ
โผ Darwin ์งํ์ ๋จธ์ง + ํ๊ตญ์ด ์ ์
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
โ ์์ (Child) โ ๋ณธ ๋ชจ๋ธ โ
โ Warecube/Warecube-KO-27B โ
โ โ
โ โฆ ์๋น ์ reasoning DNA ๊ณ์น โ
โ โฆ ์๋ง์ ํ๊ตญ์ด ํํยท์ง์ ๊ณ์น โ
โ โฆ <think> ์ถ๋ก ํธ๋ ์ด์ค ๋ณด์กด โ
โ โฆ K-AI ๋๋ฉ์ธ ์ ํฉ๋ ์งํ โ
โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ
๐ ์งํ ๋จ๊ณ
| Stage | ๊ฐ๋ต |
|---|---|
| 1. ๊ต๋ฐฐ (Crossover) | ์น๊ฐยท์ธ๊ฐ ๊ฐ์ค์น๋ฅผ ๋ชจ๋๋ณ ๋น์จ๋ก ์งํ ๋จธ์ง |
| 2. ์ ํ (Selection) | ํ๊ตญ์ด ๋๋ฉ์ธ ์ ํฉ๋ ํ๊ฐ๋ก ์ฐ์ ํ์ ์ ๋ณ |
| 3. ์ ์ (Refinement) | ํ๊ตญ์ด instruction ๋ฐ์ดํฐ๋ก ์ถ๊ฐ ์งํ |
| 4. ์ ์ (Adaptation) | K-AI Leaderboard Docker ํธํ ํ์์ผ๋ก ์ ๋น |
๐ฏ ์ฌ์ฉ๋ฒ
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
model_id = "Warecube/Warecube-KO-27B"
tokenizer = AutoTokenizer.from_pretrained(
model_id, trust_remote_code=True
)
model = AutoModelForCausalLM.from_pretrained(
model_id,
torch_dtype=torch.bfloat16,
device_map="auto",
trust_remote_code=True,
)
prompt = "ํ๊ตญ์ ์ถ์์ ๋ํด ์ค๋ช
ํด์ฃผ์ธ์."
messages = [{"role": "user", "content": prompt}]
inputs = tokenizer.apply_chat_template(
messages, return_tensors="pt", add_generation_prompt=True
)
out = model.generate(
inputs.to(model.device),
max_new_tokens=512,
do_sample=False,
)
print(tokenizer.decode(out[0], skip_special_tokens=False))
๐ ๏ธ ์ฌ์
- ํ๋ผ๋ฏธํฐ: 27B (text)
- ์์ํ: bf16
- ์ปจํ ์คํธ: 8K (ํ์ฅ ๊ฐ๋ฅ)
- ์ธ์ด: ํ๊ตญ์ด + ์์ด
- ์ถ๋ก :
<think>reasoning trace - License: Apache 2.0
๐ ํ๊ฐ
ํ๊ตญ์ด ๊ณต๊ฐ 10 ๋ฐ์ดํฐ์ , 100๋ฌธ์ ร 1 seed.
| Dataset | Score |
|---|---|
| CLIcK | 87% |
| KMMLU History | 50% |
| KMMLU Law | 29% |
| KMMLU Health | 78% |
| HAERAE General | 58% |
| HAERAE History | 86% |
| HAERAE Linguistics | 89% |
| KoBEST Hellaswag | 89% |
| KoBEST COPA | 100% |
| KoBEST BoolQ | 97% |
| Macro Avg | 76.3% |
๐ค ์ถ์ฒ
- ์กฐ๋ถ: FINAL-Bench/Darwin-27B-Opus
- ์๋ง: NewenAI/QuettaLLMs-27B-Koreasoner-V3
- ๊ฐ๋ฌธ: Darwin family (Darwin V7 ์งํ์ ๋จธ์ง ์๋ฆฌ์ฆ)
- Downloads last month
- 124
Model tree for Warecube/Warecube-KO-27B
Base model
Qwen/Qwen3.5-27B Finetuned
FINAL-Bench/Darwin-27B-Opus
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("image-text-to-text", model="Warecube/Warecube-KO-27B") messages = [ { "role": "user", "content": [ {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/p-blog/candy.JPG"}, {"type": "text", "text": "What animal is on the candy?"} ] }, ] pipe(text=messages)