README.md

---
language:
- ko
- en
- ja
- zh
- multilingual
license: apache-2.0
tags:
- qwen3.5
- korean
- reasoning
- thinking
- sft
- k-ai
base_model:
- FINAL-Bench/Darwin-27B-Opus
pipeline_tag: text-generation
library_name: transformers
---

# AWAXIS-Think-27b

[FINAL-Bench/Darwin-27B-Opus](https://huggingface.co/FINAL-Bench/Darwin-27B-Opus) 기반, 한국어 특화 고품질 SFT를 수행한 추론 모델입니다.

> ⚠️ **Requirements / Loading 주의**
> 이 모델은 `model_type: qwen3_5_text` (Qwen3.5 하이브리드 아키텍처)를 사용합니다.
> **`transformers >= 5.5.4` 이상** 에서만 정상 로드됩니다.
>
> ```bash
> pip install --upgrade "transformers>=5.5.4"
> # 또는 최신 개발판
> pip install "transformers @ git+https://github.com/huggingface/transformers.git@main"
> ```
>
> 구버전 transformers에서 나타나는 `model_type 'qwen3_5_text'를 인식하지 못함` 오류는
> 라이브러리 미업데이트로 인한 것이며, 위 명령으로 해결됩니다.

## Method

- **Base Model**: [Darwin-27B-Opus](https://huggingface.co/FINAL-Bench/Darwin-27B-Opus) (Qwen3.5-27B family)
- **Korean SFT**: 한국어 문화, 역사, 법률, 경제, 사회, 지리 등 한국 특화 지식 중심의 고품질 instruction 데이터로 Supervised Fine-Tuning 수행
- **Thinking Mode**: `<think>` 태그를 통한 Chain-of-Thought 단계적 추론 지원

## Benchmark

| Benchmark | Score |
|---|---|
| CLIcK (Korean Cultural & Linguistic Knowledge) | **81.0%** |
| KMMLU-Pro (Korean MMLU Professional) | **74.0%** |

## Model Specifications

| Property | Value |
|---|---|
| **Architecture** | Qwen3.5 Hybrid (GatedDeltaNet + Attention, 64 layers) |
| **Parameters** | ~27B |
| **Hidden Size** | 5120 |
| **Intermediate Size** | 16384 |
| **Context Length** | 262,144 tokens |
| **Precision** | BF16 |
| **Vocab Size** | 248,320 |
| **Thinking** | Supported (`<think>` tags) |
| **License** | Apache 2.0 |

## Usage

> **Requirements**: `transformers >= 5.5.4`

```python
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model = AutoModelForCausalLM.from_pretrained(
    "Anserwise/AWAXIS-Think-27b",
    torch_dtype=torch.bfloat16,
    device_map="auto",
)
tokenizer = AutoTokenizer.from_pretrained("Anserwise/AWAXIS-Think-27b")

messages = [{"role": "user", "content": "조선시대의 과거제도에 대해 설명해주세요."}]
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(text, return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=1024, do_sample=False)
print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:], skip_special_tokens=True))
```

### vLLM

```bash
vllm serve Anserwise/AWAXIS-Think-27b \
    --enforce-eager \
    --max-model-len 32768 \
    --dtype bfloat16
```

## Features

- Darwin-27B-Opus의 강력한 추론 능력 계승
- 한국어 문화, 역사, 법률, 경제, 사회 등 한국 특화 지식 강화
- Thinking mode를 통한 단계적 사고 추론
- 다국어 지원 (한국어, 영어, 일본어, 중국어)
- 262K 컨텍스트 길이 지원

## Training

| Item | Details |
|---|---|
| **Base Model** | [FINAL-Bench/Darwin-27B-Opus](https://huggingface.co/FINAL-Bench/Darwin-27B-Opus) |
| **Method** | Korean-specialized Supervised Fine-Tuning |
| **Data** | 한국어 문화·지식 중심 고품질 instruction 데이터 |
| **Developer** | [Anserwise](https://huggingface.co/Anserwise) |

## Acknowledgements

- [FINAL-Bench](https://huggingface.co/FINAL-Bench) — Darwin-27B-Opus base model
- [Qwen Team](https://huggingface.co/Qwen) — Qwen3.5 architecture