---
base_model: Qwen/Qwen2.5-7B-Instruct
tags:
- text-generation
- chinese
- reasoning
- multiple-choice
- lora
- peft
language:
- zh
- en
library_name: peft
license: apache-2.0
---

# Chinese LLM MCQ Model - KAGGLE #2

這是NYCU深度學習課程KAGGLE #2的模型，使用Qwen2.5-7B-Instruct進行微調，加入了推理鏈能力。

## 模型資訊
- **基礎模型**: Qwen/Qwen2.5-7B-Instruct
- **微調方法**: LoRA (r=8, alpha=16)
- **任務**: 中文單選題問答（含推理過程）
- **訓練數據**: GPT-4生成的推理數據

## 使用方法

```python
from transformers import AutoTokenizer, AutoModelForCausalLM
from peft import PeftModel

# 載入基礎模型
base_model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen2.5-7B-Instruct",
    device_map="auto",
    trust_remote_code=True
)

# 載入LoRA
model = PeftModel.from_pretrained(base_model, "RayTsai/Kaggle_2")

# 載入tokenizer
tokenizer = AutoTokenizer.from_pretrained("RayTsai/Kaggle_2")
```

## 作者
- Ray Tsai (110651053)
- NYCU 深度學習課程 2025