|
|
--- |
|
|
license: apache-2.0 |
|
|
base_model: unsloth/Qwen2.5-3B-Instruct-bnb-4bit |
|
|
tags: |
|
|
- unsloth |
|
|
- loRA |
|
|
- peft |
|
|
- vietnamese |
|
|
- evonet |
|
|
--- |
|
|
|
|
|
# 🧩 EvoNet-3B-v0.2 (LoRA Adapter) |
|
|
|
|
|
This repository contains the **LoRA Adapter weights** for EvoNet v0.2. |
|
|
Đây là file trọng số Adapter (LoRA) của dự án EvoNet v0.2. |
|
|
|
|
|
**Note:** This is NOT a standalone model. You need the base model to use this. |
|
|
**Lưu ý:** Đây không phải là model độc lập. Bạn cần model gốc để chạy. |
|
|
|
|
|
## 👨💻 Developer |
|
|
Founder Huỳnh Dương Phong |
|
|
|
|
|
## 🔧 Training Details |
|
|
- **Framework:** Unsloth |
|
|
- **Base Model:** Qwen 2.5 3B Instruct (4-bit) |
|
|
- **LoRA Rank (r):** 16 |
|
|
- **LoRA Alpha:** 16 |
|
|
- **Target Modules:** q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj |
|
|
|
|
|
## 📥 Usage with Unsloth |
|
|
|
|
|
```python |
|
|
from unsloth import FastLanguageModel |
|
|
|
|
|
model, tokenizer = FastLanguageModel.from_pretrained( |
|
|
model_name = "EvoNet/EvoNet-3B-v0.2-Stable", |
|
|
max_seq_length = 2048, |
|
|
dtype = None, |
|
|
load_in_4bit = True, |
|
|
) |