---
title: Glaive 7B Training
emoji: 🚀
colorFrom: blue
colorTo: purple
sdk: docker
pinned: false
---

# Qwen2.5-7B + glaive-function-calling-v2 QLoRA Training

Function Calling能力強化のための学習

## 概要

- **ベースモデル**: Qwen/Qwen2.5-7B-Instruct
- **データセット**: glaiveai/glaive-function-calling-v2 (約113k samples)
- **手法**: QLoRA (4-bit量子化 + LoRA)
- **出力**: hajimemat/qwen2.5-7b-glaive-fc-lora

## 特徴

- 10ステップごとにログ出力（Loss, LR, ETA）
- 500ステップごとにチェックポイント保存
- 中断しても自動再開対応
- 完了時にHFへ自動アップロード

## 学習後

1. LoRAをベースモデルにマージ
2. AWQ量子化
3. vLLMでデプロイ