Hugging Face's logo

Spaces:
hajimemat
/
glaive-7b-training
Runtime error

App Files Community
glaive-7b-training / README.md
Hajime MATSUMOTO
Add 7B QLoRA training + AWQ quantization scripts
6d8a316
preview code
|
raw
history blame contribute delete
748 Bytes
metadata
title: Glaive 7B Training
emoji: 🚀
colorFrom: blue
colorTo: purple
sdk: docker
pinned: false

Qwen2.5-7B + glaive-function-calling-v2 QLoRA Training

Function Calling能力強化のための学習

概要

  • ベースモデル: Qwen/Qwen2.5-7B-Instruct
  • データセット: glaiveai/glaive-function-calling-v2 (約113k samples)
  • 手法: QLoRA (4-bit量子化 + LoRA)
  • 出力: hajimemat/qwen2.5-7b-glaive-fc-lora

特徴

  • 10ステップごとにログ出力（Loss, LR, ETA）
  • 500ステップごとにチェックポイント保存
  • 中断しても自動再開対応
  • 完了時にHFへ自動アップロード

学習後

  1. LoRAをベースモデルにマージ
  2. AWQ量子化
  3. vLLMでデプロイ