---
license: apache-2.0
base_model: Qwen/Qwen2.5-Coder-7B-Instruct
tags:
  - gguf
  - llama.cpp
  - node-llama-cpp
  - code
  - git
  - recommendation
  - vscode-extension
language:
  - ko
  - en
pipeline_tag: text-generation
---

# GitCat Local LLM (GGUF)

GitCat은 생성형 AI 코딩 환경에서 **안전한 작업 관리**와 **Git workflow 추천 자동화**를 돕기 위해 만든 프로젝트입니다.  
이 리포지토리는 그중 **로컬 추론용 GGUF 모델**을 배포하기 위한 공간이며, VS Code Extension 환경에서 아래 작업을 보조하도록 실험한 결과물을 담고 있습니다.

- 브랜치명 추천
- 커밋 메시지 추천
- PR 설명 추천
- 변경 맥락 기반 요약

이 모델은 **외부 API 없이 로컬에서 실행 가능한 개발 보조 모델**을 목표로 정리되었습니다.

---

## Files

### 1. `gitcat-v3-sft-merged-Q4_K_M.gguf`
- SFT(Supervised Fine-Tuning) 기반 모델
- 현재 기준으로 가장 안정적인 추천 품질을 보인 기본 추천 모델

### 2. `gitcat-v3-dpo-merged-Q4_K_M.gguf`
- DPO(Direct Preference Optimization) 기반 모델
- preference pair를 반영한 추가 정렬 실험 버전

---

## Recommended Model

처음 사용할 때는 아래 순서를 권장합니다.

1. `gitcat-v3-sft-merged-Q4_K_M.gguf`
2. `gitcat-v3-dpo-merged-Q4_K_M.gguf`

현재 실험 기준에서는 SFT 버전이 더 안정적인 결과를 보였고, DPO 버전은 추가 튜닝 여지가 있는 비교 실험 모델입니다.

---

## Base Model

- Base model: `Qwen/Qwen2.5-Coder-7B-Instruct`
- Format: `GGUF`
- Quantization: `Q4_K_M`

---

## Quick Start

### Option 1. `llama.cpp`로 바로 실행

```bash
./llama-cli -m ./gitcat-v3-sft-merged-Q4_K_M.gguf