---
license: apache-2.0
---

# LLaMA2-70B-Marlin-4bit

`DSAiLab/llama2-70b-marlin-4bit`는 Meta의 **LLaMA2-70B** 모델을 기반으로, **GPTQ 양자화**와 **Marlin 커널**을 결합하여 최적화된 4bit 버전입니다.

Marlin 커널은 빠른 추론과 적은 메모리 사용량을 목표로 설계된 고성능 디코딩 커널입니다.

## Quantization (GPTQ + Marlin)
* **Base Model:** LLaMA2-70B
* **Quantization Type:** GPTQ 4bit
* **Kernel:** Marlin (CUDA 최적화)
* **Group Size:** 128
* **Activation Ordering:** Enabled
* **Format:** GPTQ with Marlin kernel
* **지원 프레임워크:**  vLLM, SGLang

## 특징
* **고속 추론:** Marlin 커널을 활용해 일반 GPTQ보다 낮은 latency와 빠른 디코딩 속도 제공
* **메모리 최적화:** 동일한 70B 모델을 더 적은 VRAM으로 실행 가능
* **추론 성능:** 정확도 손실 최소화, 특히 대규모 텍스트 생성 및 RAG용도에 적합