File size: 947 Bytes
697f35c 17a9459 ace6f23 17a9459 4770066 17a9459 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 | ---
license: apache-2.0
---
# LLaMA2-70B-Marlin-4bit
`DSAiLab/llama2-70b-marlin-4bit`는 Meta의 **LLaMA2-70B** 모델을 기반으로, **GPTQ 양자화**와 **Marlin 커널**을 결합하여 최적화된 4bit 버전입니다.
Marlin 커널은 빠른 추론과 적은 메모리 사용량을 목표로 설계된 고성능 디코딩 커널입니다.
## Quantization (GPTQ + Marlin)
* **Base Model:** LLaMA2-70B
* **Quantization Type:** GPTQ 4bit
* **Kernel:** Marlin (CUDA 최적화)
* **Group Size:** 128
* **Activation Ordering:** Enabled
* **Format:** GPTQ with Marlin kernel
* **지원 프레임워크:** vLLM, SGLang
## 특징
* **고속 추론:** Marlin 커널을 활용해 일반 GPTQ보다 낮은 latency와 빠른 디코딩 속도 제공
* **메모리 최적화:** 동일한 70B 모델을 더 적은 VRAM으로 실행 가능
* **추론 성능:** 정확도 손실 최소화, 특히 대규모 텍스트 생성 및 RAG용도에 적합
|