LLaMA2-70B-Marlin-4bit

DSAiLab/llama2-70b-marlin-4bit는 Meta의 LLaMA2-70B 모델을 기반으로, GPTQ 양자화와 Marlin 커널을 결합하여 최적화된 4bit 버전입니다.

Marlin 커널은 빠른 추론과 적은 메모리 사용량을 목표로 설계된 고성능 디코딩 커널입니다.

Quantization (GPTQ + Marlin)

• Base Model: LLaMA2-70B
• Quantization Type: GPTQ 4bit
• Kernel: Marlin (CUDA 최적화)
• Group Size: 128
• Activation Ordering: Enabled
• Format: GPTQ with Marlin kernel
• 지원 프레임워크: vLLM, SGLang

특징

• 고속 추론: Marlin 커널을 활용해 일반 GPTQ보다 낮은 latency와 빠른 디코딩 속도 제공
• 메모리 최적화: 동일한 70B 모델을 더 적은 VRAM으로 실행 가능
• 추론 성능: 정확도 손실 최소화, 특히 대규모 텍스트 생성 및 RAG용도에 적합