LLaMA2-70B-GPTQ-3bit-32g

본 모델은 Meta의 LLaMA2-70B 모델을 기반으로 GPTQ 방식으로 3bit 양자화된 버전입니다.

Quantization (GPTQ)

• Base Model: LLaMA2-70B
• Quantization Type: GPTQ 3bit
• Group Size: 32
• Bits: 3bit (int3)
• Activation Ordering: Enabled
• 지원 프레임워크: vLLM, SGLang

특징

• 메모리 절약: 3bit 압축으로 70B 모델을 단일 A100/H100에서 실행 가능
• 성능-용량 절충: 4bit 대비 약간의 정확도 손실이 발생할 수 있으나, 빠른 추론과 낮은 비용으로 장점 극대화