Update README.md

README.md

@@ -1,9 +1,30 @@
 ---
-license: cc-by-sa-4.0
-datasets:
-- beomi/KoAlpaca-v1.1a
-language:
-- ko
-- en
-pipeline_tag: text-generation
----
+license: apache-2.0
+---
+
+# LLaMA2-70B-Marlin-4bit
+
+`DSAiLab/llama2-70b-marlin-4bit`는 Meta의 **LLaMA2-70B** 모델을 기반으로, **GPTQ 양자화**와 **Marlin 커널**을 결합하여 최적화된 4bit 버전입니다.
+
+Marlin 커널은 빠른 추론과 적은 메모리 사용량을 목표로 설계된 고성능 디코딩 커널입니다.
+
+## Quantization (GPTQ + Marlin)
+
+* **Base Model:** LLaMA2-70B
+* **Quantization Type:** GPTQ 4bit
+* **Kernel:** Marlin (CUDA 최적화)
+* **Group Size:** 128
+* **Activation Ordering:** Enabled
+* **Format:** GPTQ with Marlin kernel
+* **지원 환경:**
+
+  * `AutoGPTQ` (Marlin backend)
+  * `vLLM`
+
+## 특징
+
+* **고속 추론:** Marlin 커널을 활용해 일반 GPTQ보다 낮은 latency와 빠른 디코딩 속도 제공
+* **메모리 최적화:** 동일한 70B 모델을 더 적은 VRAM으로 실행 가능
+* **추론 성능:** 정확도 손실 최소화, 특히 대규모 텍스트 생성 및 RAG용도에 적합
+* **권장 VRAM:** 최소 2×A100 80GB 또는 1×H100 환경
+