cudo528/Darwin-9B-Opus-mlx-4bit

Darwin-9B-Opus (MLX 4-bit Optimized)

This repository provides an MLX-optimized 4-bit quantized version of FINAL-Bench/Darwin-9B-Opus, an ultra-efficient advanced reasoning model.

진화적 머지(Evolutionary Merge) 및 레이어별 머지(Layer-wise Merge) 기법이 적용된 9B 체급의 강력한 모델을 Apple Silicon(Mac) 환경에서 하드웨어 리소스를 최소화하며 구동할 수 있도록 4-bit로 양자화 및 포맷 변환을 완료한 버전입니다.

⚠️ Hugging Face View Note: 허깅페이스 시스템이 MLX 4비트 패킹 포맷(U32/BF16)을 파싱하는 과정에서 파라미터 수 및 텐서 타입이 일시적으로 다르게 표기될 수 있으나, 실제 4비트 양자화 가중치가 정상 적용된 파일입니다. 맥북 로컬 환경에서 정상적인 메모리 점유율로 구동됩니다.

🚀 Key Features

• Extreme Efficiency (4-bit): 9B 체급의 가중치를 4비트로 정교하게 압축하여, VRAM(통합 메모리)이 적은 Mac 기기에서도 가볍고 빠르게 추론(Inference)을 수행합니다.
• Top-Tier 9B Reasoning: 하드코어 박사급 추론 테스트인 **GPQA Diamond에서 82.5%**라는 체급 파괴 수준의 고득점을 기록했습니다. 깊은 사고 과정(<thought>)을 통한 고난도 논리 추론이 가능합니다.
• Agentic Capabilities: 코딩 에이전트(Coding Agent) 성능과 정교한 도구 호출(Tool Calling) 인터페이스를 기본 내장하고 있습니다.
• Global Multilingual: 한국어, 영어, 중국어, 일본어, 프랑스어, 독일어 등 10개 이상의 다국어 환경을 완벽하게 지원합니다.

🛠️ Installation

이 모델을 로컬 환경에서 구동하려면 최신 버전의 mlx-lm 라이브러리가 필요합니다.

pip install -U mlx-lm

💻 How to Use

1. Python API를 이용한 추론 코드

from mlx_lm import load, generate

# 본인의 허깅페이스 저장소 아이디/이름으로 수정하여 사용하세요.
model, tokenizer = load("cudo528/Darwin-9B-Opus-mlx-4bit")

prompt = "수학적 귀납법의 원리를 중학생도 이해할 수 있게 쉬운 비유를 들어 한국어로 설명해줘."

response = generate(
    model, 
    tokenizer, 
    prompt=prompt, 
    max_tokens=2048,
    verbose=True # 모델의 심층 사고 과정(<thought>)을 터미널에서 실시간으로 보려면 True
)
print(response)

2. 터미널(CLI) 환경에서 즉시 실행

mlx_lm.generate --model cudo528/Darwin-9B-Opus-mlx-4bit --prompt "Write a Python script for a simple custom neural network layer." --max-tokens 1024

📂 Architecture & Lineage

• Original Base Model: FINAL-Bench/Darwin-9B-Opus
• Quantization Bit: 4-bit
• Format: MLX Formatted (.safetensors packed)
• License: Apache-2.0