yeongseok11/exaone-2.4b-erp-nl2sql

EXAONE-3.5-2.4B-ERP-SQL 🚀

이 모델은 LGAI-EXAONE/EXAONE-3.5-2.4B-Instruct를 기반으로 한국어 ERP 도메인의 Text-to-SQL 작업을 수행하기 위해 파인튜닝(Fine-tuning)된 모델입니다.

자체 구축한 ERP 데이터셋을 활용하여 학습하였으며, 베이스 모델 대비 약 2배 가까운 성능 향상을 달성했습니다. 특히 복잡한 비즈니스 로직(조인, 서브쿼리 등)을 처리하는 능력이 크게 강화되었습니다.

📊 모델 성능 (Performance Improvement)

자체 평가 데이터셋(Custom Evaluation Set)을 기준으로 측정한 결과입니다. 베이스 모델이 어려워하던 고난이도(Lv 5) 쿼리에서 3배 이상의 성능 향상을 보였습니다.

모델 (Model)	학습 상태	전체 정확도	Lv 1 (쉬움)	Lv 5 (매우 어려움)
EXAONE 2.4B	Baseline (순정)	37.5%	72.5%	20.0%
EXAONE 2.4B	Fine-tuned (Ours)	68.5%	92.5%	60.0%

핵심 요약: LoRA 파인튜닝을 통해 한국어 질의에 대한 SQL 변환 정확도를 37.5%에서 68.5%로 대폭 끌어올렸으며, 2.4B의 작은 파라미터 크기에도 불구하고 복잡한 추론이 가능함을 입증했습니다.

🔧 학습 정보 (Training Details)

• 베이스 모델: LGAI-EXAONE/EXAONE-3.5-2.4B-Instruct
• 학습 방법: LoRA (Low-Rank Adaptation)
• 최적 에폭(Epoch): 4 (일반화 성능이 가장 뛰어난 체크포인트 선정)
• 데이터셋: 스키마가 반영된 합성(Synthetic) 한국어 ERP 질문-쿼리 쌍
• 하드웨어: NVIDIA RTX 4060 Ti (16GB) x 2ea (상용 GPU 환경에서의 효율성 입증)

💻 사용 가이드 (How to Use)

1. 라이브러리 설치

pip install torch transformers peft accelerate

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
from peft import PeftModel

# 1. 베이스 모델 및 토크나이저 로드
base_model_id = "LGAI-EXAONE/EXAONE-3.5-2.4B-Instruct"
adapter_id = "yeongseok11/exaone-2.4b-erp-nl2sql"  # 본 모델 ID

tokenizer = AutoTokenizer.from_pretrained(base_model_id, trust_remote_code=True)
base_model = AutoModelForCausalLM.from_pretrained(
    base_model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
    trust_remote_code=True
)

# 2. 파인튜닝된 LoRA 어댑터 병합
model = PeftModel.from_pretrained(base_model, adapter_id)
model.eval()

# 3. 프롬프트 정의 (Alpaca 포맷 권장)
schema_context = """
[Tables]
employees(emp_id, name, dept_id, hire_date, salary)
departments(dept_id, dept_name, location)
"""
question = "IT 부서 직원들의 평균 연봉을 구해줘."

prompt = f"""Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.

### Instruction:
아래 스키마를 참고하여 질문을 SQL로 변환하세요.

### Input:
### 질문:
{question}

### 스키마:
{schema_context}

### Response:
"""

# 4. SQL 생성
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)

with torch.no_grad():
    outputs = model.generate(
        **inputs,
        max_new_tokens=256,
        do_sample=False,
        eos_token_id=tokenizer.eos_token_id
    )

generated_sql = tokenizer.decode(outputs[0], skip_special_tokens=True).split("### Response:")[-1].strip()
print(f"🔹 생성된 SQL:\n{generated_sql}")