FloatDo/exaone-4.0-1.2b-float-right-tagger-GGUF

EXAONE-4.0-1.2B Float:Right Tagger (GGUF)

GGUF builds for EXAONE-4.0-1.2B Float:Right Tagger.

This model is tuned to output tags as a JSON array for short Korean text inputs.

non-GGUF : https://huggingface.co/FloatDo/exaone-4.0-1.2b-float-right-tagger

Files

• exaone-4.0-1.2b-float-right-tagger.f16.gguf (FP16)
• exaone-4.0-1.2b-float-right-tagger.Q8_0.gguf
• exaone-4.0-1.2b-float-right-tagger.Q4_K_M.gguf ✅ recommended (often outputs clean tags with less extra text)

Prompt format (llama.cpp)

Example:

llama-cli -m exaone-4.0-1.2b-float-right-tagger.Q4_K_M.gguf -n 96 -t 8 --temp 0 \
  -p $'너는 태그 생성기다. 반드시 JSON 배열만 출력한다. 다른 글자 금지.\n\
규칙:\n- 태그 3~10개\n- 너무 디테일하지 않게(큰 주제)\n- 언더스코어(_) 금지\n\n\
문장:\n직장 상사가 계속 야근을 시켜서 스트레스 받는다. 퇴사 고민 중.\n\nassistant:\n'

Expected output (example):

["직장","스트레스","퇴사","상사","일자리"]

Notes • For stricter JSON-only behavior, use --temp 0 and keep -n small (64~96).