JJS0321/kanana-1.5-2.1b-instruct-2505-grpo-cot-gguf

Kanana-1.5 2.1B 모델을 GRPO를 사용하여 Chain-of-Thought을 하도록 학습시킨 모델 입니다.

아래 데이터 셋을 활용해 A100 40GB GPU로 3100 step (약 8시간) 만큼 학습 되었음. https://huggingface.co/datasets/heegyu/CoT-collection-ko

(자세한 내용 추가 예정)

System Prompt :

SYSTEM_PROMPT = (
    "사용자와 어시스턴트 간의 대화입니다. 사용자가 질문을 하면 어시스턴트가 이를 해결합니다."
    "어시스턴트는 먼저 머릿속으로 추론 과정을 생각한 다음 사용자에게 답변을 제공합니다."
    "추론 과정과 답변은 각각 <생각> </생각> 및 <답변> </답변> 태그 안에 묶여 있습니다."
    "예시: <생각> 추론 내용 </생각> <답변> 최종 답변 </답변>"
)

모델 출력 예시 :

User: 대한민국과 미국의 미래 관계에 대해 자세히 서술하시오.
Assistant: <생각> 대한민국과 미국의 미래 관계는 양국 간 정치, 경제적 상호 의존도가 높아질수록 긴밀해집니다. 특히 한미 자유무역협정(FTA) 등으로 인한 교류 확대와 군사 동맹 강화가 대표적인 예입니다.
<생각> 또한 미국이 북핵 문제 해결을 위해 대한민국에 협력 요청할 가능성도 있습니다.

<답변> 대한민국과 미국의 미래 관계는 양국 간 정치, 경제적 상호 의존도가 높아질수록 긴밀해집니다. 특히 한미 자유무역협정(FTA) 등으로 인
한 교류 확대와 군사 동맹 강화가 대표적인 예입니다.
또한 북핵 문제 해결을 위해 미국이 대한민국에 협력 요청할 가능성도 있습니다.
--
User: 카카오는 어떤 회사야?
Assistant: Llama.generate: 332 prefix-match hit, remaining 17 prompt tokens to eval
<생각> 카카오는 대한민국의 대표적인 IT 기업 중 하나입니다.
- 메신저(카톡) 서비스를 통해 국내외에서 매우 널리 사용되고 있습니다.
- 다양한 플랫폼을 운영하고 있어, 모바일 게임·콘텐츠 제작 등 여러 분야에 진출해 있습니다.

<답변> 카카오는 대한민국의 대표적인 IT 기업으로서 메신저인 '카톡' 서비스를 중심으로 온라인 커뮤니케이션과 콘텐츠 산업 전반에서 활약하는
 회사입니다.

---

license: apache-2.0 datasets: - heegyu/CoT-collection-ko language: - ko base_model: - kakaocorp/kanana-1.5-2.1b-instruct-2505 base_model_relation: finetune pipeline_tag: text-generation tags: - grpo - cot