overfit-brothers/KRAG-SOTA

입력 텍스트 예시

아래는 저희 팀에서 구축한 RAG 파이프라인으로 완성되는 모델 입력 텍스트의 예시입니다.

"""다음 글은 어문 규범에 맞는 표현을 고르거나 어문 규범에 따라 문장을 교정하고 그 이유를 설명할 수 있는 자료이다

2. 자음 뒤에 [w]가 올 때에는 두 음절로 갈라 적되, [gw], [hw], [kw]는 한 음절로 붙여 
적는다. 
- swing[swiŋ] 스윙, twist[twist] 트위스트, penguin[peŋgwin] 펭귄, whistle[hwisl] 휘슬,quarter[kwɔːtə] 쿼터

다음은 질문 유형과 답변 형식을 이해하는 데 도움이 되는 여러 예시입니다. 이 예시들의 내용에 얽매이지 않고, 주어진 질문에 대해 가장 적절한 답변을 생성하세요.

question:""네덜란드의 {헤이그/하흐}에 가 봤다."" 가운데 올바른 것을 선택하고, 그 이유를 설명하세요.
answer:""네덜란드의 헤이그에 가 봤다.""가 옳다. 원지음이 아닌 제3국의 발음으로 통용되고 있는 것은 관용을 따른다. 따라서 '헤이그'로 쓰는 것이 적절하다.

**위 'answer:' 뒤의 출력 형식을 엄격히 준수하여 답변을 생성하십시오.**

이제 질문을 시작합니다.
question:""{히치하이크/힛치하이크}를 하다."" 가운데 올바른 것을 선택하고, 그 이유를 설명하세요."""

---

base_model: [] library_name: transformers tags:

• mergekit
• merge

---

0725_5-merge

This is a merge of pre-trained language models created using mergekit.

Merge Details

Merge Method

This model was merged using the SLERP merge method.

Models Merged

The following models were included in the merge:

• /home/infidea/rebirth-hjun/KRAG_2025/modle_merge/kanana-1.5-8b-instruct-2505-lora-20250715-1532
• /home/infidea/rebirth-hjun/KRAG_2025/modle_merge/0725_4-merge

Configuration

The following YAML configuration was used to produce this model:

base_model: /home/infidea/rebirth-hjun/KRAG_2025/modle_merge/0725_4-merge
dtype: bfloat16
merge_method: slerp
modules:
  default:
    slices:
    - sources:
      - layer_range: [0, 32]
        model: /home/infidea/rebirth-hjun/KRAG_2025/modle_merge/0725_4-merge
      - layer_range: [0, 32]
        model: /home/infidea/rebirth-hjun/KRAG_2025/modle_merge/kanana-1.5-8b-instruct-2505-lora-20250715-1532
parameters:
  t:
  - filter: self_attn
    value: [0.0, 0.5, 0.7, 0.9, 1.0]
  - filter: mlp
    value: [1.0, 0.5, 0.7, 0.5, 0.0]
  - value: 0.8