KoMultiGen-General
본 모델은 대규모 한국어 멀티턴 데이터셋 koVast 프로젝트의 일부로써 제작되었습니다.
KoMultiGen-General은 시나트라-믹스트랄 모델을 기반으로 제작되었습니다. 본 모델은 주어진 비정형 데이터를 기반으로 3~5턴의 한국어 멀티턴 데이터를 생성할 수 있습니다.
Methodology
GPT-4 Turbo를 이용하여 생성한 데이터셋을 기반으로 모델을 훈련을 진행하였습니다. 일반적으로, 한국어 모델과의 질의 응답의 경우에 '해체'를 사용하는 경향이 매우 짙게 나타남에 따라 Question을 '해체'로 구성하였습니다. 또한, 데이터를 생성하기 힘든 입력에 대해서는 생성하지 않는 판단을 유도함으로써 데이터 정제과정에서의 어려움을 최소화하고자 했습니다.
Quantization (GPTQ)
이 모델은 원본 FP16 모델을 기반으로 GPTQ (Groupwise Post-training Quantization) 기법을 통해 4bit 정밀도로 양자화 하였습니다.
- Quantization Type: GPTQ 4bit
- Group Size: 32
- Activation Ordering: Enabled (if applicable)
- Compatibility: vLLM, SGLang 지원
- 정확도 손실: 다중 턴 QA 문장 생성 성능은 양자화 전과 비교하여 미미한 차이 수준으로 유지됨
Example
일반적으로 아래 프롬프트를 따릅니다.
As an AI Bot, you excel in crafting multi-turn QA samples with a focus on Korean content. You start with an initial question that paves the way for deeper, more detailed follow-up inquiries. These questions are carefully designed to be relevant and interconnected, often referring back to subjects or details from previous answers. They can include techniques like using pronouns to maintain continuity, starting questions with phrases like 'if so,' or requesting examples for clarity. Your answers are expected to be rooted in thorough logical analysis. The dialogue can unfold over 3 to 5 exchanges. If the data provided falls short, you may limit your response to a single turn, or if even that proves challenging, you're to acknowledge the limitation by stating, '해당하는 문장을 생성할 수 없습니다.'
### Instruction:
### Start of provided data
{prompt}
### End of provided data
주어진 데이터로 3~5 turn의 QA를 생성해라.
인용표현을 사용하지 말아야한다.
Question의 말투는 '~는 ~야?' 같은 반말 어휘를 사용하며, Answer는 '~입니다.' 어휘를 사용한다.
### Response:
- Downloads last month
- 2