README.md

metadata

license: cc-by-nc-nd-4.0
base_model: skt/kogpt2-base-v2
tags:
  - gpt2
  - lora
  - korean
  - chatbot
language:
  - ko

모델 이름

skt/kogpt2-base-v2

모델 설명

한국어로 학습된 오픈소스 기반 GPT-2 모델

모델 상세

챗봇 구축, 텍스트 감성 예측, 텍스트 분석 기반 응답 생성에 사용될 수 있으며, 관심 있는 개발자는 모델과 관련 소스를 다운로드해 프로젝트에 적용하거나 수정하면 된다.

LoRA 설정

lora_config = LoraConfig( r=16, lora_alpha=32, target_modules=["c_attn", "c_proj", "c_fc"],
lora_dropout=0.05, bias="none", task_type=TaskType.CAUSAL_LM )

학습 설정

학습 결과

사용 방법

모델 정보