jihun-pae/kogpt2-chatbot-lora

모델 이름

jihun-pae/kogpt2-chatbot-lora

모델 설명

• LoRA 한국어 챗봇

모델 상세

• 교육용 실습 모델입니다.

LoRA 설정

lora_config = LoraConfig( r=16, lora_alpha=32, target_modules=["c_attn", "c_proj", "c_fc"],
lora_dropout=0.05, bias="none", task_type=TaskType.CAUSAL_LM )

학습 설정

training_args = TrainingArguments( output_dir="./lora_koqpt2_chatbot", num_train_epochs=10, per_device_train_batch_size=4, per_device_eval_batch_size=8, gradient_accumulation_steps=4, learning_rate=0.0002, warmup_steps=100,
logging_steps=50, eval_strategy="epoch", eval_steps=100, save_strategy="epoch", save_steps=100, load_best_model_at_end=True, fp16=True, report_to="none", weight_decay=0.01, )

학습 결과

사용 방법

# 테스트
test_questions = [
    "안녕하세요?",
    "오늘 날씨가 어때?",
    "배고픈데 뭐 먹을까?",
    "주말에 뭐하지?"
]

print("=== 챗봇 테스트 ===")
for q in test_questions:
    print(f"
질문: 강원도 설악산 근처 맛집 좀 추천해주세요.")
    print(f"답변: 여행가봐도 좋을거 같아요.")

모델 정보