0208suin/lora_model_qwen3_tave

Uploaded model

• Developed by: 0208suin
• License: apache-2.0
• Finetuned from model : unsloth/qwen3-14b-unsloth-bnb-4bit

This qwen3 model was trained 2x faster with Unsloth and Huggingface's TRL library.

---

🧠 Qwen3-14B (LoRA Fine-tuned by 0208suin)

이 모델은 unsloth/qwen3-14b-unsloth-bnb-4bit를 기반으로, Unsloth + TRL(Transformers Reinforcement Learning) 기반 파인튜닝을 통해 한국어 일기/행동 기록 텍스트로부터 핵심 키워드(5~10개)를 추출할 수 있도록 학습된 모델입니다.

---

🧩 모델 개요

• 기반 모델: unsloth/qwen3-14b-unsloth-bnb-4bit

• 파인튜닝 방식: PEFT + LoRA + TRL (DPO/GRPO 준비 가능)

• 지원 언어: 한국어 (추론 중심, 한국어 최적화 프롬프트 사용)

• 적용 분야:

  • 일기 및 에세이 자동 분석
  • 감성 요약 및 키워드 태깅
  • 교육/상담/행동분석 등 인간 중심 텍스트 이해

---

📦 사용 예시 (Inference)

from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer
import torch

model_id = "0208suin/qwen3-14b-keyword-lora"  # 실제 모델 경로로 변경
tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto", trust_remote_code=True)

messages = [
    {
        "role": "user",
        "content": (
            "다음 일기를 읽고 핵심 키워드를 5개 이상 10개 이하로 논리적으로 도출해줘:\n\n"
            "오늘은 오랜만에 혼자 한강에 갔다. 벚꽃이 흐드러지게 피어 있어서 산책하는 내내 기분이 좋았다. "
            "이어폰으로 좋아하는 음악을 들으면서 걷다 보니, 쌓였던 스트레스가 조금은 풀리는 것 같았다. "
            "날씨도 따뜻하고 바람도 선선해서, 오히려 마음이 차분해졌다. "
            "혼자만의 시간이 이렇게 소중하게 느껴진 건 정말 오랜만이었다."
        )
    }
]

text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
streamer = TextStreamer(tokenizer, skip_prompt=True)

model.generate(
    **tokenizer(text, return_tensors="pt").to(model.device),
    max_new_tokens=256,
    temperature=0.6,
    top_p=0.95,
    top_k=20,
    streamer=streamer
)

---

🔧 학습 데이터 개요

• 원천 데이터: 한국어 일기 및 행동관찰 보고서 텍스트 11,000건

• 라벨링: 전문가가 수작업으로 추출한 키워드 (5~10개)

• 두 가지 모드로 학습됨:

  • ✅ 일반 키워드 추출 (Instruction 기반)
  • ✅ 논리 기반 키워드 생성 (Reasoning 방식)

---

🚀 훈련 방식

항목	내용
프레임워크	Unsloth
모델 크기	Qwen3-14B (bnb-4bit)
학습 방식	LoRA (adapter model only)
컨텍스트 길이	최대 32K tokens
사용 라이브러리	Hugging Face Transformers + TRL + PEFT

---

📜 라이선스

• 본 모델은 Apache 2.0 라이선스를 따릅니다. 상업적 이용, 수정 및 재배포가 가능합니다.
• Qwen3 및 Unsloth 기반 모델 역시 Apache 2.0 하에 사용되었습니다.

---