YMmim/qwen2.5-0.5b-robot-cot-lora

로봇 제조공정 CoT 생성 (Qwen2.5-0.5B LoRA) — 검증판 v1

AI Hub「제조 공정 자동화 구현 로봇 티칭 데이터」의 CoT 라벨로 Qwen/Qwen2.5-0.5B를 LoRA 파인튜닝한 모델입니다. 공정 상황(지시+환경)을 입력하면 로봇의 단계별 추론과 동작을 생성합니다.

⚠️ 한계 (중요)

이 모델은 파이프라인 검증용 v1이며, 생성 품질이 제한적입니다.

• 베이스 모델이 소형(0.5B)이라 복잡한 CoT 생성에 한계
• 학습 데이터 약 1,179 샘플로 적음
• RTX 3060 6GB 제약으로 max_length 1024로 잘라 학습 → 긴 CoT의 구체적 동작·좌표 부분이 학습에서 누락됨
• 결과: CoT 형식은 학습했으나 내용의 정확성은 낮음

실용 목적으로는 더 큰 모델 + 전체 길이 학습(클라우드)이 필요합니다.

학습 정보

• Base: Qwen/Qwen2.5-0.5B
• 방법: LoRA (r=8, alpha=16, q_proj/v_proj)
• 데이터: AI Hub 로봇 티칭 CoT (~1,179 샘플)
• 3 epochs, batch 1 (accum 8), lr 2e-4, max_length 1024, fp16, RTX 3060

사용법

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

base = "Qwen/Qwen2.5-0.5B"
tok = AutoTokenizer.from_pretrained("YMmim/qwen2.5-0.5b-robot-cot-lora")
model = AutoModelForCausalLM.from_pretrained(base, torch_dtype=torch.float16)
model = PeftModel.from_pretrained(model, "YMmim/qwen2.5-0.5b-robot-cot-lora")

출처

AI Hub 「제조 공정 자동화 구현 로봇 티칭 데이터」. 비상업적 용도.