metadata
license: other
base_model: skt/A.X-4.0-Light
library_name: peft
pipeline_tag: text-generation
language:
- ko
axlight-4.0-light-lora
skt/A.X-4.0-Light 용 LoRA 어댑터입니다. 단독으로는 동작하지 않으며 베이스 모델과 함께 불러와 사용합니다.
사용법
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
import torch
base = "skt/A.X-4.0-Light"
tok = AutoTokenizer.from_pretrained(base)
model = AutoModelForCausalLM.from_pretrained(base, torch_dtype=torch.bfloat16, device_map="auto")
model = PeftModel.from_pretrained(model, "comhu/axlight-4.0-light-lora")