Update README.md

README.md

@@ -27,8 +27,77 @@ tags:
 - **SFT Trainer**를 통해 훈련을 진행
 - 활용 데이터
   - [q_a_korean_futsal](https://huggingface.co/datasets/Dongwookss/q_a_korean_futsal)
-    - 말투 학습을 위해 '해요'체로 변환하고 답변 종료시 '얼마든지 물어보세요~! 풋풋~!'을 넣어 모델 컨셉을 유지하였습니다.
-  
+    - 말투 학습을 위해 '해요'체로 변환하고 인삿말을 넣어 모델 컨셉을 유지하였습니다.
+   
+- **Environment** : Colab 환경에서 진행하였으며 L4 GPU를 사용하였습니다. 
 
+```python
 
+from unsloth import FastLanguageModel
+import torch
+from trl import SFTTrainer
+from transformers import TrainingArguments
 
+max_seq_length = 256
+dtype = None
+load_in_4bit = False
+model, tokenizer = FastLanguageModel.from_pretrained(
+    model_name="HuggingFaceH4/zephyr-7b-beta",
+    max_seq_length=max_seq_length,
+    dtype=dtype,
+    load_in_4bit=load_in_4bit,
+    #token = ,
+)
+
+model = FastLanguageModel.get_peft_model(
+    model,
+    r=32,
+    lora_alpha=64,
+    lora_dropout=0.05, 
+    target_modules=[
+        "q_proj",
+        "k_proj",
+        "v_proj",
+        "o_proj",
+        "gate_proj",
+        "up_proj",
+        "down_proj",
+    ],  # 타겟 모듈
+    bias="none",
+    use_gradient_checkpointing="unsloth",
+    random_state=123,
+    use_rslora=False,
+    loftq_config=None,
+)
+
+tokenizer.padding_side = "right"
+
+trainer = SFTTrainer(
+    model=model,
+    tokenizer=tokenizer,
+    train_dataset=dataset,
+    dataset_text_field="text",
+    max_seq_length=max_seq_length,
+    dataset_num_proc=2,
+    packing=False,
+    args=TrainingArguments(
+        per_device_train_batch_size=20,
+        gradient_accumulation_steps=2,
+        warmup_steps=5,
+        num_train_epochs=3,
+        max_steps = 1761,
+        logging_steps = 10,
+        learning_rate=2e-5,
+        fp16=not torch.cuda.is_bf16_supported(),
+        bf16=torch.cuda.is_bf16_supported(),
+        optim="adamw_8bit",
+        weight_decay=0.01,
+        lr_scheduler_type="cosine",
+        seed=123,
+        output_dir="outputs",
+    ),
+)
+
+trainer.train()
+
+```