Create README.md

README.md

@@ -0,0 +1,50 @@
+---
+base_model: unsloth/llama-3.2-1b-instruct-unsloth-bnb-4bit
+library_name: peft
+datasets:
+- aripos1/gorani_dataset
+language:
+- ko
+- ja
+- en
+---
+# Gorani Model Card
+
+## 소개 (Introduce)
+이 모델은 번역을 위한 모델입니다. 한국 고유어의 정확한 번역을 생성하기 위해 한국어, 영어, 일본어의 언어 데이터를 혼합하여 **unsloth/Llama-3.2-1B-Instruct-bnb-4bit**을 학습시켜 생성된 **gorani-1B** 입니다.  
+gorani는 현재 **한국어, 영어, 일본어**만 번역을 지원합니다.
+
+### 모델 정보
+- **개발자**: haeun0420
+- **모델 유형**: **llama**를 기반으로 하는 **1B** 매개변수 모델인 **gorani-1B**  
+- **지원 언어**: 한국어, 영어, 일본어  
+- **라이센스**: **llama**  
+
+## Training Hyperparameters
+- **per_device_train_batch_size**: 8  
+- **gradient_accumulation_steps**: 1  
+- **warmup_steps**: 5  
+- **learning_rate**: 2e-4  
+- **fp16**: `not is_bfloat16_supported()`  
+- **num_train_epochs**: 3  
+- **weight_decay**: 0.01  
+- **lr_scheduler_type**: "linear"  
+
+## 학습 데이터
+[데이터셋 링크](https://huggingface.co/datasets/aripos1/gorani_dataset)  
+
+
+## 학습 성능 비교
+### 📊 번역 평가 결과 비교
+
+| 평가 지표                 | LLama 3.2-1B | Gorani -1B  |
+|--------------------------|-------------|---------|
+| **BERTScore (Precision)** | 0.6014      | 0.8977  |
+| **BERTScore (Recall)**    | 0.6649      | 0.8955  |
+| **BERTScore (F1 Score)**  | 0.6303      | 0.8965  |
+| **COMET Score**           | 0.5364      | 0.8275  |
+
+![image/png](https://cdn-uploads.huggingface.co/production/uploads/6716f6a5603ad516ef179099/RDyqZe_85H-Y9tw9hTcJG.png)
+
+## Training Results
+![image/png](https://cdn-uploads.huggingface.co/production/uploads/6716f6a5603ad516ef179099/PFApuLScRt2PkkwVKLGc9.png)