Create README.md

README.md

@@ -0,0 +1,29 @@
+<llama2 모델의 성능을 높이기 위해 추가적인 미세튜닝을 진행하였다.>
+
+
+#첫번째 시도
+- 실험 내용:
+주어진 코드 그대로 일단 실행하여 성능을 확인했다.
+
+- 실험 결과:
+    TP TN
+PP 337 132
+PN 141 390
+Accuracy: 0.727
+
+
+#두번째 시도
+- 실험 내용: 
+이전 프로젝트를 진행하다보면 보통 epoch 수를 늘리면 성능이 좋아짐을 확인할 수 있었다. 더 많은 데이터를 학습해보기 위해 증가시켰다. (num_train_epochs: 1-> 1000로 변경)
+weight_decay는 과적합을 방지할 수 있는 값으로 너무 크면 underfitting, 너무 작으면 overfitting이 발생할 수 있다. 0.05 정도 값을 더 키워서 overfitting이 일어나지 않도록 했다. (weight_decay: 0.05-> 0.1로 변경)
+max_grad_norm이 크면 발산의 위험이 크고 수렴이 어려워지며, 정확도가 감소될 수 있기 때문에 어느정도 값을 줄여주었다. (max_grad_norm: 0.3-> 0.1로 변경)
+
+- 실험 결과:
+    TP TN
+PP 409 108
+PN 85 398
+Accuracy: 0.807
+
+
+<아주 높은 정확도는 확인할 수 없었지만 그래도 정확도가 개선되었음을 확인하였다.>
+