Update README.md
Browse files
README.md
CHANGED
|
@@ -4,6 +4,7 @@ license: cc-by-sa-4.0
|
|
| 4 |
<h1>AIFT-instruct-42dot_LLM-SFT-1.3B</h1>
|
| 5 |
|
| 6 |
<b><학습 데이터 구축></b>
|
|
|
|
| 7 |
kyujinpy 님이 공개하신 KOR-OpenOrca-Platypus 데이터를 일부 삭제(샘플링) 및 정제 작업 진행하여 활용.
|
| 8 |
그 이후 해당 데이터들을 보며 관련 태스크를 추출하였고 이를 기반으로
|
| 9 |
해당 태스크에 맞춰서 NLP 관련 오픈소스 데이터를 활용하여 학습데이터를 자체적으로
|
|
@@ -23,9 +24,11 @@ AI2AI Challenge 데이터 형태를 보고 gpt를 통해 초등 수준의 과학
|
|
| 23 |
<br>
|
| 24 |
|
| 25 |
<모델>
|
|
|
|
| 26 |
42dot에서 공개한 42dot_LLM-SFT-1.3B을 베이스 모델로 하여 학습 진행하였습니다.
|
| 27 |
<br>
|
| 28 |
<br>
|
| 29 |
<br>
|
| 30 |
<b><학습></b>
|
|
|
|
| 31 |
학습은 LoRA를 사용하여 A100 40G *2에서 학습을 진행하였습니다.
|
|
|
|
| 4 |
<h1>AIFT-instruct-42dot_LLM-SFT-1.3B</h1>
|
| 5 |
|
| 6 |
<b><학습 데이터 구축></b>
|
| 7 |
+
<br>
|
| 8 |
kyujinpy 님이 공개하신 KOR-OpenOrca-Platypus 데이터를 일부 삭제(샘플링) 및 정제 작업 진행하여 활용.
|
| 9 |
그 이후 해당 데이터들을 보며 관련 태스크를 추출하였고 이를 기반으로
|
| 10 |
해당 태스크에 맞춰서 NLP 관련 오픈소스 데이터를 활용하여 학습데이터를 자체적으로
|
|
|
|
| 24 |
<br>
|
| 25 |
|
| 26 |
<모델>
|
| 27 |
+
<br>
|
| 28 |
42dot에서 공개한 42dot_LLM-SFT-1.3B을 베이스 모델로 하여 학습 진행하였습니다.
|
| 29 |
<br>
|
| 30 |
<br>
|
| 31 |
<br>
|
| 32 |
<b><학습></b>
|
| 33 |
+
<br>
|
| 34 |
학습은 LoRA를 사용하여 A100 40G *2에서 학습을 진행하였습니다.
|