Update README.md
Browse files
README.md
CHANGED
|
@@ -19,23 +19,16 @@ A6000 * 4, Deepspeed off-load를 이용해 batch size를 극대화 시켰습니
|
|
| 19 |
**Datasets**
|
| 20 |
|
| 21 |
- 국가법령포털 Open API 크롤링 데이터
|
| 22 |
-
|
| 23 |
- AI-hub 법률지식베이스
|
| 24 |
-
|
| 25 |
- AI-hub 의료,법률 전문 서적 말뭉치
|
| 26 |
-
|
| 27 |
- AI-hub 법률/규정 (판결서, 약관 등) 텍스트 분석 데이터
|
| 28 |
|
| 29 |
**Hyperparameters**
|
| 30 |
|
| 31 |
- Batch size 240
|
| 32 |
-
|
| 33 |
- Opotimizer Adamw
|
| 34 |
-
|
| 35 |
- LR 5e-5
|
| 36 |
-
|
| 37 |
- Warmup min LR 1e-6
|
| 38 |
-
|
| 39 |
- Zero Stage3 off-load
|
| 40 |
|
| 41 |
**Model Architecture** Llama 3 is an auto-regressive language model
|
|
|
|
| 19 |
**Datasets**
|
| 20 |
|
| 21 |
- 국가법령포털 Open API 크롤링 데이터
|
|
|
|
| 22 |
- AI-hub 법률지식베이스
|
|
|
|
| 23 |
- AI-hub 의료,법률 전문 서적 말뭉치
|
|
|
|
| 24 |
- AI-hub 법률/규정 (판결서, 약관 등) 텍스트 분석 데이터
|
| 25 |
|
| 26 |
**Hyperparameters**
|
| 27 |
|
| 28 |
- Batch size 240
|
|
|
|
| 29 |
- Opotimizer Adamw
|
|
|
|
| 30 |
- LR 5e-5
|
|
|
|
| 31 |
- Warmup min LR 1e-6
|
|
|
|
| 32 |
- Zero Stage3 off-load
|
| 33 |
|
| 34 |
**Model Architecture** Llama 3 is an auto-regressive language model
|