| { | |
| "step": 248000, | |
| "epoch": 13, | |
| "vocab_size": 30574, | |
| "model_vocab_size": 30592, | |
| "config": { | |
| "optimizer_type": "adamw", | |
| "lr": 2e-05, | |
| "weight_decay": 0.01, | |
| "warmup_steps": 8000, | |
| "scheduler_type": "cosine", | |
| "scheduler_params": { | |
| "eta_min": 1e-07 | |
| } | |
| } | |
| } |
| { | |
| "step": 248000, | |
| "epoch": 13, | |
| "vocab_size": 30574, | |
| "model_vocab_size": 30592, | |
| "config": { | |
| "optimizer_type": "adamw", | |
| "lr": 2e-05, | |
| "weight_decay": 0.01, | |
| "warmup_steps": 8000, | |
| "scheduler_type": "cosine", | |
| "scheduler_params": { | |
| "eta_min": 1e-07 | |
| } | |
| } | |
| } |