Hugging Face's logo

myfi
/
Multi_lingual_Classifier_Indic_bert_v3

Safetensors
albert
Model card Files
xet
Community
AhmedCodes64 commited on
Commit
fac4077
·
verified ·
1 Parent(s): d8883f7

Upload 11 files

Browse files
Files changed (12) hide show
  1. .gitattributes +1 -0
  2. config.json +51 -0
  3. model.safetensors +3 -0
  4. optimizer.pt +3 -0
  5. rng_state.pth +3 -0
  6. scheduler.pt +3 -0
  7. special_tokens_map.json +15 -0
  8. spiece.model +3 -0
  9. tokenizer.json +3 -0
  10. tokenizer_config.json +59 -0
  11. trainer_state.json +2250 -0
  12. training_args.bin +3 -0
.gitattributes CHANGED
@@ -33,3 +33,4 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
33
  *.zip filter=lfs diff=lfs merge=lfs -text
34
  *.zst filter=lfs diff=lfs merge=lfs -text
35
  *tfevents* filter=lfs diff=lfs merge=lfs -text
 
 
33
  *.zip filter=lfs diff=lfs merge=lfs -text
34
  *.zst filter=lfs diff=lfs merge=lfs -text
35
  *tfevents* filter=lfs diff=lfs merge=lfs -text
36
+ tokenizer.json filter=lfs diff=lfs merge=lfs -text
config.json ADDED
@@ -0,0 +1,51 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "architectures": [
3
+ "AlbertForSequenceClassification"
4
+ ],
5
+ "attention_probs_dropout_prob": 0,
6
+ "bos_token_id": 2,
7
+ "classifier_dropout_prob": 0.1,
8
+ "down_scale_factor": 1,
9
+ "embedding_size": 128,
10
+ "eos_token_id": 3,
11
+ "gap_size": 0,
12
+ "hidden_act": "gelu",
13
+ "hidden_dropout_prob": 0,
14
+ "hidden_size": 768,
15
+ "id2label": {
16
+ "0": "LABEL_0",
17
+ "1": "LABEL_1",
18
+ "2": "LABEL_2",
19
+ "3": "LABEL_3",
20
+ "4": "LABEL_4",
21
+ "5": "LABEL_5",
22
+ "6": "LABEL_6"
23
+ },
24
+ "initializer_range": 0.02,
25
+ "inner_group_num": 1,
26
+ "intermediate_size": 3072,
27
+ "label2id": {
28
+ "LABEL_0": 0,
29
+ "LABEL_1": 1,
30
+ "LABEL_2": 2,
31
+ "LABEL_3": 3,
32
+ "LABEL_4": 4,
33
+ "LABEL_5": 5,
34
+ "LABEL_6": 6
35
+ },
36
+ "layer_norm_eps": 1e-12,
37
+ "max_position_embeddings": 512,
38
+ "model_type": "albert",
39
+ "net_structure_type": 0,
40
+ "num_attention_heads": 12,
41
+ "num_hidden_groups": 1,
42
+ "num_hidden_layers": 12,
43
+ "num_memory_blocks": 0,
44
+ "pad_token_id": 0,
45
+ "position_embedding_type": "absolute",
46
+ "problem_type": "single_label_classification",
47
+ "torch_dtype": "float32",
48
+ "transformers_version": "4.51.3",
49
+ "type_vocab_size": 2,
50
+ "vocab_size": 200000
51
+ }
model.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:e7f93f7b4555e056c35a7d4748796173d46540140b6e7a85ec393676a44b7618
3
+ size 133799332
optimizer.pt ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:d11a1ee19953ce093f706e2e782887ccb11deaf230e1593090c767f12f73497c
3
+ size 267615198
rng_state.pth ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:0eaec201f0f27ed5d1bdbd712de60e83e30528c37214b3426905fac408516111
3
+ size 14645
scheduler.pt ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:fc918f895ce80a4a3b539adc765848b50a825b2f2e16d95d972bcb3a66764a12
3
+ size 1465
special_tokens_map.json ADDED
@@ -0,0 +1,15 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "bos_token": "[CLS]",
3
+ "cls_token": "[CLS]",
4
+ "eos_token": "[SEP]",
5
+ "mask_token": {
6
+ "content": "[MASK]",
7
+ "lstrip": true,
8
+ "normalized": false,
9
+ "rstrip": false,
10
+ "single_word": false
11
+ },
12
+ "pad_token": "<pad>",
13
+ "sep_token": "[SEP]",
14
+ "unk_token": "<unk>"
15
+ }
spiece.model ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:3a1173c2b6e144a02c001e289a05b5dbefddf247c50d4dcf42633158b2968fcb
3
+ size 5646064
tokenizer.json ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:b1dde479dd4e493c0bea2cdefa97a961e84ba598a35311c44c4a8b1f56482220
3
+ size 15285941
tokenizer_config.json ADDED
@@ -0,0 +1,59 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "added_tokens_decoder": {
3
+ "0": {
4
+ "content": "<pad>",
5
+ "lstrip": false,
6
+ "normalized": false,
7
+ "rstrip": false,
8
+ "single_word": false,
9
+ "special": true
10
+ },
11
+ "1": {
12
+ "content": "<unk>",
13
+ "lstrip": false,
14
+ "normalized": false,
15
+ "rstrip": false,
16
+ "single_word": false,
17
+ "special": true
18
+ },
19
+ "2": {
20
+ "content": "[CLS]",
21
+ "lstrip": false,
22
+ "normalized": false,
23
+ "rstrip": false,
24
+ "single_word": false,
25
+ "special": true
26
+ },
27
+ "3": {
28
+ "content": "[SEP]",
29
+ "lstrip": false,
30
+ "normalized": false,
31
+ "rstrip": false,
32
+ "single_word": false,
33
+ "special": true
34
+ },
35
+ "4": {
36
+ "content": "[MASK]",
37
+ "lstrip": true,
38
+ "normalized": false,
39
+ "rstrip": false,
40
+ "single_word": false,
41
+ "special": true
42
+ }
43
+ },
44
+ "bos_token": "[CLS]",
45
+ "clean_up_tokenization_spaces": false,
46
+ "cls_token": "[CLS]",
47
+ "do_lower_case": true,
48
+ "eos_token": "[SEP]",
49
+ "extra_special_tokens": {},
50
+ "keep_accents": false,
51
+ "mask_token": "[MASK]",
52
+ "model_max_length": 1000000000000000019884624838656,
53
+ "pad_token": "<pad>",
54
+ "remove_space": true,
55
+ "sep_token": "[SEP]",
56
+ "sp_model_kwargs": {},
57
+ "tokenizer_class": "AlbertTokenizer",
58
+ "unk_token": "<unk>"
59
+ }
trainer_state.json ADDED
@@ -0,0 +1,2250 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "best_global_step": 5760,
3
+ "best_metric": 0.05086889490485191,
4
+ "best_model_checkpoint": "./results/checkpoint-5760",
5
+ "epoch": 25.0,
6
+ "eval_steps": 500,
7
+ "global_step": 14400,
8
+ "is_hyper_param_search": false,
9
+ "is_local_process_zero": true,
10
+ "is_world_process_zero": true,
11
+ "log_history": [
12
+ {
13
+ "epoch": 0.08680555555555555,
14
+ "grad_norm": 3.413226842880249,
15
+ "learning_rate": 1.9931944444444447e-05,
16
+ "loss": 1.8426,
17
+ "step": 50
18
+ },
19
+ {
20
+ "epoch": 0.1736111111111111,
21
+ "grad_norm": 19.604671478271484,
22
+ "learning_rate": 1.98625e-05,
23
+ "loss": 1.2984,
24
+ "step": 100
25
+ },
26
+ {
27
+ "epoch": 0.2604166666666667,
28
+ "grad_norm": 73.20538330078125,
29
+ "learning_rate": 1.979305555555556e-05,
30
+ "loss": 0.9999,
31
+ "step": 150
32
+ },
33
+ {
34
+ "epoch": 0.3472222222222222,
35
+ "grad_norm": 4.863669395446777,
36
+ "learning_rate": 1.972361111111111e-05,
37
+ "loss": 0.8302,
38
+ "step": 200
39
+ },
40
+ {
41
+ "epoch": 0.4340277777777778,
42
+ "grad_norm": 17.846479415893555,
43
+ "learning_rate": 1.965416666666667e-05,
44
+ "loss": 0.6309,
45
+ "step": 250
46
+ },
47
+ {
48
+ "epoch": 0.5208333333333334,
49
+ "grad_norm": 11.574165344238281,
50
+ "learning_rate": 1.9584722222222224e-05,
51
+ "loss": 0.4987,
52
+ "step": 300
53
+ },
54
+ {
55
+ "epoch": 0.6076388888888888,
56
+ "grad_norm": 31.07317352294922,
57
+ "learning_rate": 1.9515277777777778e-05,
58
+ "loss": 0.3274,
59
+ "step": 350
60
+ },
61
+ {
62
+ "epoch": 0.6944444444444444,
63
+ "grad_norm": 3.164802074432373,
64
+ "learning_rate": 1.9445833333333336e-05,
65
+ "loss": 0.3305,
66
+ "step": 400
67
+ },
68
+ {
69
+ "epoch": 0.78125,
70
+ "grad_norm": 2.5798959732055664,
71
+ "learning_rate": 1.937638888888889e-05,
72
+ "loss": 0.2624,
73
+ "step": 450
74
+ },
75
+ {
76
+ "epoch": 0.8680555555555556,
77
+ "grad_norm": 12.735908508300781,
78
+ "learning_rate": 1.9306944444444445e-05,
79
+ "loss": 0.3035,
80
+ "step": 500
81
+ },
82
+ {
83
+ "epoch": 0.9548611111111112,
84
+ "grad_norm": 17.255126953125,
85
+ "learning_rate": 1.9237500000000003e-05,
86
+ "loss": 0.2323,
87
+ "step": 550
88
+ },
89
+ {
90
+ "epoch": 1.0,
91
+ "eval_loss": 0.17769542336463928,
92
+ "eval_runtime": 2.138,
93
+ "eval_samples_per_second": 478.963,
94
+ "eval_steps_per_second": 29.935,
95
+ "step": 576
96
+ },
97
+ {
98
+ "epoch": 1.0416666666666667,
99
+ "grad_norm": 32.9837646484375,
100
+ "learning_rate": 1.9168055555555558e-05,
101
+ "loss": 0.1779,
102
+ "step": 600
103
+ },
104
+ {
105
+ "epoch": 1.1284722222222223,
106
+ "grad_norm": 3.967150926589966,
107
+ "learning_rate": 1.9098611111111113e-05,
108
+ "loss": 0.145,
109
+ "step": 650
110
+ },
111
+ {
112
+ "epoch": 1.2152777777777777,
113
+ "grad_norm": 12.614818572998047,
114
+ "learning_rate": 1.9029166666666667e-05,
115
+ "loss": 0.1287,
116
+ "step": 700
117
+ },
118
+ {
119
+ "epoch": 1.3020833333333333,
120
+ "grad_norm": 26.14882469177246,
121
+ "learning_rate": 1.8959722222222222e-05,
122
+ "loss": 0.1397,
123
+ "step": 750
124
+ },
125
+ {
126
+ "epoch": 1.3888888888888888,
127
+ "grad_norm": 39.56580352783203,
128
+ "learning_rate": 1.889027777777778e-05,
129
+ "loss": 0.1194,
130
+ "step": 800
131
+ },
132
+ {
133
+ "epoch": 1.4756944444444444,
134
+ "grad_norm": 26.76836395263672,
135
+ "learning_rate": 1.8820833333333335e-05,
136
+ "loss": 0.1274,
137
+ "step": 850
138
+ },
139
+ {
140
+ "epoch": 1.5625,
141
+ "grad_norm": 26.581575393676758,
142
+ "learning_rate": 1.875138888888889e-05,
143
+ "loss": 0.1633,
144
+ "step": 900
145
+ },
146
+ {
147
+ "epoch": 1.6493055555555556,
148
+ "grad_norm": 0.08225402981042862,
149
+ "learning_rate": 1.8681944444444447e-05,
150
+ "loss": 0.0979,
151
+ "step": 950
152
+ },
153
+ {
154
+ "epoch": 1.7361111111111112,
155
+ "grad_norm": 0.38262873888015747,
156
+ "learning_rate": 1.8612500000000002e-05,
157
+ "loss": 0.1227,
158
+ "step": 1000
159
+ },
160
+ {
161
+ "epoch": 1.8229166666666665,
162
+ "grad_norm": 1.3281371593475342,
163
+ "learning_rate": 1.8543055555555556e-05,
164
+ "loss": 0.0741,
165
+ "step": 1050
166
+ },
167
+ {
168
+ "epoch": 1.9097222222222223,
169
+ "grad_norm": 48.16311264038086,
170
+ "learning_rate": 1.847361111111111e-05,
171
+ "loss": 0.1376,
172
+ "step": 1100
173
+ },
174
+ {
175
+ "epoch": 1.9965277777777777,
176
+ "grad_norm": 0.10062026977539062,
177
+ "learning_rate": 1.840416666666667e-05,
178
+ "loss": 0.1454,
179
+ "step": 1150
180
+ },
181
+ {
182
+ "epoch": 2.0,
183
+ "eval_loss": 0.08461333066225052,
184
+ "eval_runtime": 2.1421,
185
+ "eval_samples_per_second": 478.037,
186
+ "eval_steps_per_second": 29.877,
187
+ "step": 1152
188
+ },
189
+ {
190
+ "epoch": 2.0833333333333335,
191
+ "grad_norm": 0.03965457156300545,
192
+ "learning_rate": 1.8334722222222224e-05,
193
+ "loss": 0.0425,
194
+ "step": 1200
195
+ },
196
+ {
197
+ "epoch": 2.170138888888889,
198
+ "grad_norm": 0.06563384085893631,
199
+ "learning_rate": 1.8265277777777778e-05,
200
+ "loss": 0.0516,
201
+ "step": 1250
202
+ },
203
+ {
204
+ "epoch": 2.2569444444444446,
205
+ "grad_norm": 1.1895874738693237,
206
+ "learning_rate": 1.8195833333333336e-05,
207
+ "loss": 0.0601,
208
+ "step": 1300
209
+ },
210
+ {
211
+ "epoch": 2.34375,
212
+ "grad_norm": 0.5909057259559631,
213
+ "learning_rate": 1.812638888888889e-05,
214
+ "loss": 0.0484,
215
+ "step": 1350
216
+ },
217
+ {
218
+ "epoch": 2.4305555555555554,
219
+ "grad_norm": 0.06617053598165512,
220
+ "learning_rate": 1.8056944444444446e-05,
221
+ "loss": 0.093,
222
+ "step": 1400
223
+ },
224
+ {
225
+ "epoch": 2.517361111111111,
226
+ "grad_norm": 0.03617614507675171,
227
+ "learning_rate": 1.7987500000000004e-05,
228
+ "loss": 0.0812,
229
+ "step": 1450
230
+ },
231
+ {
232
+ "epoch": 2.6041666666666665,
233
+ "grad_norm": 1.4127732515335083,
234
+ "learning_rate": 1.7918055555555558e-05,
235
+ "loss": 0.0834,
236
+ "step": 1500
237
+ },
238
+ {
239
+ "epoch": 2.6909722222222223,
240
+ "grad_norm": 0.03689781203866005,
241
+ "learning_rate": 1.7848611111111113e-05,
242
+ "loss": 0.0581,
243
+ "step": 1550
244
+ },
245
+ {
246
+ "epoch": 2.7777777777777777,
247
+ "grad_norm": 82.96894073486328,
248
+ "learning_rate": 1.7779166666666667e-05,
249
+ "loss": 0.0607,
250
+ "step": 1600
251
+ },
252
+ {
253
+ "epoch": 2.8645833333333335,
254
+ "grad_norm": 20.012392044067383,
255
+ "learning_rate": 1.7709722222222222e-05,
256
+ "loss": 0.0886,
257
+ "step": 1650
258
+ },
259
+ {
260
+ "epoch": 2.951388888888889,
261
+ "grad_norm": 0.08668874949216843,
262
+ "learning_rate": 1.764027777777778e-05,
263
+ "loss": 0.1223,
264
+ "step": 1700
265
+ },
266
+ {
267
+ "epoch": 3.0,
268
+ "eval_loss": 0.08079180121421814,
269
+ "eval_runtime": 2.156,
270
+ "eval_samples_per_second": 474.96,
271
+ "eval_steps_per_second": 29.685,
272
+ "step": 1728
273
+ },
274
+ {
275
+ "epoch": 3.0381944444444446,
276
+ "grad_norm": 0.5279293656349182,
277
+ "learning_rate": 1.7570833333333335e-05,
278
+ "loss": 0.0713,
279
+ "step": 1750
280
+ },
281
+ {
282
+ "epoch": 3.125,
283
+ "grad_norm": 31.233030319213867,
284
+ "learning_rate": 1.750138888888889e-05,
285
+ "loss": 0.0746,
286
+ "step": 1800
287
+ },
288
+ {
289
+ "epoch": 3.2118055555555554,
290
+ "grad_norm": 0.0305875763297081,
291
+ "learning_rate": 1.7431944444444447e-05,
292
+ "loss": 0.0742,
293
+ "step": 1850
294
+ },
295
+ {
296
+ "epoch": 3.298611111111111,
297
+ "grad_norm": 43.64688491821289,
298
+ "learning_rate": 1.7362500000000002e-05,
299
+ "loss": 0.0365,
300
+ "step": 1900
301
+ },
302
+ {
303
+ "epoch": 3.3854166666666665,
304
+ "grad_norm": 0.034333955496549606,
305
+ "learning_rate": 1.7293055555555557e-05,
306
+ "loss": 0.058,
307
+ "step": 1950
308
+ },
309
+ {
310
+ "epoch": 3.4722222222222223,
311
+ "grad_norm": 86.51885986328125,
312
+ "learning_rate": 1.722361111111111e-05,
313
+ "loss": 0.0559,
314
+ "step": 2000
315
+ },
316
+ {
317
+ "epoch": 3.5590277777777777,
318
+ "grad_norm": 71.18854522705078,
319
+ "learning_rate": 1.7154166666666666e-05,
320
+ "loss": 0.0511,
321
+ "step": 2050
322
+ },
323
+ {
324
+ "epoch": 3.6458333333333335,
325
+ "grad_norm": 37.69118881225586,
326
+ "learning_rate": 1.7084722222222224e-05,
327
+ "loss": 0.0393,
328
+ "step": 2100
329
+ },
330
+ {
331
+ "epoch": 3.732638888888889,
332
+ "grad_norm": 0.011939575895667076,
333
+ "learning_rate": 1.701527777777778e-05,
334
+ "loss": 0.0394,
335
+ "step": 2150
336
+ },
337
+ {
338
+ "epoch": 3.8194444444444446,
339
+ "grad_norm": 0.23084449768066406,
340
+ "learning_rate": 1.6945833333333333e-05,
341
+ "loss": 0.02,
342
+ "step": 2200
343
+ },
344
+ {
345
+ "epoch": 3.90625,
346
+ "grad_norm": 0.22158057987689972,
347
+ "learning_rate": 1.687638888888889e-05,
348
+ "loss": 0.0248,
349
+ "step": 2250
350
+ },
351
+ {
352
+ "epoch": 3.9930555555555554,
353
+ "grad_norm": 0.06880240887403488,
354
+ "learning_rate": 1.6806944444444446e-05,
355
+ "loss": 0.054,
356
+ "step": 2300
357
+ },
358
+ {
359
+ "epoch": 4.0,
360
+ "eval_loss": 0.07962702214717865,
361
+ "eval_runtime": 2.1469,
362
+ "eval_samples_per_second": 476.958,
363
+ "eval_steps_per_second": 29.81,
364
+ "step": 2304
365
+ },
366
+ {
367
+ "epoch": 4.079861111111111,
368
+ "grad_norm": 0.0237971693277359,
369
+ "learning_rate": 1.6737500000000004e-05,
370
+ "loss": 0.0151,
371
+ "step": 2350
372
+ },
373
+ {
374
+ "epoch": 4.166666666666667,
375
+ "grad_norm": 0.012101912871003151,
376
+ "learning_rate": 1.6668055555555558e-05,
377
+ "loss": 0.0195,
378
+ "step": 2400
379
+ },
380
+ {
381
+ "epoch": 4.253472222222222,
382
+ "grad_norm": 0.010883960872888565,
383
+ "learning_rate": 1.6598611111111113e-05,
384
+ "loss": 0.0415,
385
+ "step": 2450
386
+ },
387
+ {
388
+ "epoch": 4.340277777777778,
389
+ "grad_norm": 0.021902142092585564,
390
+ "learning_rate": 1.6529166666666668e-05,
391
+ "loss": 0.0426,
392
+ "step": 2500
393
+ },
394
+ {
395
+ "epoch": 4.427083333333333,
396
+ "grad_norm": 0.04989313334226608,
397
+ "learning_rate": 1.6459722222222222e-05,
398
+ "loss": 0.0136,
399
+ "step": 2550
400
+ },
401
+ {
402
+ "epoch": 4.513888888888889,
403
+ "grad_norm": 0.22097109258174896,
404
+ "learning_rate": 1.639027777777778e-05,
405
+ "loss": 0.0465,
406
+ "step": 2600
407
+ },
408
+ {
409
+ "epoch": 4.600694444444445,
410
+ "grad_norm": 0.010039995424449444,
411
+ "learning_rate": 1.6320833333333335e-05,
412
+ "loss": 0.028,
413
+ "step": 2650
414
+ },
415
+ {
416
+ "epoch": 4.6875,
417
+ "grad_norm": 0.013202900998294353,
418
+ "learning_rate": 1.625138888888889e-05,
419
+ "loss": 0.0461,
420
+ "step": 2700
421
+ },
422
+ {
423
+ "epoch": 4.774305555555555,
424
+ "grad_norm": 0.015310668386518955,
425
+ "learning_rate": 1.6181944444444447e-05,
426
+ "loss": 0.0278,
427
+ "step": 2750
428
+ },
429
+ {
430
+ "epoch": 4.861111111111111,
431
+ "grad_norm": 0.008756318129599094,
432
+ "learning_rate": 1.6112500000000002e-05,
433
+ "loss": 0.0218,
434
+ "step": 2800
435
+ },
436
+ {
437
+ "epoch": 4.947916666666667,
438
+ "grad_norm": 0.015537718310952187,
439
+ "learning_rate": 1.6043055555555557e-05,
440
+ "loss": 0.0525,
441
+ "step": 2850
442
+ },
443
+ {
444
+ "epoch": 5.0,
445
+ "eval_loss": 0.07712521404027939,
446
+ "eval_runtime": 2.1488,
447
+ "eval_samples_per_second": 476.534,
448
+ "eval_steps_per_second": 29.783,
449
+ "step": 2880
450
+ },
451
+ {
452
+ "epoch": 5.034722222222222,
453
+ "grad_norm": 0.011155390180647373,
454
+ "learning_rate": 1.597361111111111e-05,
455
+ "loss": 0.0136,
456
+ "step": 2900
457
+ },
458
+ {
459
+ "epoch": 5.121527777777778,
460
+ "grad_norm": 0.013077272102236748,
461
+ "learning_rate": 1.5904166666666666e-05,
462
+ "loss": 0.038,
463
+ "step": 2950
464
+ },
465
+ {
466
+ "epoch": 5.208333333333333,
467
+ "grad_norm": 0.009396527893841267,
468
+ "learning_rate": 1.5834722222222224e-05,
469
+ "loss": 0.0007,
470
+ "step": 3000
471
+ },
472
+ {
473
+ "epoch": 5.295138888888889,
474
+ "grad_norm": 0.03254946321249008,
475
+ "learning_rate": 1.576527777777778e-05,
476
+ "loss": 0.0218,
477
+ "step": 3050
478
+ },
479
+ {
480
+ "epoch": 5.381944444444445,
481
+ "grad_norm": 0.005586525425314903,
482
+ "learning_rate": 1.5695833333333333e-05,
483
+ "loss": 0.0203,
484
+ "step": 3100
485
+ },
486
+ {
487
+ "epoch": 5.46875,
488
+ "grad_norm": 0.009627276100218296,
489
+ "learning_rate": 1.562638888888889e-05,
490
+ "loss": 0.0668,
491
+ "step": 3150
492
+ },
493
+ {
494
+ "epoch": 5.555555555555555,
495
+ "grad_norm": 0.0053014811128377914,
496
+ "learning_rate": 1.5556944444444446e-05,
497
+ "loss": 0.0119,
498
+ "step": 3200
499
+ },
500
+ {
501
+ "epoch": 5.642361111111111,
502
+ "grad_norm": 0.038525983691215515,
503
+ "learning_rate": 1.54875e-05,
504
+ "loss": 0.0255,
505
+ "step": 3250
506
+ },
507
+ {
508
+ "epoch": 5.729166666666667,
509
+ "grad_norm": 0.04675915837287903,
510
+ "learning_rate": 1.541805555555556e-05,
511
+ "loss": 0.0644,
512
+ "step": 3300
513
+ },
514
+ {
515
+ "epoch": 5.815972222222222,
516
+ "grad_norm": 0.04972713068127632,
517
+ "learning_rate": 1.5348611111111113e-05,
518
+ "loss": 0.0225,
519
+ "step": 3350
520
+ },
521
+ {
522
+ "epoch": 5.902777777777778,
523
+ "grad_norm": 0.004159330390393734,
524
+ "learning_rate": 1.5279166666666668e-05,
525
+ "loss": 0.0151,
526
+ "step": 3400
527
+ },
528
+ {
529
+ "epoch": 5.989583333333333,
530
+ "grad_norm": 0.01926554925739765,
531
+ "learning_rate": 1.5209722222222222e-05,
532
+ "loss": 0.0205,
533
+ "step": 3450
534
+ },
535
+ {
536
+ "epoch": 6.0,
537
+ "eval_loss": 0.07027073949575424,
538
+ "eval_runtime": 2.1711,
539
+ "eval_samples_per_second": 471.645,
540
+ "eval_steps_per_second": 29.478,
541
+ "step": 3456
542
+ },
543
+ {
544
+ "epoch": 6.076388888888889,
545
+ "grad_norm": 0.09293384104967117,
546
+ "learning_rate": 1.5140277777777779e-05,
547
+ "loss": 0.0077,
548
+ "step": 3500
549
+ },
550
+ {
551
+ "epoch": 6.163194444444445,
552
+ "grad_norm": 0.010024973191320896,
553
+ "learning_rate": 1.5070833333333335e-05,
554
+ "loss": 0.0423,
555
+ "step": 3550
556
+ },
557
+ {
558
+ "epoch": 6.25,
559
+ "grad_norm": 0.029724491760134697,
560
+ "learning_rate": 1.500138888888889e-05,
561
+ "loss": 0.0199,
562
+ "step": 3600
563
+ },
564
+ {
565
+ "epoch": 6.336805555555555,
566
+ "grad_norm": 0.015937596559524536,
567
+ "learning_rate": 1.4931944444444446e-05,
568
+ "loss": 0.017,
569
+ "step": 3650
570
+ },
571
+ {
572
+ "epoch": 6.423611111111111,
573
+ "grad_norm": 0.009556828066706657,
574
+ "learning_rate": 1.4862500000000002e-05,
575
+ "loss": 0.0004,
576
+ "step": 3700
577
+ },
578
+ {
579
+ "epoch": 6.510416666666667,
580
+ "grad_norm": 0.032106589525938034,
581
+ "learning_rate": 1.4793055555555558e-05,
582
+ "loss": 0.0147,
583
+ "step": 3750
584
+ },
585
+ {
586
+ "epoch": 6.597222222222222,
587
+ "grad_norm": 0.005125823896378279,
588
+ "learning_rate": 1.4723611111111111e-05,
589
+ "loss": 0.0056,
590
+ "step": 3800
591
+ },
592
+ {
593
+ "epoch": 6.684027777777778,
594
+ "grad_norm": 0.018202291801571846,
595
+ "learning_rate": 1.4654166666666668e-05,
596
+ "loss": 0.0264,
597
+ "step": 3850
598
+ },
599
+ {
600
+ "epoch": 6.770833333333333,
601
+ "grad_norm": 31.37969970703125,
602
+ "learning_rate": 1.4584722222222222e-05,
603
+ "loss": 0.0119,
604
+ "step": 3900
605
+ },
606
+ {
607
+ "epoch": 6.857638888888889,
608
+ "grad_norm": 0.037925682961940765,
609
+ "learning_rate": 1.4515277777777779e-05,
610
+ "loss": 0.0203,
611
+ "step": 3950
612
+ },
613
+ {
614
+ "epoch": 6.944444444444445,
615
+ "grad_norm": 0.1194610670208931,
616
+ "learning_rate": 1.4445833333333335e-05,
617
+ "loss": 0.0158,
618
+ "step": 4000
619
+ },
620
+ {
621
+ "epoch": 7.0,
622
+ "eval_loss": 0.0702182799577713,
623
+ "eval_runtime": 2.1701,
624
+ "eval_samples_per_second": 471.867,
625
+ "eval_steps_per_second": 29.492,
626
+ "step": 4032
627
+ },
628
+ {
629
+ "epoch": 7.03125,
630
+ "grad_norm": 0.0035032748710364103,
631
+ "learning_rate": 1.437638888888889e-05,
632
+ "loss": 0.0065,
633
+ "step": 4050
634
+ },
635
+ {
636
+ "epoch": 7.118055555555555,
637
+ "grad_norm": 0.0025438766460865736,
638
+ "learning_rate": 1.4306944444444446e-05,
639
+ "loss": 0.0003,
640
+ "step": 4100
641
+ },
642
+ {
643
+ "epoch": 7.204861111111111,
644
+ "grad_norm": 4.609809875488281,
645
+ "learning_rate": 1.4237500000000002e-05,
646
+ "loss": 0.02,
647
+ "step": 4150
648
+ },
649
+ {
650
+ "epoch": 7.291666666666667,
651
+ "grad_norm": 0.0041930885054171085,
652
+ "learning_rate": 1.4168055555555558e-05,
653
+ "loss": 0.0496,
654
+ "step": 4200
655
+ },
656
+ {
657
+ "epoch": 7.378472222222222,
658
+ "grad_norm": 0.3876318037509918,
659
+ "learning_rate": 1.4098611111111111e-05,
660
+ "loss": 0.0078,
661
+ "step": 4250
662
+ },
663
+ {
664
+ "epoch": 7.465277777777778,
665
+ "grad_norm": 0.003726869821548462,
666
+ "learning_rate": 1.4029166666666668e-05,
667
+ "loss": 0.0122,
668
+ "step": 4300
669
+ },
670
+ {
671
+ "epoch": 7.552083333333333,
672
+ "grad_norm": 0.00823493953794241,
673
+ "learning_rate": 1.3959722222222222e-05,
674
+ "loss": 0.0136,
675
+ "step": 4350
676
+ },
677
+ {
678
+ "epoch": 7.638888888888889,
679
+ "grad_norm": 0.004769823048263788,
680
+ "learning_rate": 1.3890277777777779e-05,
681
+ "loss": 0.0132,
682
+ "step": 4400
683
+ },
684
+ {
685
+ "epoch": 7.725694444444445,
686
+ "grad_norm": 45.848167419433594,
687
+ "learning_rate": 1.3820833333333335e-05,
688
+ "loss": 0.0116,
689
+ "step": 4450
690
+ },
691
+ {
692
+ "epoch": 7.8125,
693
+ "grad_norm": 0.0101216621696949,
694
+ "learning_rate": 1.375138888888889e-05,
695
+ "loss": 0.0275,
696
+ "step": 4500
697
+ },
698
+ {
699
+ "epoch": 7.899305555555555,
700
+ "grad_norm": 0.009534699842333794,
701
+ "learning_rate": 1.3681944444444446e-05,
702
+ "loss": 0.0073,
703
+ "step": 4550
704
+ },
705
+ {
706
+ "epoch": 7.986111111111111,
707
+ "grad_norm": 0.003179518273100257,
708
+ "learning_rate": 1.3612500000000002e-05,
709
+ "loss": 0.0128,
710
+ "step": 4600
711
+ },
712
+ {
713
+ "epoch": 8.0,
714
+ "eval_loss": 0.08423544466495514,
715
+ "eval_runtime": 2.1727,
716
+ "eval_samples_per_second": 471.311,
717
+ "eval_steps_per_second": 29.457,
718
+ "step": 4608
719
+ },
720
+ {
721
+ "epoch": 8.072916666666666,
722
+ "grad_norm": 0.0026477461215108633,
723
+ "learning_rate": 1.3543055555555557e-05,
724
+ "loss": 0.0261,
725
+ "step": 4650
726
+ },
727
+ {
728
+ "epoch": 8.159722222222221,
729
+ "grad_norm": 0.019464371725916862,
730
+ "learning_rate": 1.3473611111111111e-05,
731
+ "loss": 0.0015,
732
+ "step": 4700
733
+ },
734
+ {
735
+ "epoch": 8.246527777777779,
736
+ "grad_norm": 0.0027786209248006344,
737
+ "learning_rate": 1.3404166666666668e-05,
738
+ "loss": 0.0125,
739
+ "step": 4750
740
+ },
741
+ {
742
+ "epoch": 8.333333333333334,
743
+ "grad_norm": 0.0063923560082912445,
744
+ "learning_rate": 1.3334722222222222e-05,
745
+ "loss": 0.0107,
746
+ "step": 4800
747
+ },
748
+ {
749
+ "epoch": 8.42013888888889,
750
+ "grad_norm": 0.0071762921288609505,
751
+ "learning_rate": 1.3265277777777779e-05,
752
+ "loss": 0.01,
753
+ "step": 4850
754
+ },
755
+ {
756
+ "epoch": 8.506944444444445,
757
+ "grad_norm": 0.003973743878304958,
758
+ "learning_rate": 1.3195833333333335e-05,
759
+ "loss": 0.0262,
760
+ "step": 4900
761
+ },
762
+ {
763
+ "epoch": 8.59375,
764
+ "grad_norm": 0.015603139996528625,
765
+ "learning_rate": 1.312638888888889e-05,
766
+ "loss": 0.0213,
767
+ "step": 4950
768
+ },
769
+ {
770
+ "epoch": 8.680555555555555,
771
+ "grad_norm": 0.002647754270583391,
772
+ "learning_rate": 1.3056944444444446e-05,
773
+ "loss": 0.01,
774
+ "step": 5000
775
+ },
776
+ {
777
+ "epoch": 8.76736111111111,
778
+ "grad_norm": 14.067428588867188,
779
+ "learning_rate": 1.2987500000000002e-05,
780
+ "loss": 0.0324,
781
+ "step": 5050
782
+ },
783
+ {
784
+ "epoch": 8.854166666666666,
785
+ "grad_norm": 0.004289311822503805,
786
+ "learning_rate": 1.2918055555555557e-05,
787
+ "loss": 0.0099,
788
+ "step": 5100
789
+ },
790
+ {
791
+ "epoch": 8.940972222222221,
792
+ "grad_norm": 0.01604336127638817,
793
+ "learning_rate": 1.2848611111111112e-05,
794
+ "loss": 0.0226,
795
+ "step": 5150
796
+ },
797
+ {
798
+ "epoch": 9.0,
799
+ "eval_loss": 0.08734692633152008,
800
+ "eval_runtime": 2.1655,
801
+ "eval_samples_per_second": 472.877,
802
+ "eval_steps_per_second": 29.555,
803
+ "step": 5184
804
+ },
805
+ {
806
+ "epoch": 9.027777777777779,
807
+ "grad_norm": 21.617219924926758,
808
+ "learning_rate": 1.2779166666666666e-05,
809
+ "loss": 0.0284,
810
+ "step": 5200
811
+ },
812
+ {
813
+ "epoch": 9.114583333333334,
814
+ "grad_norm": 0.0036318660713732243,
815
+ "learning_rate": 1.2709722222222222e-05,
816
+ "loss": 0.0242,
817
+ "step": 5250
818
+ },
819
+ {
820
+ "epoch": 9.20138888888889,
821
+ "grad_norm": 1.550016164779663,
822
+ "learning_rate": 1.2640277777777779e-05,
823
+ "loss": 0.0195,
824
+ "step": 5300
825
+ },
826
+ {
827
+ "epoch": 9.288194444444445,
828
+ "grad_norm": 0.0063721900805830956,
829
+ "learning_rate": 1.2570833333333335e-05,
830
+ "loss": 0.0326,
831
+ "step": 5350
832
+ },
833
+ {
834
+ "epoch": 9.375,
835
+ "grad_norm": 6.12042236328125,
836
+ "learning_rate": 1.250138888888889e-05,
837
+ "loss": 0.0153,
838
+ "step": 5400
839
+ },
840
+ {
841
+ "epoch": 9.461805555555555,
842
+ "grad_norm": 0.0024620750918984413,
843
+ "learning_rate": 1.2431944444444446e-05,
844
+ "loss": 0.0126,
845
+ "step": 5450
846
+ },
847
+ {
848
+ "epoch": 9.54861111111111,
849
+ "grad_norm": 0.008434666320681572,
850
+ "learning_rate": 1.2362500000000002e-05,
851
+ "loss": 0.0168,
852
+ "step": 5500
853
+ },
854
+ {
855
+ "epoch": 9.635416666666666,
856
+ "grad_norm": 24.517446517944336,
857
+ "learning_rate": 1.2293055555555557e-05,
858
+ "loss": 0.0236,
859
+ "step": 5550
860
+ },
861
+ {
862
+ "epoch": 9.722222222222221,
863
+ "grad_norm": 0.0033647818490862846,
864
+ "learning_rate": 1.2223611111111112e-05,
865
+ "loss": 0.0128,
866
+ "step": 5600
867
+ },
868
+ {
869
+ "epoch": 9.809027777777779,
870
+ "grad_norm": 0.008964108303189278,
871
+ "learning_rate": 1.2154166666666666e-05,
872
+ "loss": 0.0064,
873
+ "step": 5650
874
+ },
875
+ {
876
+ "epoch": 9.895833333333334,
877
+ "grad_norm": 0.00735318660736084,
878
+ "learning_rate": 1.2084722222222223e-05,
879
+ "loss": 0.0069,
880
+ "step": 5700
881
+ },
882
+ {
883
+ "epoch": 9.98263888888889,
884
+ "grad_norm": 68.18215942382812,
885
+ "learning_rate": 1.2015277777777779e-05,
886
+ "loss": 0.0278,
887
+ "step": 5750
888
+ },
889
+ {
890
+ "epoch": 10.0,
891
+ "eval_loss": 0.05086889490485191,
892
+ "eval_runtime": 2.1757,
893
+ "eval_samples_per_second": 470.664,
894
+ "eval_steps_per_second": 29.416,
895
+ "step": 5760
896
+ },
897
+ {
898
+ "epoch": 10.069444444444445,
899
+ "grad_norm": 0.008082223124802113,
900
+ "learning_rate": 1.1945833333333333e-05,
901
+ "loss": 0.0001,
902
+ "step": 5800
903
+ },
904
+ {
905
+ "epoch": 10.15625,
906
+ "grad_norm": 0.0015207990072667599,
907
+ "learning_rate": 1.187638888888889e-05,
908
+ "loss": 0.0023,
909
+ "step": 5850
910
+ },
911
+ {
912
+ "epoch": 10.243055555555555,
913
+ "grad_norm": 0.003384481882676482,
914
+ "learning_rate": 1.1806944444444446e-05,
915
+ "loss": 0.0039,
916
+ "step": 5900
917
+ },
918
+ {
919
+ "epoch": 10.32986111111111,
920
+ "grad_norm": 0.0017064920393750072,
921
+ "learning_rate": 1.1737500000000002e-05,
922
+ "loss": 0.0092,
923
+ "step": 5950
924
+ },
925
+ {
926
+ "epoch": 10.416666666666666,
927
+ "grad_norm": 0.0034557634498924017,
928
+ "learning_rate": 1.1668055555555557e-05,
929
+ "loss": 0.0291,
930
+ "step": 6000
931
+ },
932
+ {
933
+ "epoch": 10.503472222222221,
934
+ "grad_norm": 0.005785680841654539,
935
+ "learning_rate": 1.1598611111111112e-05,
936
+ "loss": 0.0002,
937
+ "step": 6050
938
+ },
939
+ {
940
+ "epoch": 10.590277777777779,
941
+ "grad_norm": 0.005150977522134781,
942
+ "learning_rate": 1.1529166666666666e-05,
943
+ "loss": 0.0209,
944
+ "step": 6100
945
+ },
946
+ {
947
+ "epoch": 10.677083333333334,
948
+ "grad_norm": 0.0023805610835552216,
949
+ "learning_rate": 1.1459722222222223e-05,
950
+ "loss": 0.0133,
951
+ "step": 6150
952
+ },
953
+ {
954
+ "epoch": 10.76388888888889,
955
+ "grad_norm": 0.0017482911935076118,
956
+ "learning_rate": 1.1390277777777779e-05,
957
+ "loss": 0.0034,
958
+ "step": 6200
959
+ },
960
+ {
961
+ "epoch": 10.850694444444445,
962
+ "grad_norm": 0.16960591077804565,
963
+ "learning_rate": 1.1320833333333334e-05,
964
+ "loss": 0.0023,
965
+ "step": 6250
966
+ },
967
+ {
968
+ "epoch": 10.9375,
969
+ "grad_norm": 0.005295192822813988,
970
+ "learning_rate": 1.125138888888889e-05,
971
+ "loss": 0.0018,
972
+ "step": 6300
973
+ },
974
+ {
975
+ "epoch": 11.0,
976
+ "eval_loss": 0.09595341980457306,
977
+ "eval_runtime": 2.1636,
978
+ "eval_samples_per_second": 473.292,
979
+ "eval_steps_per_second": 29.581,
980
+ "step": 6336
981
+ },
982
+ {
983
+ "epoch": 11.024305555555555,
984
+ "grad_norm": 0.0025636740028858185,
985
+ "learning_rate": 1.1181944444444446e-05,
986
+ "loss": 0.0003,
987
+ "step": 6350
988
+ },
989
+ {
990
+ "epoch": 11.11111111111111,
991
+ "grad_norm": 0.001272220746614039,
992
+ "learning_rate": 1.1112500000000002e-05,
993
+ "loss": 0.0071,
994
+ "step": 6400
995
+ },
996
+ {
997
+ "epoch": 11.197916666666666,
998
+ "grad_norm": 0.00381342857144773,
999
+ "learning_rate": 1.1043055555555557e-05,
1000
+ "loss": 0.0146,
1001
+ "step": 6450
1002
+ },
1003
+ {
1004
+ "epoch": 11.284722222222221,
1005
+ "grad_norm": 0.001548461732454598,
1006
+ "learning_rate": 1.0973611111111112e-05,
1007
+ "loss": 0.012,
1008
+ "step": 6500
1009
+ },
1010
+ {
1011
+ "epoch": 11.371527777777779,
1012
+ "grad_norm": 0.0014353245496749878,
1013
+ "learning_rate": 1.0904166666666666e-05,
1014
+ "loss": 0.0001,
1015
+ "step": 6550
1016
+ },
1017
+ {
1018
+ "epoch": 11.458333333333334,
1019
+ "grad_norm": 0.0014444834087044,
1020
+ "learning_rate": 1.0834722222222223e-05,
1021
+ "loss": 0.02,
1022
+ "step": 6600
1023
+ },
1024
+ {
1025
+ "epoch": 11.54513888888889,
1026
+ "grad_norm": 0.002948822919279337,
1027
+ "learning_rate": 1.0765277777777779e-05,
1028
+ "loss": 0.0005,
1029
+ "step": 6650
1030
+ },
1031
+ {
1032
+ "epoch": 11.631944444444445,
1033
+ "grad_norm": 0.001776829012669623,
1034
+ "learning_rate": 1.0695833333333334e-05,
1035
+ "loss": 0.0138,
1036
+ "step": 6700
1037
+ },
1038
+ {
1039
+ "epoch": 11.71875,
1040
+ "grad_norm": 0.0016048089601099491,
1041
+ "learning_rate": 1.062638888888889e-05,
1042
+ "loss": 0.0229,
1043
+ "step": 6750
1044
+ },
1045
+ {
1046
+ "epoch": 11.805555555555555,
1047
+ "grad_norm": 0.0019577471539378166,
1048
+ "learning_rate": 1.0556944444444446e-05,
1049
+ "loss": 0.0318,
1050
+ "step": 6800
1051
+ },
1052
+ {
1053
+ "epoch": 11.89236111111111,
1054
+ "grad_norm": 0.02152959071099758,
1055
+ "learning_rate": 1.04875e-05,
1056
+ "loss": 0.0147,
1057
+ "step": 6850
1058
+ },
1059
+ {
1060
+ "epoch": 11.979166666666666,
1061
+ "grad_norm": 0.003166797338053584,
1062
+ "learning_rate": 1.0418055555555557e-05,
1063
+ "loss": 0.0002,
1064
+ "step": 6900
1065
+ },
1066
+ {
1067
+ "epoch": 12.0,
1068
+ "eval_loss": 0.0941697284579277,
1069
+ "eval_runtime": 2.1655,
1070
+ "eval_samples_per_second": 472.877,
1071
+ "eval_steps_per_second": 29.555,
1072
+ "step": 6912
1073
+ },
1074
+ {
1075
+ "epoch": 12.065972222222221,
1076
+ "grad_norm": 0.0014085551956668496,
1077
+ "learning_rate": 1.0348611111111112e-05,
1078
+ "loss": 0.0127,
1079
+ "step": 6950
1080
+ },
1081
+ {
1082
+ "epoch": 12.152777777777779,
1083
+ "grad_norm": 0.0020881230011582375,
1084
+ "learning_rate": 1.0279166666666666e-05,
1085
+ "loss": 0.0056,
1086
+ "step": 7000
1087
+ },
1088
+ {
1089
+ "epoch": 12.239583333333334,
1090
+ "grad_norm": 0.0022252153139561415,
1091
+ "learning_rate": 1.0209722222222223e-05,
1092
+ "loss": 0.0001,
1093
+ "step": 7050
1094
+ },
1095
+ {
1096
+ "epoch": 12.32638888888889,
1097
+ "grad_norm": 0.014756396412849426,
1098
+ "learning_rate": 1.0140277777777779e-05,
1099
+ "loss": 0.0021,
1100
+ "step": 7100
1101
+ },
1102
+ {
1103
+ "epoch": 12.413194444444445,
1104
+ "grad_norm": 0.0016215373761951923,
1105
+ "learning_rate": 1.0070833333333334e-05,
1106
+ "loss": 0.0017,
1107
+ "step": 7150
1108
+ },
1109
+ {
1110
+ "epoch": 12.5,
1111
+ "grad_norm": 8.211623191833496,
1112
+ "learning_rate": 1.000138888888889e-05,
1113
+ "loss": 0.0081,
1114
+ "step": 7200
1115
+ },
1116
+ {
1117
+ "epoch": 12.586805555555555,
1118
+ "grad_norm": 0.001198956393636763,
1119
+ "learning_rate": 9.931944444444446e-06,
1120
+ "loss": 0.0066,
1121
+ "step": 7250
1122
+ },
1123
+ {
1124
+ "epoch": 12.67361111111111,
1125
+ "grad_norm": 0.09066519886255264,
1126
+ "learning_rate": 9.862500000000001e-06,
1127
+ "loss": 0.0109,
1128
+ "step": 7300
1129
+ },
1130
+ {
1131
+ "epoch": 12.760416666666666,
1132
+ "grad_norm": 0.006189523730427027,
1133
+ "learning_rate": 9.793055555555555e-06,
1134
+ "loss": 0.0133,
1135
+ "step": 7350
1136
+ },
1137
+ {
1138
+ "epoch": 12.847222222222221,
1139
+ "grad_norm": 0.0009115805733017623,
1140
+ "learning_rate": 9.723611111111112e-06,
1141
+ "loss": 0.0002,
1142
+ "step": 7400
1143
+ },
1144
+ {
1145
+ "epoch": 12.934027777777779,
1146
+ "grad_norm": 0.001321441144682467,
1147
+ "learning_rate": 9.654166666666668e-06,
1148
+ "loss": 0.002,
1149
+ "step": 7450
1150
+ },
1151
+ {
1152
+ "epoch": 13.0,
1153
+ "eval_loss": 0.07037966698408127,
1154
+ "eval_runtime": 2.158,
1155
+ "eval_samples_per_second": 474.51,
1156
+ "eval_steps_per_second": 29.657,
1157
+ "step": 7488
1158
+ },
1159
+ {
1160
+ "epoch": 13.020833333333334,
1161
+ "grad_norm": 0.001222062623128295,
1162
+ "learning_rate": 9.584722222222223e-06,
1163
+ "loss": 0.0059,
1164
+ "step": 7500
1165
+ },
1166
+ {
1167
+ "epoch": 13.10763888888889,
1168
+ "grad_norm": 0.0009936870774254203,
1169
+ "learning_rate": 9.515277777777779e-06,
1170
+ "loss": 0.0147,
1171
+ "step": 7550
1172
+ },
1173
+ {
1174
+ "epoch": 13.194444444444445,
1175
+ "grad_norm": 0.0007664511213079095,
1176
+ "learning_rate": 9.445833333333334e-06,
1177
+ "loss": 0.0009,
1178
+ "step": 7600
1179
+ },
1180
+ {
1181
+ "epoch": 13.28125,
1182
+ "grad_norm": 0.0019496489549055696,
1183
+ "learning_rate": 9.37638888888889e-06,
1184
+ "loss": 0.0034,
1185
+ "step": 7650
1186
+ },
1187
+ {
1188
+ "epoch": 13.368055555555555,
1189
+ "grad_norm": 0.0010263716103509068,
1190
+ "learning_rate": 9.306944444444446e-06,
1191
+ "loss": 0.0157,
1192
+ "step": 7700
1193
+ },
1194
+ {
1195
+ "epoch": 13.45486111111111,
1196
+ "grad_norm": 0.0018417923711240292,
1197
+ "learning_rate": 9.237500000000001e-06,
1198
+ "loss": 0.0191,
1199
+ "step": 7750
1200
+ },
1201
+ {
1202
+ "epoch": 13.541666666666666,
1203
+ "grad_norm": 0.009017466567456722,
1204
+ "learning_rate": 9.168055555555556e-06,
1205
+ "loss": 0.0142,
1206
+ "step": 7800
1207
+ },
1208
+ {
1209
+ "epoch": 13.628472222222221,
1210
+ "grad_norm": 0.00774754025042057,
1211
+ "learning_rate": 9.098611111111112e-06,
1212
+ "loss": 0.0213,
1213
+ "step": 7850
1214
+ },
1215
+ {
1216
+ "epoch": 13.715277777777779,
1217
+ "grad_norm": 0.0038997160736471415,
1218
+ "learning_rate": 9.029166666666668e-06,
1219
+ "loss": 0.0006,
1220
+ "step": 7900
1221
+ },
1222
+ {
1223
+ "epoch": 13.802083333333334,
1224
+ "grad_norm": 0.001874367124401033,
1225
+ "learning_rate": 8.959722222222223e-06,
1226
+ "loss": 0.0135,
1227
+ "step": 7950
1228
+ },
1229
+ {
1230
+ "epoch": 13.88888888888889,
1231
+ "grad_norm": 0.0013082403456792235,
1232
+ "learning_rate": 8.890277777777777e-06,
1233
+ "loss": 0.005,
1234
+ "step": 8000
1235
+ },
1236
+ {
1237
+ "epoch": 13.975694444444445,
1238
+ "grad_norm": 0.005922501441091299,
1239
+ "learning_rate": 8.820833333333334e-06,
1240
+ "loss": 0.008,
1241
+ "step": 8050
1242
+ },
1243
+ {
1244
+ "epoch": 14.0,
1245
+ "eval_loss": 0.11005319654941559,
1246
+ "eval_runtime": 2.1582,
1247
+ "eval_samples_per_second": 474.459,
1248
+ "eval_steps_per_second": 29.654,
1249
+ "step": 8064
1250
+ },
1251
+ {
1252
+ "epoch": 14.0625,
1253
+ "grad_norm": 0.000921198632568121,
1254
+ "learning_rate": 8.75138888888889e-06,
1255
+ "loss": 0.0178,
1256
+ "step": 8100
1257
+ },
1258
+ {
1259
+ "epoch": 14.149305555555555,
1260
+ "grad_norm": 0.0010431046830490232,
1261
+ "learning_rate": 8.681944444444446e-06,
1262
+ "loss": 0.0002,
1263
+ "step": 8150
1264
+ },
1265
+ {
1266
+ "epoch": 14.23611111111111,
1267
+ "grad_norm": 0.0012669609859585762,
1268
+ "learning_rate": 8.612500000000001e-06,
1269
+ "loss": 0.0031,
1270
+ "step": 8200
1271
+ },
1272
+ {
1273
+ "epoch": 14.322916666666666,
1274
+ "grad_norm": 0.0029816783498972654,
1275
+ "learning_rate": 8.543055555555556e-06,
1276
+ "loss": 0.025,
1277
+ "step": 8250
1278
+ },
1279
+ {
1280
+ "epoch": 14.409722222222221,
1281
+ "grad_norm": 0.005197410471737385,
1282
+ "learning_rate": 8.473611111111112e-06,
1283
+ "loss": 0.0016,
1284
+ "step": 8300
1285
+ },
1286
+ {
1287
+ "epoch": 14.496527777777779,
1288
+ "grad_norm": 0.0018497951095923781,
1289
+ "learning_rate": 8.404166666666668e-06,
1290
+ "loss": 0.0002,
1291
+ "step": 8350
1292
+ },
1293
+ {
1294
+ "epoch": 14.583333333333334,
1295
+ "grad_norm": 0.0028671796899288893,
1296
+ "learning_rate": 8.334722222222223e-06,
1297
+ "loss": 0.0012,
1298
+ "step": 8400
1299
+ },
1300
+ {
1301
+ "epoch": 14.67013888888889,
1302
+ "grad_norm": 0.010854833759367466,
1303
+ "learning_rate": 8.265277777777777e-06,
1304
+ "loss": 0.0027,
1305
+ "step": 8450
1306
+ },
1307
+ {
1308
+ "epoch": 14.756944444444445,
1309
+ "grad_norm": 0.011619815602898598,
1310
+ "learning_rate": 8.195833333333334e-06,
1311
+ "loss": 0.0051,
1312
+ "step": 8500
1313
+ },
1314
+ {
1315
+ "epoch": 14.84375,
1316
+ "grad_norm": 0.004773242399096489,
1317
+ "learning_rate": 8.12638888888889e-06,
1318
+ "loss": 0.0203,
1319
+ "step": 8550
1320
+ },
1321
+ {
1322
+ "epoch": 14.930555555555555,
1323
+ "grad_norm": 0.0017284239875152707,
1324
+ "learning_rate": 8.056944444444446e-06,
1325
+ "loss": 0.0084,
1326
+ "step": 8600
1327
+ },
1328
+ {
1329
+ "epoch": 15.0,
1330
+ "eval_loss": 0.09546509385108948,
1331
+ "eval_runtime": 2.159,
1332
+ "eval_samples_per_second": 474.301,
1333
+ "eval_steps_per_second": 29.644,
1334
+ "step": 8640
1335
+ },
1336
+ {
1337
+ "epoch": 15.01736111111111,
1338
+ "grad_norm": 0.003186532063409686,
1339
+ "learning_rate": 7.987500000000001e-06,
1340
+ "loss": 0.0044,
1341
+ "step": 8650
1342
+ },
1343
+ {
1344
+ "epoch": 15.104166666666666,
1345
+ "grad_norm": 0.0046905651688575745,
1346
+ "learning_rate": 7.918055555555556e-06,
1347
+ "loss": 0.0003,
1348
+ "step": 8700
1349
+ },
1350
+ {
1351
+ "epoch": 15.190972222222221,
1352
+ "grad_norm": 0.001585672376677394,
1353
+ "learning_rate": 7.848611111111112e-06,
1354
+ "loss": 0.0014,
1355
+ "step": 8750
1356
+ },
1357
+ {
1358
+ "epoch": 15.277777777777779,
1359
+ "grad_norm": 0.001381274894811213,
1360
+ "learning_rate": 7.779166666666668e-06,
1361
+ "loss": 0.0002,
1362
+ "step": 8800
1363
+ },
1364
+ {
1365
+ "epoch": 15.364583333333334,
1366
+ "grad_norm": 0.0018836313392966986,
1367
+ "learning_rate": 7.709722222222223e-06,
1368
+ "loss": 0.0002,
1369
+ "step": 8850
1370
+ },
1371
+ {
1372
+ "epoch": 15.45138888888889,
1373
+ "grad_norm": 0.0009360660915262997,
1374
+ "learning_rate": 7.640277777777778e-06,
1375
+ "loss": 0.0009,
1376
+ "step": 8900
1377
+ },
1378
+ {
1379
+ "epoch": 15.538194444444445,
1380
+ "grad_norm": 0.0008543449803255498,
1381
+ "learning_rate": 7.570833333333334e-06,
1382
+ "loss": 0.0001,
1383
+ "step": 8950
1384
+ },
1385
+ {
1386
+ "epoch": 15.625,
1387
+ "grad_norm": 0.38564541935920715,
1388
+ "learning_rate": 7.501388888888889e-06,
1389
+ "loss": 0.0148,
1390
+ "step": 9000
1391
+ },
1392
+ {
1393
+ "epoch": 15.711805555555555,
1394
+ "grad_norm": 0.0016453195130452514,
1395
+ "learning_rate": 7.431944444444446e-06,
1396
+ "loss": 0.0103,
1397
+ "step": 9050
1398
+ },
1399
+ {
1400
+ "epoch": 15.79861111111111,
1401
+ "grad_norm": 0.001604390563443303,
1402
+ "learning_rate": 7.3625e-06,
1403
+ "loss": 0.0039,
1404
+ "step": 9100
1405
+ },
1406
+ {
1407
+ "epoch": 15.885416666666666,
1408
+ "grad_norm": 0.0020437692292034626,
1409
+ "learning_rate": 7.293055555555556e-06,
1410
+ "loss": 0.0001,
1411
+ "step": 9150
1412
+ },
1413
+ {
1414
+ "epoch": 15.972222222222221,
1415
+ "grad_norm": 0.004224094562232494,
1416
+ "learning_rate": 7.223611111111112e-06,
1417
+ "loss": 0.0024,
1418
+ "step": 9200
1419
+ },
1420
+ {
1421
+ "epoch": 16.0,
1422
+ "eval_loss": 0.057210568338632584,
1423
+ "eval_runtime": 2.1916,
1424
+ "eval_samples_per_second": 467.23,
1425
+ "eval_steps_per_second": 29.202,
1426
+ "step": 9216
1427
+ },
1428
+ {
1429
+ "epoch": 16.05902777777778,
1430
+ "grad_norm": 0.008274748921394348,
1431
+ "learning_rate": 7.1541666666666675e-06,
1432
+ "loss": 0.0002,
1433
+ "step": 9250
1434
+ },
1435
+ {
1436
+ "epoch": 16.145833333333332,
1437
+ "grad_norm": 0.0013211554614827037,
1438
+ "learning_rate": 7.084722222222222e-06,
1439
+ "loss": 0.0051,
1440
+ "step": 9300
1441
+ },
1442
+ {
1443
+ "epoch": 16.23263888888889,
1444
+ "grad_norm": 0.0025199875235557556,
1445
+ "learning_rate": 7.015277777777778e-06,
1446
+ "loss": 0.0001,
1447
+ "step": 9350
1448
+ },
1449
+ {
1450
+ "epoch": 16.319444444444443,
1451
+ "grad_norm": 0.00225885515101254,
1452
+ "learning_rate": 6.945833333333334e-06,
1453
+ "loss": 0.0144,
1454
+ "step": 9400
1455
+ },
1456
+ {
1457
+ "epoch": 16.40625,
1458
+ "grad_norm": 8.875648498535156,
1459
+ "learning_rate": 6.876388888888889e-06,
1460
+ "loss": 0.0097,
1461
+ "step": 9450
1462
+ },
1463
+ {
1464
+ "epoch": 16.493055555555557,
1465
+ "grad_norm": 0.0012961571337655187,
1466
+ "learning_rate": 6.806944444444446e-06,
1467
+ "loss": 0.0008,
1468
+ "step": 9500
1469
+ },
1470
+ {
1471
+ "epoch": 16.57986111111111,
1472
+ "grad_norm": 0.0071833692491054535,
1473
+ "learning_rate": 6.7375e-06,
1474
+ "loss": 0.0107,
1475
+ "step": 9550
1476
+ },
1477
+ {
1478
+ "epoch": 16.666666666666668,
1479
+ "grad_norm": 0.0016137856291607022,
1480
+ "learning_rate": 6.668055555555556e-06,
1481
+ "loss": 0.011,
1482
+ "step": 9600
1483
+ },
1484
+ {
1485
+ "epoch": 16.75347222222222,
1486
+ "grad_norm": 0.002170548541471362,
1487
+ "learning_rate": 6.598611111111112e-06,
1488
+ "loss": 0.0002,
1489
+ "step": 9650
1490
+ },
1491
+ {
1492
+ "epoch": 16.84027777777778,
1493
+ "grad_norm": 0.15523186326026917,
1494
+ "learning_rate": 6.5291666666666675e-06,
1495
+ "loss": 0.0001,
1496
+ "step": 9700
1497
+ },
1498
+ {
1499
+ "epoch": 16.927083333333332,
1500
+ "grad_norm": 0.0006897877901792526,
1501
+ "learning_rate": 6.459722222222222e-06,
1502
+ "loss": 0.0,
1503
+ "step": 9750
1504
+ },
1505
+ {
1506
+ "epoch": 17.0,
1507
+ "eval_loss": 0.07502129673957825,
1508
+ "eval_runtime": 2.1485,
1509
+ "eval_samples_per_second": 476.611,
1510
+ "eval_steps_per_second": 29.788,
1511
+ "step": 9792
1512
+ },
1513
+ {
1514
+ "epoch": 17.01388888888889,
1515
+ "grad_norm": 0.007862378843128681,
1516
+ "learning_rate": 6.390277777777778e-06,
1517
+ "loss": 0.0072,
1518
+ "step": 9800
1519
+ },
1520
+ {
1521
+ "epoch": 17.100694444444443,
1522
+ "grad_norm": 0.0048260875046253204,
1523
+ "learning_rate": 6.320833333333334e-06,
1524
+ "loss": 0.0001,
1525
+ "step": 9850
1526
+ },
1527
+ {
1528
+ "epoch": 17.1875,
1529
+ "grad_norm": 0.001168318442068994,
1530
+ "learning_rate": 6.251388888888889e-06,
1531
+ "loss": 0.0001,
1532
+ "step": 9900
1533
+ },
1534
+ {
1535
+ "epoch": 17.274305555555557,
1536
+ "grad_norm": 0.0010404903441667557,
1537
+ "learning_rate": 6.181944444444446e-06,
1538
+ "loss": 0.0,
1539
+ "step": 9950
1540
+ },
1541
+ {
1542
+ "epoch": 17.36111111111111,
1543
+ "grad_norm": 0.0008959461702033877,
1544
+ "learning_rate": 6.1125e-06,
1545
+ "loss": 0.0,
1546
+ "step": 10000
1547
+ },
1548
+ {
1549
+ "epoch": 17.447916666666668,
1550
+ "grad_norm": 0.0006551714614033699,
1551
+ "learning_rate": 6.043055555555556e-06,
1552
+ "loss": 0.0083,
1553
+ "step": 10050
1554
+ },
1555
+ {
1556
+ "epoch": 17.53472222222222,
1557
+ "grad_norm": 0.004672654904425144,
1558
+ "learning_rate": 5.973611111111111e-06,
1559
+ "loss": 0.0053,
1560
+ "step": 10100
1561
+ },
1562
+ {
1563
+ "epoch": 17.62152777777778,
1564
+ "grad_norm": 0.012874463573098183,
1565
+ "learning_rate": 5.904166666666668e-06,
1566
+ "loss": 0.0024,
1567
+ "step": 10150
1568
+ },
1569
+ {
1570
+ "epoch": 17.708333333333332,
1571
+ "grad_norm": 0.0007252011564560235,
1572
+ "learning_rate": 5.834722222222222e-06,
1573
+ "loss": 0.0081,
1574
+ "step": 10200
1575
+ },
1576
+ {
1577
+ "epoch": 17.79513888888889,
1578
+ "grad_norm": 0.003966485150158405,
1579
+ "learning_rate": 5.765277777777778e-06,
1580
+ "loss": 0.0001,
1581
+ "step": 10250
1582
+ },
1583
+ {
1584
+ "epoch": 17.881944444444443,
1585
+ "grad_norm": 0.004643677733838558,
1586
+ "learning_rate": 5.695833333333334e-06,
1587
+ "loss": 0.0016,
1588
+ "step": 10300
1589
+ },
1590
+ {
1591
+ "epoch": 17.96875,
1592
+ "grad_norm": 0.0022119064815342426,
1593
+ "learning_rate": 5.6263888888888895e-06,
1594
+ "loss": 0.0,
1595
+ "step": 10350
1596
+ },
1597
+ {
1598
+ "epoch": 18.0,
1599
+ "eval_loss": 0.081531822681427,
1600
+ "eval_runtime": 2.1481,
1601
+ "eval_samples_per_second": 476.707,
1602
+ "eval_steps_per_second": 29.794,
1603
+ "step": 10368
1604
+ },
1605
+ {
1606
+ "epoch": 18.055555555555557,
1607
+ "grad_norm": 0.0007135890191420913,
1608
+ "learning_rate": 5.556944444444446e-06,
1609
+ "loss": 0.0008,
1610
+ "step": 10400
1611
+ },
1612
+ {
1613
+ "epoch": 18.14236111111111,
1614
+ "grad_norm": 0.0011914368951693177,
1615
+ "learning_rate": 5.4875e-06,
1616
+ "loss": 0.0029,
1617
+ "step": 10450
1618
+ },
1619
+ {
1620
+ "epoch": 18.229166666666668,
1621
+ "grad_norm": 0.000494650739710778,
1622
+ "learning_rate": 5.418055555555556e-06,
1623
+ "loss": 0.0,
1624
+ "step": 10500
1625
+ },
1626
+ {
1627
+ "epoch": 18.31597222222222,
1628
+ "grad_norm": 0.0006326820584945381,
1629
+ "learning_rate": 5.348611111111111e-06,
1630
+ "loss": 0.0005,
1631
+ "step": 10550
1632
+ },
1633
+ {
1634
+ "epoch": 18.40277777777778,
1635
+ "grad_norm": 0.0005152356461621821,
1636
+ "learning_rate": 5.279166666666668e-06,
1637
+ "loss": 0.0,
1638
+ "step": 10600
1639
+ },
1640
+ {
1641
+ "epoch": 18.489583333333332,
1642
+ "grad_norm": 0.001848602551035583,
1643
+ "learning_rate": 5.209722222222222e-06,
1644
+ "loss": 0.0001,
1645
+ "step": 10650
1646
+ },
1647
+ {
1648
+ "epoch": 18.57638888888889,
1649
+ "grad_norm": 0.00047650947817601264,
1650
+ "learning_rate": 5.140277777777778e-06,
1651
+ "loss": 0.014,
1652
+ "step": 10700
1653
+ },
1654
+ {
1655
+ "epoch": 18.663194444444443,
1656
+ "grad_norm": 0.0004927313420921564,
1657
+ "learning_rate": 5.070833333333334e-06,
1658
+ "loss": 0.0101,
1659
+ "step": 10750
1660
+ },
1661
+ {
1662
+ "epoch": 18.75,
1663
+ "grad_norm": 0.0006253819447010756,
1664
+ "learning_rate": 5.0013888888888895e-06,
1665
+ "loss": 0.0,
1666
+ "step": 10800
1667
+ },
1668
+ {
1669
+ "epoch": 18.836805555555557,
1670
+ "grad_norm": 0.0005877416697330773,
1671
+ "learning_rate": 4.931944444444445e-06,
1672
+ "loss": 0.0,
1673
+ "step": 10850
1674
+ },
1675
+ {
1676
+ "epoch": 18.92361111111111,
1677
+ "grad_norm": 0.000749260769225657,
1678
+ "learning_rate": 4.8625000000000005e-06,
1679
+ "loss": 0.0034,
1680
+ "step": 10900
1681
+ },
1682
+ {
1683
+ "epoch": 19.0,
1684
+ "eval_loss": 0.08709079027175903,
1685
+ "eval_runtime": 2.1461,
1686
+ "eval_samples_per_second": 477.135,
1687
+ "eval_steps_per_second": 29.821,
1688
+ "step": 10944
1689
+ },
1690
+ {
1691
+ "epoch": 19.010416666666668,
1692
+ "grad_norm": 0.0033058973494917154,
1693
+ "learning_rate": 4.793055555555556e-06,
1694
+ "loss": 0.0028,
1695
+ "step": 10950
1696
+ },
1697
+ {
1698
+ "epoch": 19.09722222222222,
1699
+ "grad_norm": 0.0005344200180843472,
1700
+ "learning_rate": 4.723611111111111e-06,
1701
+ "loss": 0.0012,
1702
+ "step": 11000
1703
+ },
1704
+ {
1705
+ "epoch": 19.18402777777778,
1706
+ "grad_norm": 0.0011495526414364576,
1707
+ "learning_rate": 4.654166666666667e-06,
1708
+ "loss": 0.0,
1709
+ "step": 11050
1710
+ },
1711
+ {
1712
+ "epoch": 19.270833333333332,
1713
+ "grad_norm": 0.0007638471433892846,
1714
+ "learning_rate": 4.584722222222222e-06,
1715
+ "loss": 0.0008,
1716
+ "step": 11100
1717
+ },
1718
+ {
1719
+ "epoch": 19.35763888888889,
1720
+ "grad_norm": 0.0016245943261310458,
1721
+ "learning_rate": 4.515277777777778e-06,
1722
+ "loss": 0.0,
1723
+ "step": 11150
1724
+ },
1725
+ {
1726
+ "epoch": 19.444444444444443,
1727
+ "grad_norm": 0.001350992708466947,
1728
+ "learning_rate": 4.445833333333333e-06,
1729
+ "loss": 0.0006,
1730
+ "step": 11200
1731
+ },
1732
+ {
1733
+ "epoch": 19.53125,
1734
+ "grad_norm": 0.0007238370017148554,
1735
+ "learning_rate": 4.3763888888888896e-06,
1736
+ "loss": 0.0,
1737
+ "step": 11250
1738
+ },
1739
+ {
1740
+ "epoch": 19.618055555555557,
1741
+ "grad_norm": 0.0009173430735245347,
1742
+ "learning_rate": 4.306944444444445e-06,
1743
+ "loss": 0.005,
1744
+ "step": 11300
1745
+ },
1746
+ {
1747
+ "epoch": 19.70486111111111,
1748
+ "grad_norm": 0.002093716524541378,
1749
+ "learning_rate": 4.2375000000000005e-06,
1750
+ "loss": 0.0,
1751
+ "step": 11350
1752
+ },
1753
+ {
1754
+ "epoch": 19.791666666666668,
1755
+ "grad_norm": 0.0008814275497570634,
1756
+ "learning_rate": 4.168055555555556e-06,
1757
+ "loss": 0.0004,
1758
+ "step": 11400
1759
+ },
1760
+ {
1761
+ "epoch": 19.87847222222222,
1762
+ "grad_norm": 0.000544120033737272,
1763
+ "learning_rate": 4.0986111111111114e-06,
1764
+ "loss": 0.0001,
1765
+ "step": 11450
1766
+ },
1767
+ {
1768
+ "epoch": 19.96527777777778,
1769
+ "grad_norm": 0.0006753376801498234,
1770
+ "learning_rate": 4.029166666666667e-06,
1771
+ "loss": 0.0078,
1772
+ "step": 11500
1773
+ },
1774
+ {
1775
+ "epoch": 20.0,
1776
+ "eval_loss": 0.13657595217227936,
1777
+ "eval_runtime": 2.1501,
1778
+ "eval_samples_per_second": 476.265,
1779
+ "eval_steps_per_second": 29.767,
1780
+ "step": 11520
1781
+ },
1782
+ {
1783
+ "epoch": 20.052083333333332,
1784
+ "grad_norm": 0.000810706231277436,
1785
+ "learning_rate": 3.959722222222222e-06,
1786
+ "loss": 0.0,
1787
+ "step": 11550
1788
+ },
1789
+ {
1790
+ "epoch": 20.13888888888889,
1791
+ "grad_norm": 0.0008722566999495029,
1792
+ "learning_rate": 3.890277777777778e-06,
1793
+ "loss": 0.002,
1794
+ "step": 11600
1795
+ },
1796
+ {
1797
+ "epoch": 20.225694444444443,
1798
+ "grad_norm": 0.0010332430247217417,
1799
+ "learning_rate": 3.820833333333333e-06,
1800
+ "loss": 0.0,
1801
+ "step": 11650
1802
+ },
1803
+ {
1804
+ "epoch": 20.3125,
1805
+ "grad_norm": 0.0003171579446643591,
1806
+ "learning_rate": 3.751388888888889e-06,
1807
+ "loss": 0.0001,
1808
+ "step": 11700
1809
+ },
1810
+ {
1811
+ "epoch": 20.399305555555557,
1812
+ "grad_norm": 0.0003055994166061282,
1813
+ "learning_rate": 3.6819444444444447e-06,
1814
+ "loss": 0.0,
1815
+ "step": 11750
1816
+ },
1817
+ {
1818
+ "epoch": 20.48611111111111,
1819
+ "grad_norm": 0.0005060540861450136,
1820
+ "learning_rate": 3.6125000000000006e-06,
1821
+ "loss": 0.0,
1822
+ "step": 11800
1823
+ },
1824
+ {
1825
+ "epoch": 20.572916666666668,
1826
+ "grad_norm": 0.0005677157896570861,
1827
+ "learning_rate": 3.5430555555555556e-06,
1828
+ "loss": 0.0,
1829
+ "step": 11850
1830
+ },
1831
+ {
1832
+ "epoch": 20.65972222222222,
1833
+ "grad_norm": 0.000569184310734272,
1834
+ "learning_rate": 3.4736111111111115e-06,
1835
+ "loss": 0.0011,
1836
+ "step": 11900
1837
+ },
1838
+ {
1839
+ "epoch": 20.74652777777778,
1840
+ "grad_norm": 0.0008372145821340382,
1841
+ "learning_rate": 3.4041666666666665e-06,
1842
+ "loss": 0.0,
1843
+ "step": 11950
1844
+ },
1845
+ {
1846
+ "epoch": 20.833333333333332,
1847
+ "grad_norm": 0.0009117226582020521,
1848
+ "learning_rate": 3.3347222222222224e-06,
1849
+ "loss": 0.0027,
1850
+ "step": 12000
1851
+ },
1852
+ {
1853
+ "epoch": 20.92013888888889,
1854
+ "grad_norm": 0.0006149787222966552,
1855
+ "learning_rate": 3.265277777777778e-06,
1856
+ "loss": 0.0009,
1857
+ "step": 12050
1858
+ },
1859
+ {
1860
+ "epoch": 21.0,
1861
+ "eval_loss": 0.07403512299060822,
1862
+ "eval_runtime": 2.1707,
1863
+ "eval_samples_per_second": 471.738,
1864
+ "eval_steps_per_second": 29.484,
1865
+ "step": 12096
1866
+ },
1867
+ {
1868
+ "epoch": 21.006944444444443,
1869
+ "grad_norm": 0.0009870927315205336,
1870
+ "learning_rate": 3.1958333333333334e-06,
1871
+ "loss": 0.0133,
1872
+ "step": 12100
1873
+ },
1874
+ {
1875
+ "epoch": 21.09375,
1876
+ "grad_norm": 0.008030719123780727,
1877
+ "learning_rate": 3.1263888888888893e-06,
1878
+ "loss": 0.0,
1879
+ "step": 12150
1880
+ },
1881
+ {
1882
+ "epoch": 21.180555555555557,
1883
+ "grad_norm": 0.0010351603850722313,
1884
+ "learning_rate": 3.0569444444444447e-06,
1885
+ "loss": 0.0025,
1886
+ "step": 12200
1887
+ },
1888
+ {
1889
+ "epoch": 21.26736111111111,
1890
+ "grad_norm": 0.004166141152381897,
1891
+ "learning_rate": 2.9875e-06,
1892
+ "loss": 0.0023,
1893
+ "step": 12250
1894
+ },
1895
+ {
1896
+ "epoch": 21.354166666666668,
1897
+ "grad_norm": 0.0021667364053428173,
1898
+ "learning_rate": 2.9180555555555557e-06,
1899
+ "loss": 0.005,
1900
+ "step": 12300
1901
+ },
1902
+ {
1903
+ "epoch": 21.44097222222222,
1904
+ "grad_norm": 0.005213022232055664,
1905
+ "learning_rate": 2.8486111111111116e-06,
1906
+ "loss": 0.0001,
1907
+ "step": 12350
1908
+ },
1909
+ {
1910
+ "epoch": 21.52777777777778,
1911
+ "grad_norm": 0.0016998907085508108,
1912
+ "learning_rate": 2.7791666666666666e-06,
1913
+ "loss": 0.0,
1914
+ "step": 12400
1915
+ },
1916
+ {
1917
+ "epoch": 21.614583333333332,
1918
+ "grad_norm": 0.0011233899276703596,
1919
+ "learning_rate": 2.7097222222222225e-06,
1920
+ "loss": 0.0013,
1921
+ "step": 12450
1922
+ },
1923
+ {
1924
+ "epoch": 21.70138888888889,
1925
+ "grad_norm": 0.00541352853178978,
1926
+ "learning_rate": 2.6402777777777775e-06,
1927
+ "loss": 0.0,
1928
+ "step": 12500
1929
+ },
1930
+ {
1931
+ "epoch": 21.788194444444443,
1932
+ "grad_norm": 0.0006274741608649492,
1933
+ "learning_rate": 2.5708333333333334e-06,
1934
+ "loss": 0.0007,
1935
+ "step": 12550
1936
+ },
1937
+ {
1938
+ "epoch": 21.875,
1939
+ "grad_norm": 0.000486269302200526,
1940
+ "learning_rate": 2.5013888888888893e-06,
1941
+ "loss": 0.0,
1942
+ "step": 12600
1943
+ },
1944
+ {
1945
+ "epoch": 21.961805555555557,
1946
+ "grad_norm": 0.000523523660376668,
1947
+ "learning_rate": 2.4319444444444444e-06,
1948
+ "loss": 0.0005,
1949
+ "step": 12650
1950
+ },
1951
+ {
1952
+ "epoch": 22.0,
1953
+ "eval_loss": 0.09000910818576813,
1954
+ "eval_runtime": 2.1668,
1955
+ "eval_samples_per_second": 472.584,
1956
+ "eval_steps_per_second": 29.537,
1957
+ "step": 12672
1958
+ },
1959
+ {
1960
+ "epoch": 22.04861111111111,
1961
+ "grad_norm": 0.0002973914088215679,
1962
+ "learning_rate": 2.3625000000000003e-06,
1963
+ "loss": 0.0,
1964
+ "step": 12700
1965
+ },
1966
+ {
1967
+ "epoch": 22.135416666666668,
1968
+ "grad_norm": 0.00037905474891886115,
1969
+ "learning_rate": 2.2930555555555557e-06,
1970
+ "loss": 0.0003,
1971
+ "step": 12750
1972
+ },
1973
+ {
1974
+ "epoch": 22.22222222222222,
1975
+ "grad_norm": 0.0003634969179984182,
1976
+ "learning_rate": 2.223611111111111e-06,
1977
+ "loss": 0.0,
1978
+ "step": 12800
1979
+ },
1980
+ {
1981
+ "epoch": 22.30902777777778,
1982
+ "grad_norm": 0.0003171905700583011,
1983
+ "learning_rate": 2.154166666666667e-06,
1984
+ "loss": 0.0,
1985
+ "step": 12850
1986
+ },
1987
+ {
1988
+ "epoch": 22.395833333333332,
1989
+ "grad_norm": 0.0005504607688635588,
1990
+ "learning_rate": 2.0847222222222225e-06,
1991
+ "loss": 0.0037,
1992
+ "step": 12900
1993
+ },
1994
+ {
1995
+ "epoch": 22.48263888888889,
1996
+ "grad_norm": 0.001255808281712234,
1997
+ "learning_rate": 2.015277777777778e-06,
1998
+ "loss": 0.0025,
1999
+ "step": 12950
2000
+ },
2001
+ {
2002
+ "epoch": 22.569444444444443,
2003
+ "grad_norm": 0.0004096803313586861,
2004
+ "learning_rate": 1.9458333333333335e-06,
2005
+ "loss": 0.0021,
2006
+ "step": 13000
2007
+ },
2008
+ {
2009
+ "epoch": 22.65625,
2010
+ "grad_norm": 0.001167616923339665,
2011
+ "learning_rate": 1.876388888888889e-06,
2012
+ "loss": 0.0,
2013
+ "step": 13050
2014
+ },
2015
+ {
2016
+ "epoch": 22.743055555555557,
2017
+ "grad_norm": 0.0003252147580496967,
2018
+ "learning_rate": 1.8069444444444444e-06,
2019
+ "loss": 0.0006,
2020
+ "step": 13100
2021
+ },
2022
+ {
2023
+ "epoch": 22.82986111111111,
2024
+ "grad_norm": 0.0006310039316304028,
2025
+ "learning_rate": 1.7375e-06,
2026
+ "loss": 0.0001,
2027
+ "step": 13150
2028
+ },
2029
+ {
2030
+ "epoch": 22.916666666666668,
2031
+ "grad_norm": 0.00035475249751470983,
2032
+ "learning_rate": 1.6680555555555558e-06,
2033
+ "loss": 0.0026,
2034
+ "step": 13200
2035
+ },
2036
+ {
2037
+ "epoch": 23.0,
2038
+ "eval_loss": 0.0978098213672638,
2039
+ "eval_runtime": 2.1724,
2040
+ "eval_samples_per_second": 471.367,
2041
+ "eval_steps_per_second": 29.46,
2042
+ "step": 13248
2043
+ },
2044
+ {
2045
+ "epoch": 23.00347222222222,
2046
+ "grad_norm": 0.0005200915038585663,
2047
+ "learning_rate": 1.5986111111111112e-06,
2048
+ "loss": 0.0,
2049
+ "step": 13250
2050
+ },
2051
+ {
2052
+ "epoch": 23.09027777777778,
2053
+ "grad_norm": 0.622466504573822,
2054
+ "learning_rate": 1.529166666666667e-06,
2055
+ "loss": 0.0003,
2056
+ "step": 13300
2057
+ },
2058
+ {
2059
+ "epoch": 23.177083333333332,
2060
+ "grad_norm": 0.0003293896734248847,
2061
+ "learning_rate": 1.4597222222222224e-06,
2062
+ "loss": 0.0024,
2063
+ "step": 13350
2064
+ },
2065
+ {
2066
+ "epoch": 23.26388888888889,
2067
+ "grad_norm": 0.00028986833058297634,
2068
+ "learning_rate": 1.3902777777777779e-06,
2069
+ "loss": 0.0,
2070
+ "step": 13400
2071
+ },
2072
+ {
2073
+ "epoch": 23.350694444444443,
2074
+ "grad_norm": 0.00039684175862930715,
2075
+ "learning_rate": 1.3208333333333333e-06,
2076
+ "loss": 0.0004,
2077
+ "step": 13450
2078
+ },
2079
+ {
2080
+ "epoch": 23.4375,
2081
+ "grad_norm": 0.0009431451908312738,
2082
+ "learning_rate": 1.251388888888889e-06,
2083
+ "loss": 0.0,
2084
+ "step": 13500
2085
+ },
2086
+ {
2087
+ "epoch": 23.524305555555557,
2088
+ "grad_norm": 0.0009446613257750869,
2089
+ "learning_rate": 1.1819444444444447e-06,
2090
+ "loss": 0.0,
2091
+ "step": 13550
2092
+ },
2093
+ {
2094
+ "epoch": 23.61111111111111,
2095
+ "grad_norm": 0.000527396856341511,
2096
+ "learning_rate": 1.1125000000000001e-06,
2097
+ "loss": 0.0,
2098
+ "step": 13600
2099
+ },
2100
+ {
2101
+ "epoch": 23.697916666666668,
2102
+ "grad_norm": 0.0008534564403817058,
2103
+ "learning_rate": 1.0430555555555556e-06,
2104
+ "loss": 0.0,
2105
+ "step": 13650
2106
+ },
2107
+ {
2108
+ "epoch": 23.78472222222222,
2109
+ "grad_norm": 0.000303189066471532,
2110
+ "learning_rate": 9.73611111111111e-07,
2111
+ "loss": 0.0,
2112
+ "step": 13700
2113
+ },
2114
+ {
2115
+ "epoch": 23.87152777777778,
2116
+ "grad_norm": 0.0006793912034481764,
2117
+ "learning_rate": 9.041666666666668e-07,
2118
+ "loss": 0.0069,
2119
+ "step": 13750
2120
+ },
2121
+ {
2122
+ "epoch": 23.958333333333332,
2123
+ "grad_norm": 0.00035732006654143333,
2124
+ "learning_rate": 8.347222222222223e-07,
2125
+ "loss": 0.0,
2126
+ "step": 13800
2127
+ },
2128
+ {
2129
+ "epoch": 24.0,
2130
+ "eval_loss": 0.09862537682056427,
2131
+ "eval_runtime": 2.1709,
2132
+ "eval_samples_per_second": 471.693,
2133
+ "eval_steps_per_second": 29.481,
2134
+ "step": 13824
2135
+ },
2136
+ {
2137
+ "epoch": 24.04513888888889,
2138
+ "grad_norm": 0.000883078551851213,
2139
+ "learning_rate": 7.652777777777778e-07,
2140
+ "loss": 0.0,
2141
+ "step": 13850
2142
+ },
2143
+ {
2144
+ "epoch": 24.131944444444443,
2145
+ "grad_norm": 0.00040300763794220984,
2146
+ "learning_rate": 6.958333333333334e-07,
2147
+ "loss": 0.0005,
2148
+ "step": 13900
2149
+ },
2150
+ {
2151
+ "epoch": 24.21875,
2152
+ "grad_norm": 0.001412940793670714,
2153
+ "learning_rate": 6.263888888888888e-07,
2154
+ "loss": 0.0017,
2155
+ "step": 13950
2156
+ },
2157
+ {
2158
+ "epoch": 24.305555555555557,
2159
+ "grad_norm": 0.000599319173488766,
2160
+ "learning_rate": 5.569444444444444e-07,
2161
+ "loss": 0.0,
2162
+ "step": 14000
2163
+ },
2164
+ {
2165
+ "epoch": 24.39236111111111,
2166
+ "grad_norm": 0.0007638942333869636,
2167
+ "learning_rate": 4.875000000000001e-07,
2168
+ "loss": 0.0,
2169
+ "step": 14050
2170
+ },
2171
+ {
2172
+ "epoch": 24.479166666666668,
2173
+ "grad_norm": 0.00034263054840266705,
2174
+ "learning_rate": 4.1805555555555556e-07,
2175
+ "loss": 0.0009,
2176
+ "step": 14100
2177
+ },
2178
+ {
2179
+ "epoch": 24.56597222222222,
2180
+ "grad_norm": 0.0004652358475141227,
2181
+ "learning_rate": 3.4861111111111114e-07,
2182
+ "loss": 0.0015,
2183
+ "step": 14150
2184
+ },
2185
+ {
2186
+ "epoch": 24.65277777777778,
2187
+ "grad_norm": 0.00027831687475554645,
2188
+ "learning_rate": 2.7916666666666666e-07,
2189
+ "loss": 0.0,
2190
+ "step": 14200
2191
+ },
2192
+ {
2193
+ "epoch": 24.739583333333332,
2194
+ "grad_norm": 0.0002827314310707152,
2195
+ "learning_rate": 2.0972222222222223e-07,
2196
+ "loss": 0.0015,
2197
+ "step": 14250
2198
+ },
2199
+ {
2200
+ "epoch": 24.82638888888889,
2201
+ "grad_norm": 0.00031116604804992676,
2202
+ "learning_rate": 1.4027777777777778e-07,
2203
+ "loss": 0.0,
2204
+ "step": 14300
2205
+ },
2206
+ {
2207
+ "epoch": 24.913194444444443,
2208
+ "grad_norm": 0.00027885418967343867,
2209
+ "learning_rate": 7.083333333333334e-08,
2210
+ "loss": 0.0018,
2211
+ "step": 14350
2212
+ },
2213
+ {
2214
+ "epoch": 25.0,
2215
+ "grad_norm": 0.0005058420938439667,
2216
+ "learning_rate": 1.388888888888889e-09,
2217
+ "loss": 0.0005,
2218
+ "step": 14400
2219
+ },
2220
+ {
2221
+ "epoch": 25.0,
2222
+ "eval_loss": 0.09845860302448273,
2223
+ "eval_runtime": 2.17,
2224
+ "eval_samples_per_second": 471.882,
2225
+ "eval_steps_per_second": 29.493,
2226
+ "step": 14400
2227
+ }
2228
+ ],
2229
+ "logging_steps": 50,
2230
+ "max_steps": 14400,
2231
+ "num_input_tokens_seen": 0,
2232
+ "num_train_epochs": 25,
2233
+ "save_steps": 500,
2234
+ "stateful_callbacks": {
2235
+ "TrainerControl": {
2236
+ "args": {
2237
+ "should_epoch_stop": false,
2238
+ "should_evaluate": false,
2239
+ "should_log": false,
2240
+ "should_save": true,
2241
+ "should_training_stop": true
2242
+ },
2243
+ "attributes": {}
2244
+ }
2245
+ },
2246
+ "total_flos": 1377061586400000.0,
2247
+ "train_batch_size": 16,
2248
+ "trial_name": null,
2249
+ "trial_params": null
2250
+ }
training_args.bin ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:baa56bfd358c76bf1a059c72b384e27f54f1a9ce98cb0d06dfec03d4a3cfa18b
3
+ size 5649