Hugging Face's logo

KaiNylund
/
chart-classifier-tiny

Image Classification
Transformers
Safetensors
efficientnet
Model card Files
xet
Community
KaiNylund commited on
Commit
1b3fe47
·
verified ·
1 Parent(s): 3acb393

Upload 6 files

Browse files
Files changed (6) hide show
  1. all_results.json +12 -0
  2. config.json +119 -0
  3. model.safetensors +3 -0
  4. preprocessor_config.json +29 -0
  5. trainer_state.json +3974 -0
  6. training_args.bin +3 -0
all_results.json ADDED
@@ -0,0 +1,12 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "epoch": 3.0,
3
+ "eval_accuracy": 0.9019792648444863,
4
+ "eval_loss": 0.3036472499370575,
5
+ "eval_runtime": 29.3069,
6
+ "eval_samples_per_second": 144.812,
7
+ "eval_steps_per_second": 18.119,
8
+ "train_loss": 0.3105421944733176,
9
+ "train_runtime": 865.4804,
10
+ "train_samples_per_second": 102.973,
11
+ "train_steps_per_second": 6.437
12
+ }
config.json ADDED
@@ -0,0 +1,119 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "_name_or_path": "google/efficientnet-b0",
3
+ "architectures": [
4
+ "EfficientNetForImageClassification"
5
+ ],
6
+ "batch_norm_eps": 0.001,
7
+ "batch_norm_momentum": 0.99,
8
+ "depth_coefficient": 1.0,
9
+ "depth_divisor": 8,
10
+ "depthwise_padding": [],
11
+ "drop_connect_rate": 0.2,
12
+ "dropout_rate": 0.2,
13
+ "expand_ratios": [
14
+ 1,
15
+ 6,
16
+ 6,
17
+ 6,
18
+ 6,
19
+ 6,
20
+ 6
21
+ ],
22
+ "hidden_act": "swish",
23
+ "hidden_dim": 1280,
24
+ "id2label": {
25
+ "0": "other",
26
+ "1": "line",
27
+ "2": "scatter",
28
+ "3": "bar",
29
+ "4": "heatmap",
30
+ "5": "boxplot",
31
+ "6": "sankey",
32
+ "7": "radial",
33
+ "8": "pie",
34
+ "9": "choropleth",
35
+ "10": "word_cloud",
36
+ "11": "contour"
37
+ },
38
+ "image_size": 224,
39
+ "in_channels": [
40
+ 32,
41
+ 16,
42
+ 24,
43
+ 40,
44
+ 80,
45
+ 112,
46
+ 192
47
+ ],
48
+ "initializer_range": 0.02,
49
+ "kernel_sizes": [
50
+ 3,
51
+ 3,
52
+ 5,
53
+ 3,
54
+ 5,
55
+ 5,
56
+ 3
57
+ ],
58
+ "label2id": {
59
+ "bar": 3,
60
+ "boxplot": 5,
61
+ "choropleth": 9,
62
+ "contour": 11,
63
+ "heatmap": 4,
64
+ "line": 1,
65
+ "other": 0,
66
+ "pie": 8,
67
+ "radial": 7,
68
+ "sankey": 6,
69
+ "scatter": 2,
70
+ "word_cloud": 10
71
+ },
72
+ "model_type": "efficientnet",
73
+ "num_block_repeats": [
74
+ 1,
75
+ 2,
76
+ 2,
77
+ 3,
78
+ 3,
79
+ 4,
80
+ 1
81
+ ],
82
+ "num_channels": 3,
83
+ "num_hidden_layers": 64,
84
+ "out_channels": [
85
+ 16,
86
+ 24,
87
+ 40,
88
+ 80,
89
+ 112,
90
+ 192,
91
+ 320
92
+ ],
93
+ "out_features": null,
94
+ "pooling_type": "mean",
95
+ "problem_type": "single_label_classification",
96
+ "squeeze_expansion_ratio": 0.25,
97
+ "stage_names": [
98
+ "stem",
99
+ "stage1",
100
+ "stage2",
101
+ "stage3",
102
+ "stage4",
103
+ "stage5",
104
+ "stage6",
105
+ "stage7"
106
+ ],
107
+ "strides": [
108
+ 1,
109
+ 2,
110
+ 2,
111
+ 2,
112
+ 1,
113
+ 2,
114
+ 1
115
+ ],
116
+ "torch_dtype": "float32",
117
+ "transformers_version": "4.38.2",
118
+ "width_coefficient": 1.0
119
+ }
model.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:24f54a48df6592fcc08ca3d8afd81ccbd1f4d781d7394e8d1db4bb8002201a87
3
+ size 16306384
preprocessor_config.json ADDED
@@ -0,0 +1,29 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "crop_size": {
3
+ "height": 289,
4
+ "width": 289
5
+ },
6
+ "do_center_crop": false,
7
+ "do_normalize": true,
8
+ "do_rescale": true,
9
+ "do_resize": true,
10
+ "image_mean": [
11
+ 0.485,
12
+ 0.456,
13
+ 0.406
14
+ ],
15
+ "image_processor_type": "EfficientNetImageProcessor",
16
+ "image_std": [
17
+ 0.47853944,
18
+ 0.4732864,
19
+ 0.47434163
20
+ ],
21
+ "include_top": true,
22
+ "resample": 0,
23
+ "rescale_factor": 0.00392156862745098,
24
+ "rescale_offset": false,
25
+ "size": {
26
+ "height": 224,
27
+ "width": 224
28
+ }
29
+ }
trainer_state.json ADDED
@@ -0,0 +1,3974 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "best_metric": 0.3036472499370575,
3
+ "best_model_checkpoint": "/mmfs1/gscratch/ark/knylund/matplotalt/efficientnet-b0-classifier/checkpoint-5000",
4
+ "epoch": 3.0,
5
+ "eval_steps": 1000,
6
+ "global_step": 5571,
7
+ "is_hyper_param_search": false,
8
+ "is_local_process_zero": true,
9
+ "is_world_process_zero": true,
10
+ "log_history": [
11
+ {
12
+ "epoch": 0.01,
13
+ "grad_norm": 4.032857418060303,
14
+ "learning_rate": 0.00019964099802548914,
15
+ "loss": 2.1603,
16
+ "step": 10
17
+ },
18
+ {
19
+ "epoch": 0.01,
20
+ "grad_norm": 4.213678359985352,
21
+ "learning_rate": 0.0001992819960509783,
22
+ "loss": 1.6635,
23
+ "step": 20
24
+ },
25
+ {
26
+ "epoch": 0.02,
27
+ "grad_norm": 4.376636505126953,
28
+ "learning_rate": 0.00019892299407646744,
29
+ "loss": 1.3565,
30
+ "step": 30
31
+ },
32
+ {
33
+ "epoch": 0.02,
34
+ "grad_norm": 2.861647844314575,
35
+ "learning_rate": 0.00019856399210195657,
36
+ "loss": 1.0057,
37
+ "step": 40
38
+ },
39
+ {
40
+ "epoch": 0.03,
41
+ "grad_norm": 5.796308994293213,
42
+ "learning_rate": 0.00019820499012744572,
43
+ "loss": 0.8873,
44
+ "step": 50
45
+ },
46
+ {
47
+ "epoch": 0.03,
48
+ "grad_norm": 4.174099445343018,
49
+ "learning_rate": 0.00019784598815293484,
50
+ "loss": 0.9,
51
+ "step": 60
52
+ },
53
+ {
54
+ "epoch": 0.04,
55
+ "grad_norm": 1.7922903299331665,
56
+ "learning_rate": 0.00019748698617842397,
57
+ "loss": 0.6295,
58
+ "step": 70
59
+ },
60
+ {
61
+ "epoch": 0.04,
62
+ "grad_norm": 3.818875551223755,
63
+ "learning_rate": 0.00019712798420391315,
64
+ "loss": 0.6851,
65
+ "step": 80
66
+ },
67
+ {
68
+ "epoch": 0.05,
69
+ "grad_norm": 2.673445463180542,
70
+ "learning_rate": 0.00019676898222940228,
71
+ "loss": 0.6127,
72
+ "step": 90
73
+ },
74
+ {
75
+ "epoch": 0.05,
76
+ "grad_norm": 2.8028321266174316,
77
+ "learning_rate": 0.0001964099802548914,
78
+ "loss": 0.4692,
79
+ "step": 100
80
+ },
81
+ {
82
+ "epoch": 0.06,
83
+ "grad_norm": 6.368370056152344,
84
+ "learning_rate": 0.00019605097828038055,
85
+ "loss": 0.5857,
86
+ "step": 110
87
+ },
88
+ {
89
+ "epoch": 0.06,
90
+ "grad_norm": 5.711109638214111,
91
+ "learning_rate": 0.00019569197630586968,
92
+ "loss": 0.5111,
93
+ "step": 120
94
+ },
95
+ {
96
+ "epoch": 0.07,
97
+ "grad_norm": 3.1240601539611816,
98
+ "learning_rate": 0.00019533297433135883,
99
+ "loss": 0.6485,
100
+ "step": 130
101
+ },
102
+ {
103
+ "epoch": 0.08,
104
+ "grad_norm": 1.9486416578292847,
105
+ "learning_rate": 0.00019497397235684798,
106
+ "loss": 0.7518,
107
+ "step": 140
108
+ },
109
+ {
110
+ "epoch": 0.08,
111
+ "grad_norm": 5.057428359985352,
112
+ "learning_rate": 0.0001946149703823371,
113
+ "loss": 0.4953,
114
+ "step": 150
115
+ },
116
+ {
117
+ "epoch": 0.09,
118
+ "grad_norm": 2.432128667831421,
119
+ "learning_rate": 0.00019425596840782626,
120
+ "loss": 0.7169,
121
+ "step": 160
122
+ },
123
+ {
124
+ "epoch": 0.09,
125
+ "grad_norm": 3.6906955242156982,
126
+ "learning_rate": 0.0001938969664333154,
127
+ "loss": 0.6127,
128
+ "step": 170
129
+ },
130
+ {
131
+ "epoch": 0.1,
132
+ "grad_norm": 4.316644668579102,
133
+ "learning_rate": 0.00019353796445880454,
134
+ "loss": 0.5752,
135
+ "step": 180
136
+ },
137
+ {
138
+ "epoch": 0.1,
139
+ "grad_norm": 3.704860210418701,
140
+ "learning_rate": 0.00019317896248429367,
141
+ "loss": 0.6974,
142
+ "step": 190
143
+ },
144
+ {
145
+ "epoch": 0.11,
146
+ "grad_norm": 3.3908371925354004,
147
+ "learning_rate": 0.00019281996050978282,
148
+ "loss": 0.5098,
149
+ "step": 200
150
+ },
151
+ {
152
+ "epoch": 0.11,
153
+ "grad_norm": 4.832446098327637,
154
+ "learning_rate": 0.00019246095853527195,
155
+ "loss": 0.6852,
156
+ "step": 210
157
+ },
158
+ {
159
+ "epoch": 0.12,
160
+ "grad_norm": 2.9463236331939697,
161
+ "learning_rate": 0.0001921019565607611,
162
+ "loss": 0.5206,
163
+ "step": 220
164
+ },
165
+ {
166
+ "epoch": 0.12,
167
+ "grad_norm": 3.601738691329956,
168
+ "learning_rate": 0.00019174295458625022,
169
+ "loss": 0.589,
170
+ "step": 230
171
+ },
172
+ {
173
+ "epoch": 0.13,
174
+ "grad_norm": 5.127821445465088,
175
+ "learning_rate": 0.00019138395261173938,
176
+ "loss": 0.5953,
177
+ "step": 240
178
+ },
179
+ {
180
+ "epoch": 0.13,
181
+ "grad_norm": 4.185557842254639,
182
+ "learning_rate": 0.00019102495063722853,
183
+ "loss": 0.4675,
184
+ "step": 250
185
+ },
186
+ {
187
+ "epoch": 0.14,
188
+ "grad_norm": 3.7336225509643555,
189
+ "learning_rate": 0.00019066594866271765,
190
+ "loss": 0.6038,
191
+ "step": 260
192
+ },
193
+ {
194
+ "epoch": 0.15,
195
+ "grad_norm": 4.018154621124268,
196
+ "learning_rate": 0.00019030694668820678,
197
+ "loss": 0.5399,
198
+ "step": 270
199
+ },
200
+ {
201
+ "epoch": 0.15,
202
+ "grad_norm": 3.3394994735717773,
203
+ "learning_rate": 0.00018994794471369593,
204
+ "loss": 0.5321,
205
+ "step": 280
206
+ },
207
+ {
208
+ "epoch": 0.16,
209
+ "grad_norm": 4.332233905792236,
210
+ "learning_rate": 0.00018958894273918509,
211
+ "loss": 0.5468,
212
+ "step": 290
213
+ },
214
+ {
215
+ "epoch": 0.16,
216
+ "grad_norm": 3.8721323013305664,
217
+ "learning_rate": 0.0001892299407646742,
218
+ "loss": 0.6093,
219
+ "step": 300
220
+ },
221
+ {
222
+ "epoch": 0.17,
223
+ "grad_norm": 2.815431833267212,
224
+ "learning_rate": 0.00018887093879016336,
225
+ "loss": 0.7448,
226
+ "step": 310
227
+ },
228
+ {
229
+ "epoch": 0.17,
230
+ "grad_norm": 1.5958600044250488,
231
+ "learning_rate": 0.0001885119368156525,
232
+ "loss": 0.5036,
233
+ "step": 320
234
+ },
235
+ {
236
+ "epoch": 0.18,
237
+ "grad_norm": 4.088627815246582,
238
+ "learning_rate": 0.00018815293484114161,
239
+ "loss": 0.6353,
240
+ "step": 330
241
+ },
242
+ {
243
+ "epoch": 0.18,
244
+ "grad_norm": 3.206453800201416,
245
+ "learning_rate": 0.0001877939328666308,
246
+ "loss": 0.449,
247
+ "step": 340
248
+ },
249
+ {
250
+ "epoch": 0.19,
251
+ "grad_norm": 3.1590213775634766,
252
+ "learning_rate": 0.00018743493089211992,
253
+ "loss": 0.626,
254
+ "step": 350
255
+ },
256
+ {
257
+ "epoch": 0.19,
258
+ "grad_norm": 2.7529923915863037,
259
+ "learning_rate": 0.00018707592891760905,
260
+ "loss": 0.5606,
261
+ "step": 360
262
+ },
263
+ {
264
+ "epoch": 0.2,
265
+ "grad_norm": 3.4643802642822266,
266
+ "learning_rate": 0.0001867169269430982,
267
+ "loss": 0.5379,
268
+ "step": 370
269
+ },
270
+ {
271
+ "epoch": 0.2,
272
+ "grad_norm": 8.444103240966797,
273
+ "learning_rate": 0.00018635792496858732,
274
+ "loss": 0.4777,
275
+ "step": 380
276
+ },
277
+ {
278
+ "epoch": 0.21,
279
+ "grad_norm": 5.32062292098999,
280
+ "learning_rate": 0.00018599892299407648,
281
+ "loss": 0.667,
282
+ "step": 390
283
+ },
284
+ {
285
+ "epoch": 0.22,
286
+ "grad_norm": 4.176698207855225,
287
+ "learning_rate": 0.00018563992101956563,
288
+ "loss": 0.4736,
289
+ "step": 400
290
+ },
291
+ {
292
+ "epoch": 0.22,
293
+ "grad_norm": 4.630472660064697,
294
+ "learning_rate": 0.00018528091904505476,
295
+ "loss": 0.4823,
296
+ "step": 410
297
+ },
298
+ {
299
+ "epoch": 0.23,
300
+ "grad_norm": 3.107424020767212,
301
+ "learning_rate": 0.00018492191707054388,
302
+ "loss": 0.6637,
303
+ "step": 420
304
+ },
305
+ {
306
+ "epoch": 0.23,
307
+ "grad_norm": 2.1830148696899414,
308
+ "learning_rate": 0.00018456291509603303,
309
+ "loss": 0.4474,
310
+ "step": 430
311
+ },
312
+ {
313
+ "epoch": 0.24,
314
+ "grad_norm": 2.216266393661499,
315
+ "learning_rate": 0.00018420391312152219,
316
+ "loss": 0.3902,
317
+ "step": 440
318
+ },
319
+ {
320
+ "epoch": 0.24,
321
+ "grad_norm": 3.395972728729248,
322
+ "learning_rate": 0.0001838449111470113,
323
+ "loss": 0.4703,
324
+ "step": 450
325
+ },
326
+ {
327
+ "epoch": 0.25,
328
+ "grad_norm": 1.6726592779159546,
329
+ "learning_rate": 0.00018348590917250046,
330
+ "loss": 0.4576,
331
+ "step": 460
332
+ },
333
+ {
334
+ "epoch": 0.25,
335
+ "grad_norm": 1.86993408203125,
336
+ "learning_rate": 0.0001831269071979896,
337
+ "loss": 0.5224,
338
+ "step": 470
339
+ },
340
+ {
341
+ "epoch": 0.26,
342
+ "grad_norm": 4.105071544647217,
343
+ "learning_rate": 0.00018276790522347874,
344
+ "loss": 0.4184,
345
+ "step": 480
346
+ },
347
+ {
348
+ "epoch": 0.26,
349
+ "grad_norm": 3.1365551948547363,
350
+ "learning_rate": 0.0001824089032489679,
351
+ "loss": 0.4105,
352
+ "step": 490
353
+ },
354
+ {
355
+ "epoch": 0.27,
356
+ "grad_norm": 6.22435188293457,
357
+ "learning_rate": 0.00018204990127445702,
358
+ "loss": 0.6113,
359
+ "step": 500
360
+ },
361
+ {
362
+ "epoch": 0.27,
363
+ "grad_norm": 3.1273105144500732,
364
+ "learning_rate": 0.00018169089929994615,
365
+ "loss": 0.4885,
366
+ "step": 510
367
+ },
368
+ {
369
+ "epoch": 0.28,
370
+ "grad_norm": 1.1334537267684937,
371
+ "learning_rate": 0.0001813318973254353,
372
+ "loss": 0.4339,
373
+ "step": 520
374
+ },
375
+ {
376
+ "epoch": 0.29,
377
+ "grad_norm": 2.3947975635528564,
378
+ "learning_rate": 0.00018097289535092442,
379
+ "loss": 0.4574,
380
+ "step": 530
381
+ },
382
+ {
383
+ "epoch": 0.29,
384
+ "grad_norm": 3.6882948875427246,
385
+ "learning_rate": 0.00018061389337641358,
386
+ "loss": 0.4964,
387
+ "step": 540
388
+ },
389
+ {
390
+ "epoch": 0.3,
391
+ "grad_norm": 2.1019885540008545,
392
+ "learning_rate": 0.00018025489140190273,
393
+ "loss": 0.401,
394
+ "step": 550
395
+ },
396
+ {
397
+ "epoch": 0.3,
398
+ "grad_norm": 2.382169008255005,
399
+ "learning_rate": 0.00017989588942739186,
400
+ "loss": 0.3039,
401
+ "step": 560
402
+ },
403
+ {
404
+ "epoch": 0.31,
405
+ "grad_norm": 3.942392110824585,
406
+ "learning_rate": 0.000179536887452881,
407
+ "loss": 0.3974,
408
+ "step": 570
409
+ },
410
+ {
411
+ "epoch": 0.31,
412
+ "grad_norm": 1.2216510772705078,
413
+ "learning_rate": 0.00017917788547837013,
414
+ "loss": 0.3715,
415
+ "step": 580
416
+ },
417
+ {
418
+ "epoch": 0.32,
419
+ "grad_norm": 3.215604782104492,
420
+ "learning_rate": 0.00017881888350385926,
421
+ "loss": 0.4073,
422
+ "step": 590
423
+ },
424
+ {
425
+ "epoch": 0.32,
426
+ "grad_norm": 4.8399810791015625,
427
+ "learning_rate": 0.00017845988152934844,
428
+ "loss": 0.3651,
429
+ "step": 600
430
+ },
431
+ {
432
+ "epoch": 0.33,
433
+ "grad_norm": 1.4025568962097168,
434
+ "learning_rate": 0.00017810087955483757,
435
+ "loss": 0.3249,
436
+ "step": 610
437
+ },
438
+ {
439
+ "epoch": 0.33,
440
+ "grad_norm": 5.812524318695068,
441
+ "learning_rate": 0.0001777418775803267,
442
+ "loss": 0.4492,
443
+ "step": 620
444
+ },
445
+ {
446
+ "epoch": 0.34,
447
+ "grad_norm": 5.6712212562561035,
448
+ "learning_rate": 0.00017738287560581584,
449
+ "loss": 0.585,
450
+ "step": 630
451
+ },
452
+ {
453
+ "epoch": 0.34,
454
+ "grad_norm": 2.6772258281707764,
455
+ "learning_rate": 0.00017702387363130497,
456
+ "loss": 0.6295,
457
+ "step": 640
458
+ },
459
+ {
460
+ "epoch": 0.35,
461
+ "grad_norm": 1.9459309577941895,
462
+ "learning_rate": 0.00017666487165679412,
463
+ "loss": 0.4852,
464
+ "step": 650
465
+ },
466
+ {
467
+ "epoch": 0.36,
468
+ "grad_norm": 3.4058187007904053,
469
+ "learning_rate": 0.00017630586968228327,
470
+ "loss": 0.4026,
471
+ "step": 660
472
+ },
473
+ {
474
+ "epoch": 0.36,
475
+ "grad_norm": 1.554550290107727,
476
+ "learning_rate": 0.0001759468677077724,
477
+ "loss": 0.4278,
478
+ "step": 670
479
+ },
480
+ {
481
+ "epoch": 0.37,
482
+ "grad_norm": 4.242212772369385,
483
+ "learning_rate": 0.00017558786573326153,
484
+ "loss": 0.3727,
485
+ "step": 680
486
+ },
487
+ {
488
+ "epoch": 0.37,
489
+ "grad_norm": 3.0075364112854004,
490
+ "learning_rate": 0.00017522886375875068,
491
+ "loss": 0.4446,
492
+ "step": 690
493
+ },
494
+ {
495
+ "epoch": 0.38,
496
+ "grad_norm": 3.4899425506591797,
497
+ "learning_rate": 0.00017486986178423983,
498
+ "loss": 0.3842,
499
+ "step": 700
500
+ },
501
+ {
502
+ "epoch": 0.38,
503
+ "grad_norm": 4.058801651000977,
504
+ "learning_rate": 0.00017451085980972896,
505
+ "loss": 0.4403,
506
+ "step": 710
507
+ },
508
+ {
509
+ "epoch": 0.39,
510
+ "grad_norm": 0.838331401348114,
511
+ "learning_rate": 0.0001741518578352181,
512
+ "loss": 0.3213,
513
+ "step": 720
514
+ },
515
+ {
516
+ "epoch": 0.39,
517
+ "grad_norm": 2.9423627853393555,
518
+ "learning_rate": 0.00017379285586070723,
519
+ "loss": 0.4725,
520
+ "step": 730
521
+ },
522
+ {
523
+ "epoch": 0.4,
524
+ "grad_norm": 2.4071078300476074,
525
+ "learning_rate": 0.00017343385388619636,
526
+ "loss": 0.4542,
527
+ "step": 740
528
+ },
529
+ {
530
+ "epoch": 0.4,
531
+ "grad_norm": 2.141202926635742,
532
+ "learning_rate": 0.00017307485191168554,
533
+ "loss": 0.415,
534
+ "step": 750
535
+ },
536
+ {
537
+ "epoch": 0.41,
538
+ "grad_norm": 2.7862131595611572,
539
+ "learning_rate": 0.00017271584993717467,
540
+ "loss": 0.506,
541
+ "step": 760
542
+ },
543
+ {
544
+ "epoch": 0.41,
545
+ "grad_norm": 4.758727550506592,
546
+ "learning_rate": 0.0001723568479626638,
547
+ "loss": 0.3793,
548
+ "step": 770
549
+ },
550
+ {
551
+ "epoch": 0.42,
552
+ "grad_norm": 1.440414309501648,
553
+ "learning_rate": 0.00017199784598815294,
554
+ "loss": 0.4049,
555
+ "step": 780
556
+ },
557
+ {
558
+ "epoch": 0.43,
559
+ "grad_norm": 1.1473422050476074,
560
+ "learning_rate": 0.00017163884401364207,
561
+ "loss": 0.3329,
562
+ "step": 790
563
+ },
564
+ {
565
+ "epoch": 0.43,
566
+ "grad_norm": 5.930641174316406,
567
+ "learning_rate": 0.00017127984203913122,
568
+ "loss": 0.4517,
569
+ "step": 800
570
+ },
571
+ {
572
+ "epoch": 0.44,
573
+ "grad_norm": 2.398808240890503,
574
+ "learning_rate": 0.00017092084006462038,
575
+ "loss": 0.439,
576
+ "step": 810
577
+ },
578
+ {
579
+ "epoch": 0.44,
580
+ "grad_norm": 2.5552713871002197,
581
+ "learning_rate": 0.0001705618380901095,
582
+ "loss": 0.4203,
583
+ "step": 820
584
+ },
585
+ {
586
+ "epoch": 0.45,
587
+ "grad_norm": 3.3895692825317383,
588
+ "learning_rate": 0.00017020283611559865,
589
+ "loss": 0.3735,
590
+ "step": 830
591
+ },
592
+ {
593
+ "epoch": 0.45,
594
+ "grad_norm": 4.32607364654541,
595
+ "learning_rate": 0.00016984383414108778,
596
+ "loss": 0.3951,
597
+ "step": 840
598
+ },
599
+ {
600
+ "epoch": 0.46,
601
+ "grad_norm": 1.7037802934646606,
602
+ "learning_rate": 0.00016948483216657693,
603
+ "loss": 0.2747,
604
+ "step": 850
605
+ },
606
+ {
607
+ "epoch": 0.46,
608
+ "grad_norm": 3.201627254486084,
609
+ "learning_rate": 0.00016912583019206606,
610
+ "loss": 0.3614,
611
+ "step": 860
612
+ },
613
+ {
614
+ "epoch": 0.47,
615
+ "grad_norm": 4.009246349334717,
616
+ "learning_rate": 0.0001687668282175552,
617
+ "loss": 0.3911,
618
+ "step": 870
619
+ },
620
+ {
621
+ "epoch": 0.47,
622
+ "grad_norm": 3.186776876449585,
623
+ "learning_rate": 0.00016840782624304434,
624
+ "loss": 0.373,
625
+ "step": 880
626
+ },
627
+ {
628
+ "epoch": 0.48,
629
+ "grad_norm": 0.6319185495376587,
630
+ "learning_rate": 0.0001680488242685335,
631
+ "loss": 0.3213,
632
+ "step": 890
633
+ },
634
+ {
635
+ "epoch": 0.48,
636
+ "grad_norm": 4.854424953460693,
637
+ "learning_rate": 0.00016768982229402264,
638
+ "loss": 0.4254,
639
+ "step": 900
640
+ },
641
+ {
642
+ "epoch": 0.49,
643
+ "grad_norm": 3.399857997894287,
644
+ "learning_rate": 0.00016733082031951177,
645
+ "loss": 0.3312,
646
+ "step": 910
647
+ },
648
+ {
649
+ "epoch": 0.5,
650
+ "grad_norm": 5.601319789886475,
651
+ "learning_rate": 0.00016697181834500092,
652
+ "loss": 0.4948,
653
+ "step": 920
654
+ },
655
+ {
656
+ "epoch": 0.5,
657
+ "grad_norm": 3.637693405151367,
658
+ "learning_rate": 0.00016661281637049004,
659
+ "loss": 0.5873,
660
+ "step": 930
661
+ },
662
+ {
663
+ "epoch": 0.51,
664
+ "grad_norm": 0.8648672103881836,
665
+ "learning_rate": 0.00016625381439597917,
666
+ "loss": 0.2871,
667
+ "step": 940
668
+ },
669
+ {
670
+ "epoch": 0.51,
671
+ "grad_norm": 2.556180238723755,
672
+ "learning_rate": 0.00016589481242146832,
673
+ "loss": 0.505,
674
+ "step": 950
675
+ },
676
+ {
677
+ "epoch": 0.52,
678
+ "grad_norm": 3.072059154510498,
679
+ "learning_rate": 0.00016553581044695748,
680
+ "loss": 0.405,
681
+ "step": 960
682
+ },
683
+ {
684
+ "epoch": 0.52,
685
+ "grad_norm": 3.141235828399658,
686
+ "learning_rate": 0.0001651768084724466,
687
+ "loss": 0.5541,
688
+ "step": 970
689
+ },
690
+ {
691
+ "epoch": 0.53,
692
+ "grad_norm": 4.269875526428223,
693
+ "learning_rate": 0.00016481780649793575,
694
+ "loss": 0.3842,
695
+ "step": 980
696
+ },
697
+ {
698
+ "epoch": 0.53,
699
+ "grad_norm": 5.289591312408447,
700
+ "learning_rate": 0.00016445880452342488,
701
+ "loss": 0.3436,
702
+ "step": 990
703
+ },
704
+ {
705
+ "epoch": 0.54,
706
+ "grad_norm": 4.728127479553223,
707
+ "learning_rate": 0.000164099802548914,
708
+ "loss": 0.4198,
709
+ "step": 1000
710
+ },
711
+ {
712
+ "epoch": 0.54,
713
+ "eval_accuracy": 0.8758246936852027,
714
+ "eval_loss": 0.36355388164520264,
715
+ "eval_runtime": 26.7203,
716
+ "eval_samples_per_second": 158.831,
717
+ "eval_steps_per_second": 19.873,
718
+ "step": 1000
719
+ },
720
+ {
721
+ "epoch": 0.54,
722
+ "grad_norm": 1.5636017322540283,
723
+ "learning_rate": 0.00016374080057440319,
724
+ "loss": 0.4572,
725
+ "step": 1010
726
+ },
727
+ {
728
+ "epoch": 0.55,
729
+ "grad_norm": 2.419159173965454,
730
+ "learning_rate": 0.0001633817985998923,
731
+ "loss": 0.287,
732
+ "step": 1020
733
+ },
734
+ {
735
+ "epoch": 0.55,
736
+ "grad_norm": 2.939203977584839,
737
+ "learning_rate": 0.00016302279662538144,
738
+ "loss": 0.355,
739
+ "step": 1030
740
+ },
741
+ {
742
+ "epoch": 0.56,
743
+ "grad_norm": 2.203690528869629,
744
+ "learning_rate": 0.0001626637946508706,
745
+ "loss": 0.406,
746
+ "step": 1040
747
+ },
748
+ {
749
+ "epoch": 0.57,
750
+ "grad_norm": 3.8833212852478027,
751
+ "learning_rate": 0.00016230479267635971,
752
+ "loss": 0.3715,
753
+ "step": 1050
754
+ },
755
+ {
756
+ "epoch": 0.57,
757
+ "grad_norm": 1.7199671268463135,
758
+ "learning_rate": 0.00016194579070184887,
759
+ "loss": 0.3713,
760
+ "step": 1060
761
+ },
762
+ {
763
+ "epoch": 0.58,
764
+ "grad_norm": 2.960907220840454,
765
+ "learning_rate": 0.00016158678872733802,
766
+ "loss": 0.3635,
767
+ "step": 1070
768
+ },
769
+ {
770
+ "epoch": 0.58,
771
+ "grad_norm": 1.5699355602264404,
772
+ "learning_rate": 0.00016122778675282715,
773
+ "loss": 0.3228,
774
+ "step": 1080
775
+ },
776
+ {
777
+ "epoch": 0.59,
778
+ "grad_norm": 3.974890947341919,
779
+ "learning_rate": 0.00016086878477831627,
780
+ "loss": 0.5052,
781
+ "step": 1090
782
+ },
783
+ {
784
+ "epoch": 0.59,
785
+ "grad_norm": 2.8382863998413086,
786
+ "learning_rate": 0.00016050978280380542,
787
+ "loss": 0.3811,
788
+ "step": 1100
789
+ },
790
+ {
791
+ "epoch": 0.6,
792
+ "grad_norm": 3.3032066822052,
793
+ "learning_rate": 0.00016015078082929458,
794
+ "loss": 0.4694,
795
+ "step": 1110
796
+ },
797
+ {
798
+ "epoch": 0.6,
799
+ "grad_norm": 3.2820935249328613,
800
+ "learning_rate": 0.0001597917788547837,
801
+ "loss": 0.3933,
802
+ "step": 1120
803
+ },
804
+ {
805
+ "epoch": 0.61,
806
+ "grad_norm": 2.1728293895721436,
807
+ "learning_rate": 0.00015943277688027285,
808
+ "loss": 0.4353,
809
+ "step": 1130
810
+ },
811
+ {
812
+ "epoch": 0.61,
813
+ "grad_norm": 4.178715229034424,
814
+ "learning_rate": 0.00015907377490576198,
815
+ "loss": 0.4013,
816
+ "step": 1140
817
+ },
818
+ {
819
+ "epoch": 0.62,
820
+ "grad_norm": 3.2325494289398193,
821
+ "learning_rate": 0.00015871477293125113,
822
+ "loss": 0.4729,
823
+ "step": 1150
824
+ },
825
+ {
826
+ "epoch": 0.62,
827
+ "grad_norm": 1.6329644918441772,
828
+ "learning_rate": 0.00015835577095674029,
829
+ "loss": 0.3281,
830
+ "step": 1160
831
+ },
832
+ {
833
+ "epoch": 0.63,
834
+ "grad_norm": 2.220376968383789,
835
+ "learning_rate": 0.0001579967689822294,
836
+ "loss": 0.3198,
837
+ "step": 1170
838
+ },
839
+ {
840
+ "epoch": 0.64,
841
+ "grad_norm": 3.842592477798462,
842
+ "learning_rate": 0.00015763776700771856,
843
+ "loss": 0.4726,
844
+ "step": 1180
845
+ },
846
+ {
847
+ "epoch": 0.64,
848
+ "grad_norm": 1.8406704664230347,
849
+ "learning_rate": 0.0001572787650332077,
850
+ "loss": 0.4375,
851
+ "step": 1190
852
+ },
853
+ {
854
+ "epoch": 0.65,
855
+ "grad_norm": 0.6387284994125366,
856
+ "learning_rate": 0.00015691976305869682,
857
+ "loss": 0.4196,
858
+ "step": 1200
859
+ },
860
+ {
861
+ "epoch": 0.65,
862
+ "grad_norm": 2.7015557289123535,
863
+ "learning_rate": 0.00015656076108418597,
864
+ "loss": 0.3169,
865
+ "step": 1210
866
+ },
867
+ {
868
+ "epoch": 0.66,
869
+ "grad_norm": 2.334587335586548,
870
+ "learning_rate": 0.00015620175910967512,
871
+ "loss": 0.4468,
872
+ "step": 1220
873
+ },
874
+ {
875
+ "epoch": 0.66,
876
+ "grad_norm": 6.266781806945801,
877
+ "learning_rate": 0.00015584275713516425,
878
+ "loss": 0.4902,
879
+ "step": 1230
880
+ },
881
+ {
882
+ "epoch": 0.67,
883
+ "grad_norm": 2.053922414779663,
884
+ "learning_rate": 0.0001554837551606534,
885
+ "loss": 0.369,
886
+ "step": 1240
887
+ },
888
+ {
889
+ "epoch": 0.67,
890
+ "grad_norm": 1.4680334329605103,
891
+ "learning_rate": 0.00015512475318614252,
892
+ "loss": 0.4692,
893
+ "step": 1250
894
+ },
895
+ {
896
+ "epoch": 0.68,
897
+ "grad_norm": 3.4532482624053955,
898
+ "learning_rate": 0.00015476575121163168,
899
+ "loss": 0.5083,
900
+ "step": 1260
901
+ },
902
+ {
903
+ "epoch": 0.68,
904
+ "grad_norm": 3.088257074356079,
905
+ "learning_rate": 0.00015440674923712083,
906
+ "loss": 0.366,
907
+ "step": 1270
908
+ },
909
+ {
910
+ "epoch": 0.69,
911
+ "grad_norm": 2.26444411277771,
912
+ "learning_rate": 0.00015404774726260996,
913
+ "loss": 0.2412,
914
+ "step": 1280
915
+ },
916
+ {
917
+ "epoch": 0.69,
918
+ "grad_norm": 3.667440176010132,
919
+ "learning_rate": 0.00015368874528809908,
920
+ "loss": 0.3248,
921
+ "step": 1290
922
+ },
923
+ {
924
+ "epoch": 0.7,
925
+ "grad_norm": 2.9644229412078857,
926
+ "learning_rate": 0.00015332974331358823,
927
+ "loss": 0.5926,
928
+ "step": 1300
929
+ },
930
+ {
931
+ "epoch": 0.71,
932
+ "grad_norm": 4.429443359375,
933
+ "learning_rate": 0.00015297074133907736,
934
+ "loss": 0.3579,
935
+ "step": 1310
936
+ },
937
+ {
938
+ "epoch": 0.71,
939
+ "grad_norm": 1.854767918586731,
940
+ "learning_rate": 0.0001526117393645665,
941
+ "loss": 0.4213,
942
+ "step": 1320
943
+ },
944
+ {
945
+ "epoch": 0.72,
946
+ "grad_norm": 2.6535346508026123,
947
+ "learning_rate": 0.00015225273739005566,
948
+ "loss": 0.364,
949
+ "step": 1330
950
+ },
951
+ {
952
+ "epoch": 0.72,
953
+ "grad_norm": 0.8327158093452454,
954
+ "learning_rate": 0.0001518937354155448,
955
+ "loss": 0.252,
956
+ "step": 1340
957
+ },
958
+ {
959
+ "epoch": 0.73,
960
+ "grad_norm": 3.9177310466766357,
961
+ "learning_rate": 0.00015153473344103392,
962
+ "loss": 0.3365,
963
+ "step": 1350
964
+ },
965
+ {
966
+ "epoch": 0.73,
967
+ "grad_norm": 0.7887599468231201,
968
+ "learning_rate": 0.00015117573146652307,
969
+ "loss": 0.2267,
970
+ "step": 1360
971
+ },
972
+ {
973
+ "epoch": 0.74,
974
+ "grad_norm": 4.150704860687256,
975
+ "learning_rate": 0.00015081672949201222,
976
+ "loss": 0.3312,
977
+ "step": 1370
978
+ },
979
+ {
980
+ "epoch": 0.74,
981
+ "grad_norm": 1.1817049980163574,
982
+ "learning_rate": 0.00015045772751750135,
983
+ "loss": 0.251,
984
+ "step": 1380
985
+ },
986
+ {
987
+ "epoch": 0.75,
988
+ "grad_norm": 1.4935834407806396,
989
+ "learning_rate": 0.0001500987255429905,
990
+ "loss": 0.2915,
991
+ "step": 1390
992
+ },
993
+ {
994
+ "epoch": 0.75,
995
+ "grad_norm": 1.7289029359817505,
996
+ "learning_rate": 0.00014973972356847963,
997
+ "loss": 0.3386,
998
+ "step": 1400
999
+ },
1000
+ {
1001
+ "epoch": 0.76,
1002
+ "grad_norm": 2.7266626358032227,
1003
+ "learning_rate": 0.00014938072159396875,
1004
+ "loss": 0.3036,
1005
+ "step": 1410
1006
+ },
1007
+ {
1008
+ "epoch": 0.76,
1009
+ "grad_norm": 2.1115903854370117,
1010
+ "learning_rate": 0.00014902171961945793,
1011
+ "loss": 0.2455,
1012
+ "step": 1420
1013
+ },
1014
+ {
1015
+ "epoch": 0.77,
1016
+ "grad_norm": 5.557359218597412,
1017
+ "learning_rate": 0.00014866271764494706,
1018
+ "loss": 0.315,
1019
+ "step": 1430
1020
+ },
1021
+ {
1022
+ "epoch": 0.78,
1023
+ "grad_norm": 2.8962290287017822,
1024
+ "learning_rate": 0.00014830371567043618,
1025
+ "loss": 0.3313,
1026
+ "step": 1440
1027
+ },
1028
+ {
1029
+ "epoch": 0.78,
1030
+ "grad_norm": 5.260874271392822,
1031
+ "learning_rate": 0.00014794471369592533,
1032
+ "loss": 0.4113,
1033
+ "step": 1450
1034
+ },
1035
+ {
1036
+ "epoch": 0.79,
1037
+ "grad_norm": 4.290341854095459,
1038
+ "learning_rate": 0.00014758571172141446,
1039
+ "loss": 0.4856,
1040
+ "step": 1460
1041
+ },
1042
+ {
1043
+ "epoch": 0.79,
1044
+ "grad_norm": 2.5758588314056396,
1045
+ "learning_rate": 0.0001472267097469036,
1046
+ "loss": 0.3505,
1047
+ "step": 1470
1048
+ },
1049
+ {
1050
+ "epoch": 0.8,
1051
+ "grad_norm": 2.3954672813415527,
1052
+ "learning_rate": 0.00014686770777239277,
1053
+ "loss": 0.3395,
1054
+ "step": 1480
1055
+ },
1056
+ {
1057
+ "epoch": 0.8,
1058
+ "grad_norm": 2.661501884460449,
1059
+ "learning_rate": 0.0001465087057978819,
1060
+ "loss": 0.2511,
1061
+ "step": 1490
1062
+ },
1063
+ {
1064
+ "epoch": 0.81,
1065
+ "grad_norm": 1.6223273277282715,
1066
+ "learning_rate": 0.00014614970382337104,
1067
+ "loss": 0.369,
1068
+ "step": 1500
1069
+ },
1070
+ {
1071
+ "epoch": 0.81,
1072
+ "grad_norm": 2.306932210922241,
1073
+ "learning_rate": 0.00014579070184886017,
1074
+ "loss": 0.3082,
1075
+ "step": 1510
1076
+ },
1077
+ {
1078
+ "epoch": 0.82,
1079
+ "grad_norm": 3.3667421340942383,
1080
+ "learning_rate": 0.00014543169987434932,
1081
+ "loss": 0.4531,
1082
+ "step": 1520
1083
+ },
1084
+ {
1085
+ "epoch": 0.82,
1086
+ "grad_norm": 2.718759536743164,
1087
+ "learning_rate": 0.00014507269789983845,
1088
+ "loss": 0.2769,
1089
+ "step": 1530
1090
+ },
1091
+ {
1092
+ "epoch": 0.83,
1093
+ "grad_norm": 1.9687058925628662,
1094
+ "learning_rate": 0.0001447136959253276,
1095
+ "loss": 0.4445,
1096
+ "step": 1540
1097
+ },
1098
+ {
1099
+ "epoch": 0.83,
1100
+ "grad_norm": 2.725067615509033,
1101
+ "learning_rate": 0.00014435469395081673,
1102
+ "loss": 0.2666,
1103
+ "step": 1550
1104
+ },
1105
+ {
1106
+ "epoch": 0.84,
1107
+ "grad_norm": 1.1680444478988647,
1108
+ "learning_rate": 0.00014399569197630588,
1109
+ "loss": 0.2961,
1110
+ "step": 1560
1111
+ },
1112
+ {
1113
+ "epoch": 0.85,
1114
+ "grad_norm": 1.628370761871338,
1115
+ "learning_rate": 0.00014363669000179503,
1116
+ "loss": 0.3832,
1117
+ "step": 1570
1118
+ },
1119
+ {
1120
+ "epoch": 0.85,
1121
+ "grad_norm": 2.524216651916504,
1122
+ "learning_rate": 0.00014327768802728416,
1123
+ "loss": 0.3385,
1124
+ "step": 1580
1125
+ },
1126
+ {
1127
+ "epoch": 0.86,
1128
+ "grad_norm": 3.9513893127441406,
1129
+ "learning_rate": 0.0001429186860527733,
1130
+ "loss": 0.4203,
1131
+ "step": 1590
1132
+ },
1133
+ {
1134
+ "epoch": 0.86,
1135
+ "grad_norm": 3.5642659664154053,
1136
+ "learning_rate": 0.00014255968407826244,
1137
+ "loss": 0.3039,
1138
+ "step": 1600
1139
+ },
1140
+ {
1141
+ "epoch": 0.87,
1142
+ "grad_norm": 1.5025720596313477,
1143
+ "learning_rate": 0.00014220068210375156,
1144
+ "loss": 0.2882,
1145
+ "step": 1610
1146
+ },
1147
+ {
1148
+ "epoch": 0.87,
1149
+ "grad_norm": 3.6991374492645264,
1150
+ "learning_rate": 0.00014184168012924074,
1151
+ "loss": 0.4565,
1152
+ "step": 1620
1153
+ },
1154
+ {
1155
+ "epoch": 0.88,
1156
+ "grad_norm": 2.279611825942993,
1157
+ "learning_rate": 0.00014148267815472987,
1158
+ "loss": 0.4616,
1159
+ "step": 1630
1160
+ },
1161
+ {
1162
+ "epoch": 0.88,
1163
+ "grad_norm": 4.0941243171691895,
1164
+ "learning_rate": 0.000141123676180219,
1165
+ "loss": 0.3271,
1166
+ "step": 1640
1167
+ },
1168
+ {
1169
+ "epoch": 0.89,
1170
+ "grad_norm": 5.057126998901367,
1171
+ "learning_rate": 0.00014076467420570814,
1172
+ "loss": 0.3351,
1173
+ "step": 1650
1174
+ },
1175
+ {
1176
+ "epoch": 0.89,
1177
+ "grad_norm": 4.880453109741211,
1178
+ "learning_rate": 0.00014040567223119727,
1179
+ "loss": 0.318,
1180
+ "step": 1660
1181
+ },
1182
+ {
1183
+ "epoch": 0.9,
1184
+ "grad_norm": 2.4076123237609863,
1185
+ "learning_rate": 0.0001400466702566864,
1186
+ "loss": 0.2955,
1187
+ "step": 1670
1188
+ },
1189
+ {
1190
+ "epoch": 0.9,
1191
+ "grad_norm": 1.2481727600097656,
1192
+ "learning_rate": 0.00013968766828217558,
1193
+ "loss": 0.2446,
1194
+ "step": 1680
1195
+ },
1196
+ {
1197
+ "epoch": 0.91,
1198
+ "grad_norm": 4.711183071136475,
1199
+ "learning_rate": 0.0001393286663076647,
1200
+ "loss": 0.4932,
1201
+ "step": 1690
1202
+ },
1203
+ {
1204
+ "epoch": 0.92,
1205
+ "grad_norm": 2.7555177211761475,
1206
+ "learning_rate": 0.00013896966433315383,
1207
+ "loss": 0.5549,
1208
+ "step": 1700
1209
+ },
1210
+ {
1211
+ "epoch": 0.92,
1212
+ "grad_norm": 0.4186011552810669,
1213
+ "learning_rate": 0.00013861066235864298,
1214
+ "loss": 0.2987,
1215
+ "step": 1710
1216
+ },
1217
+ {
1218
+ "epoch": 0.93,
1219
+ "grad_norm": 1.8629070520401,
1220
+ "learning_rate": 0.0001382516603841321,
1221
+ "loss": 0.4236,
1222
+ "step": 1720
1223
+ },
1224
+ {
1225
+ "epoch": 0.93,
1226
+ "grad_norm": 2.2015318870544434,
1227
+ "learning_rate": 0.00013789265840962126,
1228
+ "loss": 0.4508,
1229
+ "step": 1730
1230
+ },
1231
+ {
1232
+ "epoch": 0.94,
1233
+ "grad_norm": 2.301048517227173,
1234
+ "learning_rate": 0.0001375336564351104,
1235
+ "loss": 0.3198,
1236
+ "step": 1740
1237
+ },
1238
+ {
1239
+ "epoch": 0.94,
1240
+ "grad_norm": 1.4173504114151,
1241
+ "learning_rate": 0.00013717465446059954,
1242
+ "loss": 0.4391,
1243
+ "step": 1750
1244
+ },
1245
+ {
1246
+ "epoch": 0.95,
1247
+ "grad_norm": 5.957512378692627,
1248
+ "learning_rate": 0.00013681565248608866,
1249
+ "loss": 0.3438,
1250
+ "step": 1760
1251
+ },
1252
+ {
1253
+ "epoch": 0.95,
1254
+ "grad_norm": 0.6446846723556519,
1255
+ "learning_rate": 0.00013645665051157781,
1256
+ "loss": 0.4001,
1257
+ "step": 1770
1258
+ },
1259
+ {
1260
+ "epoch": 0.96,
1261
+ "grad_norm": 1.2408043146133423,
1262
+ "learning_rate": 0.00013609764853706697,
1263
+ "loss": 0.303,
1264
+ "step": 1780
1265
+ },
1266
+ {
1267
+ "epoch": 0.96,
1268
+ "grad_norm": 1.955267071723938,
1269
+ "learning_rate": 0.0001357386465625561,
1270
+ "loss": 0.2302,
1271
+ "step": 1790
1272
+ },
1273
+ {
1274
+ "epoch": 0.97,
1275
+ "grad_norm": 1.4929084777832031,
1276
+ "learning_rate": 0.00013537964458804525,
1277
+ "loss": 0.3113,
1278
+ "step": 1800
1279
+ },
1280
+ {
1281
+ "epoch": 0.97,
1282
+ "grad_norm": 1.9054404497146606,
1283
+ "learning_rate": 0.00013502064261353437,
1284
+ "loss": 0.4578,
1285
+ "step": 1810
1286
+ },
1287
+ {
1288
+ "epoch": 0.98,
1289
+ "grad_norm": 2.36942720413208,
1290
+ "learning_rate": 0.00013466164063902352,
1291
+ "loss": 0.1819,
1292
+ "step": 1820
1293
+ },
1294
+ {
1295
+ "epoch": 0.99,
1296
+ "grad_norm": 3.5076136589050293,
1297
+ "learning_rate": 0.00013430263866451268,
1298
+ "loss": 0.35,
1299
+ "step": 1830
1300
+ },
1301
+ {
1302
+ "epoch": 0.99,
1303
+ "grad_norm": 2.2791285514831543,
1304
+ "learning_rate": 0.0001339436366900018,
1305
+ "loss": 0.2727,
1306
+ "step": 1840
1307
+ },
1308
+ {
1309
+ "epoch": 1.0,
1310
+ "grad_norm": 3.5197854042053223,
1311
+ "learning_rate": 0.00013358463471549095,
1312
+ "loss": 0.3642,
1313
+ "step": 1850
1314
+ },
1315
+ {
1316
+ "epoch": 1.0,
1317
+ "grad_norm": 2.8509562015533447,
1318
+ "learning_rate": 0.00013322563274098008,
1319
+ "loss": 0.405,
1320
+ "step": 1860
1321
+ },
1322
+ {
1323
+ "epoch": 1.01,
1324
+ "grad_norm": 2.810483694076538,
1325
+ "learning_rate": 0.0001328666307664692,
1326
+ "loss": 0.2358,
1327
+ "step": 1870
1328
+ },
1329
+ {
1330
+ "epoch": 1.01,
1331
+ "grad_norm": 1.4791336059570312,
1332
+ "learning_rate": 0.00013250762879195836,
1333
+ "loss": 0.2444,
1334
+ "step": 1880
1335
+ },
1336
+ {
1337
+ "epoch": 1.02,
1338
+ "grad_norm": 0.5583447217941284,
1339
+ "learning_rate": 0.0001321486268174475,
1340
+ "loss": 0.2832,
1341
+ "step": 1890
1342
+ },
1343
+ {
1344
+ "epoch": 1.02,
1345
+ "grad_norm": 4.119895935058594,
1346
+ "learning_rate": 0.00013178962484293664,
1347
+ "loss": 0.3502,
1348
+ "step": 1900
1349
+ },
1350
+ {
1351
+ "epoch": 1.03,
1352
+ "grad_norm": 2.3282105922698975,
1353
+ "learning_rate": 0.0001314306228684258,
1354
+ "loss": 0.3043,
1355
+ "step": 1910
1356
+ },
1357
+ {
1358
+ "epoch": 1.03,
1359
+ "grad_norm": 2.9217724800109863,
1360
+ "learning_rate": 0.00013107162089391491,
1361
+ "loss": 0.2994,
1362
+ "step": 1920
1363
+ },
1364
+ {
1365
+ "epoch": 1.04,
1366
+ "grad_norm": 3.4529683589935303,
1367
+ "learning_rate": 0.00013071261891940407,
1368
+ "loss": 0.3582,
1369
+ "step": 1930
1370
+ },
1371
+ {
1372
+ "epoch": 1.04,
1373
+ "grad_norm": 3.3998777866363525,
1374
+ "learning_rate": 0.00013035361694489322,
1375
+ "loss": 0.3677,
1376
+ "step": 1940
1377
+ },
1378
+ {
1379
+ "epoch": 1.05,
1380
+ "grad_norm": 4.907555103302002,
1381
+ "learning_rate": 0.00012999461497038235,
1382
+ "loss": 0.2766,
1383
+ "step": 1950
1384
+ },
1385
+ {
1386
+ "epoch": 1.06,
1387
+ "grad_norm": 1.1131783723831177,
1388
+ "learning_rate": 0.00012963561299587147,
1389
+ "loss": 0.2385,
1390
+ "step": 1960
1391
+ },
1392
+ {
1393
+ "epoch": 1.06,
1394
+ "grad_norm": 2.5900931358337402,
1395
+ "learning_rate": 0.00012927661102136062,
1396
+ "loss": 0.2512,
1397
+ "step": 1970
1398
+ },
1399
+ {
1400
+ "epoch": 1.07,
1401
+ "grad_norm": 3.0974531173706055,
1402
+ "learning_rate": 0.00012891760904684978,
1403
+ "loss": 0.3595,
1404
+ "step": 1980
1405
+ },
1406
+ {
1407
+ "epoch": 1.07,
1408
+ "grad_norm": 1.1107558012008667,
1409
+ "learning_rate": 0.0001285586070723389,
1410
+ "loss": 0.2754,
1411
+ "step": 1990
1412
+ },
1413
+ {
1414
+ "epoch": 1.08,
1415
+ "grad_norm": 1.5847731828689575,
1416
+ "learning_rate": 0.00012819960509782806,
1417
+ "loss": 0.2037,
1418
+ "step": 2000
1419
+ },
1420
+ {
1421
+ "epoch": 1.08,
1422
+ "eval_accuracy": 0.8774740810556079,
1423
+ "eval_loss": 0.34774747490882874,
1424
+ "eval_runtime": 25.626,
1425
+ "eval_samples_per_second": 165.613,
1426
+ "eval_steps_per_second": 20.721,
1427
+ "step": 2000
1428
+ },
1429
+ {
1430
+ "epoch": 1.08,
1431
+ "grad_norm": 4.522055149078369,
1432
+ "learning_rate": 0.00012784060312331718,
1433
+ "loss": 0.2866,
1434
+ "step": 2010
1435
+ },
1436
+ {
1437
+ "epoch": 1.09,
1438
+ "grad_norm": 1.3559322357177734,
1439
+ "learning_rate": 0.0001274816011488063,
1440
+ "loss": 0.152,
1441
+ "step": 2020
1442
+ },
1443
+ {
1444
+ "epoch": 1.09,
1445
+ "grad_norm": 1.509596586227417,
1446
+ "learning_rate": 0.00012712259917429546,
1447
+ "loss": 0.253,
1448
+ "step": 2030
1449
+ },
1450
+ {
1451
+ "epoch": 1.1,
1452
+ "grad_norm": 3.271685838699341,
1453
+ "learning_rate": 0.0001267635971997846,
1454
+ "loss": 0.4021,
1455
+ "step": 2040
1456
+ },
1457
+ {
1458
+ "epoch": 1.1,
1459
+ "grad_norm": 3.338609457015991,
1460
+ "learning_rate": 0.00012640459522527374,
1461
+ "loss": 0.2471,
1462
+ "step": 2050
1463
+ },
1464
+ {
1465
+ "epoch": 1.11,
1466
+ "grad_norm": 0.7912172079086304,
1467
+ "learning_rate": 0.0001260455932507629,
1468
+ "loss": 0.2271,
1469
+ "step": 2060
1470
+ },
1471
+ {
1472
+ "epoch": 1.11,
1473
+ "grad_norm": 0.5808847546577454,
1474
+ "learning_rate": 0.00012568659127625202,
1475
+ "loss": 0.3226,
1476
+ "step": 2070
1477
+ },
1478
+ {
1479
+ "epoch": 1.12,
1480
+ "grad_norm": 2.444607973098755,
1481
+ "learning_rate": 0.00012532758930174117,
1482
+ "loss": 0.344,
1483
+ "step": 2080
1484
+ },
1485
+ {
1486
+ "epoch": 1.13,
1487
+ "grad_norm": 4.3131561279296875,
1488
+ "learning_rate": 0.00012496858732723032,
1489
+ "loss": 0.2386,
1490
+ "step": 2090
1491
+ },
1492
+ {
1493
+ "epoch": 1.13,
1494
+ "grad_norm": 1.8824583292007446,
1495
+ "learning_rate": 0.00012460958535271945,
1496
+ "loss": 0.1935,
1497
+ "step": 2100
1498
+ },
1499
+ {
1500
+ "epoch": 1.14,
1501
+ "grad_norm": 0.8956676125526428,
1502
+ "learning_rate": 0.00012425058337820857,
1503
+ "loss": 0.3488,
1504
+ "step": 2110
1505
+ },
1506
+ {
1507
+ "epoch": 1.14,
1508
+ "grad_norm": 3.4252536296844482,
1509
+ "learning_rate": 0.00012389158140369772,
1510
+ "loss": 0.2186,
1511
+ "step": 2120
1512
+ },
1513
+ {
1514
+ "epoch": 1.15,
1515
+ "grad_norm": 4.158681392669678,
1516
+ "learning_rate": 0.00012353257942918685,
1517
+ "loss": 0.21,
1518
+ "step": 2130
1519
+ },
1520
+ {
1521
+ "epoch": 1.15,
1522
+ "grad_norm": 4.56991720199585,
1523
+ "learning_rate": 0.000123173577454676,
1524
+ "loss": 0.3828,
1525
+ "step": 2140
1526
+ },
1527
+ {
1528
+ "epoch": 1.16,
1529
+ "grad_norm": 2.266087532043457,
1530
+ "learning_rate": 0.00012281457548016516,
1531
+ "loss": 0.373,
1532
+ "step": 2150
1533
+ },
1534
+ {
1535
+ "epoch": 1.16,
1536
+ "grad_norm": 2.2584266662597656,
1537
+ "learning_rate": 0.00012245557350565428,
1538
+ "loss": 0.3405,
1539
+ "step": 2160
1540
+ },
1541
+ {
1542
+ "epoch": 1.17,
1543
+ "grad_norm": 3.8184754848480225,
1544
+ "learning_rate": 0.00012209657153114343,
1545
+ "loss": 0.3754,
1546
+ "step": 2170
1547
+ },
1548
+ {
1549
+ "epoch": 1.17,
1550
+ "grad_norm": 3.0375304222106934,
1551
+ "learning_rate": 0.00012173756955663256,
1552
+ "loss": 0.2974,
1553
+ "step": 2180
1554
+ },
1555
+ {
1556
+ "epoch": 1.18,
1557
+ "grad_norm": 2.4245946407318115,
1558
+ "learning_rate": 0.00012137856758212171,
1559
+ "loss": 0.1965,
1560
+ "step": 2190
1561
+ },
1562
+ {
1563
+ "epoch": 1.18,
1564
+ "grad_norm": 3.8202474117279053,
1565
+ "learning_rate": 0.00012101956560761085,
1566
+ "loss": 0.3214,
1567
+ "step": 2200
1568
+ },
1569
+ {
1570
+ "epoch": 1.19,
1571
+ "grad_norm": 3.085423469543457,
1572
+ "learning_rate": 0.00012066056363309999,
1573
+ "loss": 0.4175,
1574
+ "step": 2210
1575
+ },
1576
+ {
1577
+ "epoch": 1.2,
1578
+ "grad_norm": 1.4140416383743286,
1579
+ "learning_rate": 0.00012030156165858913,
1580
+ "loss": 0.33,
1581
+ "step": 2220
1582
+ },
1583
+ {
1584
+ "epoch": 1.2,
1585
+ "grad_norm": 5.262833118438721,
1586
+ "learning_rate": 0.00011994255968407826,
1587
+ "loss": 0.2509,
1588
+ "step": 2230
1589
+ },
1590
+ {
1591
+ "epoch": 1.21,
1592
+ "grad_norm": 2.558087110519409,
1593
+ "learning_rate": 0.00011958355770956742,
1594
+ "loss": 0.313,
1595
+ "step": 2240
1596
+ },
1597
+ {
1598
+ "epoch": 1.21,
1599
+ "grad_norm": 4.801666736602783,
1600
+ "learning_rate": 0.00011922455573505655,
1601
+ "loss": 0.243,
1602
+ "step": 2250
1603
+ },
1604
+ {
1605
+ "epoch": 1.22,
1606
+ "grad_norm": 4.679200172424316,
1607
+ "learning_rate": 0.00011886555376054569,
1608
+ "loss": 0.4214,
1609
+ "step": 2260
1610
+ },
1611
+ {
1612
+ "epoch": 1.22,
1613
+ "grad_norm": 4.6267924308776855,
1614
+ "learning_rate": 0.00011850655178603483,
1615
+ "loss": 0.3274,
1616
+ "step": 2270
1617
+ },
1618
+ {
1619
+ "epoch": 1.23,
1620
+ "grad_norm": 7.414104461669922,
1621
+ "learning_rate": 0.00011814754981152396,
1622
+ "loss": 0.3157,
1623
+ "step": 2280
1624
+ },
1625
+ {
1626
+ "epoch": 1.23,
1627
+ "grad_norm": 1.789473056793213,
1628
+ "learning_rate": 0.00011778854783701312,
1629
+ "loss": 0.4056,
1630
+ "step": 2290
1631
+ },
1632
+ {
1633
+ "epoch": 1.24,
1634
+ "grad_norm": 1.3517308235168457,
1635
+ "learning_rate": 0.00011742954586250226,
1636
+ "loss": 0.2379,
1637
+ "step": 2300
1638
+ },
1639
+ {
1640
+ "epoch": 1.24,
1641
+ "grad_norm": 2.3322317600250244,
1642
+ "learning_rate": 0.0001170705438879914,
1643
+ "loss": 0.3424,
1644
+ "step": 2310
1645
+ },
1646
+ {
1647
+ "epoch": 1.25,
1648
+ "grad_norm": 2.0581860542297363,
1649
+ "learning_rate": 0.00011671154191348052,
1650
+ "loss": 0.289,
1651
+ "step": 2320
1652
+ },
1653
+ {
1654
+ "epoch": 1.25,
1655
+ "grad_norm": 1.9208920001983643,
1656
+ "learning_rate": 0.00011635253993896966,
1657
+ "loss": 0.3423,
1658
+ "step": 2330
1659
+ },
1660
+ {
1661
+ "epoch": 1.26,
1662
+ "grad_norm": 4.830653190612793,
1663
+ "learning_rate": 0.00011599353796445883,
1664
+ "loss": 0.2381,
1665
+ "step": 2340
1666
+ },
1667
+ {
1668
+ "epoch": 1.27,
1669
+ "grad_norm": 3.273254871368408,
1670
+ "learning_rate": 0.00011563453598994795,
1671
+ "loss": 0.4048,
1672
+ "step": 2350
1673
+ },
1674
+ {
1675
+ "epoch": 1.27,
1676
+ "grad_norm": 2.556912660598755,
1677
+ "learning_rate": 0.00011527553401543709,
1678
+ "loss": 0.1976,
1679
+ "step": 2360
1680
+ },
1681
+ {
1682
+ "epoch": 1.28,
1683
+ "grad_norm": 3.5109705924987793,
1684
+ "learning_rate": 0.00011491653204092623,
1685
+ "loss": 0.2245,
1686
+ "step": 2370
1687
+ },
1688
+ {
1689
+ "epoch": 1.28,
1690
+ "grad_norm": 3.6279704570770264,
1691
+ "learning_rate": 0.00011455753006641537,
1692
+ "loss": 0.3154,
1693
+ "step": 2380
1694
+ },
1695
+ {
1696
+ "epoch": 1.29,
1697
+ "grad_norm": 2.629523992538452,
1698
+ "learning_rate": 0.00011419852809190452,
1699
+ "loss": 0.2974,
1700
+ "step": 2390
1701
+ },
1702
+ {
1703
+ "epoch": 1.29,
1704
+ "grad_norm": 6.597686290740967,
1705
+ "learning_rate": 0.00011383952611739366,
1706
+ "loss": 0.3215,
1707
+ "step": 2400
1708
+ },
1709
+ {
1710
+ "epoch": 1.3,
1711
+ "grad_norm": 3.6411619186401367,
1712
+ "learning_rate": 0.00011348052414288279,
1713
+ "loss": 0.3519,
1714
+ "step": 2410
1715
+ },
1716
+ {
1717
+ "epoch": 1.3,
1718
+ "grad_norm": 4.907269477844238,
1719
+ "learning_rate": 0.00011312152216837193,
1720
+ "loss": 0.2902,
1721
+ "step": 2420
1722
+ },
1723
+ {
1724
+ "epoch": 1.31,
1725
+ "grad_norm": 4.394081115722656,
1726
+ "learning_rate": 0.00011276252019386107,
1727
+ "loss": 0.2661,
1728
+ "step": 2430
1729
+ },
1730
+ {
1731
+ "epoch": 1.31,
1732
+ "grad_norm": 4.089559078216553,
1733
+ "learning_rate": 0.0001124035182193502,
1734
+ "loss": 0.2106,
1735
+ "step": 2440
1736
+ },
1737
+ {
1738
+ "epoch": 1.32,
1739
+ "grad_norm": 8.708992004394531,
1740
+ "learning_rate": 0.00011204451624483936,
1741
+ "loss": 0.2477,
1742
+ "step": 2450
1743
+ },
1744
+ {
1745
+ "epoch": 1.32,
1746
+ "grad_norm": 2.78205943107605,
1747
+ "learning_rate": 0.0001116855142703285,
1748
+ "loss": 0.2677,
1749
+ "step": 2460
1750
+ },
1751
+ {
1752
+ "epoch": 1.33,
1753
+ "grad_norm": 1.323694109916687,
1754
+ "learning_rate": 0.00011132651229581764,
1755
+ "loss": 0.3387,
1756
+ "step": 2470
1757
+ },
1758
+ {
1759
+ "epoch": 1.34,
1760
+ "grad_norm": 2.025190591812134,
1761
+ "learning_rate": 0.00011096751032130676,
1762
+ "loss": 0.407,
1763
+ "step": 2480
1764
+ },
1765
+ {
1766
+ "epoch": 1.34,
1767
+ "grad_norm": 2.0524258613586426,
1768
+ "learning_rate": 0.0001106085083467959,
1769
+ "loss": 0.3032,
1770
+ "step": 2490
1771
+ },
1772
+ {
1773
+ "epoch": 1.35,
1774
+ "grad_norm": 1.9103044271469116,
1775
+ "learning_rate": 0.00011024950637228507,
1776
+ "loss": 0.1874,
1777
+ "step": 2500
1778
+ },
1779
+ {
1780
+ "epoch": 1.35,
1781
+ "grad_norm": 0.8446240425109863,
1782
+ "learning_rate": 0.00010989050439777419,
1783
+ "loss": 0.3678,
1784
+ "step": 2510
1785
+ },
1786
+ {
1787
+ "epoch": 1.36,
1788
+ "grad_norm": 0.9754679799079895,
1789
+ "learning_rate": 0.00010953150242326333,
1790
+ "loss": 0.2411,
1791
+ "step": 2520
1792
+ },
1793
+ {
1794
+ "epoch": 1.36,
1795
+ "grad_norm": 3.324087619781494,
1796
+ "learning_rate": 0.00010917250044875247,
1797
+ "loss": 0.2345,
1798
+ "step": 2530
1799
+ },
1800
+ {
1801
+ "epoch": 1.37,
1802
+ "grad_norm": 1.892694115638733,
1803
+ "learning_rate": 0.00010881349847424161,
1804
+ "loss": 0.1868,
1805
+ "step": 2540
1806
+ },
1807
+ {
1808
+ "epoch": 1.37,
1809
+ "grad_norm": 5.160618305206299,
1810
+ "learning_rate": 0.00010845449649973076,
1811
+ "loss": 0.3081,
1812
+ "step": 2550
1813
+ },
1814
+ {
1815
+ "epoch": 1.38,
1816
+ "grad_norm": 1.6300907135009766,
1817
+ "learning_rate": 0.0001080954945252199,
1818
+ "loss": 0.4015,
1819
+ "step": 2560
1820
+ },
1821
+ {
1822
+ "epoch": 1.38,
1823
+ "grad_norm": 0.7582225799560547,
1824
+ "learning_rate": 0.00010773649255070904,
1825
+ "loss": 0.346,
1826
+ "step": 2570
1827
+ },
1828
+ {
1829
+ "epoch": 1.39,
1830
+ "grad_norm": 1.9022983312606812,
1831
+ "learning_rate": 0.00010737749057619817,
1832
+ "loss": 0.2479,
1833
+ "step": 2580
1834
+ },
1835
+ {
1836
+ "epoch": 1.39,
1837
+ "grad_norm": 1.9787120819091797,
1838
+ "learning_rate": 0.0001070184886016873,
1839
+ "loss": 0.1605,
1840
+ "step": 2590
1841
+ },
1842
+ {
1843
+ "epoch": 1.4,
1844
+ "grad_norm": 0.39937639236450195,
1845
+ "learning_rate": 0.00010665948662717646,
1846
+ "loss": 0.2324,
1847
+ "step": 2600
1848
+ },
1849
+ {
1850
+ "epoch": 1.41,
1851
+ "grad_norm": 4.440683841705322,
1852
+ "learning_rate": 0.0001063004846526656,
1853
+ "loss": 0.2951,
1854
+ "step": 2610
1855
+ },
1856
+ {
1857
+ "epoch": 1.41,
1858
+ "grad_norm": 7.80417013168335,
1859
+ "learning_rate": 0.00010594148267815474,
1860
+ "loss": 0.3216,
1861
+ "step": 2620
1862
+ },
1863
+ {
1864
+ "epoch": 1.42,
1865
+ "grad_norm": 0.8643627762794495,
1866
+ "learning_rate": 0.00010558248070364388,
1867
+ "loss": 0.3748,
1868
+ "step": 2630
1869
+ },
1870
+ {
1871
+ "epoch": 1.42,
1872
+ "grad_norm": 2.565984010696411,
1873
+ "learning_rate": 0.000105223478729133,
1874
+ "loss": 0.2482,
1875
+ "step": 2640
1876
+ },
1877
+ {
1878
+ "epoch": 1.43,
1879
+ "grad_norm": 1.808835506439209,
1880
+ "learning_rate": 0.00010486447675462217,
1881
+ "loss": 0.1928,
1882
+ "step": 2650
1883
+ },
1884
+ {
1885
+ "epoch": 1.43,
1886
+ "grad_norm": 4.27629280090332,
1887
+ "learning_rate": 0.0001045054747801113,
1888
+ "loss": 0.2212,
1889
+ "step": 2660
1890
+ },
1891
+ {
1892
+ "epoch": 1.44,
1893
+ "grad_norm": 2.2094106674194336,
1894
+ "learning_rate": 0.00010414647280560043,
1895
+ "loss": 0.3034,
1896
+ "step": 2670
1897
+ },
1898
+ {
1899
+ "epoch": 1.44,
1900
+ "grad_norm": 3.1522459983825684,
1901
+ "learning_rate": 0.00010378747083108957,
1902
+ "loss": 0.3882,
1903
+ "step": 2680
1904
+ },
1905
+ {
1906
+ "epoch": 1.45,
1907
+ "grad_norm": 1.6770269870758057,
1908
+ "learning_rate": 0.00010342846885657871,
1909
+ "loss": 0.2733,
1910
+ "step": 2690
1911
+ },
1912
+ {
1913
+ "epoch": 1.45,
1914
+ "grad_norm": 2.9456825256347656,
1915
+ "learning_rate": 0.00010306946688206786,
1916
+ "loss": 0.2525,
1917
+ "step": 2700
1918
+ },
1919
+ {
1920
+ "epoch": 1.46,
1921
+ "grad_norm": 1.2579903602600098,
1922
+ "learning_rate": 0.000102710464907557,
1923
+ "loss": 0.2838,
1924
+ "step": 2710
1925
+ },
1926
+ {
1927
+ "epoch": 1.46,
1928
+ "grad_norm": 4.77798318862915,
1929
+ "learning_rate": 0.00010235146293304614,
1930
+ "loss": 0.2237,
1931
+ "step": 2720
1932
+ },
1933
+ {
1934
+ "epoch": 1.47,
1935
+ "grad_norm": 0.9022595882415771,
1936
+ "learning_rate": 0.00010199246095853528,
1937
+ "loss": 0.2609,
1938
+ "step": 2730
1939
+ },
1940
+ {
1941
+ "epoch": 1.48,
1942
+ "grad_norm": 3.534769058227539,
1943
+ "learning_rate": 0.0001016334589840244,
1944
+ "loss": 0.236,
1945
+ "step": 2740
1946
+ },
1947
+ {
1948
+ "epoch": 1.48,
1949
+ "grad_norm": 1.7139040231704712,
1950
+ "learning_rate": 0.00010127445700951357,
1951
+ "loss": 0.2902,
1952
+ "step": 2750
1953
+ },
1954
+ {
1955
+ "epoch": 1.49,
1956
+ "grad_norm": 3.206073760986328,
1957
+ "learning_rate": 0.0001009154550350027,
1958
+ "loss": 0.2345,
1959
+ "step": 2760
1960
+ },
1961
+ {
1962
+ "epoch": 1.49,
1963
+ "grad_norm": 2.6459364891052246,
1964
+ "learning_rate": 0.00010055645306049184,
1965
+ "loss": 0.2473,
1966
+ "step": 2770
1967
+ },
1968
+ {
1969
+ "epoch": 1.5,
1970
+ "grad_norm": 3.378709554672241,
1971
+ "learning_rate": 0.00010019745108598098,
1972
+ "loss": 0.2749,
1973
+ "step": 2780
1974
+ },
1975
+ {
1976
+ "epoch": 1.5,
1977
+ "grad_norm": 0.6295195817947388,
1978
+ "learning_rate": 9.983844911147013e-05,
1979
+ "loss": 0.2706,
1980
+ "step": 2790
1981
+ },
1982
+ {
1983
+ "epoch": 1.51,
1984
+ "grad_norm": 2.157210111618042,
1985
+ "learning_rate": 9.947944713695925e-05,
1986
+ "loss": 0.2334,
1987
+ "step": 2800
1988
+ },
1989
+ {
1990
+ "epoch": 1.51,
1991
+ "grad_norm": 0.8217396140098572,
1992
+ "learning_rate": 9.91204451624484e-05,
1993
+ "loss": 0.3544,
1994
+ "step": 2810
1995
+ },
1996
+ {
1997
+ "epoch": 1.52,
1998
+ "grad_norm": 1.1436272859573364,
1999
+ "learning_rate": 9.876144318793755e-05,
2000
+ "loss": 0.2514,
2001
+ "step": 2820
2002
+ },
2003
+ {
2004
+ "epoch": 1.52,
2005
+ "grad_norm": 1.6002836227416992,
2006
+ "learning_rate": 9.840244121342667e-05,
2007
+ "loss": 0.2121,
2008
+ "step": 2830
2009
+ },
2010
+ {
2011
+ "epoch": 1.53,
2012
+ "grad_norm": 5.171236038208008,
2013
+ "learning_rate": 9.804343923891582e-05,
2014
+ "loss": 0.333,
2015
+ "step": 2840
2016
+ },
2017
+ {
2018
+ "epoch": 1.53,
2019
+ "grad_norm": 0.5939213037490845,
2020
+ "learning_rate": 9.768443726440496e-05,
2021
+ "loss": 0.2132,
2022
+ "step": 2850
2023
+ },
2024
+ {
2025
+ "epoch": 1.54,
2026
+ "grad_norm": 0.8077958226203918,
2027
+ "learning_rate": 9.732543528989409e-05,
2028
+ "loss": 0.2008,
2029
+ "step": 2860
2030
+ },
2031
+ {
2032
+ "epoch": 1.55,
2033
+ "grad_norm": 2.7641491889953613,
2034
+ "learning_rate": 9.696643331538324e-05,
2035
+ "loss": 0.2443,
2036
+ "step": 2870
2037
+ },
2038
+ {
2039
+ "epoch": 1.55,
2040
+ "grad_norm": 3.886826515197754,
2041
+ "learning_rate": 9.660743134087238e-05,
2042
+ "loss": 0.2784,
2043
+ "step": 2880
2044
+ },
2045
+ {
2046
+ "epoch": 1.56,
2047
+ "grad_norm": 3.848173141479492,
2048
+ "learning_rate": 9.624842936636152e-05,
2049
+ "loss": 0.4413,
2050
+ "step": 2890
2051
+ },
2052
+ {
2053
+ "epoch": 1.56,
2054
+ "grad_norm": 4.851912975311279,
2055
+ "learning_rate": 9.588942739185066e-05,
2056
+ "loss": 0.3506,
2057
+ "step": 2900
2058
+ },
2059
+ {
2060
+ "epoch": 1.57,
2061
+ "grad_norm": 4.759628772735596,
2062
+ "learning_rate": 9.55304254173398e-05,
2063
+ "loss": 0.2806,
2064
+ "step": 2910
2065
+ },
2066
+ {
2067
+ "epoch": 1.57,
2068
+ "grad_norm": 3.028917074203491,
2069
+ "learning_rate": 9.517142344282894e-05,
2070
+ "loss": 0.1563,
2071
+ "step": 2920
2072
+ },
2073
+ {
2074
+ "epoch": 1.58,
2075
+ "grad_norm": 0.7735349535942078,
2076
+ "learning_rate": 9.481242146831808e-05,
2077
+ "loss": 0.2664,
2078
+ "step": 2930
2079
+ },
2080
+ {
2081
+ "epoch": 1.58,
2082
+ "grad_norm": 5.392376899719238,
2083
+ "learning_rate": 9.445341949380722e-05,
2084
+ "loss": 0.4742,
2085
+ "step": 2940
2086
+ },
2087
+ {
2088
+ "epoch": 1.59,
2089
+ "grad_norm": 0.3702976703643799,
2090
+ "learning_rate": 9.409441751929637e-05,
2091
+ "loss": 0.2374,
2092
+ "step": 2950
2093
+ },
2094
+ {
2095
+ "epoch": 1.59,
2096
+ "grad_norm": 3.8237831592559814,
2097
+ "learning_rate": 9.37354155447855e-05,
2098
+ "loss": 0.3373,
2099
+ "step": 2960
2100
+ },
2101
+ {
2102
+ "epoch": 1.6,
2103
+ "grad_norm": 2.340137004852295,
2104
+ "learning_rate": 9.337641357027465e-05,
2105
+ "loss": 0.1712,
2106
+ "step": 2970
2107
+ },
2108
+ {
2109
+ "epoch": 1.6,
2110
+ "grad_norm": 2.852940320968628,
2111
+ "learning_rate": 9.301741159576379e-05,
2112
+ "loss": 0.3893,
2113
+ "step": 2980
2114
+ },
2115
+ {
2116
+ "epoch": 1.61,
2117
+ "grad_norm": 4.046962738037109,
2118
+ "learning_rate": 9.265840962125291e-05,
2119
+ "loss": 0.2705,
2120
+ "step": 2990
2121
+ },
2122
+ {
2123
+ "epoch": 1.62,
2124
+ "grad_norm": 3.1118102073669434,
2125
+ "learning_rate": 9.229940764674206e-05,
2126
+ "loss": 0.2858,
2127
+ "step": 3000
2128
+ },
2129
+ {
2130
+ "epoch": 1.62,
2131
+ "eval_accuracy": 0.8982092365692743,
2132
+ "eval_loss": 0.31681233644485474,
2133
+ "eval_runtime": 28.8932,
2134
+ "eval_samples_per_second": 146.886,
2135
+ "eval_steps_per_second": 18.378,
2136
+ "step": 3000
2137
+ },
2138
+ {
2139
+ "epoch": 1.62,
2140
+ "grad_norm": 3.118884563446045,
2141
+ "learning_rate": 9.19404056722312e-05,
2142
+ "loss": 0.2141,
2143
+ "step": 3010
2144
+ },
2145
+ {
2146
+ "epoch": 1.63,
2147
+ "grad_norm": 1.300128698348999,
2148
+ "learning_rate": 9.158140369772034e-05,
2149
+ "loss": 0.2447,
2150
+ "step": 3020
2151
+ },
2152
+ {
2153
+ "epoch": 1.63,
2154
+ "grad_norm": 5.444098472595215,
2155
+ "learning_rate": 9.122240172320948e-05,
2156
+ "loss": 0.3292,
2157
+ "step": 3030
2158
+ },
2159
+ {
2160
+ "epoch": 1.64,
2161
+ "grad_norm": 1.3221828937530518,
2162
+ "learning_rate": 9.086339974869862e-05,
2163
+ "loss": 0.2242,
2164
+ "step": 3040
2165
+ },
2166
+ {
2167
+ "epoch": 1.64,
2168
+ "grad_norm": 6.229465007781982,
2169
+ "learning_rate": 9.050439777418776e-05,
2170
+ "loss": 0.2202,
2171
+ "step": 3050
2172
+ },
2173
+ {
2174
+ "epoch": 1.65,
2175
+ "grad_norm": 3.1482324600219727,
2176
+ "learning_rate": 9.01453957996769e-05,
2177
+ "loss": 0.2703,
2178
+ "step": 3060
2179
+ },
2180
+ {
2181
+ "epoch": 1.65,
2182
+ "grad_norm": 2.2517826557159424,
2183
+ "learning_rate": 8.978639382516604e-05,
2184
+ "loss": 0.3036,
2185
+ "step": 3070
2186
+ },
2187
+ {
2188
+ "epoch": 1.66,
2189
+ "grad_norm": 1.955870270729065,
2190
+ "learning_rate": 8.942739185065519e-05,
2191
+ "loss": 0.2429,
2192
+ "step": 3080
2193
+ },
2194
+ {
2195
+ "epoch": 1.66,
2196
+ "grad_norm": 5.1806135177612305,
2197
+ "learning_rate": 8.906838987614432e-05,
2198
+ "loss": 0.2818,
2199
+ "step": 3090
2200
+ },
2201
+ {
2202
+ "epoch": 1.67,
2203
+ "grad_norm": 5.079287052154541,
2204
+ "learning_rate": 8.870938790163347e-05,
2205
+ "loss": 0.4519,
2206
+ "step": 3100
2207
+ },
2208
+ {
2209
+ "epoch": 1.67,
2210
+ "grad_norm": 5.5971221923828125,
2211
+ "learning_rate": 8.835038592712261e-05,
2212
+ "loss": 0.3289,
2213
+ "step": 3110
2214
+ },
2215
+ {
2216
+ "epoch": 1.68,
2217
+ "grad_norm": 1.7511892318725586,
2218
+ "learning_rate": 8.799138395261173e-05,
2219
+ "loss": 0.229,
2220
+ "step": 3120
2221
+ },
2222
+ {
2223
+ "epoch": 1.69,
2224
+ "grad_norm": 1.807925820350647,
2225
+ "learning_rate": 8.763238197810089e-05,
2226
+ "loss": 0.1914,
2227
+ "step": 3130
2228
+ },
2229
+ {
2230
+ "epoch": 1.69,
2231
+ "grad_norm": 1.941755771636963,
2232
+ "learning_rate": 8.727338000359003e-05,
2233
+ "loss": 0.3117,
2234
+ "step": 3140
2235
+ },
2236
+ {
2237
+ "epoch": 1.7,
2238
+ "grad_norm": 2.525628089904785,
2239
+ "learning_rate": 8.691437802907917e-05,
2240
+ "loss": 0.184,
2241
+ "step": 3150
2242
+ },
2243
+ {
2244
+ "epoch": 1.7,
2245
+ "grad_norm": 1.7301961183547974,
2246
+ "learning_rate": 8.65553760545683e-05,
2247
+ "loss": 0.3211,
2248
+ "step": 3160
2249
+ },
2250
+ {
2251
+ "epoch": 1.71,
2252
+ "grad_norm": 1.8699519634246826,
2253
+ "learning_rate": 8.619637408005744e-05,
2254
+ "loss": 0.4774,
2255
+ "step": 3170
2256
+ },
2257
+ {
2258
+ "epoch": 1.71,
2259
+ "grad_norm": 4.752264499664307,
2260
+ "learning_rate": 8.583737210554658e-05,
2261
+ "loss": 0.3038,
2262
+ "step": 3180
2263
+ },
2264
+ {
2265
+ "epoch": 1.72,
2266
+ "grad_norm": 1.078616976737976,
2267
+ "learning_rate": 8.547837013103572e-05,
2268
+ "loss": 0.1999,
2269
+ "step": 3190
2270
+ },
2271
+ {
2272
+ "epoch": 1.72,
2273
+ "grad_norm": 2.705883502960205,
2274
+ "learning_rate": 8.511936815652487e-05,
2275
+ "loss": 0.1434,
2276
+ "step": 3200
2277
+ },
2278
+ {
2279
+ "epoch": 1.73,
2280
+ "grad_norm": 3.39790678024292,
2281
+ "learning_rate": 8.4760366182014e-05,
2282
+ "loss": 0.3326,
2283
+ "step": 3210
2284
+ },
2285
+ {
2286
+ "epoch": 1.73,
2287
+ "grad_norm": 4.738800525665283,
2288
+ "learning_rate": 8.440136420750314e-05,
2289
+ "loss": 0.3452,
2290
+ "step": 3220
2291
+ },
2292
+ {
2293
+ "epoch": 1.74,
2294
+ "grad_norm": 1.4218274354934692,
2295
+ "learning_rate": 8.404236223299229e-05,
2296
+ "loss": 0.2557,
2297
+ "step": 3230
2298
+ },
2299
+ {
2300
+ "epoch": 1.74,
2301
+ "grad_norm": 4.442851543426514,
2302
+ "learning_rate": 8.368336025848143e-05,
2303
+ "loss": 0.2807,
2304
+ "step": 3240
2305
+ },
2306
+ {
2307
+ "epoch": 1.75,
2308
+ "grad_norm": 0.8416496515274048,
2309
+ "learning_rate": 8.332435828397056e-05,
2310
+ "loss": 0.2253,
2311
+ "step": 3250
2312
+ },
2313
+ {
2314
+ "epoch": 1.76,
2315
+ "grad_norm": 2.569054365158081,
2316
+ "learning_rate": 8.296535630945971e-05,
2317
+ "loss": 0.291,
2318
+ "step": 3260
2319
+ },
2320
+ {
2321
+ "epoch": 1.76,
2322
+ "grad_norm": 0.4429701864719391,
2323
+ "learning_rate": 8.260635433494885e-05,
2324
+ "loss": 0.2412,
2325
+ "step": 3270
2326
+ },
2327
+ {
2328
+ "epoch": 1.77,
2329
+ "grad_norm": 1.4425578117370605,
2330
+ "learning_rate": 8.224735236043799e-05,
2331
+ "loss": 0.308,
2332
+ "step": 3280
2333
+ },
2334
+ {
2335
+ "epoch": 1.77,
2336
+ "grad_norm": 0.7549358606338501,
2337
+ "learning_rate": 8.188835038592713e-05,
2338
+ "loss": 0.2046,
2339
+ "step": 3290
2340
+ },
2341
+ {
2342
+ "epoch": 1.78,
2343
+ "grad_norm": 5.6480536460876465,
2344
+ "learning_rate": 8.152934841141627e-05,
2345
+ "loss": 0.2321,
2346
+ "step": 3300
2347
+ },
2348
+ {
2349
+ "epoch": 1.78,
2350
+ "grad_norm": 5.329677104949951,
2351
+ "learning_rate": 8.11703464369054e-05,
2352
+ "loss": 0.2555,
2353
+ "step": 3310
2354
+ },
2355
+ {
2356
+ "epoch": 1.79,
2357
+ "grad_norm": 2.327784776687622,
2358
+ "learning_rate": 8.081134446239454e-05,
2359
+ "loss": 0.2767,
2360
+ "step": 3320
2361
+ },
2362
+ {
2363
+ "epoch": 1.79,
2364
+ "grad_norm": 2.5506343841552734,
2365
+ "learning_rate": 8.04523424878837e-05,
2366
+ "loss": 0.244,
2367
+ "step": 3330
2368
+ },
2369
+ {
2370
+ "epoch": 1.8,
2371
+ "grad_norm": 1.2340612411499023,
2372
+ "learning_rate": 8.009334051337282e-05,
2373
+ "loss": 0.2596,
2374
+ "step": 3340
2375
+ },
2376
+ {
2377
+ "epoch": 1.8,
2378
+ "grad_norm": 4.444881439208984,
2379
+ "learning_rate": 7.973433853886196e-05,
2380
+ "loss": 0.3693,
2381
+ "step": 3350
2382
+ },
2383
+ {
2384
+ "epoch": 1.81,
2385
+ "grad_norm": 1.2533739805221558,
2386
+ "learning_rate": 7.937533656435111e-05,
2387
+ "loss": 0.2085,
2388
+ "step": 3360
2389
+ },
2390
+ {
2391
+ "epoch": 1.81,
2392
+ "grad_norm": 3.2997021675109863,
2393
+ "learning_rate": 7.901633458984024e-05,
2394
+ "loss": 0.2568,
2395
+ "step": 3370
2396
+ },
2397
+ {
2398
+ "epoch": 1.82,
2399
+ "grad_norm": 1.5801811218261719,
2400
+ "learning_rate": 7.865733261532939e-05,
2401
+ "loss": 0.2121,
2402
+ "step": 3380
2403
+ },
2404
+ {
2405
+ "epoch": 1.83,
2406
+ "grad_norm": 2.1749870777130127,
2407
+ "learning_rate": 7.829833064081853e-05,
2408
+ "loss": 0.306,
2409
+ "step": 3390
2410
+ },
2411
+ {
2412
+ "epoch": 1.83,
2413
+ "grad_norm": 1.134340763092041,
2414
+ "learning_rate": 7.793932866630767e-05,
2415
+ "loss": 0.1628,
2416
+ "step": 3400
2417
+ },
2418
+ {
2419
+ "epoch": 1.84,
2420
+ "grad_norm": 0.5507072806358337,
2421
+ "learning_rate": 7.758032669179681e-05,
2422
+ "loss": 0.1448,
2423
+ "step": 3410
2424
+ },
2425
+ {
2426
+ "epoch": 1.84,
2427
+ "grad_norm": 1.2097892761230469,
2428
+ "learning_rate": 7.722132471728595e-05,
2429
+ "loss": 0.2467,
2430
+ "step": 3420
2431
+ },
2432
+ {
2433
+ "epoch": 1.85,
2434
+ "grad_norm": 3.975356101989746,
2435
+ "learning_rate": 7.686232274277509e-05,
2436
+ "loss": 0.3024,
2437
+ "step": 3430
2438
+ },
2439
+ {
2440
+ "epoch": 1.85,
2441
+ "grad_norm": 1.4087692499160767,
2442
+ "learning_rate": 7.650332076826423e-05,
2443
+ "loss": 0.1599,
2444
+ "step": 3440
2445
+ },
2446
+ {
2447
+ "epoch": 1.86,
2448
+ "grad_norm": 1.547336220741272,
2449
+ "learning_rate": 7.614431879375337e-05,
2450
+ "loss": 0.1841,
2451
+ "step": 3450
2452
+ },
2453
+ {
2454
+ "epoch": 1.86,
2455
+ "grad_norm": 2.1175031661987305,
2456
+ "learning_rate": 7.578531681924252e-05,
2457
+ "loss": 0.2962,
2458
+ "step": 3460
2459
+ },
2460
+ {
2461
+ "epoch": 1.87,
2462
+ "grad_norm": 2.945688486099243,
2463
+ "learning_rate": 7.542631484473164e-05,
2464
+ "loss": 0.3062,
2465
+ "step": 3470
2466
+ },
2467
+ {
2468
+ "epoch": 1.87,
2469
+ "grad_norm": 4.48527193069458,
2470
+ "learning_rate": 7.506731287022078e-05,
2471
+ "loss": 0.2825,
2472
+ "step": 3480
2473
+ },
2474
+ {
2475
+ "epoch": 1.88,
2476
+ "grad_norm": 1.1994941234588623,
2477
+ "learning_rate": 7.470831089570994e-05,
2478
+ "loss": 0.247,
2479
+ "step": 3490
2480
+ },
2481
+ {
2482
+ "epoch": 1.88,
2483
+ "grad_norm": 5.999602317810059,
2484
+ "learning_rate": 7.434930892119906e-05,
2485
+ "loss": 0.2539,
2486
+ "step": 3500
2487
+ },
2488
+ {
2489
+ "epoch": 1.89,
2490
+ "grad_norm": 2.8415539264678955,
2491
+ "learning_rate": 7.399030694668822e-05,
2492
+ "loss": 0.2171,
2493
+ "step": 3510
2494
+ },
2495
+ {
2496
+ "epoch": 1.9,
2497
+ "grad_norm": 1.3422552347183228,
2498
+ "learning_rate": 7.363130497217735e-05,
2499
+ "loss": 0.3478,
2500
+ "step": 3520
2501
+ },
2502
+ {
2503
+ "epoch": 1.9,
2504
+ "grad_norm": 2.4383304119110107,
2505
+ "learning_rate": 7.327230299766648e-05,
2506
+ "loss": 0.1589,
2507
+ "step": 3530
2508
+ },
2509
+ {
2510
+ "epoch": 1.91,
2511
+ "grad_norm": 1.2923927307128906,
2512
+ "learning_rate": 7.291330102315563e-05,
2513
+ "loss": 0.2454,
2514
+ "step": 3540
2515
+ },
2516
+ {
2517
+ "epoch": 1.91,
2518
+ "grad_norm": 7.643916130065918,
2519
+ "learning_rate": 7.255429904864477e-05,
2520
+ "loss": 0.2569,
2521
+ "step": 3550
2522
+ },
2523
+ {
2524
+ "epoch": 1.92,
2525
+ "grad_norm": 0.6370854377746582,
2526
+ "learning_rate": 7.219529707413391e-05,
2527
+ "loss": 0.2397,
2528
+ "step": 3560
2529
+ },
2530
+ {
2531
+ "epoch": 1.92,
2532
+ "grad_norm": 2.2898166179656982,
2533
+ "learning_rate": 7.183629509962305e-05,
2534
+ "loss": 0.311,
2535
+ "step": 3570
2536
+ },
2537
+ {
2538
+ "epoch": 1.93,
2539
+ "grad_norm": 0.21601971983909607,
2540
+ "learning_rate": 7.147729312511219e-05,
2541
+ "loss": 0.132,
2542
+ "step": 3580
2543
+ },
2544
+ {
2545
+ "epoch": 1.93,
2546
+ "grad_norm": 5.631169319152832,
2547
+ "learning_rate": 7.111829115060133e-05,
2548
+ "loss": 0.3239,
2549
+ "step": 3590
2550
+ },
2551
+ {
2552
+ "epoch": 1.94,
2553
+ "grad_norm": 1.8647130727767944,
2554
+ "learning_rate": 7.075928917609047e-05,
2555
+ "loss": 0.2938,
2556
+ "step": 3600
2557
+ },
2558
+ {
2559
+ "epoch": 1.94,
2560
+ "grad_norm": 1.4058655500411987,
2561
+ "learning_rate": 7.04002872015796e-05,
2562
+ "loss": 0.2243,
2563
+ "step": 3610
2564
+ },
2565
+ {
2566
+ "epoch": 1.95,
2567
+ "grad_norm": 1.8157402276992798,
2568
+ "learning_rate": 7.004128522706876e-05,
2569
+ "loss": 0.3979,
2570
+ "step": 3620
2571
+ },
2572
+ {
2573
+ "epoch": 1.95,
2574
+ "grad_norm": 1.5826122760772705,
2575
+ "learning_rate": 6.968228325255788e-05,
2576
+ "loss": 0.1669,
2577
+ "step": 3630
2578
+ },
2579
+ {
2580
+ "epoch": 1.96,
2581
+ "grad_norm": 3.8877973556518555,
2582
+ "learning_rate": 6.932328127804704e-05,
2583
+ "loss": 0.1809,
2584
+ "step": 3640
2585
+ },
2586
+ {
2587
+ "epoch": 1.97,
2588
+ "grad_norm": 2.680852174758911,
2589
+ "learning_rate": 6.896427930353618e-05,
2590
+ "loss": 0.2838,
2591
+ "step": 3650
2592
+ },
2593
+ {
2594
+ "epoch": 1.97,
2595
+ "grad_norm": 2.5472583770751953,
2596
+ "learning_rate": 6.86052773290253e-05,
2597
+ "loss": 0.3837,
2598
+ "step": 3660
2599
+ },
2600
+ {
2601
+ "epoch": 1.98,
2602
+ "grad_norm": 2.85748291015625,
2603
+ "learning_rate": 6.824627535451445e-05,
2604
+ "loss": 0.227,
2605
+ "step": 3670
2606
+ },
2607
+ {
2608
+ "epoch": 1.98,
2609
+ "grad_norm": 1.5653326511383057,
2610
+ "learning_rate": 6.78872733800036e-05,
2611
+ "loss": 0.3072,
2612
+ "step": 3680
2613
+ },
2614
+ {
2615
+ "epoch": 1.99,
2616
+ "grad_norm": 0.8465702533721924,
2617
+ "learning_rate": 6.752827140549273e-05,
2618
+ "loss": 0.2379,
2619
+ "step": 3690
2620
+ },
2621
+ {
2622
+ "epoch": 1.99,
2623
+ "grad_norm": 2.931452989578247,
2624
+ "learning_rate": 6.716926943098187e-05,
2625
+ "loss": 0.1828,
2626
+ "step": 3700
2627
+ },
2628
+ {
2629
+ "epoch": 2.0,
2630
+ "grad_norm": 3.0221519470214844,
2631
+ "learning_rate": 6.681026745647101e-05,
2632
+ "loss": 0.3451,
2633
+ "step": 3710
2634
+ },
2635
+ {
2636
+ "epoch": 2.0,
2637
+ "grad_norm": 3.943457841873169,
2638
+ "learning_rate": 6.645126548196015e-05,
2639
+ "loss": 0.2619,
2640
+ "step": 3720
2641
+ },
2642
+ {
2643
+ "epoch": 2.01,
2644
+ "grad_norm": 2.9193050861358643,
2645
+ "learning_rate": 6.609226350744929e-05,
2646
+ "loss": 0.2775,
2647
+ "step": 3730
2648
+ },
2649
+ {
2650
+ "epoch": 2.01,
2651
+ "grad_norm": 1.2334821224212646,
2652
+ "learning_rate": 6.573326153293844e-05,
2653
+ "loss": 0.24,
2654
+ "step": 3740
2655
+ },
2656
+ {
2657
+ "epoch": 2.02,
2658
+ "grad_norm": 2.4643306732177734,
2659
+ "learning_rate": 6.537425955842758e-05,
2660
+ "loss": 0.1615,
2661
+ "step": 3750
2662
+ },
2663
+ {
2664
+ "epoch": 2.02,
2665
+ "grad_norm": 4.313879013061523,
2666
+ "learning_rate": 6.501525758391671e-05,
2667
+ "loss": 0.322,
2668
+ "step": 3760
2669
+ },
2670
+ {
2671
+ "epoch": 2.03,
2672
+ "grad_norm": 0.9670339822769165,
2673
+ "learning_rate": 6.465625560940586e-05,
2674
+ "loss": 0.159,
2675
+ "step": 3770
2676
+ },
2677
+ {
2678
+ "epoch": 2.04,
2679
+ "grad_norm": 2.7353298664093018,
2680
+ "learning_rate": 6.4297253634895e-05,
2681
+ "loss": 0.2219,
2682
+ "step": 3780
2683
+ },
2684
+ {
2685
+ "epoch": 2.04,
2686
+ "grad_norm": 1.9934465885162354,
2687
+ "learning_rate": 6.393825166038412e-05,
2688
+ "loss": 0.1663,
2689
+ "step": 3790
2690
+ },
2691
+ {
2692
+ "epoch": 2.05,
2693
+ "grad_norm": 1.8405640125274658,
2694
+ "learning_rate": 6.357924968587328e-05,
2695
+ "loss": 0.242,
2696
+ "step": 3800
2697
+ },
2698
+ {
2699
+ "epoch": 2.05,
2700
+ "grad_norm": 1.6964789628982544,
2701
+ "learning_rate": 6.322024771136242e-05,
2702
+ "loss": 0.1724,
2703
+ "step": 3810
2704
+ },
2705
+ {
2706
+ "epoch": 2.06,
2707
+ "grad_norm": 3.5647034645080566,
2708
+ "learning_rate": 6.286124573685156e-05,
2709
+ "loss": 0.2968,
2710
+ "step": 3820
2711
+ },
2712
+ {
2713
+ "epoch": 2.06,
2714
+ "grad_norm": 1.890254259109497,
2715
+ "learning_rate": 6.25022437623407e-05,
2716
+ "loss": 0.2064,
2717
+ "step": 3830
2718
+ },
2719
+ {
2720
+ "epoch": 2.07,
2721
+ "grad_norm": 3.5268359184265137,
2722
+ "learning_rate": 6.214324178782983e-05,
2723
+ "loss": 0.2538,
2724
+ "step": 3840
2725
+ },
2726
+ {
2727
+ "epoch": 2.07,
2728
+ "grad_norm": 6.591871738433838,
2729
+ "learning_rate": 6.178423981331897e-05,
2730
+ "loss": 0.1802,
2731
+ "step": 3850
2732
+ },
2733
+ {
2734
+ "epoch": 2.08,
2735
+ "grad_norm": 0.2522422671318054,
2736
+ "learning_rate": 6.142523783880811e-05,
2737
+ "loss": 0.1511,
2738
+ "step": 3860
2739
+ },
2740
+ {
2741
+ "epoch": 2.08,
2742
+ "grad_norm": 3.9219987392425537,
2743
+ "learning_rate": 6.106623586429726e-05,
2744
+ "loss": 0.2375,
2745
+ "step": 3870
2746
+ },
2747
+ {
2748
+ "epoch": 2.09,
2749
+ "grad_norm": 3.851166009902954,
2750
+ "learning_rate": 6.07072338897864e-05,
2751
+ "loss": 0.2537,
2752
+ "step": 3880
2753
+ },
2754
+ {
2755
+ "epoch": 2.09,
2756
+ "grad_norm": 1.0214225053787231,
2757
+ "learning_rate": 6.034823191527553e-05,
2758
+ "loss": 0.2132,
2759
+ "step": 3890
2760
+ },
2761
+ {
2762
+ "epoch": 2.1,
2763
+ "grad_norm": 0.24583332240581512,
2764
+ "learning_rate": 5.998922994076468e-05,
2765
+ "loss": 0.1845,
2766
+ "step": 3900
2767
+ },
2768
+ {
2769
+ "epoch": 2.11,
2770
+ "grad_norm": 1.3417609930038452,
2771
+ "learning_rate": 5.9630227966253815e-05,
2772
+ "loss": 0.2113,
2773
+ "step": 3910
2774
+ },
2775
+ {
2776
+ "epoch": 2.11,
2777
+ "grad_norm": 1.993512511253357,
2778
+ "learning_rate": 5.927122599174296e-05,
2779
+ "loss": 0.2232,
2780
+ "step": 3920
2781
+ },
2782
+ {
2783
+ "epoch": 2.12,
2784
+ "grad_norm": 1.5137494802474976,
2785
+ "learning_rate": 5.89122240172321e-05,
2786
+ "loss": 0.1665,
2787
+ "step": 3930
2788
+ },
2789
+ {
2790
+ "epoch": 2.12,
2791
+ "grad_norm": 1.766516923904419,
2792
+ "learning_rate": 5.855322204272123e-05,
2793
+ "loss": 0.1327,
2794
+ "step": 3940
2795
+ },
2796
+ {
2797
+ "epoch": 2.13,
2798
+ "grad_norm": 2.160499095916748,
2799
+ "learning_rate": 5.819422006821038e-05,
2800
+ "loss": 0.1939,
2801
+ "step": 3950
2802
+ },
2803
+ {
2804
+ "epoch": 2.13,
2805
+ "grad_norm": 0.33353400230407715,
2806
+ "learning_rate": 5.783521809369952e-05,
2807
+ "loss": 0.1866,
2808
+ "step": 3960
2809
+ },
2810
+ {
2811
+ "epoch": 2.14,
2812
+ "grad_norm": 0.14930427074432373,
2813
+ "learning_rate": 5.747621611918865e-05,
2814
+ "loss": 0.3156,
2815
+ "step": 3970
2816
+ },
2817
+ {
2818
+ "epoch": 2.14,
2819
+ "grad_norm": 2.471959352493286,
2820
+ "learning_rate": 5.71172141446778e-05,
2821
+ "loss": 0.3412,
2822
+ "step": 3980
2823
+ },
2824
+ {
2825
+ "epoch": 2.15,
2826
+ "grad_norm": 2.0565524101257324,
2827
+ "learning_rate": 5.6758212170166935e-05,
2828
+ "loss": 0.1895,
2829
+ "step": 3990
2830
+ },
2831
+ {
2832
+ "epoch": 2.15,
2833
+ "grad_norm": 0.38892602920532227,
2834
+ "learning_rate": 5.639921019565608e-05,
2835
+ "loss": 0.2103,
2836
+ "step": 4000
2837
+ },
2838
+ {
2839
+ "epoch": 2.15,
2840
+ "eval_accuracy": 0.9033930254476908,
2841
+ "eval_loss": 0.3191111385822296,
2842
+ "eval_runtime": 29.6926,
2843
+ "eval_samples_per_second": 142.931,
2844
+ "eval_steps_per_second": 17.883,
2845
+ "step": 4000
2846
+ },
2847
+ {
2848
+ "epoch": 2.16,
2849
+ "grad_norm": 1.1914218664169312,
2850
+ "learning_rate": 5.604020822114522e-05,
2851
+ "loss": 0.1546,
2852
+ "step": 4010
2853
+ },
2854
+ {
2855
+ "epoch": 2.16,
2856
+ "grad_norm": 7.335626602172852,
2857
+ "learning_rate": 5.568120624663435e-05,
2858
+ "loss": 0.2709,
2859
+ "step": 4020
2860
+ },
2861
+ {
2862
+ "epoch": 2.17,
2863
+ "grad_norm": 3.775116443634033,
2864
+ "learning_rate": 5.53222042721235e-05,
2865
+ "loss": 0.2181,
2866
+ "step": 4030
2867
+ },
2868
+ {
2869
+ "epoch": 2.18,
2870
+ "grad_norm": 3.1225345134735107,
2871
+ "learning_rate": 5.496320229761264e-05,
2872
+ "loss": 0.1933,
2873
+ "step": 4040
2874
+ },
2875
+ {
2876
+ "epoch": 2.18,
2877
+ "grad_norm": 6.653754711151123,
2878
+ "learning_rate": 5.460420032310178e-05,
2879
+ "loss": 0.2501,
2880
+ "step": 4050
2881
+ },
2882
+ {
2883
+ "epoch": 2.19,
2884
+ "grad_norm": 5.019111156463623,
2885
+ "learning_rate": 5.424519834859092e-05,
2886
+ "loss": 0.2231,
2887
+ "step": 4060
2888
+ },
2889
+ {
2890
+ "epoch": 2.19,
2891
+ "grad_norm": 1.7963464260101318,
2892
+ "learning_rate": 5.3886196374080055e-05,
2893
+ "loss": 0.2554,
2894
+ "step": 4070
2895
+ },
2896
+ {
2897
+ "epoch": 2.2,
2898
+ "grad_norm": 2.2074685096740723,
2899
+ "learning_rate": 5.35271943995692e-05,
2900
+ "loss": 0.1698,
2901
+ "step": 4080
2902
+ },
2903
+ {
2904
+ "epoch": 2.2,
2905
+ "grad_norm": 2.9906063079833984,
2906
+ "learning_rate": 5.316819242505834e-05,
2907
+ "loss": 0.1265,
2908
+ "step": 4090
2909
+ },
2910
+ {
2911
+ "epoch": 2.21,
2912
+ "grad_norm": 1.4613714218139648,
2913
+ "learning_rate": 5.2809190450547486e-05,
2914
+ "loss": 0.22,
2915
+ "step": 4100
2916
+ },
2917
+ {
2918
+ "epoch": 2.21,
2919
+ "grad_norm": 1.3449119329452515,
2920
+ "learning_rate": 5.2450188476036625e-05,
2921
+ "loss": 0.2703,
2922
+ "step": 4110
2923
+ },
2924
+ {
2925
+ "epoch": 2.22,
2926
+ "grad_norm": 2.9305408000946045,
2927
+ "learning_rate": 5.209118650152576e-05,
2928
+ "loss": 0.1684,
2929
+ "step": 4120
2930
+ },
2931
+ {
2932
+ "epoch": 2.22,
2933
+ "grad_norm": 0.8008801937103271,
2934
+ "learning_rate": 5.17321845270149e-05,
2935
+ "loss": 0.1492,
2936
+ "step": 4130
2937
+ },
2938
+ {
2939
+ "epoch": 2.23,
2940
+ "grad_norm": 3.2380738258361816,
2941
+ "learning_rate": 5.137318255250404e-05,
2942
+ "loss": 0.2236,
2943
+ "step": 4140
2944
+ },
2945
+ {
2946
+ "epoch": 2.23,
2947
+ "grad_norm": 3.0907912254333496,
2948
+ "learning_rate": 5.101418057799319e-05,
2949
+ "loss": 0.1822,
2950
+ "step": 4150
2951
+ },
2952
+ {
2953
+ "epoch": 2.24,
2954
+ "grad_norm": 2.3513331413269043,
2955
+ "learning_rate": 5.065517860348232e-05,
2956
+ "loss": 0.2087,
2957
+ "step": 4160
2958
+ },
2959
+ {
2960
+ "epoch": 2.25,
2961
+ "grad_norm": 1.3731173276901245,
2962
+ "learning_rate": 5.029617662897146e-05,
2963
+ "loss": 0.1842,
2964
+ "step": 4170
2965
+ },
2966
+ {
2967
+ "epoch": 2.25,
2968
+ "grad_norm": 4.231403827667236,
2969
+ "learning_rate": 4.99371746544606e-05,
2970
+ "loss": 0.2008,
2971
+ "step": 4180
2972
+ },
2973
+ {
2974
+ "epoch": 2.26,
2975
+ "grad_norm": 0.6611512899398804,
2976
+ "learning_rate": 4.9578172679949745e-05,
2977
+ "loss": 0.1885,
2978
+ "step": 4190
2979
+ },
2980
+ {
2981
+ "epoch": 2.26,
2982
+ "grad_norm": 2.624540090560913,
2983
+ "learning_rate": 4.9219170705438884e-05,
2984
+ "loss": 0.2974,
2985
+ "step": 4200
2986
+ },
2987
+ {
2988
+ "epoch": 2.27,
2989
+ "grad_norm": 1.173483967781067,
2990
+ "learning_rate": 4.886016873092802e-05,
2991
+ "loss": 0.1817,
2992
+ "step": 4210
2993
+ },
2994
+ {
2995
+ "epoch": 2.27,
2996
+ "grad_norm": 2.013545513153076,
2997
+ "learning_rate": 4.850116675641716e-05,
2998
+ "loss": 0.165,
2999
+ "step": 4220
3000
+ },
3001
+ {
3002
+ "epoch": 2.28,
3003
+ "grad_norm": 3.9248149394989014,
3004
+ "learning_rate": 4.81421647819063e-05,
3005
+ "loss": 0.1693,
3006
+ "step": 4230
3007
+ },
3008
+ {
3009
+ "epoch": 2.28,
3010
+ "grad_norm": 1.9728902578353882,
3011
+ "learning_rate": 4.778316280739544e-05,
3012
+ "loss": 0.1985,
3013
+ "step": 4240
3014
+ },
3015
+ {
3016
+ "epoch": 2.29,
3017
+ "grad_norm": 0.5156265497207642,
3018
+ "learning_rate": 4.7424160832884586e-05,
3019
+ "loss": 0.2339,
3020
+ "step": 4250
3021
+ },
3022
+ {
3023
+ "epoch": 2.29,
3024
+ "grad_norm": 1.8958511352539062,
3025
+ "learning_rate": 4.7065158858373725e-05,
3026
+ "loss": 0.1843,
3027
+ "step": 4260
3028
+ },
3029
+ {
3030
+ "epoch": 2.3,
3031
+ "grad_norm": 2.751262664794922,
3032
+ "learning_rate": 4.6706156883862865e-05,
3033
+ "loss": 0.1703,
3034
+ "step": 4270
3035
+ },
3036
+ {
3037
+ "epoch": 2.3,
3038
+ "grad_norm": 2.066708564758301,
3039
+ "learning_rate": 4.6347154909352004e-05,
3040
+ "loss": 0.1751,
3041
+ "step": 4280
3042
+ },
3043
+ {
3044
+ "epoch": 2.31,
3045
+ "grad_norm": 5.061429500579834,
3046
+ "learning_rate": 4.598815293484114e-05,
3047
+ "loss": 0.2089,
3048
+ "step": 4290
3049
+ },
3050
+ {
3051
+ "epoch": 2.32,
3052
+ "grad_norm": 1.9940416812896729,
3053
+ "learning_rate": 4.562915096033029e-05,
3054
+ "loss": 0.1938,
3055
+ "step": 4300
3056
+ },
3057
+ {
3058
+ "epoch": 2.32,
3059
+ "grad_norm": 0.8539941906929016,
3060
+ "learning_rate": 4.527014898581942e-05,
3061
+ "loss": 0.1815,
3062
+ "step": 4310
3063
+ },
3064
+ {
3065
+ "epoch": 2.33,
3066
+ "grad_norm": 0.626430869102478,
3067
+ "learning_rate": 4.491114701130856e-05,
3068
+ "loss": 0.211,
3069
+ "step": 4320
3070
+ },
3071
+ {
3072
+ "epoch": 2.33,
3073
+ "grad_norm": 0.9689849019050598,
3074
+ "learning_rate": 4.4552145036797706e-05,
3075
+ "loss": 0.2467,
3076
+ "step": 4330
3077
+ },
3078
+ {
3079
+ "epoch": 2.34,
3080
+ "grad_norm": 1.6195528507232666,
3081
+ "learning_rate": 4.4193143062286845e-05,
3082
+ "loss": 0.1992,
3083
+ "step": 4340
3084
+ },
3085
+ {
3086
+ "epoch": 2.34,
3087
+ "grad_norm": 2.0465312004089355,
3088
+ "learning_rate": 4.3834141087775984e-05,
3089
+ "loss": 0.1256,
3090
+ "step": 4350
3091
+ },
3092
+ {
3093
+ "epoch": 2.35,
3094
+ "grad_norm": 4.3072404861450195,
3095
+ "learning_rate": 4.3475139113265124e-05,
3096
+ "loss": 0.2078,
3097
+ "step": 4360
3098
+ },
3099
+ {
3100
+ "epoch": 2.35,
3101
+ "grad_norm": 2.987069606781006,
3102
+ "learning_rate": 4.311613713875426e-05,
3103
+ "loss": 0.1688,
3104
+ "step": 4370
3105
+ },
3106
+ {
3107
+ "epoch": 2.36,
3108
+ "grad_norm": 5.688981533050537,
3109
+ "learning_rate": 4.275713516424341e-05,
3110
+ "loss": 0.1867,
3111
+ "step": 4380
3112
+ },
3113
+ {
3114
+ "epoch": 2.36,
3115
+ "grad_norm": 1.6407305002212524,
3116
+ "learning_rate": 4.239813318973255e-05,
3117
+ "loss": 0.1093,
3118
+ "step": 4390
3119
+ },
3120
+ {
3121
+ "epoch": 2.37,
3122
+ "grad_norm": 2.10652494430542,
3123
+ "learning_rate": 4.203913121522168e-05,
3124
+ "loss": 0.1621,
3125
+ "step": 4400
3126
+ },
3127
+ {
3128
+ "epoch": 2.37,
3129
+ "grad_norm": 0.8150840401649475,
3130
+ "learning_rate": 4.1680129240710826e-05,
3131
+ "loss": 0.19,
3132
+ "step": 4410
3133
+ },
3134
+ {
3135
+ "epoch": 2.38,
3136
+ "grad_norm": 0.18293878436088562,
3137
+ "learning_rate": 4.1321127266199965e-05,
3138
+ "loss": 0.2173,
3139
+ "step": 4420
3140
+ },
3141
+ {
3142
+ "epoch": 2.39,
3143
+ "grad_norm": 0.6565092206001282,
3144
+ "learning_rate": 4.0962125291689104e-05,
3145
+ "loss": 0.2949,
3146
+ "step": 4430
3147
+ },
3148
+ {
3149
+ "epoch": 2.39,
3150
+ "grad_norm": 4.2705793380737305,
3151
+ "learning_rate": 4.060312331717825e-05,
3152
+ "loss": 0.1654,
3153
+ "step": 4440
3154
+ },
3155
+ {
3156
+ "epoch": 2.4,
3157
+ "grad_norm": 0.5598949790000916,
3158
+ "learning_rate": 4.024412134266738e-05,
3159
+ "loss": 0.1619,
3160
+ "step": 4450
3161
+ },
3162
+ {
3163
+ "epoch": 2.4,
3164
+ "grad_norm": 1.7344173192977905,
3165
+ "learning_rate": 3.988511936815653e-05,
3166
+ "loss": 0.4215,
3167
+ "step": 4460
3168
+ },
3169
+ {
3170
+ "epoch": 2.41,
3171
+ "grad_norm": 0.7158490419387817,
3172
+ "learning_rate": 3.952611739364567e-05,
3173
+ "loss": 0.2035,
3174
+ "step": 4470
3175
+ },
3176
+ {
3177
+ "epoch": 2.41,
3178
+ "grad_norm": 1.7473658323287964,
3179
+ "learning_rate": 3.916711541913481e-05,
3180
+ "loss": 0.126,
3181
+ "step": 4480
3182
+ },
3183
+ {
3184
+ "epoch": 2.42,
3185
+ "grad_norm": 5.31575345993042,
3186
+ "learning_rate": 3.8808113444623946e-05,
3187
+ "loss": 0.247,
3188
+ "step": 4490
3189
+ },
3190
+ {
3191
+ "epoch": 2.42,
3192
+ "grad_norm": 2.087374448776245,
3193
+ "learning_rate": 3.8449111470113085e-05,
3194
+ "loss": 0.2586,
3195
+ "step": 4500
3196
+ },
3197
+ {
3198
+ "epoch": 2.43,
3199
+ "grad_norm": 6.151815891265869,
3200
+ "learning_rate": 3.8090109495602224e-05,
3201
+ "loss": 0.2277,
3202
+ "step": 4510
3203
+ },
3204
+ {
3205
+ "epoch": 2.43,
3206
+ "grad_norm": 0.4579615294933319,
3207
+ "learning_rate": 3.773110752109137e-05,
3208
+ "loss": 0.1649,
3209
+ "step": 4520
3210
+ },
3211
+ {
3212
+ "epoch": 2.44,
3213
+ "grad_norm": 2.4893856048583984,
3214
+ "learning_rate": 3.737210554658051e-05,
3215
+ "loss": 0.2459,
3216
+ "step": 4530
3217
+ },
3218
+ {
3219
+ "epoch": 2.44,
3220
+ "grad_norm": 3.96018385887146,
3221
+ "learning_rate": 3.701310357206965e-05,
3222
+ "loss": 0.2287,
3223
+ "step": 4540
3224
+ },
3225
+ {
3226
+ "epoch": 2.45,
3227
+ "grad_norm": 2.051582098007202,
3228
+ "learning_rate": 3.665410159755879e-05,
3229
+ "loss": 0.2518,
3230
+ "step": 4550
3231
+ },
3232
+ {
3233
+ "epoch": 2.46,
3234
+ "grad_norm": 3.5769152641296387,
3235
+ "learning_rate": 3.629509962304793e-05,
3236
+ "loss": 0.2217,
3237
+ "step": 4560
3238
+ },
3239
+ {
3240
+ "epoch": 2.46,
3241
+ "grad_norm": 1.9112540483474731,
3242
+ "learning_rate": 3.593609764853707e-05,
3243
+ "loss": 0.2797,
3244
+ "step": 4570
3245
+ },
3246
+ {
3247
+ "epoch": 2.47,
3248
+ "grad_norm": 4.061404228210449,
3249
+ "learning_rate": 3.5577095674026205e-05,
3250
+ "loss": 0.2029,
3251
+ "step": 4580
3252
+ },
3253
+ {
3254
+ "epoch": 2.47,
3255
+ "grad_norm": 5.101590633392334,
3256
+ "learning_rate": 3.521809369951535e-05,
3257
+ "loss": 0.1701,
3258
+ "step": 4590
3259
+ },
3260
+ {
3261
+ "epoch": 2.48,
3262
+ "grad_norm": 0.21550802886486053,
3263
+ "learning_rate": 3.485909172500449e-05,
3264
+ "loss": 0.246,
3265
+ "step": 4600
3266
+ },
3267
+ {
3268
+ "epoch": 2.48,
3269
+ "grad_norm": 2.4973855018615723,
3270
+ "learning_rate": 3.450008975049363e-05,
3271
+ "loss": 0.2274,
3272
+ "step": 4610
3273
+ },
3274
+ {
3275
+ "epoch": 2.49,
3276
+ "grad_norm": 4.115890979766846,
3277
+ "learning_rate": 3.4141087775982775e-05,
3278
+ "loss": 0.1776,
3279
+ "step": 4620
3280
+ },
3281
+ {
3282
+ "epoch": 2.49,
3283
+ "grad_norm": 0.45104721188545227,
3284
+ "learning_rate": 3.378208580147191e-05,
3285
+ "loss": 0.1482,
3286
+ "step": 4630
3287
+ },
3288
+ {
3289
+ "epoch": 2.5,
3290
+ "grad_norm": 1.4731504917144775,
3291
+ "learning_rate": 3.342308382696105e-05,
3292
+ "loss": 0.1552,
3293
+ "step": 4640
3294
+ },
3295
+ {
3296
+ "epoch": 2.5,
3297
+ "grad_norm": 3.0015158653259277,
3298
+ "learning_rate": 3.306408185245019e-05,
3299
+ "loss": 0.2306,
3300
+ "step": 4650
3301
+ },
3302
+ {
3303
+ "epoch": 2.51,
3304
+ "grad_norm": 3.9862313270568848,
3305
+ "learning_rate": 3.270507987793933e-05,
3306
+ "loss": 0.2291,
3307
+ "step": 4660
3308
+ },
3309
+ {
3310
+ "epoch": 2.51,
3311
+ "grad_norm": 3.0735368728637695,
3312
+ "learning_rate": 3.234607790342847e-05,
3313
+ "loss": 0.1431,
3314
+ "step": 4670
3315
+ },
3316
+ {
3317
+ "epoch": 2.52,
3318
+ "grad_norm": 2.155254364013672,
3319
+ "learning_rate": 3.198707592891761e-05,
3320
+ "loss": 0.1864,
3321
+ "step": 4680
3322
+ },
3323
+ {
3324
+ "epoch": 2.53,
3325
+ "grad_norm": 3.6670236587524414,
3326
+ "learning_rate": 3.162807395440675e-05,
3327
+ "loss": 0.3039,
3328
+ "step": 4690
3329
+ },
3330
+ {
3331
+ "epoch": 2.53,
3332
+ "grad_norm": 1.040534496307373,
3333
+ "learning_rate": 3.1269071979895895e-05,
3334
+ "loss": 0.1168,
3335
+ "step": 4700
3336
+ },
3337
+ {
3338
+ "epoch": 2.54,
3339
+ "grad_norm": 0.5933005809783936,
3340
+ "learning_rate": 3.0910070005385034e-05,
3341
+ "loss": 0.1937,
3342
+ "step": 4710
3343
+ },
3344
+ {
3345
+ "epoch": 2.54,
3346
+ "grad_norm": 2.87385630607605,
3347
+ "learning_rate": 3.055106803087417e-05,
3348
+ "loss": 0.1457,
3349
+ "step": 4720
3350
+ },
3351
+ {
3352
+ "epoch": 2.55,
3353
+ "grad_norm": 2.0385680198669434,
3354
+ "learning_rate": 3.019206605636331e-05,
3355
+ "loss": 0.1738,
3356
+ "step": 4730
3357
+ },
3358
+ {
3359
+ "epoch": 2.55,
3360
+ "grad_norm": 0.6659444570541382,
3361
+ "learning_rate": 2.9833064081852452e-05,
3362
+ "loss": 0.1625,
3363
+ "step": 4740
3364
+ },
3365
+ {
3366
+ "epoch": 2.56,
3367
+ "grad_norm": 6.179418563842773,
3368
+ "learning_rate": 2.9474062107341594e-05,
3369
+ "loss": 0.183,
3370
+ "step": 4750
3371
+ },
3372
+ {
3373
+ "epoch": 2.56,
3374
+ "grad_norm": 1.6888794898986816,
3375
+ "learning_rate": 2.911506013283073e-05,
3376
+ "loss": 0.1682,
3377
+ "step": 4760
3378
+ },
3379
+ {
3380
+ "epoch": 2.57,
3381
+ "grad_norm": 0.9652776718139648,
3382
+ "learning_rate": 2.875605815831987e-05,
3383
+ "loss": 0.1581,
3384
+ "step": 4770
3385
+ },
3386
+ {
3387
+ "epoch": 2.57,
3388
+ "grad_norm": 2.623950719833374,
3389
+ "learning_rate": 2.8397056183809012e-05,
3390
+ "loss": 0.1231,
3391
+ "step": 4780
3392
+ },
3393
+ {
3394
+ "epoch": 2.58,
3395
+ "grad_norm": 2.0535216331481934,
3396
+ "learning_rate": 2.8038054209298154e-05,
3397
+ "loss": 0.2414,
3398
+ "step": 4790
3399
+ },
3400
+ {
3401
+ "epoch": 2.58,
3402
+ "grad_norm": 0.4909818470478058,
3403
+ "learning_rate": 2.7679052234787293e-05,
3404
+ "loss": 0.1228,
3405
+ "step": 4800
3406
+ },
3407
+ {
3408
+ "epoch": 2.59,
3409
+ "grad_norm": 0.1262626200914383,
3410
+ "learning_rate": 2.732005026027643e-05,
3411
+ "loss": 0.1882,
3412
+ "step": 4810
3413
+ },
3414
+ {
3415
+ "epoch": 2.6,
3416
+ "grad_norm": 5.220785140991211,
3417
+ "learning_rate": 2.696104828576557e-05,
3418
+ "loss": 0.2131,
3419
+ "step": 4820
3420
+ },
3421
+ {
3422
+ "epoch": 2.6,
3423
+ "grad_norm": 2.826752185821533,
3424
+ "learning_rate": 2.6602046311254714e-05,
3425
+ "loss": 0.2074,
3426
+ "step": 4830
3427
+ },
3428
+ {
3429
+ "epoch": 2.61,
3430
+ "grad_norm": 1.2399777173995972,
3431
+ "learning_rate": 2.6243044336743853e-05,
3432
+ "loss": 0.1189,
3433
+ "step": 4840
3434
+ },
3435
+ {
3436
+ "epoch": 2.61,
3437
+ "grad_norm": 1.9711045026779175,
3438
+ "learning_rate": 2.5884042362232992e-05,
3439
+ "loss": 0.1084,
3440
+ "step": 4850
3441
+ },
3442
+ {
3443
+ "epoch": 2.62,
3444
+ "grad_norm": 1.2137917280197144,
3445
+ "learning_rate": 2.552504038772213e-05,
3446
+ "loss": 0.2382,
3447
+ "step": 4860
3448
+ },
3449
+ {
3450
+ "epoch": 2.62,
3451
+ "grad_norm": 0.8354400396347046,
3452
+ "learning_rate": 2.5166038413211274e-05,
3453
+ "loss": 0.1869,
3454
+ "step": 4870
3455
+ },
3456
+ {
3457
+ "epoch": 2.63,
3458
+ "grad_norm": 1.3178220987319946,
3459
+ "learning_rate": 2.4807036438700417e-05,
3460
+ "loss": 0.1731,
3461
+ "step": 4880
3462
+ },
3463
+ {
3464
+ "epoch": 2.63,
3465
+ "grad_norm": 5.171186923980713,
3466
+ "learning_rate": 2.4448034464189552e-05,
3467
+ "loss": 0.1721,
3468
+ "step": 4890
3469
+ },
3470
+ {
3471
+ "epoch": 2.64,
3472
+ "grad_norm": 2.362175703048706,
3473
+ "learning_rate": 2.4089032489678695e-05,
3474
+ "loss": 0.1693,
3475
+ "step": 4900
3476
+ },
3477
+ {
3478
+ "epoch": 2.64,
3479
+ "grad_norm": 5.108491897583008,
3480
+ "learning_rate": 2.3730030515167834e-05,
3481
+ "loss": 0.2686,
3482
+ "step": 4910
3483
+ },
3484
+ {
3485
+ "epoch": 2.65,
3486
+ "grad_norm": 3.3931541442871094,
3487
+ "learning_rate": 2.3371028540656977e-05,
3488
+ "loss": 0.1216,
3489
+ "step": 4920
3490
+ },
3491
+ {
3492
+ "epoch": 2.65,
3493
+ "grad_norm": 0.5424547791481018,
3494
+ "learning_rate": 2.3012026566146112e-05,
3495
+ "loss": 0.1603,
3496
+ "step": 4930
3497
+ },
3498
+ {
3499
+ "epoch": 2.66,
3500
+ "grad_norm": 3.6639039516448975,
3501
+ "learning_rate": 2.2653024591635255e-05,
3502
+ "loss": 0.2891,
3503
+ "step": 4940
3504
+ },
3505
+ {
3506
+ "epoch": 2.67,
3507
+ "grad_norm": 4.780062675476074,
3508
+ "learning_rate": 2.2294022617124397e-05,
3509
+ "loss": 0.1574,
3510
+ "step": 4950
3511
+ },
3512
+ {
3513
+ "epoch": 2.67,
3514
+ "grad_norm": 1.9114960432052612,
3515
+ "learning_rate": 2.1935020642613537e-05,
3516
+ "loss": 0.1174,
3517
+ "step": 4960
3518
+ },
3519
+ {
3520
+ "epoch": 2.68,
3521
+ "grad_norm": 2.23799467086792,
3522
+ "learning_rate": 2.1576018668102676e-05,
3523
+ "loss": 0.2473,
3524
+ "step": 4970
3525
+ },
3526
+ {
3527
+ "epoch": 2.68,
3528
+ "grad_norm": 1.7084078788757324,
3529
+ "learning_rate": 2.1217016693591815e-05,
3530
+ "loss": 0.2229,
3531
+ "step": 4980
3532
+ },
3533
+ {
3534
+ "epoch": 2.69,
3535
+ "grad_norm": 1.8487536907196045,
3536
+ "learning_rate": 2.0858014719080957e-05,
3537
+ "loss": 0.1544,
3538
+ "step": 4990
3539
+ },
3540
+ {
3541
+ "epoch": 2.69,
3542
+ "grad_norm": 1.9069527387619019,
3543
+ "learning_rate": 2.0499012744570097e-05,
3544
+ "loss": 0.2037,
3545
+ "step": 5000
3546
+ },
3547
+ {
3548
+ "epoch": 2.69,
3549
+ "eval_accuracy": 0.9019792648444863,
3550
+ "eval_loss": 0.3036472499370575,
3551
+ "eval_runtime": 29.9482,
3552
+ "eval_samples_per_second": 141.711,
3553
+ "eval_steps_per_second": 17.731,
3554
+ "step": 5000
3555
+ },
3556
+ {
3557
+ "epoch": 2.7,
3558
+ "grad_norm": 0.8534448742866516,
3559
+ "learning_rate": 2.0140010770059236e-05,
3560
+ "loss": 0.1891,
3561
+ "step": 5010
3562
+ },
3563
+ {
3564
+ "epoch": 2.7,
3565
+ "grad_norm": 2.7062954902648926,
3566
+ "learning_rate": 1.9781008795548375e-05,
3567
+ "loss": 0.1891,
3568
+ "step": 5020
3569
+ },
3570
+ {
3571
+ "epoch": 2.71,
3572
+ "grad_norm": 0.05844093859195709,
3573
+ "learning_rate": 1.9422006821037517e-05,
3574
+ "loss": 0.22,
3575
+ "step": 5030
3576
+ },
3577
+ {
3578
+ "epoch": 2.71,
3579
+ "grad_norm": 2.087597608566284,
3580
+ "learning_rate": 1.9063004846526657e-05,
3581
+ "loss": 0.2031,
3582
+ "step": 5040
3583
+ },
3584
+ {
3585
+ "epoch": 2.72,
3586
+ "grad_norm": 2.3757686614990234,
3587
+ "learning_rate": 1.8704002872015796e-05,
3588
+ "loss": 0.1134,
3589
+ "step": 5050
3590
+ },
3591
+ {
3592
+ "epoch": 2.72,
3593
+ "grad_norm": 3.9158239364624023,
3594
+ "learning_rate": 1.8345000897504938e-05,
3595
+ "loss": 0.1942,
3596
+ "step": 5060
3597
+ },
3598
+ {
3599
+ "epoch": 2.73,
3600
+ "grad_norm": 0.6796614527702332,
3601
+ "learning_rate": 1.7985998922994077e-05,
3602
+ "loss": 0.1914,
3603
+ "step": 5070
3604
+ },
3605
+ {
3606
+ "epoch": 2.74,
3607
+ "grad_norm": 2.11728835105896,
3608
+ "learning_rate": 1.7626996948483217e-05,
3609
+ "loss": 0.1804,
3610
+ "step": 5080
3611
+ },
3612
+ {
3613
+ "epoch": 2.74,
3614
+ "grad_norm": 4.9103522300720215,
3615
+ "learning_rate": 1.7267994973972356e-05,
3616
+ "loss": 0.1873,
3617
+ "step": 5090
3618
+ },
3619
+ {
3620
+ "epoch": 2.75,
3621
+ "grad_norm": 0.884007453918457,
3622
+ "learning_rate": 1.6908992999461498e-05,
3623
+ "loss": 0.1804,
3624
+ "step": 5100
3625
+ },
3626
+ {
3627
+ "epoch": 2.75,
3628
+ "grad_norm": 3.7006118297576904,
3629
+ "learning_rate": 1.6549991024950637e-05,
3630
+ "loss": 0.1204,
3631
+ "step": 5110
3632
+ },
3633
+ {
3634
+ "epoch": 2.76,
3635
+ "grad_norm": 0.42698580026626587,
3636
+ "learning_rate": 1.619098905043978e-05,
3637
+ "loss": 0.151,
3638
+ "step": 5120
3639
+ },
3640
+ {
3641
+ "epoch": 2.76,
3642
+ "grad_norm": 1.0128672122955322,
3643
+ "learning_rate": 1.583198707592892e-05,
3644
+ "loss": 0.2026,
3645
+ "step": 5130
3646
+ },
3647
+ {
3648
+ "epoch": 2.77,
3649
+ "grad_norm": 1.4201221466064453,
3650
+ "learning_rate": 1.5472985101418058e-05,
3651
+ "loss": 0.1172,
3652
+ "step": 5140
3653
+ },
3654
+ {
3655
+ "epoch": 2.77,
3656
+ "grad_norm": 0.530119776725769,
3657
+ "learning_rate": 1.5113983126907199e-05,
3658
+ "loss": 0.1508,
3659
+ "step": 5150
3660
+ },
3661
+ {
3662
+ "epoch": 2.78,
3663
+ "grad_norm": 1.0262278318405151,
3664
+ "learning_rate": 1.4754981152396338e-05,
3665
+ "loss": 0.3655,
3666
+ "step": 5160
3667
+ },
3668
+ {
3669
+ "epoch": 2.78,
3670
+ "grad_norm": 1.333284854888916,
3671
+ "learning_rate": 1.4395979177885479e-05,
3672
+ "loss": 0.1887,
3673
+ "step": 5170
3674
+ },
3675
+ {
3676
+ "epoch": 2.79,
3677
+ "grad_norm": 3.272552967071533,
3678
+ "learning_rate": 1.4036977203374618e-05,
3679
+ "loss": 0.1912,
3680
+ "step": 5180
3681
+ },
3682
+ {
3683
+ "epoch": 2.79,
3684
+ "grad_norm": 0.6113843321800232,
3685
+ "learning_rate": 1.3677975228863759e-05,
3686
+ "loss": 0.1772,
3687
+ "step": 5190
3688
+ },
3689
+ {
3690
+ "epoch": 2.8,
3691
+ "grad_norm": 4.440057754516602,
3692
+ "learning_rate": 1.3318973254352898e-05,
3693
+ "loss": 0.2022,
3694
+ "step": 5200
3695
+ },
3696
+ {
3697
+ "epoch": 2.81,
3698
+ "grad_norm": 5.032436847686768,
3699
+ "learning_rate": 1.2959971279842039e-05,
3700
+ "loss": 0.1968,
3701
+ "step": 5210
3702
+ },
3703
+ {
3704
+ "epoch": 2.81,
3705
+ "grad_norm": 2.491443395614624,
3706
+ "learning_rate": 1.2600969305331181e-05,
3707
+ "loss": 0.2772,
3708
+ "step": 5220
3709
+ },
3710
+ {
3711
+ "epoch": 2.82,
3712
+ "grad_norm": 2.4109225273132324,
3713
+ "learning_rate": 1.2241967330820319e-05,
3714
+ "loss": 0.2009,
3715
+ "step": 5230
3716
+ },
3717
+ {
3718
+ "epoch": 2.82,
3719
+ "grad_norm": 3.7935705184936523,
3720
+ "learning_rate": 1.188296535630946e-05,
3721
+ "loss": 0.2096,
3722
+ "step": 5240
3723
+ },
3724
+ {
3725
+ "epoch": 2.83,
3726
+ "grad_norm": 0.8197938799858093,
3727
+ "learning_rate": 1.15239633817986e-05,
3728
+ "loss": 0.148,
3729
+ "step": 5250
3730
+ },
3731
+ {
3732
+ "epoch": 2.83,
3733
+ "grad_norm": 0.6385130882263184,
3734
+ "learning_rate": 1.1164961407287741e-05,
3735
+ "loss": 0.121,
3736
+ "step": 5260
3737
+ },
3738
+ {
3739
+ "epoch": 2.84,
3740
+ "grad_norm": 4.050340175628662,
3741
+ "learning_rate": 1.080595943277688e-05,
3742
+ "loss": 0.1742,
3743
+ "step": 5270
3744
+ },
3745
+ {
3746
+ "epoch": 2.84,
3747
+ "grad_norm": 7.119118690490723,
3748
+ "learning_rate": 1.0446957458266021e-05,
3749
+ "loss": 0.1934,
3750
+ "step": 5280
3751
+ },
3752
+ {
3753
+ "epoch": 2.85,
3754
+ "grad_norm": 0.18755416572093964,
3755
+ "learning_rate": 1.008795548375516e-05,
3756
+ "loss": 0.1772,
3757
+ "step": 5290
3758
+ },
3759
+ {
3760
+ "epoch": 2.85,
3761
+ "grad_norm": 7.360252857208252,
3762
+ "learning_rate": 9.728953509244301e-06,
3763
+ "loss": 0.2576,
3764
+ "step": 5300
3765
+ },
3766
+ {
3767
+ "epoch": 2.86,
3768
+ "grad_norm": 2.4663641452789307,
3769
+ "learning_rate": 9.36995153473344e-06,
3770
+ "loss": 0.1611,
3771
+ "step": 5310
3772
+ },
3773
+ {
3774
+ "epoch": 2.86,
3775
+ "grad_norm": 2.426260232925415,
3776
+ "learning_rate": 9.010949560222581e-06,
3777
+ "loss": 0.168,
3778
+ "step": 5320
3779
+ },
3780
+ {
3781
+ "epoch": 2.87,
3782
+ "grad_norm": 1.6847411394119263,
3783
+ "learning_rate": 8.65194758571172e-06,
3784
+ "loss": 0.1494,
3785
+ "step": 5330
3786
+ },
3787
+ {
3788
+ "epoch": 2.88,
3789
+ "grad_norm": 2.8023247718811035,
3790
+ "learning_rate": 8.292945611200861e-06,
3791
+ "loss": 0.2282,
3792
+ "step": 5340
3793
+ },
3794
+ {
3795
+ "epoch": 2.88,
3796
+ "grad_norm": 0.8137952089309692,
3797
+ "learning_rate": 7.933943636690002e-06,
3798
+ "loss": 0.2085,
3799
+ "step": 5350
3800
+ },
3801
+ {
3802
+ "epoch": 2.89,
3803
+ "grad_norm": 0.6088232398033142,
3804
+ "learning_rate": 7.574941662179143e-06,
3805
+ "loss": 0.1314,
3806
+ "step": 5360
3807
+ },
3808
+ {
3809
+ "epoch": 2.89,
3810
+ "grad_norm": 1.53076171875,
3811
+ "learning_rate": 7.215939687668283e-06,
3812
+ "loss": 0.2243,
3813
+ "step": 5370
3814
+ },
3815
+ {
3816
+ "epoch": 2.9,
3817
+ "grad_norm": 2.4444739818573,
3818
+ "learning_rate": 6.856937713157423e-06,
3819
+ "loss": 0.1428,
3820
+ "step": 5380
3821
+ },
3822
+ {
3823
+ "epoch": 2.9,
3824
+ "grad_norm": 3.4215807914733887,
3825
+ "learning_rate": 6.497935738646563e-06,
3826
+ "loss": 0.2424,
3827
+ "step": 5390
3828
+ },
3829
+ {
3830
+ "epoch": 2.91,
3831
+ "grad_norm": 5.3438873291015625,
3832
+ "learning_rate": 6.138933764135703e-06,
3833
+ "loss": 0.2117,
3834
+ "step": 5400
3835
+ },
3836
+ {
3837
+ "epoch": 2.91,
3838
+ "grad_norm": 3.0934898853302,
3839
+ "learning_rate": 5.779931789624844e-06,
3840
+ "loss": 0.2268,
3841
+ "step": 5410
3842
+ },
3843
+ {
3844
+ "epoch": 2.92,
3845
+ "grad_norm": 1.5680592060089111,
3846
+ "learning_rate": 5.420929815113984e-06,
3847
+ "loss": 0.1086,
3848
+ "step": 5420
3849
+ },
3850
+ {
3851
+ "epoch": 2.92,
3852
+ "grad_norm": 0.9947880506515503,
3853
+ "learning_rate": 5.061927840603124e-06,
3854
+ "loss": 0.1477,
3855
+ "step": 5430
3856
+ },
3857
+ {
3858
+ "epoch": 2.93,
3859
+ "grad_norm": 0.950864315032959,
3860
+ "learning_rate": 4.702925866092264e-06,
3861
+ "loss": 0.1439,
3862
+ "step": 5440
3863
+ },
3864
+ {
3865
+ "epoch": 2.93,
3866
+ "grad_norm": 1.8457893133163452,
3867
+ "learning_rate": 4.343923891581404e-06,
3868
+ "loss": 0.2122,
3869
+ "step": 5450
3870
+ },
3871
+ {
3872
+ "epoch": 2.94,
3873
+ "grad_norm": 0.26061761379241943,
3874
+ "learning_rate": 3.984921917070545e-06,
3875
+ "loss": 0.1721,
3876
+ "step": 5460
3877
+ },
3878
+ {
3879
+ "epoch": 2.95,
3880
+ "grad_norm": 2.678389072418213,
3881
+ "learning_rate": 3.6259199425596842e-06,
3882
+ "loss": 0.1874,
3883
+ "step": 5470
3884
+ },
3885
+ {
3886
+ "epoch": 2.95,
3887
+ "grad_norm": 1.591628074645996,
3888
+ "learning_rate": 3.2669179680488242e-06,
3889
+ "loss": 0.1947,
3890
+ "step": 5480
3891
+ },
3892
+ {
3893
+ "epoch": 2.96,
3894
+ "grad_norm": 1.602062702178955,
3895
+ "learning_rate": 2.9079159935379646e-06,
3896
+ "loss": 0.2288,
3897
+ "step": 5490
3898
+ },
3899
+ {
3900
+ "epoch": 2.96,
3901
+ "grad_norm": 4.162856578826904,
3902
+ "learning_rate": 2.5489140190271046e-06,
3903
+ "loss": 0.1616,
3904
+ "step": 5500
3905
+ },
3906
+ {
3907
+ "epoch": 2.97,
3908
+ "grad_norm": 3.2213492393493652,
3909
+ "learning_rate": 2.189912044516245e-06,
3910
+ "loss": 0.1245,
3911
+ "step": 5510
3912
+ },
3913
+ {
3914
+ "epoch": 2.97,
3915
+ "grad_norm": 3.308234691619873,
3916
+ "learning_rate": 1.830910070005385e-06,
3917
+ "loss": 0.234,
3918
+ "step": 5520
3919
+ },
3920
+ {
3921
+ "epoch": 2.98,
3922
+ "grad_norm": 1.7126364707946777,
3923
+ "learning_rate": 1.4719080954945252e-06,
3924
+ "loss": 0.2397,
3925
+ "step": 5530
3926
+ },
3927
+ {
3928
+ "epoch": 2.98,
3929
+ "grad_norm": 0.09120042622089386,
3930
+ "learning_rate": 1.1129061209836654e-06,
3931
+ "loss": 0.1205,
3932
+ "step": 5540
3933
+ },
3934
+ {
3935
+ "epoch": 2.99,
3936
+ "grad_norm": 2.043335199356079,
3937
+ "learning_rate": 7.539041464728056e-07,
3938
+ "loss": 0.1522,
3939
+ "step": 5550
3940
+ },
3941
+ {
3942
+ "epoch": 2.99,
3943
+ "grad_norm": 4.629100799560547,
3944
+ "learning_rate": 3.9490217196194584e-07,
3945
+ "loss": 0.1202,
3946
+ "step": 5560
3947
+ },
3948
+ {
3949
+ "epoch": 3.0,
3950
+ "grad_norm": 1.9897916316986084,
3951
+ "learning_rate": 3.5900197451085984e-08,
3952
+ "loss": 0.1182,
3953
+ "step": 5570
3954
+ },
3955
+ {
3956
+ "epoch": 3.0,
3957
+ "step": 5571,
3958
+ "total_flos": 3.2380980042571776e+17,
3959
+ "train_loss": 0.3105421944733176,
3960
+ "train_runtime": 865.4804,
3961
+ "train_samples_per_second": 102.973,
3962
+ "train_steps_per_second": 6.437
3963
+ }
3964
+ ],
3965
+ "logging_steps": 10,
3966
+ "max_steps": 5571,
3967
+ "num_input_tokens_seen": 0,
3968
+ "num_train_epochs": 3,
3969
+ "save_steps": 1000,
3970
+ "total_flos": 3.2380980042571776e+17,
3971
+ "train_batch_size": 16,
3972
+ "trial_name": null,
3973
+ "trial_params": null
3974
+ }
training_args.bin ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:9da517854583902d3b46c21181cea5ddd9e7d2a087f1e06184c487a68fb08af1
3
+ size 4539