Hugging Face's logo

Spaces:
Percy3822
/
quiz_model_trainer
Sleeping

App Files Community
Percy3822 commited on
Commit
691e145
·
1 Parent(s): 175ec0e

Recreated

Browse files
Files changed (18) hide show
  1. test_model.py +44 -0
  2. trained_model/checkpoint-300/config.json +45 -0
  3. trained_model/checkpoint-300/generation_config.json +6 -0
  4. trained_model/checkpoint-300/model.safetensors +3 -0
  5. trained_model/checkpoint-300/optimizer.pt +3 -0
  6. trained_model/checkpoint-300/rng_state.pth +3 -0
  7. trained_model/checkpoint-300/scheduler.pt +3 -0
  8. trained_model/checkpoint-300/trainer_state.json +2134 -0
  9. trained_model/checkpoint-300/training_args.bin +3 -0
  10. trained_model/config.json +45 -0
  11. trained_model/generation_config.json +6 -0
  12. trained_model/merges.txt +0 -0
  13. trained_model/model.safetensors +3 -0
  14. trained_model/special_tokens_map.json +6 -0
  15. trained_model/tokenizer.json +0 -0
  16. trained_model/tokenizer_config.json +21 -0
  17. trained_model/training_args.bin +3 -0
  18. trained_model/vocab.json +0 -0
test_model.py ADDED
@@ -0,0 +1,44 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ from transformers import AutoModelForCausalLM, AutoTokenizer
2
+ import torch, json
3
+
4
+ model_path = "./trained_model" # path to your trained model
5
+ print("Loading model...")
6
+ tokenizer = AutoTokenizer.from_pretrained(model_path)
7
+ model = AutoModelForCausalLM.from_pretrained(model_path)
8
+ model.eval()
9
+ print("Model loaded! Generating quiz question...")
10
+
11
+ prompt = (
12
+ "Generate a math quiz question for age 4, difficulty easy, "
13
+ "in strict JSON format like this: "
14
+ '{"question": "", "options": ["", "", "", ""], "answer": 0, "explanation": ""}\n'
15
+ )
16
+
17
+ inputs = tokenizer(prompt, return_tensors="pt")
18
+ with torch.no_grad():
19
+ output = model.generate(
20
+ **inputs,
21
+ max_new_tokens=150, # limit length
22
+ temperature=0.3, # lower = more deterministic
23
+ top_p=0.9, # nucleus sampling
24
+ do_sample=True, # allow variety but controlled
25
+ eos_token_id=tokenizer.eos_token_id
26
+ )
27
+
28
+ decoded_output = tokenizer.decode(output[0], skip_special_tokens=True)
29
+
30
+ # Try to extract JSON part only
31
+ json_start = decoded_output.find("{")
32
+ json_end = decoded_output.rfind("}") + 1
33
+ if json_start != -1 and json_end != -1:
34
+ json_str = decoded_output[json_start:json_end]
35
+ try:
36
+ quiz = json.loads(json_str)
37
+ print("✅ Parsed JSON output:")
38
+ print(json.dumps(quiz, indent=2))
39
+ except json.JSONDecodeError:
40
+ print("⚠ Raw output (invalid JSON):")
41
+ print(decoded_output)
42
+ else:
43
+ print("⚠ Raw output (no JSON found):")
44
+ print(decoded_output)
trained_model/checkpoint-300/config.json ADDED
@@ -0,0 +1,45 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "_num_labels": 1,
3
+ "activation_function": "gelu_new",
4
+ "architectures": [
5
+ "GPT2LMHeadModel"
6
+ ],
7
+ "attn_pdrop": 0.1,
8
+ "bos_token_id": 50256,
9
+ "embd_pdrop": 0.1,
10
+ "eos_token_id": 50256,
11
+ "id2label": {
12
+ "0": "LABEL_0"
13
+ },
14
+ "initializer_range": 0.02,
15
+ "label2id": {
16
+ "LABEL_0": 0
17
+ },
18
+ "layer_norm_epsilon": 1e-05,
19
+ "model_type": "gpt2",
20
+ "n_ctx": 1024,
21
+ "n_embd": 768,
22
+ "n_head": 12,
23
+ "n_inner": null,
24
+ "n_layer": 6,
25
+ "n_positions": 1024,
26
+ "reorder_and_upcast_attn": false,
27
+ "resid_pdrop": 0.1,
28
+ "scale_attn_by_inverse_layer_idx": false,
29
+ "scale_attn_weights": true,
30
+ "summary_activation": null,
31
+ "summary_first_dropout": 0.1,
32
+ "summary_proj_to_labels": true,
33
+ "summary_type": "cls_index",
34
+ "summary_use_proj": true,
35
+ "task_specific_params": {
36
+ "text-generation": {
37
+ "do_sample": true,
38
+ "max_length": 50
39
+ }
40
+ },
41
+ "torch_dtype": "float32",
42
+ "transformers_version": "4.54.0",
43
+ "use_cache": true,
44
+ "vocab_size": 50257
45
+ }
trained_model/checkpoint-300/generation_config.json ADDED
@@ -0,0 +1,6 @@
 
 
 
 
 
 
 
1
+ {
2
+ "_from_model_config": true,
3
+ "bos_token_id": 50256,
4
+ "eos_token_id": 50256,
5
+ "transformers_version": "4.54.0"
6
+ }
trained_model/checkpoint-300/model.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:c709e7a1f9706e8b211c80d5632ed96b70c87243a65a00a27f990845716f5c67
3
+ size 327657928
trained_model/checkpoint-300/optimizer.pt ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:95132578354e2612b5f56a1bf9624615f9f3b078a3d5a2693948e57b4d9ce694
3
+ size 655362763
trained_model/checkpoint-300/rng_state.pth ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:a520f6ae5a431f85ddee79b43453b784eeb8915486b869eb11ef615668e249d9
3
+ size 14455
trained_model/checkpoint-300/scheduler.pt ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:684a8ba3119a4d96c4a52c98db7654fffd508cfdd75c26d52675f06985153be7
3
+ size 1465
trained_model/checkpoint-300/trainer_state.json ADDED
@@ -0,0 +1,2134 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "best_global_step": null,
3
+ "best_metric": null,
4
+ "best_model_checkpoint": null,
5
+ "epoch": 1.0,
6
+ "eval_steps": 500,
7
+ "global_step": 300,
8
+ "is_hyper_param_search": false,
9
+ "is_local_process_zero": true,
10
+ "is_world_process_zero": true,
11
+ "log_history": [
12
+ {
13
+ "epoch": 0.0033333333333333335,
14
+ "grad_norm": 81.8935546875,
15
+ "learning_rate": 2e-05,
16
+ "loss": 7.5578,
17
+ "step": 1
18
+ },
19
+ {
20
+ "epoch": 0.006666666666666667,
21
+ "grad_norm": 75.61686706542969,
22
+ "learning_rate": 1.9933333333333334e-05,
23
+ "loss": 6.5651,
24
+ "step": 2
25
+ },
26
+ {
27
+ "epoch": 0.01,
28
+ "grad_norm": 79.11197662353516,
29
+ "learning_rate": 1.9866666666666667e-05,
30
+ "loss": 5.5042,
31
+ "step": 3
32
+ },
33
+ {
34
+ "epoch": 0.013333333333333334,
35
+ "grad_norm": 78.3411636352539,
36
+ "learning_rate": 1.98e-05,
37
+ "loss": 4.7025,
38
+ "step": 4
39
+ },
40
+ {
41
+ "epoch": 0.016666666666666666,
42
+ "grad_norm": 78.69979858398438,
43
+ "learning_rate": 1.9733333333333336e-05,
44
+ "loss": 3.6795,
45
+ "step": 5
46
+ },
47
+ {
48
+ "epoch": 0.02,
49
+ "grad_norm": 64.55043029785156,
50
+ "learning_rate": 1.9666666666666666e-05,
51
+ "loss": 2.7075,
52
+ "step": 6
53
+ },
54
+ {
55
+ "epoch": 0.023333333333333334,
56
+ "grad_norm": 32.82631301879883,
57
+ "learning_rate": 1.9600000000000002e-05,
58
+ "loss": 2.3925,
59
+ "step": 7
60
+ },
61
+ {
62
+ "epoch": 0.02666666666666667,
63
+ "grad_norm": 20.023160934448242,
64
+ "learning_rate": 1.9533333333333335e-05,
65
+ "loss": 1.7831,
66
+ "step": 8
67
+ },
68
+ {
69
+ "epoch": 0.03,
70
+ "grad_norm": 11.33822250366211,
71
+ "learning_rate": 1.9466666666666668e-05,
72
+ "loss": 1.8666,
73
+ "step": 9
74
+ },
75
+ {
76
+ "epoch": 0.03333333333333333,
77
+ "grad_norm": 12.297444343566895,
78
+ "learning_rate": 1.94e-05,
79
+ "loss": 1.7856,
80
+ "step": 10
81
+ },
82
+ {
83
+ "epoch": 0.03666666666666667,
84
+ "grad_norm": 13.041508674621582,
85
+ "learning_rate": 1.9333333333333333e-05,
86
+ "loss": 1.7409,
87
+ "step": 11
88
+ },
89
+ {
90
+ "epoch": 0.04,
91
+ "grad_norm": 13.3756103515625,
92
+ "learning_rate": 1.926666666666667e-05,
93
+ "loss": 1.6617,
94
+ "step": 12
95
+ },
96
+ {
97
+ "epoch": 0.043333333333333335,
98
+ "grad_norm": 12.212312698364258,
99
+ "learning_rate": 1.9200000000000003e-05,
100
+ "loss": 1.4725,
101
+ "step": 13
102
+ },
103
+ {
104
+ "epoch": 0.04666666666666667,
105
+ "grad_norm": 10.106836318969727,
106
+ "learning_rate": 1.9133333333333335e-05,
107
+ "loss": 1.5492,
108
+ "step": 14
109
+ },
110
+ {
111
+ "epoch": 0.05,
112
+ "grad_norm": 7.525758743286133,
113
+ "learning_rate": 1.9066666666666668e-05,
114
+ "loss": 1.4408,
115
+ "step": 15
116
+ },
117
+ {
118
+ "epoch": 0.05333333333333334,
119
+ "grad_norm": 6.856524467468262,
120
+ "learning_rate": 1.9e-05,
121
+ "loss": 1.4501,
122
+ "step": 16
123
+ },
124
+ {
125
+ "epoch": 0.056666666666666664,
126
+ "grad_norm": 7.241004943847656,
127
+ "learning_rate": 1.8933333333333334e-05,
128
+ "loss": 1.2404,
129
+ "step": 17
130
+ },
131
+ {
132
+ "epoch": 0.06,
133
+ "grad_norm": 7.92710542678833,
134
+ "learning_rate": 1.886666666666667e-05,
135
+ "loss": 1.2133,
136
+ "step": 18
137
+ },
138
+ {
139
+ "epoch": 0.06333333333333334,
140
+ "grad_norm": 6.307008743286133,
141
+ "learning_rate": 1.88e-05,
142
+ "loss": 1.3502,
143
+ "step": 19
144
+ },
145
+ {
146
+ "epoch": 0.06666666666666667,
147
+ "grad_norm": 6.35944938659668,
148
+ "learning_rate": 1.8733333333333336e-05,
149
+ "loss": 1.2442,
150
+ "step": 20
151
+ },
152
+ {
153
+ "epoch": 0.07,
154
+ "grad_norm": 5.506411552429199,
155
+ "learning_rate": 1.866666666666667e-05,
156
+ "loss": 1.1054,
157
+ "step": 21
158
+ },
159
+ {
160
+ "epoch": 0.07333333333333333,
161
+ "grad_norm": 5.975883483886719,
162
+ "learning_rate": 1.86e-05,
163
+ "loss": 1.1746,
164
+ "step": 22
165
+ },
166
+ {
167
+ "epoch": 0.07666666666666666,
168
+ "grad_norm": 6.0040459632873535,
169
+ "learning_rate": 1.8533333333333334e-05,
170
+ "loss": 1.0722,
171
+ "step": 23
172
+ },
173
+ {
174
+ "epoch": 0.08,
175
+ "grad_norm": 5.569939136505127,
176
+ "learning_rate": 1.8466666666666667e-05,
177
+ "loss": 0.9763,
178
+ "step": 24
179
+ },
180
+ {
181
+ "epoch": 0.08333333333333333,
182
+ "grad_norm": 5.656883716583252,
183
+ "learning_rate": 1.8400000000000003e-05,
184
+ "loss": 0.9539,
185
+ "step": 25
186
+ },
187
+ {
188
+ "epoch": 0.08666666666666667,
189
+ "grad_norm": 4.94087553024292,
190
+ "learning_rate": 1.8333333333333333e-05,
191
+ "loss": 1.0099,
192
+ "step": 26
193
+ },
194
+ {
195
+ "epoch": 0.09,
196
+ "grad_norm": 5.94918966293335,
197
+ "learning_rate": 1.826666666666667e-05,
198
+ "loss": 0.9728,
199
+ "step": 27
200
+ },
201
+ {
202
+ "epoch": 0.09333333333333334,
203
+ "grad_norm": 5.915132999420166,
204
+ "learning_rate": 1.8200000000000002e-05,
205
+ "loss": 0.9878,
206
+ "step": 28
207
+ },
208
+ {
209
+ "epoch": 0.09666666666666666,
210
+ "grad_norm": 5.011017799377441,
211
+ "learning_rate": 1.8133333333333335e-05,
212
+ "loss": 0.7787,
213
+ "step": 29
214
+ },
215
+ {
216
+ "epoch": 0.1,
217
+ "grad_norm": 5.256694793701172,
218
+ "learning_rate": 1.8066666666666668e-05,
219
+ "loss": 0.918,
220
+ "step": 30
221
+ },
222
+ {
223
+ "epoch": 0.10333333333333333,
224
+ "grad_norm": 5.160327434539795,
225
+ "learning_rate": 1.8e-05,
226
+ "loss": 0.8128,
227
+ "step": 31
228
+ },
229
+ {
230
+ "epoch": 0.10666666666666667,
231
+ "grad_norm": 5.055720329284668,
232
+ "learning_rate": 1.7933333333333333e-05,
233
+ "loss": 0.6457,
234
+ "step": 32
235
+ },
236
+ {
237
+ "epoch": 0.11,
238
+ "grad_norm": 4.931532859802246,
239
+ "learning_rate": 1.7866666666666666e-05,
240
+ "loss": 0.772,
241
+ "step": 33
242
+ },
243
+ {
244
+ "epoch": 0.11333333333333333,
245
+ "grad_norm": 7.194159030914307,
246
+ "learning_rate": 1.7800000000000002e-05,
247
+ "loss": 0.892,
248
+ "step": 34
249
+ },
250
+ {
251
+ "epoch": 0.11666666666666667,
252
+ "grad_norm": 5.300207614898682,
253
+ "learning_rate": 1.7733333333333335e-05,
254
+ "loss": 0.6625,
255
+ "step": 35
256
+ },
257
+ {
258
+ "epoch": 0.12,
259
+ "grad_norm": 5.026945114135742,
260
+ "learning_rate": 1.7666666666666668e-05,
261
+ "loss": 0.5741,
262
+ "step": 36
263
+ },
264
+ {
265
+ "epoch": 0.12333333333333334,
266
+ "grad_norm": 5.392762184143066,
267
+ "learning_rate": 1.76e-05,
268
+ "loss": 0.6567,
269
+ "step": 37
270
+ },
271
+ {
272
+ "epoch": 0.12666666666666668,
273
+ "grad_norm": 5.872939586639404,
274
+ "learning_rate": 1.7533333333333337e-05,
275
+ "loss": 0.647,
276
+ "step": 38
277
+ },
278
+ {
279
+ "epoch": 0.13,
280
+ "grad_norm": 5.2758402824401855,
281
+ "learning_rate": 1.7466666666666667e-05,
282
+ "loss": 0.5483,
283
+ "step": 39
284
+ },
285
+ {
286
+ "epoch": 0.13333333333333333,
287
+ "grad_norm": 5.645769119262695,
288
+ "learning_rate": 1.7400000000000003e-05,
289
+ "loss": 0.6563,
290
+ "step": 40
291
+ },
292
+ {
293
+ "epoch": 0.13666666666666666,
294
+ "grad_norm": 5.505187034606934,
295
+ "learning_rate": 1.7333333333333336e-05,
296
+ "loss": 0.4526,
297
+ "step": 41
298
+ },
299
+ {
300
+ "epoch": 0.14,
301
+ "grad_norm": 4.591134548187256,
302
+ "learning_rate": 1.726666666666667e-05,
303
+ "loss": 0.4498,
304
+ "step": 42
305
+ },
306
+ {
307
+ "epoch": 0.14333333333333334,
308
+ "grad_norm": 4.770257472991943,
309
+ "learning_rate": 1.72e-05,
310
+ "loss": 0.4709,
311
+ "step": 43
312
+ },
313
+ {
314
+ "epoch": 0.14666666666666667,
315
+ "grad_norm": 3.9704275131225586,
316
+ "learning_rate": 1.7133333333333334e-05,
317
+ "loss": 0.4335,
318
+ "step": 44
319
+ },
320
+ {
321
+ "epoch": 0.15,
322
+ "grad_norm": 5.449651718139648,
323
+ "learning_rate": 1.706666666666667e-05,
324
+ "loss": 0.4131,
325
+ "step": 45
326
+ },
327
+ {
328
+ "epoch": 0.15333333333333332,
329
+ "grad_norm": 3.7059149742126465,
330
+ "learning_rate": 1.7e-05,
331
+ "loss": 0.3453,
332
+ "step": 46
333
+ },
334
+ {
335
+ "epoch": 0.15666666666666668,
336
+ "grad_norm": 3.11683988571167,
337
+ "learning_rate": 1.6933333333333336e-05,
338
+ "loss": 0.2684,
339
+ "step": 47
340
+ },
341
+ {
342
+ "epoch": 0.16,
343
+ "grad_norm": 3.388197422027588,
344
+ "learning_rate": 1.686666666666667e-05,
345
+ "loss": 0.3419,
346
+ "step": 48
347
+ },
348
+ {
349
+ "epoch": 0.16333333333333333,
350
+ "grad_norm": 3.2289860248565674,
351
+ "learning_rate": 1.6800000000000002e-05,
352
+ "loss": 0.2548,
353
+ "step": 49
354
+ },
355
+ {
356
+ "epoch": 0.16666666666666666,
357
+ "grad_norm": 3.7752439975738525,
358
+ "learning_rate": 1.6733333333333335e-05,
359
+ "loss": 0.3412,
360
+ "step": 50
361
+ },
362
+ {
363
+ "epoch": 0.17,
364
+ "grad_norm": 3.859647274017334,
365
+ "learning_rate": 1.6666666666666667e-05,
366
+ "loss": 0.2767,
367
+ "step": 51
368
+ },
369
+ {
370
+ "epoch": 0.17333333333333334,
371
+ "grad_norm": 4.510784149169922,
372
+ "learning_rate": 1.66e-05,
373
+ "loss": 0.3501,
374
+ "step": 52
375
+ },
376
+ {
377
+ "epoch": 0.17666666666666667,
378
+ "grad_norm": 4.172495365142822,
379
+ "learning_rate": 1.6533333333333333e-05,
380
+ "loss": 0.3593,
381
+ "step": 53
382
+ },
383
+ {
384
+ "epoch": 0.18,
385
+ "grad_norm": 3.377953052520752,
386
+ "learning_rate": 1.646666666666667e-05,
387
+ "loss": 0.2623,
388
+ "step": 54
389
+ },
390
+ {
391
+ "epoch": 0.18333333333333332,
392
+ "grad_norm": 2.698315143585205,
393
+ "learning_rate": 1.64e-05,
394
+ "loss": 0.2827,
395
+ "step": 55
396
+ },
397
+ {
398
+ "epoch": 0.18666666666666668,
399
+ "grad_norm": 3.0977652072906494,
400
+ "learning_rate": 1.6333333333333335e-05,
401
+ "loss": 0.2682,
402
+ "step": 56
403
+ },
404
+ {
405
+ "epoch": 0.19,
406
+ "grad_norm": 3.782032012939453,
407
+ "learning_rate": 1.6266666666666668e-05,
408
+ "loss": 0.289,
409
+ "step": 57
410
+ },
411
+ {
412
+ "epoch": 0.19333333333333333,
413
+ "grad_norm": 4.23199462890625,
414
+ "learning_rate": 1.62e-05,
415
+ "loss": 0.262,
416
+ "step": 58
417
+ },
418
+ {
419
+ "epoch": 0.19666666666666666,
420
+ "grad_norm": 3.3225207328796387,
421
+ "learning_rate": 1.6133333333333334e-05,
422
+ "loss": 0.2505,
423
+ "step": 59
424
+ },
425
+ {
426
+ "epoch": 0.2,
427
+ "grad_norm": 4.0913825035095215,
428
+ "learning_rate": 1.606666666666667e-05,
429
+ "loss": 0.267,
430
+ "step": 60
431
+ },
432
+ {
433
+ "epoch": 0.20333333333333334,
434
+ "grad_norm": 3.649916648864746,
435
+ "learning_rate": 1.6000000000000003e-05,
436
+ "loss": 0.2527,
437
+ "step": 61
438
+ },
439
+ {
440
+ "epoch": 0.20666666666666667,
441
+ "grad_norm": 3.6030282974243164,
442
+ "learning_rate": 1.5933333333333336e-05,
443
+ "loss": 0.2635,
444
+ "step": 62
445
+ },
446
+ {
447
+ "epoch": 0.21,
448
+ "grad_norm": 3.142657518386841,
449
+ "learning_rate": 1.586666666666667e-05,
450
+ "loss": 0.2378,
451
+ "step": 63
452
+ },
453
+ {
454
+ "epoch": 0.21333333333333335,
455
+ "grad_norm": 3.563981056213379,
456
+ "learning_rate": 1.58e-05,
457
+ "loss": 0.2851,
458
+ "step": 64
459
+ },
460
+ {
461
+ "epoch": 0.21666666666666667,
462
+ "grad_norm": 3.1832215785980225,
463
+ "learning_rate": 1.5733333333333334e-05,
464
+ "loss": 0.2315,
465
+ "step": 65
466
+ },
467
+ {
468
+ "epoch": 0.22,
469
+ "grad_norm": 3.20829701423645,
470
+ "learning_rate": 1.5666666666666667e-05,
471
+ "loss": 0.2477,
472
+ "step": 66
473
+ },
474
+ {
475
+ "epoch": 0.22333333333333333,
476
+ "grad_norm": 3.569084882736206,
477
+ "learning_rate": 1.5600000000000003e-05,
478
+ "loss": 0.2407,
479
+ "step": 67
480
+ },
481
+ {
482
+ "epoch": 0.22666666666666666,
483
+ "grad_norm": 2.6609392166137695,
484
+ "learning_rate": 1.5533333333333333e-05,
485
+ "loss": 0.2124,
486
+ "step": 68
487
+ },
488
+ {
489
+ "epoch": 0.23,
490
+ "grad_norm": 2.612548589706421,
491
+ "learning_rate": 1.546666666666667e-05,
492
+ "loss": 0.2315,
493
+ "step": 69
494
+ },
495
+ {
496
+ "epoch": 0.23333333333333334,
497
+ "grad_norm": 4.258431911468506,
498
+ "learning_rate": 1.54e-05,
499
+ "loss": 0.264,
500
+ "step": 70
501
+ },
502
+ {
503
+ "epoch": 0.23666666666666666,
504
+ "grad_norm": 3.28933048248291,
505
+ "learning_rate": 1.5333333333333334e-05,
506
+ "loss": 0.2451,
507
+ "step": 71
508
+ },
509
+ {
510
+ "epoch": 0.24,
511
+ "grad_norm": 3.1294124126434326,
512
+ "learning_rate": 1.5266666666666667e-05,
513
+ "loss": 0.1884,
514
+ "step": 72
515
+ },
516
+ {
517
+ "epoch": 0.24333333333333335,
518
+ "grad_norm": 3.166898012161255,
519
+ "learning_rate": 1.5200000000000002e-05,
520
+ "loss": 0.1993,
521
+ "step": 73
522
+ },
523
+ {
524
+ "epoch": 0.24666666666666667,
525
+ "grad_norm": 4.155729293823242,
526
+ "learning_rate": 1.5133333333333335e-05,
527
+ "loss": 0.2086,
528
+ "step": 74
529
+ },
530
+ {
531
+ "epoch": 0.25,
532
+ "grad_norm": 3.123790740966797,
533
+ "learning_rate": 1.5066666666666668e-05,
534
+ "loss": 0.1839,
535
+ "step": 75
536
+ },
537
+ {
538
+ "epoch": 0.25333333333333335,
539
+ "grad_norm": 4.089046955108643,
540
+ "learning_rate": 1.5000000000000002e-05,
541
+ "loss": 0.2628,
542
+ "step": 76
543
+ },
544
+ {
545
+ "epoch": 0.25666666666666665,
546
+ "grad_norm": 3.9879062175750732,
547
+ "learning_rate": 1.4933333333333335e-05,
548
+ "loss": 0.2671,
549
+ "step": 77
550
+ },
551
+ {
552
+ "epoch": 0.26,
553
+ "grad_norm": 3.2083773612976074,
554
+ "learning_rate": 1.4866666666666668e-05,
555
+ "loss": 0.2161,
556
+ "step": 78
557
+ },
558
+ {
559
+ "epoch": 0.2633333333333333,
560
+ "grad_norm": 3.144785165786743,
561
+ "learning_rate": 1.48e-05,
562
+ "loss": 0.1652,
563
+ "step": 79
564
+ },
565
+ {
566
+ "epoch": 0.26666666666666666,
567
+ "grad_norm": 3.410687208175659,
568
+ "learning_rate": 1.4733333333333335e-05,
569
+ "loss": 0.1904,
570
+ "step": 80
571
+ },
572
+ {
573
+ "epoch": 0.27,
574
+ "grad_norm": 2.906856060028076,
575
+ "learning_rate": 1.4666666666666666e-05,
576
+ "loss": 0.1733,
577
+ "step": 81
578
+ },
579
+ {
580
+ "epoch": 0.2733333333333333,
581
+ "grad_norm": 3.6719048023223877,
582
+ "learning_rate": 1.46e-05,
583
+ "loss": 0.2044,
584
+ "step": 82
585
+ },
586
+ {
587
+ "epoch": 0.27666666666666667,
588
+ "grad_norm": 2.9396162033081055,
589
+ "learning_rate": 1.4533333333333335e-05,
590
+ "loss": 0.2103,
591
+ "step": 83
592
+ },
593
+ {
594
+ "epoch": 0.28,
595
+ "grad_norm": 3.972595691680908,
596
+ "learning_rate": 1.4466666666666668e-05,
597
+ "loss": 0.1961,
598
+ "step": 84
599
+ },
600
+ {
601
+ "epoch": 0.2833333333333333,
602
+ "grad_norm": 3.039673328399658,
603
+ "learning_rate": 1.4400000000000001e-05,
604
+ "loss": 0.1808,
605
+ "step": 85
606
+ },
607
+ {
608
+ "epoch": 0.2866666666666667,
609
+ "grad_norm": 3.596698045730591,
610
+ "learning_rate": 1.4333333333333334e-05,
611
+ "loss": 0.2151,
612
+ "step": 86
613
+ },
614
+ {
615
+ "epoch": 0.29,
616
+ "grad_norm": 3.5308918952941895,
617
+ "learning_rate": 1.4266666666666668e-05,
618
+ "loss": 0.1936,
619
+ "step": 87
620
+ },
621
+ {
622
+ "epoch": 0.29333333333333333,
623
+ "grad_norm": 3.1328442096710205,
624
+ "learning_rate": 1.4200000000000001e-05,
625
+ "loss": 0.1975,
626
+ "step": 88
627
+ },
628
+ {
629
+ "epoch": 0.2966666666666667,
630
+ "grad_norm": 3.906031847000122,
631
+ "learning_rate": 1.4133333333333334e-05,
632
+ "loss": 0.2007,
633
+ "step": 89
634
+ },
635
+ {
636
+ "epoch": 0.3,
637
+ "grad_norm": 2.6574106216430664,
638
+ "learning_rate": 1.4066666666666669e-05,
639
+ "loss": 0.171,
640
+ "step": 90
641
+ },
642
+ {
643
+ "epoch": 0.30333333333333334,
644
+ "grad_norm": 2.359678030014038,
645
+ "learning_rate": 1.4e-05,
646
+ "loss": 0.1749,
647
+ "step": 91
648
+ },
649
+ {
650
+ "epoch": 0.30666666666666664,
651
+ "grad_norm": 2.6238620281219482,
652
+ "learning_rate": 1.3933333333333334e-05,
653
+ "loss": 0.1477,
654
+ "step": 92
655
+ },
656
+ {
657
+ "epoch": 0.31,
658
+ "grad_norm": 3.081542730331421,
659
+ "learning_rate": 1.3866666666666669e-05,
660
+ "loss": 0.1827,
661
+ "step": 93
662
+ },
663
+ {
664
+ "epoch": 0.31333333333333335,
665
+ "grad_norm": 2.5369064807891846,
666
+ "learning_rate": 1.38e-05,
667
+ "loss": 0.1823,
668
+ "step": 94
669
+ },
670
+ {
671
+ "epoch": 0.31666666666666665,
672
+ "grad_norm": 3.167430877685547,
673
+ "learning_rate": 1.3733333333333335e-05,
674
+ "loss": 0.1956,
675
+ "step": 95
676
+ },
677
+ {
678
+ "epoch": 0.32,
679
+ "grad_norm": 3.435274600982666,
680
+ "learning_rate": 1.3666666666666667e-05,
681
+ "loss": 0.1827,
682
+ "step": 96
683
+ },
684
+ {
685
+ "epoch": 0.3233333333333333,
686
+ "grad_norm": 2.4572291374206543,
687
+ "learning_rate": 1.3600000000000002e-05,
688
+ "loss": 0.1349,
689
+ "step": 97
690
+ },
691
+ {
692
+ "epoch": 0.32666666666666666,
693
+ "grad_norm": 2.4802587032318115,
694
+ "learning_rate": 1.3533333333333333e-05,
695
+ "loss": 0.1859,
696
+ "step": 98
697
+ },
698
+ {
699
+ "epoch": 0.33,
700
+ "grad_norm": 2.5046474933624268,
701
+ "learning_rate": 1.3466666666666668e-05,
702
+ "loss": 0.1412,
703
+ "step": 99
704
+ },
705
+ {
706
+ "epoch": 0.3333333333333333,
707
+ "grad_norm": 2.995288133621216,
708
+ "learning_rate": 1.3400000000000002e-05,
709
+ "loss": 0.2068,
710
+ "step": 100
711
+ },
712
+ {
713
+ "epoch": 0.33666666666666667,
714
+ "grad_norm": 3.2600605487823486,
715
+ "learning_rate": 1.3333333333333333e-05,
716
+ "loss": 0.1705,
717
+ "step": 101
718
+ },
719
+ {
720
+ "epoch": 0.34,
721
+ "grad_norm": 3.752431631088257,
722
+ "learning_rate": 1.3266666666666668e-05,
723
+ "loss": 0.2094,
724
+ "step": 102
725
+ },
726
+ {
727
+ "epoch": 0.3433333333333333,
728
+ "grad_norm": 3.522319793701172,
729
+ "learning_rate": 1.3200000000000002e-05,
730
+ "loss": 0.1651,
731
+ "step": 103
732
+ },
733
+ {
734
+ "epoch": 0.3466666666666667,
735
+ "grad_norm": 3.6450672149658203,
736
+ "learning_rate": 1.3133333333333334e-05,
737
+ "loss": 0.1905,
738
+ "step": 104
739
+ },
740
+ {
741
+ "epoch": 0.35,
742
+ "grad_norm": 2.787292718887329,
743
+ "learning_rate": 1.3066666666666668e-05,
744
+ "loss": 0.1932,
745
+ "step": 105
746
+ },
747
+ {
748
+ "epoch": 0.35333333333333333,
749
+ "grad_norm": 2.8840110301971436,
750
+ "learning_rate": 1.3000000000000001e-05,
751
+ "loss": 0.1746,
752
+ "step": 106
753
+ },
754
+ {
755
+ "epoch": 0.3566666666666667,
756
+ "grad_norm": 3.663536310195923,
757
+ "learning_rate": 1.2933333333333334e-05,
758
+ "loss": 0.1838,
759
+ "step": 107
760
+ },
761
+ {
762
+ "epoch": 0.36,
763
+ "grad_norm": 3.2160911560058594,
764
+ "learning_rate": 1.2866666666666667e-05,
765
+ "loss": 0.1592,
766
+ "step": 108
767
+ },
768
+ {
769
+ "epoch": 0.36333333333333334,
770
+ "grad_norm": 2.57822847366333,
771
+ "learning_rate": 1.2800000000000001e-05,
772
+ "loss": 0.1354,
773
+ "step": 109
774
+ },
775
+ {
776
+ "epoch": 0.36666666666666664,
777
+ "grad_norm": 2.769277334213257,
778
+ "learning_rate": 1.2733333333333336e-05,
779
+ "loss": 0.15,
780
+ "step": 110
781
+ },
782
+ {
783
+ "epoch": 0.37,
784
+ "grad_norm": 2.236820936203003,
785
+ "learning_rate": 1.2666666666666667e-05,
786
+ "loss": 0.1195,
787
+ "step": 111
788
+ },
789
+ {
790
+ "epoch": 0.37333333333333335,
791
+ "grad_norm": 2.6303153038024902,
792
+ "learning_rate": 1.2600000000000001e-05,
793
+ "loss": 0.2053,
794
+ "step": 112
795
+ },
796
+ {
797
+ "epoch": 0.37666666666666665,
798
+ "grad_norm": 3.5457961559295654,
799
+ "learning_rate": 1.2533333333333336e-05,
800
+ "loss": 0.1633,
801
+ "step": 113
802
+ },
803
+ {
804
+ "epoch": 0.38,
805
+ "grad_norm": 3.339967727661133,
806
+ "learning_rate": 1.2466666666666667e-05,
807
+ "loss": 0.1853,
808
+ "step": 114
809
+ },
810
+ {
811
+ "epoch": 0.38333333333333336,
812
+ "grad_norm": 2.4004435539245605,
813
+ "learning_rate": 1.2400000000000002e-05,
814
+ "loss": 0.1769,
815
+ "step": 115
816
+ },
817
+ {
818
+ "epoch": 0.38666666666666666,
819
+ "grad_norm": 2.9918646812438965,
820
+ "learning_rate": 1.2333333333333334e-05,
821
+ "loss": 0.1554,
822
+ "step": 116
823
+ },
824
+ {
825
+ "epoch": 0.39,
826
+ "grad_norm": 3.323481798171997,
827
+ "learning_rate": 1.2266666666666667e-05,
828
+ "loss": 0.1959,
829
+ "step": 117
830
+ },
831
+ {
832
+ "epoch": 0.3933333333333333,
833
+ "grad_norm": 4.449532508850098,
834
+ "learning_rate": 1.22e-05,
835
+ "loss": 0.1736,
836
+ "step": 118
837
+ },
838
+ {
839
+ "epoch": 0.39666666666666667,
840
+ "grad_norm": 2.8740968704223633,
841
+ "learning_rate": 1.2133333333333335e-05,
842
+ "loss": 0.132,
843
+ "step": 119
844
+ },
845
+ {
846
+ "epoch": 0.4,
847
+ "grad_norm": 3.7661943435668945,
848
+ "learning_rate": 1.206666666666667e-05,
849
+ "loss": 0.1584,
850
+ "step": 120
851
+ },
852
+ {
853
+ "epoch": 0.4033333333333333,
854
+ "grad_norm": 4.35067081451416,
855
+ "learning_rate": 1.2e-05,
856
+ "loss": 0.1677,
857
+ "step": 121
858
+ },
859
+ {
860
+ "epoch": 0.4066666666666667,
861
+ "grad_norm": 2.6242668628692627,
862
+ "learning_rate": 1.1933333333333335e-05,
863
+ "loss": 0.1497,
864
+ "step": 122
865
+ },
866
+ {
867
+ "epoch": 0.41,
868
+ "grad_norm": 2.7755916118621826,
869
+ "learning_rate": 1.186666666666667e-05,
870
+ "loss": 0.1491,
871
+ "step": 123
872
+ },
873
+ {
874
+ "epoch": 0.41333333333333333,
875
+ "grad_norm": 3.2193222045898438,
876
+ "learning_rate": 1.18e-05,
877
+ "loss": 0.1464,
878
+ "step": 124
879
+ },
880
+ {
881
+ "epoch": 0.4166666666666667,
882
+ "grad_norm": 2.5876190662384033,
883
+ "learning_rate": 1.1733333333333335e-05,
884
+ "loss": 0.1328,
885
+ "step": 125
886
+ },
887
+ {
888
+ "epoch": 0.42,
889
+ "grad_norm": 2.879885673522949,
890
+ "learning_rate": 1.1666666666666668e-05,
891
+ "loss": 0.1278,
892
+ "step": 126
893
+ },
894
+ {
895
+ "epoch": 0.42333333333333334,
896
+ "grad_norm": 10.44334888458252,
897
+ "learning_rate": 1.16e-05,
898
+ "loss": 0.2873,
899
+ "step": 127
900
+ },
901
+ {
902
+ "epoch": 0.4266666666666667,
903
+ "grad_norm": 3.1428258419036865,
904
+ "learning_rate": 1.1533333333333334e-05,
905
+ "loss": 0.1355,
906
+ "step": 128
907
+ },
908
+ {
909
+ "epoch": 0.43,
910
+ "grad_norm": 3.1924850940704346,
911
+ "learning_rate": 1.1466666666666668e-05,
912
+ "loss": 0.1604,
913
+ "step": 129
914
+ },
915
+ {
916
+ "epoch": 0.43333333333333335,
917
+ "grad_norm": 2.780630588531494,
918
+ "learning_rate": 1.14e-05,
919
+ "loss": 0.145,
920
+ "step": 130
921
+ },
922
+ {
923
+ "epoch": 0.43666666666666665,
924
+ "grad_norm": 3.7377853393554688,
925
+ "learning_rate": 1.1333333333333334e-05,
926
+ "loss": 0.1231,
927
+ "step": 131
928
+ },
929
+ {
930
+ "epoch": 0.44,
931
+ "grad_norm": 3.4899189472198486,
932
+ "learning_rate": 1.1266666666666668e-05,
933
+ "loss": 0.1607,
934
+ "step": 132
935
+ },
936
+ {
937
+ "epoch": 0.44333333333333336,
938
+ "grad_norm": 2.7670586109161377,
939
+ "learning_rate": 1.1200000000000001e-05,
940
+ "loss": 0.1466,
941
+ "step": 133
942
+ },
943
+ {
944
+ "epoch": 0.44666666666666666,
945
+ "grad_norm": 2.551367998123169,
946
+ "learning_rate": 1.1133333333333334e-05,
947
+ "loss": 0.1473,
948
+ "step": 134
949
+ },
950
+ {
951
+ "epoch": 0.45,
952
+ "grad_norm": 2.509930372238159,
953
+ "learning_rate": 1.1066666666666669e-05,
954
+ "loss": 0.1222,
955
+ "step": 135
956
+ },
957
+ {
958
+ "epoch": 0.4533333333333333,
959
+ "grad_norm": 2.5124990940093994,
960
+ "learning_rate": 1.1000000000000001e-05,
961
+ "loss": 0.1339,
962
+ "step": 136
963
+ },
964
+ {
965
+ "epoch": 0.45666666666666667,
966
+ "grad_norm": 2.6944830417633057,
967
+ "learning_rate": 1.0933333333333334e-05,
968
+ "loss": 0.1328,
969
+ "step": 137
970
+ },
971
+ {
972
+ "epoch": 0.46,
973
+ "grad_norm": 2.588895082473755,
974
+ "learning_rate": 1.0866666666666667e-05,
975
+ "loss": 0.1317,
976
+ "step": 138
977
+ },
978
+ {
979
+ "epoch": 0.4633333333333333,
980
+ "grad_norm": 2.8066906929016113,
981
+ "learning_rate": 1.0800000000000002e-05,
982
+ "loss": 0.1439,
983
+ "step": 139
984
+ },
985
+ {
986
+ "epoch": 0.4666666666666667,
987
+ "grad_norm": 2.5701181888580322,
988
+ "learning_rate": 1.0733333333333333e-05,
989
+ "loss": 0.1329,
990
+ "step": 140
991
+ },
992
+ {
993
+ "epoch": 0.47,
994
+ "grad_norm": 2.403473138809204,
995
+ "learning_rate": 1.0666666666666667e-05,
996
+ "loss": 0.1721,
997
+ "step": 141
998
+ },
999
+ {
1000
+ "epoch": 0.47333333333333333,
1001
+ "grad_norm": 2.77469801902771,
1002
+ "learning_rate": 1.0600000000000002e-05,
1003
+ "loss": 0.1711,
1004
+ "step": 142
1005
+ },
1006
+ {
1007
+ "epoch": 0.4766666666666667,
1008
+ "grad_norm": 3.100501537322998,
1009
+ "learning_rate": 1.0533333333333333e-05,
1010
+ "loss": 0.1383,
1011
+ "step": 143
1012
+ },
1013
+ {
1014
+ "epoch": 0.48,
1015
+ "grad_norm": 2.5014278888702393,
1016
+ "learning_rate": 1.0466666666666668e-05,
1017
+ "loss": 0.1665,
1018
+ "step": 144
1019
+ },
1020
+ {
1021
+ "epoch": 0.48333333333333334,
1022
+ "grad_norm": 3.0039987564086914,
1023
+ "learning_rate": 1.04e-05,
1024
+ "loss": 0.1347,
1025
+ "step": 145
1026
+ },
1027
+ {
1028
+ "epoch": 0.4866666666666667,
1029
+ "grad_norm": 2.276686429977417,
1030
+ "learning_rate": 1.0333333333333335e-05,
1031
+ "loss": 0.1337,
1032
+ "step": 146
1033
+ },
1034
+ {
1035
+ "epoch": 0.49,
1036
+ "grad_norm": 2.692786455154419,
1037
+ "learning_rate": 1.0266666666666668e-05,
1038
+ "loss": 0.1146,
1039
+ "step": 147
1040
+ },
1041
+ {
1042
+ "epoch": 0.49333333333333335,
1043
+ "grad_norm": 2.6764962673187256,
1044
+ "learning_rate": 1.02e-05,
1045
+ "loss": 0.1474,
1046
+ "step": 148
1047
+ },
1048
+ {
1049
+ "epoch": 0.49666666666666665,
1050
+ "grad_norm": 2.6619491577148438,
1051
+ "learning_rate": 1.0133333333333335e-05,
1052
+ "loss": 0.1995,
1053
+ "step": 149
1054
+ },
1055
+ {
1056
+ "epoch": 0.5,
1057
+ "grad_norm": 3.4393763542175293,
1058
+ "learning_rate": 1.0066666666666666e-05,
1059
+ "loss": 0.1746,
1060
+ "step": 150
1061
+ },
1062
+ {
1063
+ "epoch": 0.5033333333333333,
1064
+ "grad_norm": 3.215348243713379,
1065
+ "learning_rate": 1e-05,
1066
+ "loss": 0.1523,
1067
+ "step": 151
1068
+ },
1069
+ {
1070
+ "epoch": 0.5066666666666667,
1071
+ "grad_norm": 3.8770527839660645,
1072
+ "learning_rate": 9.933333333333334e-06,
1073
+ "loss": 0.1806,
1074
+ "step": 152
1075
+ },
1076
+ {
1077
+ "epoch": 0.51,
1078
+ "grad_norm": 2.971613883972168,
1079
+ "learning_rate": 9.866666666666668e-06,
1080
+ "loss": 0.1453,
1081
+ "step": 153
1082
+ },
1083
+ {
1084
+ "epoch": 0.5133333333333333,
1085
+ "grad_norm": 4.0949931144714355,
1086
+ "learning_rate": 9.800000000000001e-06,
1087
+ "loss": 0.185,
1088
+ "step": 154
1089
+ },
1090
+ {
1091
+ "epoch": 0.5166666666666667,
1092
+ "grad_norm": 2.0491554737091064,
1093
+ "learning_rate": 9.733333333333334e-06,
1094
+ "loss": 0.1579,
1095
+ "step": 155
1096
+ },
1097
+ {
1098
+ "epoch": 0.52,
1099
+ "grad_norm": 3.706289052963257,
1100
+ "learning_rate": 9.666666666666667e-06,
1101
+ "loss": 0.1745,
1102
+ "step": 156
1103
+ },
1104
+ {
1105
+ "epoch": 0.5233333333333333,
1106
+ "grad_norm": 3.304166316986084,
1107
+ "learning_rate": 9.600000000000001e-06,
1108
+ "loss": 0.1753,
1109
+ "step": 157
1110
+ },
1111
+ {
1112
+ "epoch": 0.5266666666666666,
1113
+ "grad_norm": 2.479464292526245,
1114
+ "learning_rate": 9.533333333333334e-06,
1115
+ "loss": 0.1523,
1116
+ "step": 158
1117
+ },
1118
+ {
1119
+ "epoch": 0.53,
1120
+ "grad_norm": 2.5359227657318115,
1121
+ "learning_rate": 9.466666666666667e-06,
1122
+ "loss": 0.1108,
1123
+ "step": 159
1124
+ },
1125
+ {
1126
+ "epoch": 0.5333333333333333,
1127
+ "grad_norm": 2.3987951278686523,
1128
+ "learning_rate": 9.4e-06,
1129
+ "loss": 0.131,
1130
+ "step": 160
1131
+ },
1132
+ {
1133
+ "epoch": 0.5366666666666666,
1134
+ "grad_norm": 2.7179677486419678,
1135
+ "learning_rate": 9.333333333333334e-06,
1136
+ "loss": 0.1611,
1137
+ "step": 161
1138
+ },
1139
+ {
1140
+ "epoch": 0.54,
1141
+ "grad_norm": 2.654294729232788,
1142
+ "learning_rate": 9.266666666666667e-06,
1143
+ "loss": 0.1252,
1144
+ "step": 162
1145
+ },
1146
+ {
1147
+ "epoch": 0.5433333333333333,
1148
+ "grad_norm": 3.538106918334961,
1149
+ "learning_rate": 9.200000000000002e-06,
1150
+ "loss": 0.1965,
1151
+ "step": 163
1152
+ },
1153
+ {
1154
+ "epoch": 0.5466666666666666,
1155
+ "grad_norm": 3.0658950805664062,
1156
+ "learning_rate": 9.133333333333335e-06,
1157
+ "loss": 0.1502,
1158
+ "step": 164
1159
+ },
1160
+ {
1161
+ "epoch": 0.55,
1162
+ "grad_norm": 3.3468844890594482,
1163
+ "learning_rate": 9.066666666666667e-06,
1164
+ "loss": 0.1378,
1165
+ "step": 165
1166
+ },
1167
+ {
1168
+ "epoch": 0.5533333333333333,
1169
+ "grad_norm": 3.6952478885650635,
1170
+ "learning_rate": 9e-06,
1171
+ "loss": 0.1556,
1172
+ "step": 166
1173
+ },
1174
+ {
1175
+ "epoch": 0.5566666666666666,
1176
+ "grad_norm": 2.620471239089966,
1177
+ "learning_rate": 8.933333333333333e-06,
1178
+ "loss": 0.1287,
1179
+ "step": 167
1180
+ },
1181
+ {
1182
+ "epoch": 0.56,
1183
+ "grad_norm": 2.916288137435913,
1184
+ "learning_rate": 8.866666666666668e-06,
1185
+ "loss": 0.1445,
1186
+ "step": 168
1187
+ },
1188
+ {
1189
+ "epoch": 0.5633333333333334,
1190
+ "grad_norm": 2.1381263732910156,
1191
+ "learning_rate": 8.8e-06,
1192
+ "loss": 0.1121,
1193
+ "step": 169
1194
+ },
1195
+ {
1196
+ "epoch": 0.5666666666666667,
1197
+ "grad_norm": 2.2891464233398438,
1198
+ "learning_rate": 8.733333333333333e-06,
1199
+ "loss": 0.1226,
1200
+ "step": 170
1201
+ },
1202
+ {
1203
+ "epoch": 0.57,
1204
+ "grad_norm": 2.305575132369995,
1205
+ "learning_rate": 8.666666666666668e-06,
1206
+ "loss": 0.1404,
1207
+ "step": 171
1208
+ },
1209
+ {
1210
+ "epoch": 0.5733333333333334,
1211
+ "grad_norm": 2.5301241874694824,
1212
+ "learning_rate": 8.6e-06,
1213
+ "loss": 0.1243,
1214
+ "step": 172
1215
+ },
1216
+ {
1217
+ "epoch": 0.5766666666666667,
1218
+ "grad_norm": 2.887267589569092,
1219
+ "learning_rate": 8.533333333333335e-06,
1220
+ "loss": 0.1453,
1221
+ "step": 173
1222
+ },
1223
+ {
1224
+ "epoch": 0.58,
1225
+ "grad_norm": 2.724914789199829,
1226
+ "learning_rate": 8.466666666666668e-06,
1227
+ "loss": 0.1918,
1228
+ "step": 174
1229
+ },
1230
+ {
1231
+ "epoch": 0.5833333333333334,
1232
+ "grad_norm": 3.2770259380340576,
1233
+ "learning_rate": 8.400000000000001e-06,
1234
+ "loss": 0.1542,
1235
+ "step": 175
1236
+ },
1237
+ {
1238
+ "epoch": 0.5866666666666667,
1239
+ "grad_norm": 3.779468297958374,
1240
+ "learning_rate": 8.333333333333334e-06,
1241
+ "loss": 0.1541,
1242
+ "step": 176
1243
+ },
1244
+ {
1245
+ "epoch": 0.59,
1246
+ "grad_norm": 3.5769217014312744,
1247
+ "learning_rate": 8.266666666666667e-06,
1248
+ "loss": 0.173,
1249
+ "step": 177
1250
+ },
1251
+ {
1252
+ "epoch": 0.5933333333333334,
1253
+ "grad_norm": 3.032850742340088,
1254
+ "learning_rate": 8.2e-06,
1255
+ "loss": 0.1352,
1256
+ "step": 178
1257
+ },
1258
+ {
1259
+ "epoch": 0.5966666666666667,
1260
+ "grad_norm": 4.097360134124756,
1261
+ "learning_rate": 8.133333333333334e-06,
1262
+ "loss": 0.1616,
1263
+ "step": 179
1264
+ },
1265
+ {
1266
+ "epoch": 0.6,
1267
+ "grad_norm": 3.5397284030914307,
1268
+ "learning_rate": 8.066666666666667e-06,
1269
+ "loss": 0.184,
1270
+ "step": 180
1271
+ },
1272
+ {
1273
+ "epoch": 0.6033333333333334,
1274
+ "grad_norm": 2.8369247913360596,
1275
+ "learning_rate": 8.000000000000001e-06,
1276
+ "loss": 0.1378,
1277
+ "step": 181
1278
+ },
1279
+ {
1280
+ "epoch": 0.6066666666666667,
1281
+ "grad_norm": 3.1343154907226562,
1282
+ "learning_rate": 7.933333333333334e-06,
1283
+ "loss": 0.1503,
1284
+ "step": 182
1285
+ },
1286
+ {
1287
+ "epoch": 0.61,
1288
+ "grad_norm": 3.8517513275146484,
1289
+ "learning_rate": 7.866666666666667e-06,
1290
+ "loss": 0.175,
1291
+ "step": 183
1292
+ },
1293
+ {
1294
+ "epoch": 0.6133333333333333,
1295
+ "grad_norm": 2.985905170440674,
1296
+ "learning_rate": 7.800000000000002e-06,
1297
+ "loss": 0.1444,
1298
+ "step": 184
1299
+ },
1300
+ {
1301
+ "epoch": 0.6166666666666667,
1302
+ "grad_norm": 3.587651252746582,
1303
+ "learning_rate": 7.733333333333334e-06,
1304
+ "loss": 0.1919,
1305
+ "step": 185
1306
+ },
1307
+ {
1308
+ "epoch": 0.62,
1309
+ "grad_norm": 2.85689377784729,
1310
+ "learning_rate": 7.666666666666667e-06,
1311
+ "loss": 0.1745,
1312
+ "step": 186
1313
+ },
1314
+ {
1315
+ "epoch": 0.6233333333333333,
1316
+ "grad_norm": 2.7325098514556885,
1317
+ "learning_rate": 7.600000000000001e-06,
1318
+ "loss": 0.1282,
1319
+ "step": 187
1320
+ },
1321
+ {
1322
+ "epoch": 0.6266666666666667,
1323
+ "grad_norm": 2.745168447494507,
1324
+ "learning_rate": 7.533333333333334e-06,
1325
+ "loss": 0.1498,
1326
+ "step": 188
1327
+ },
1328
+ {
1329
+ "epoch": 0.63,
1330
+ "grad_norm": 3.174250841140747,
1331
+ "learning_rate": 7.4666666666666675e-06,
1332
+ "loss": 0.1603,
1333
+ "step": 189
1334
+ },
1335
+ {
1336
+ "epoch": 0.6333333333333333,
1337
+ "grad_norm": 3.063758611679077,
1338
+ "learning_rate": 7.4e-06,
1339
+ "loss": 0.1229,
1340
+ "step": 190
1341
+ },
1342
+ {
1343
+ "epoch": 0.6366666666666667,
1344
+ "grad_norm": 2.5945281982421875,
1345
+ "learning_rate": 7.333333333333333e-06,
1346
+ "loss": 0.1419,
1347
+ "step": 191
1348
+ },
1349
+ {
1350
+ "epoch": 0.64,
1351
+ "grad_norm": 2.603856086730957,
1352
+ "learning_rate": 7.266666666666668e-06,
1353
+ "loss": 0.1826,
1354
+ "step": 192
1355
+ },
1356
+ {
1357
+ "epoch": 0.6433333333333333,
1358
+ "grad_norm": 2.8359875679016113,
1359
+ "learning_rate": 7.2000000000000005e-06,
1360
+ "loss": 0.1714,
1361
+ "step": 193
1362
+ },
1363
+ {
1364
+ "epoch": 0.6466666666666666,
1365
+ "grad_norm": 3.071071147918701,
1366
+ "learning_rate": 7.133333333333334e-06,
1367
+ "loss": 0.1699,
1368
+ "step": 194
1369
+ },
1370
+ {
1371
+ "epoch": 0.65,
1372
+ "grad_norm": 3.0318899154663086,
1373
+ "learning_rate": 7.066666666666667e-06,
1374
+ "loss": 0.1453,
1375
+ "step": 195
1376
+ },
1377
+ {
1378
+ "epoch": 0.6533333333333333,
1379
+ "grad_norm": 3.219977617263794,
1380
+ "learning_rate": 7e-06,
1381
+ "loss": 0.1528,
1382
+ "step": 196
1383
+ },
1384
+ {
1385
+ "epoch": 0.6566666666666666,
1386
+ "grad_norm": 2.390718698501587,
1387
+ "learning_rate": 6.9333333333333344e-06,
1388
+ "loss": 0.138,
1389
+ "step": 197
1390
+ },
1391
+ {
1392
+ "epoch": 0.66,
1393
+ "grad_norm": 2.535130262374878,
1394
+ "learning_rate": 6.866666666666667e-06,
1395
+ "loss": 0.1478,
1396
+ "step": 198
1397
+ },
1398
+ {
1399
+ "epoch": 0.6633333333333333,
1400
+ "grad_norm": 2.13972806930542,
1401
+ "learning_rate": 6.800000000000001e-06,
1402
+ "loss": 0.1307,
1403
+ "step": 199
1404
+ },
1405
+ {
1406
+ "epoch": 0.6666666666666666,
1407
+ "grad_norm": 2.4545130729675293,
1408
+ "learning_rate": 6.733333333333334e-06,
1409
+ "loss": 0.1212,
1410
+ "step": 200
1411
+ },
1412
+ {
1413
+ "epoch": 0.67,
1414
+ "grad_norm": 2.497006416320801,
1415
+ "learning_rate": 6.666666666666667e-06,
1416
+ "loss": 0.1418,
1417
+ "step": 201
1418
+ },
1419
+ {
1420
+ "epoch": 0.6733333333333333,
1421
+ "grad_norm": 2.6412289142608643,
1422
+ "learning_rate": 6.600000000000001e-06,
1423
+ "loss": 0.1307,
1424
+ "step": 202
1425
+ },
1426
+ {
1427
+ "epoch": 0.6766666666666666,
1428
+ "grad_norm": 2.7932240962982178,
1429
+ "learning_rate": 6.533333333333334e-06,
1430
+ "loss": 0.1924,
1431
+ "step": 203
1432
+ },
1433
+ {
1434
+ "epoch": 0.68,
1435
+ "grad_norm": 3.2369985580444336,
1436
+ "learning_rate": 6.466666666666667e-06,
1437
+ "loss": 0.1621,
1438
+ "step": 204
1439
+ },
1440
+ {
1441
+ "epoch": 0.6833333333333333,
1442
+ "grad_norm": 2.753098249435425,
1443
+ "learning_rate": 6.4000000000000006e-06,
1444
+ "loss": 0.1697,
1445
+ "step": 205
1446
+ },
1447
+ {
1448
+ "epoch": 0.6866666666666666,
1449
+ "grad_norm": 2.9997384548187256,
1450
+ "learning_rate": 6.333333333333333e-06,
1451
+ "loss": 0.1176,
1452
+ "step": 206
1453
+ },
1454
+ {
1455
+ "epoch": 0.69,
1456
+ "grad_norm": 2.8148248195648193,
1457
+ "learning_rate": 6.266666666666668e-06,
1458
+ "loss": 0.1295,
1459
+ "step": 207
1460
+ },
1461
+ {
1462
+ "epoch": 0.6933333333333334,
1463
+ "grad_norm": 2.8574581146240234,
1464
+ "learning_rate": 6.200000000000001e-06,
1465
+ "loss": 0.1354,
1466
+ "step": 208
1467
+ },
1468
+ {
1469
+ "epoch": 0.6966666666666667,
1470
+ "grad_norm": 2.9616639614105225,
1471
+ "learning_rate": 6.133333333333334e-06,
1472
+ "loss": 0.1497,
1473
+ "step": 209
1474
+ },
1475
+ {
1476
+ "epoch": 0.7,
1477
+ "grad_norm": 2.492868661880493,
1478
+ "learning_rate": 6.066666666666667e-06,
1479
+ "loss": 0.1552,
1480
+ "step": 210
1481
+ },
1482
+ {
1483
+ "epoch": 0.7033333333333334,
1484
+ "grad_norm": 3.126317262649536,
1485
+ "learning_rate": 6e-06,
1486
+ "loss": 0.165,
1487
+ "step": 211
1488
+ },
1489
+ {
1490
+ "epoch": 0.7066666666666667,
1491
+ "grad_norm": 2.405226945877075,
1492
+ "learning_rate": 5.933333333333335e-06,
1493
+ "loss": 0.1306,
1494
+ "step": 212
1495
+ },
1496
+ {
1497
+ "epoch": 0.71,
1498
+ "grad_norm": 3.0711240768432617,
1499
+ "learning_rate": 5.8666666666666675e-06,
1500
+ "loss": 0.1646,
1501
+ "step": 213
1502
+ },
1503
+ {
1504
+ "epoch": 0.7133333333333334,
1505
+ "grad_norm": 4.473424911499023,
1506
+ "learning_rate": 5.8e-06,
1507
+ "loss": 0.1807,
1508
+ "step": 214
1509
+ },
1510
+ {
1511
+ "epoch": 0.7166666666666667,
1512
+ "grad_norm": 3.437124252319336,
1513
+ "learning_rate": 5.733333333333334e-06,
1514
+ "loss": 0.1504,
1515
+ "step": 215
1516
+ },
1517
+ {
1518
+ "epoch": 0.72,
1519
+ "grad_norm": 3.648013114929199,
1520
+ "learning_rate": 5.666666666666667e-06,
1521
+ "loss": 0.1618,
1522
+ "step": 216
1523
+ },
1524
+ {
1525
+ "epoch": 0.7233333333333334,
1526
+ "grad_norm": 2.9070661067962646,
1527
+ "learning_rate": 5.600000000000001e-06,
1528
+ "loss": 0.1902,
1529
+ "step": 217
1530
+ },
1531
+ {
1532
+ "epoch": 0.7266666666666667,
1533
+ "grad_norm": 2.907487392425537,
1534
+ "learning_rate": 5.533333333333334e-06,
1535
+ "loss": 0.1698,
1536
+ "step": 218
1537
+ },
1538
+ {
1539
+ "epoch": 0.73,
1540
+ "grad_norm": 2.4775335788726807,
1541
+ "learning_rate": 5.466666666666667e-06,
1542
+ "loss": 0.1635,
1543
+ "step": 219
1544
+ },
1545
+ {
1546
+ "epoch": 0.7333333333333333,
1547
+ "grad_norm": 3.232635259628296,
1548
+ "learning_rate": 5.400000000000001e-06,
1549
+ "loss": 0.1439,
1550
+ "step": 220
1551
+ },
1552
+ {
1553
+ "epoch": 0.7366666666666667,
1554
+ "grad_norm": 2.2640159130096436,
1555
+ "learning_rate": 5.333333333333334e-06,
1556
+ "loss": 0.1417,
1557
+ "step": 221
1558
+ },
1559
+ {
1560
+ "epoch": 0.74,
1561
+ "grad_norm": 2.8542263507843018,
1562
+ "learning_rate": 5.2666666666666665e-06,
1563
+ "loss": 0.1051,
1564
+ "step": 222
1565
+ },
1566
+ {
1567
+ "epoch": 0.7433333333333333,
1568
+ "grad_norm": 3.362314462661743,
1569
+ "learning_rate": 5.2e-06,
1570
+ "loss": 0.1709,
1571
+ "step": 223
1572
+ },
1573
+ {
1574
+ "epoch": 0.7466666666666667,
1575
+ "grad_norm": 2.966294527053833,
1576
+ "learning_rate": 5.133333333333334e-06,
1577
+ "loss": 0.1512,
1578
+ "step": 224
1579
+ },
1580
+ {
1581
+ "epoch": 0.75,
1582
+ "grad_norm": 2.7366647720336914,
1583
+ "learning_rate": 5.0666666666666676e-06,
1584
+ "loss": 0.1308,
1585
+ "step": 225
1586
+ },
1587
+ {
1588
+ "epoch": 0.7533333333333333,
1589
+ "grad_norm": 4.39132833480835,
1590
+ "learning_rate": 5e-06,
1591
+ "loss": 0.1774,
1592
+ "step": 226
1593
+ },
1594
+ {
1595
+ "epoch": 0.7566666666666667,
1596
+ "grad_norm": 2.857149124145508,
1597
+ "learning_rate": 4.933333333333334e-06,
1598
+ "loss": 0.1283,
1599
+ "step": 227
1600
+ },
1601
+ {
1602
+ "epoch": 0.76,
1603
+ "grad_norm": 2.3961689472198486,
1604
+ "learning_rate": 4.866666666666667e-06,
1605
+ "loss": 0.1536,
1606
+ "step": 228
1607
+ },
1608
+ {
1609
+ "epoch": 0.7633333333333333,
1610
+ "grad_norm": 2.3657495975494385,
1611
+ "learning_rate": 4.800000000000001e-06,
1612
+ "loss": 0.1212,
1613
+ "step": 229
1614
+ },
1615
+ {
1616
+ "epoch": 0.7666666666666667,
1617
+ "grad_norm": 2.6285276412963867,
1618
+ "learning_rate": 4.7333333333333335e-06,
1619
+ "loss": 0.1789,
1620
+ "step": 230
1621
+ },
1622
+ {
1623
+ "epoch": 0.77,
1624
+ "grad_norm": 3.4685654640197754,
1625
+ "learning_rate": 4.666666666666667e-06,
1626
+ "loss": 0.1849,
1627
+ "step": 231
1628
+ },
1629
+ {
1630
+ "epoch": 0.7733333333333333,
1631
+ "grad_norm": 3.0632898807525635,
1632
+ "learning_rate": 4.600000000000001e-06,
1633
+ "loss": 0.1283,
1634
+ "step": 232
1635
+ },
1636
+ {
1637
+ "epoch": 0.7766666666666666,
1638
+ "grad_norm": 3.7618725299835205,
1639
+ "learning_rate": 4.533333333333334e-06,
1640
+ "loss": 0.1659,
1641
+ "step": 233
1642
+ },
1643
+ {
1644
+ "epoch": 0.78,
1645
+ "grad_norm": 3.271331787109375,
1646
+ "learning_rate": 4.4666666666666665e-06,
1647
+ "loss": 0.1352,
1648
+ "step": 234
1649
+ },
1650
+ {
1651
+ "epoch": 0.7833333333333333,
1652
+ "grad_norm": 3.069185256958008,
1653
+ "learning_rate": 4.4e-06,
1654
+ "loss": 0.1511,
1655
+ "step": 235
1656
+ },
1657
+ {
1658
+ "epoch": 0.7866666666666666,
1659
+ "grad_norm": 2.963602304458618,
1660
+ "learning_rate": 4.333333333333334e-06,
1661
+ "loss": 0.1258,
1662
+ "step": 236
1663
+ },
1664
+ {
1665
+ "epoch": 0.79,
1666
+ "grad_norm": 2.258211612701416,
1667
+ "learning_rate": 4.266666666666668e-06,
1668
+ "loss": 0.1249,
1669
+ "step": 237
1670
+ },
1671
+ {
1672
+ "epoch": 0.7933333333333333,
1673
+ "grad_norm": 3.0741255283355713,
1674
+ "learning_rate": 4.2000000000000004e-06,
1675
+ "loss": 0.121,
1676
+ "step": 238
1677
+ },
1678
+ {
1679
+ "epoch": 0.7966666666666666,
1680
+ "grad_norm": 3.091172218322754,
1681
+ "learning_rate": 4.133333333333333e-06,
1682
+ "loss": 0.1559,
1683
+ "step": 239
1684
+ },
1685
+ {
1686
+ "epoch": 0.8,
1687
+ "grad_norm": 2.802025318145752,
1688
+ "learning_rate": 4.066666666666667e-06,
1689
+ "loss": 0.1323,
1690
+ "step": 240
1691
+ },
1692
+ {
1693
+ "epoch": 0.8033333333333333,
1694
+ "grad_norm": 2.7423605918884277,
1695
+ "learning_rate": 4.000000000000001e-06,
1696
+ "loss": 0.1486,
1697
+ "step": 241
1698
+ },
1699
+ {
1700
+ "epoch": 0.8066666666666666,
1701
+ "grad_norm": 2.6613664627075195,
1702
+ "learning_rate": 3.9333333333333335e-06,
1703
+ "loss": 0.1195,
1704
+ "step": 242
1705
+ },
1706
+ {
1707
+ "epoch": 0.81,
1708
+ "grad_norm": 2.8801000118255615,
1709
+ "learning_rate": 3.866666666666667e-06,
1710
+ "loss": 0.1208,
1711
+ "step": 243
1712
+ },
1713
+ {
1714
+ "epoch": 0.8133333333333334,
1715
+ "grad_norm": 2.902731418609619,
1716
+ "learning_rate": 3.8000000000000005e-06,
1717
+ "loss": 0.1511,
1718
+ "step": 244
1719
+ },
1720
+ {
1721
+ "epoch": 0.8166666666666667,
1722
+ "grad_norm": 3.1954076290130615,
1723
+ "learning_rate": 3.7333333333333337e-06,
1724
+ "loss": 0.1866,
1725
+ "step": 245
1726
+ },
1727
+ {
1728
+ "epoch": 0.82,
1729
+ "grad_norm": 2.7448127269744873,
1730
+ "learning_rate": 3.6666666666666666e-06,
1731
+ "loss": 0.1392,
1732
+ "step": 246
1733
+ },
1734
+ {
1735
+ "epoch": 0.8233333333333334,
1736
+ "grad_norm": 2.8224823474884033,
1737
+ "learning_rate": 3.6000000000000003e-06,
1738
+ "loss": 0.172,
1739
+ "step": 247
1740
+ },
1741
+ {
1742
+ "epoch": 0.8266666666666667,
1743
+ "grad_norm": 3.194859743118286,
1744
+ "learning_rate": 3.5333333333333335e-06,
1745
+ "loss": 0.1867,
1746
+ "step": 248
1747
+ },
1748
+ {
1749
+ "epoch": 0.83,
1750
+ "grad_norm": 2.71073055267334,
1751
+ "learning_rate": 3.4666666666666672e-06,
1752
+ "loss": 0.1146,
1753
+ "step": 249
1754
+ },
1755
+ {
1756
+ "epoch": 0.8333333333333334,
1757
+ "grad_norm": 2.636962652206421,
1758
+ "learning_rate": 3.4000000000000005e-06,
1759
+ "loss": 0.1441,
1760
+ "step": 250
1761
+ },
1762
+ {
1763
+ "epoch": 0.8366666666666667,
1764
+ "grad_norm": 2.8345351219177246,
1765
+ "learning_rate": 3.3333333333333333e-06,
1766
+ "loss": 0.1227,
1767
+ "step": 251
1768
+ },
1769
+ {
1770
+ "epoch": 0.84,
1771
+ "grad_norm": 2.6062114238739014,
1772
+ "learning_rate": 3.266666666666667e-06,
1773
+ "loss": 0.1496,
1774
+ "step": 252
1775
+ },
1776
+ {
1777
+ "epoch": 0.8433333333333334,
1778
+ "grad_norm": 3.002756118774414,
1779
+ "learning_rate": 3.2000000000000003e-06,
1780
+ "loss": 0.1466,
1781
+ "step": 253
1782
+ },
1783
+ {
1784
+ "epoch": 0.8466666666666667,
1785
+ "grad_norm": 2.4807217121124268,
1786
+ "learning_rate": 3.133333333333334e-06,
1787
+ "loss": 0.1618,
1788
+ "step": 254
1789
+ },
1790
+ {
1791
+ "epoch": 0.85,
1792
+ "grad_norm": 2.713024854660034,
1793
+ "learning_rate": 3.066666666666667e-06,
1794
+ "loss": 0.1601,
1795
+ "step": 255
1796
+ },
1797
+ {
1798
+ "epoch": 0.8533333333333334,
1799
+ "grad_norm": 2.4873030185699463,
1800
+ "learning_rate": 3e-06,
1801
+ "loss": 0.1349,
1802
+ "step": 256
1803
+ },
1804
+ {
1805
+ "epoch": 0.8566666666666667,
1806
+ "grad_norm": 2.8627681732177734,
1807
+ "learning_rate": 2.9333333333333338e-06,
1808
+ "loss": 0.1745,
1809
+ "step": 257
1810
+ },
1811
+ {
1812
+ "epoch": 0.86,
1813
+ "grad_norm": 2.2492733001708984,
1814
+ "learning_rate": 2.866666666666667e-06,
1815
+ "loss": 0.1467,
1816
+ "step": 258
1817
+ },
1818
+ {
1819
+ "epoch": 0.8633333333333333,
1820
+ "grad_norm": 3.2114291191101074,
1821
+ "learning_rate": 2.8000000000000003e-06,
1822
+ "loss": 0.1346,
1823
+ "step": 259
1824
+ },
1825
+ {
1826
+ "epoch": 0.8666666666666667,
1827
+ "grad_norm": 2.4691879749298096,
1828
+ "learning_rate": 2.7333333333333336e-06,
1829
+ "loss": 0.1423,
1830
+ "step": 260
1831
+ },
1832
+ {
1833
+ "epoch": 0.87,
1834
+ "grad_norm": 2.888164520263672,
1835
+ "learning_rate": 2.666666666666667e-06,
1836
+ "loss": 0.1444,
1837
+ "step": 261
1838
+ },
1839
+ {
1840
+ "epoch": 0.8733333333333333,
1841
+ "grad_norm": 3.1856491565704346,
1842
+ "learning_rate": 2.6e-06,
1843
+ "loss": 0.1321,
1844
+ "step": 262
1845
+ },
1846
+ {
1847
+ "epoch": 0.8766666666666667,
1848
+ "grad_norm": 2.5580968856811523,
1849
+ "learning_rate": 2.5333333333333338e-06,
1850
+ "loss": 0.1374,
1851
+ "step": 263
1852
+ },
1853
+ {
1854
+ "epoch": 0.88,
1855
+ "grad_norm": 2.8368735313415527,
1856
+ "learning_rate": 2.466666666666667e-06,
1857
+ "loss": 0.1357,
1858
+ "step": 264
1859
+ },
1860
+ {
1861
+ "epoch": 0.8833333333333333,
1862
+ "grad_norm": 3.6011369228363037,
1863
+ "learning_rate": 2.4000000000000003e-06,
1864
+ "loss": 0.1599,
1865
+ "step": 265
1866
+ },
1867
+ {
1868
+ "epoch": 0.8866666666666667,
1869
+ "grad_norm": 3.1003851890563965,
1870
+ "learning_rate": 2.3333333333333336e-06,
1871
+ "loss": 0.1347,
1872
+ "step": 266
1873
+ },
1874
+ {
1875
+ "epoch": 0.89,
1876
+ "grad_norm": 3.541109800338745,
1877
+ "learning_rate": 2.266666666666667e-06,
1878
+ "loss": 0.1324,
1879
+ "step": 267
1880
+ },
1881
+ {
1882
+ "epoch": 0.8933333333333333,
1883
+ "grad_norm": 2.9445064067840576,
1884
+ "learning_rate": 2.2e-06,
1885
+ "loss": 0.1562,
1886
+ "step": 268
1887
+ },
1888
+ {
1889
+ "epoch": 0.8966666666666666,
1890
+ "grad_norm": 2.6362311840057373,
1891
+ "learning_rate": 2.133333333333334e-06,
1892
+ "loss": 0.1606,
1893
+ "step": 269
1894
+ },
1895
+ {
1896
+ "epoch": 0.9,
1897
+ "grad_norm": 2.572695255279541,
1898
+ "learning_rate": 2.0666666666666666e-06,
1899
+ "loss": 0.1427,
1900
+ "step": 270
1901
+ },
1902
+ {
1903
+ "epoch": 0.9033333333333333,
1904
+ "grad_norm": 2.2273035049438477,
1905
+ "learning_rate": 2.0000000000000003e-06,
1906
+ "loss": 0.1248,
1907
+ "step": 271
1908
+ },
1909
+ {
1910
+ "epoch": 0.9066666666666666,
1911
+ "grad_norm": 2.9854419231414795,
1912
+ "learning_rate": 1.9333333333333336e-06,
1913
+ "loss": 0.1564,
1914
+ "step": 272
1915
+ },
1916
+ {
1917
+ "epoch": 0.91,
1918
+ "grad_norm": 3.5810866355895996,
1919
+ "learning_rate": 1.8666666666666669e-06,
1920
+ "loss": 0.1776,
1921
+ "step": 273
1922
+ },
1923
+ {
1924
+ "epoch": 0.9133333333333333,
1925
+ "grad_norm": 3.2606608867645264,
1926
+ "learning_rate": 1.8000000000000001e-06,
1927
+ "loss": 0.1594,
1928
+ "step": 274
1929
+ },
1930
+ {
1931
+ "epoch": 0.9166666666666666,
1932
+ "grad_norm": 3.961564540863037,
1933
+ "learning_rate": 1.7333333333333336e-06,
1934
+ "loss": 0.1519,
1935
+ "step": 275
1936
+ },
1937
+ {
1938
+ "epoch": 0.92,
1939
+ "grad_norm": 3.043121576309204,
1940
+ "learning_rate": 1.6666666666666667e-06,
1941
+ "loss": 0.1319,
1942
+ "step": 276
1943
+ },
1944
+ {
1945
+ "epoch": 0.9233333333333333,
1946
+ "grad_norm": 2.2973792552948,
1947
+ "learning_rate": 1.6000000000000001e-06,
1948
+ "loss": 0.1318,
1949
+ "step": 277
1950
+ },
1951
+ {
1952
+ "epoch": 0.9266666666666666,
1953
+ "grad_norm": 2.723360300064087,
1954
+ "learning_rate": 1.5333333333333334e-06,
1955
+ "loss": 0.1593,
1956
+ "step": 278
1957
+ },
1958
+ {
1959
+ "epoch": 0.93,
1960
+ "grad_norm": 2.5894787311553955,
1961
+ "learning_rate": 1.4666666666666669e-06,
1962
+ "loss": 0.1653,
1963
+ "step": 279
1964
+ },
1965
+ {
1966
+ "epoch": 0.9333333333333333,
1967
+ "grad_norm": 2.095630645751953,
1968
+ "learning_rate": 1.4000000000000001e-06,
1969
+ "loss": 0.1304,
1970
+ "step": 280
1971
+ },
1972
+ {
1973
+ "epoch": 0.9366666666666666,
1974
+ "grad_norm": 3.3630802631378174,
1975
+ "learning_rate": 1.3333333333333334e-06,
1976
+ "loss": 0.1242,
1977
+ "step": 281
1978
+ },
1979
+ {
1980
+ "epoch": 0.94,
1981
+ "grad_norm": 2.9747276306152344,
1982
+ "learning_rate": 1.2666666666666669e-06,
1983
+ "loss": 0.1424,
1984
+ "step": 282
1985
+ },
1986
+ {
1987
+ "epoch": 0.9433333333333334,
1988
+ "grad_norm": 2.4560983180999756,
1989
+ "learning_rate": 1.2000000000000002e-06,
1990
+ "loss": 0.1263,
1991
+ "step": 283
1992
+ },
1993
+ {
1994
+ "epoch": 0.9466666666666667,
1995
+ "grad_norm": 2.6238925457000732,
1996
+ "learning_rate": 1.1333333333333334e-06,
1997
+ "loss": 0.1347,
1998
+ "step": 284
1999
+ },
2000
+ {
2001
+ "epoch": 0.95,
2002
+ "grad_norm": 2.728722333908081,
2003
+ "learning_rate": 1.066666666666667e-06,
2004
+ "loss": 0.1744,
2005
+ "step": 285
2006
+ },
2007
+ {
2008
+ "epoch": 0.9533333333333334,
2009
+ "grad_norm": 3.3367972373962402,
2010
+ "learning_rate": 1.0000000000000002e-06,
2011
+ "loss": 0.1275,
2012
+ "step": 286
2013
+ },
2014
+ {
2015
+ "epoch": 0.9566666666666667,
2016
+ "grad_norm": 2.38922119140625,
2017
+ "learning_rate": 9.333333333333334e-07,
2018
+ "loss": 0.1578,
2019
+ "step": 287
2020
+ },
2021
+ {
2022
+ "epoch": 0.96,
2023
+ "grad_norm": 2.3734183311462402,
2024
+ "learning_rate": 8.666666666666668e-07,
2025
+ "loss": 0.1234,
2026
+ "step": 288
2027
+ },
2028
+ {
2029
+ "epoch": 0.9633333333333334,
2030
+ "grad_norm": 3.262477397918701,
2031
+ "learning_rate": 8.000000000000001e-07,
2032
+ "loss": 0.1373,
2033
+ "step": 289
2034
+ },
2035
+ {
2036
+ "epoch": 0.9666666666666667,
2037
+ "grad_norm": 2.422837495803833,
2038
+ "learning_rate": 7.333333333333334e-07,
2039
+ "loss": 0.1437,
2040
+ "step": 290
2041
+ },
2042
+ {
2043
+ "epoch": 0.97,
2044
+ "grad_norm": 2.7524285316467285,
2045
+ "learning_rate": 6.666666666666667e-07,
2046
+ "loss": 0.125,
2047
+ "step": 291
2048
+ },
2049
+ {
2050
+ "epoch": 0.9733333333333334,
2051
+ "grad_norm": 2.691007137298584,
2052
+ "learning_rate": 6.000000000000001e-07,
2053
+ "loss": 0.1216,
2054
+ "step": 292
2055
+ },
2056
+ {
2057
+ "epoch": 0.9766666666666667,
2058
+ "grad_norm": 2.670334815979004,
2059
+ "learning_rate": 5.333333333333335e-07,
2060
+ "loss": 0.1404,
2061
+ "step": 293
2062
+ },
2063
+ {
2064
+ "epoch": 0.98,
2065
+ "grad_norm": 2.741999387741089,
2066
+ "learning_rate": 4.666666666666667e-07,
2067
+ "loss": 0.1345,
2068
+ "step": 294
2069
+ },
2070
+ {
2071
+ "epoch": 0.9833333333333333,
2072
+ "grad_norm": 8.515996932983398,
2073
+ "learning_rate": 4.0000000000000003e-07,
2074
+ "loss": 0.269,
2075
+ "step": 295
2076
+ },
2077
+ {
2078
+ "epoch": 0.9866666666666667,
2079
+ "grad_norm": 2.6909291744232178,
2080
+ "learning_rate": 3.3333333333333335e-07,
2081
+ "loss": 0.1355,
2082
+ "step": 296
2083
+ },
2084
+ {
2085
+ "epoch": 0.99,
2086
+ "grad_norm": 2.887145519256592,
2087
+ "learning_rate": 2.666666666666667e-07,
2088
+ "loss": 0.1828,
2089
+ "step": 297
2090
+ },
2091
+ {
2092
+ "epoch": 0.9933333333333333,
2093
+ "grad_norm": 2.218186378479004,
2094
+ "learning_rate": 2.0000000000000002e-07,
2095
+ "loss": 0.1362,
2096
+ "step": 298
2097
+ },
2098
+ {
2099
+ "epoch": 0.9966666666666667,
2100
+ "grad_norm": 2.3094394207000732,
2101
+ "learning_rate": 1.3333333333333336e-07,
2102
+ "loss": 0.142,
2103
+ "step": 299
2104
+ },
2105
+ {
2106
+ "epoch": 1.0,
2107
+ "grad_norm": 2.8529422283172607,
2108
+ "learning_rate": 6.666666666666668e-08,
2109
+ "loss": 0.1658,
2110
+ "step": 300
2111
+ }
2112
+ ],
2113
+ "logging_steps": 1,
2114
+ "max_steps": 300,
2115
+ "num_input_tokens_seen": 0,
2116
+ "num_train_epochs": 1,
2117
+ "save_steps": 500,
2118
+ "stateful_callbacks": {
2119
+ "TrainerControl": {
2120
+ "args": {
2121
+ "should_epoch_stop": false,
2122
+ "should_evaluate": false,
2123
+ "should_log": false,
2124
+ "should_save": true,
2125
+ "should_training_stop": true
2126
+ },
2127
+ "attributes": {}
2128
+ }
2129
+ },
2130
+ "total_flos": 19597256294400.0,
2131
+ "train_batch_size": 2,
2132
+ "trial_name": null,
2133
+ "trial_params": null
2134
+ }
trained_model/checkpoint-300/training_args.bin ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:2c558057cd2aded4fc98607dab05ace7b473a9bc6904ec417fe25a1122501335
3
+ size 5777
trained_model/config.json ADDED
@@ -0,0 +1,45 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "_num_labels": 1,
3
+ "activation_function": "gelu_new",
4
+ "architectures": [
5
+ "GPT2LMHeadModel"
6
+ ],
7
+ "attn_pdrop": 0.1,
8
+ "bos_token_id": 50256,
9
+ "embd_pdrop": 0.1,
10
+ "eos_token_id": 50256,
11
+ "id2label": {
12
+ "0": "LABEL_0"
13
+ },
14
+ "initializer_range": 0.02,
15
+ "label2id": {
16
+ "LABEL_0": 0
17
+ },
18
+ "layer_norm_epsilon": 1e-05,
19
+ "model_type": "gpt2",
20
+ "n_ctx": 1024,
21
+ "n_embd": 768,
22
+ "n_head": 12,
23
+ "n_inner": null,
24
+ "n_layer": 6,
25
+ "n_positions": 1024,
26
+ "reorder_and_upcast_attn": false,
27
+ "resid_pdrop": 0.1,
28
+ "scale_attn_by_inverse_layer_idx": false,
29
+ "scale_attn_weights": true,
30
+ "summary_activation": null,
31
+ "summary_first_dropout": 0.1,
32
+ "summary_proj_to_labels": true,
33
+ "summary_type": "cls_index",
34
+ "summary_use_proj": true,
35
+ "task_specific_params": {
36
+ "text-generation": {
37
+ "do_sample": true,
38
+ "max_length": 50
39
+ }
40
+ },
41
+ "torch_dtype": "float32",
42
+ "transformers_version": "4.54.0",
43
+ "use_cache": true,
44
+ "vocab_size": 50257
45
+ }
trained_model/generation_config.json ADDED
@@ -0,0 +1,6 @@
 
 
 
 
 
 
 
1
+ {
2
+ "_from_model_config": true,
3
+ "bos_token_id": 50256,
4
+ "eos_token_id": 50256,
5
+ "transformers_version": "4.54.0"
6
+ }
trained_model/merges.txt ADDED
The diff for this file is too large to render. See raw diff
 
trained_model/model.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:c709e7a1f9706e8b211c80d5632ed96b70c87243a65a00a27f990845716f5c67
3
+ size 327657928
trained_model/special_tokens_map.json ADDED
@@ -0,0 +1,6 @@
 
 
 
 
 
 
 
1
+ {
2
+ "bos_token": "<|endoftext|>",
3
+ "eos_token": "<|endoftext|>",
4
+ "pad_token": "<|endoftext|>",
5
+ "unk_token": "<|endoftext|>"
6
+ }
trained_model/tokenizer.json ADDED
The diff for this file is too large to render. See raw diff
 
trained_model/tokenizer_config.json ADDED
@@ -0,0 +1,21 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "add_prefix_space": false,
3
+ "added_tokens_decoder": {
4
+ "50256": {
5
+ "content": "<|endoftext|>",
6
+ "lstrip": false,
7
+ "normalized": true,
8
+ "rstrip": false,
9
+ "single_word": false,
10
+ "special": true
11
+ }
12
+ },
13
+ "bos_token": "<|endoftext|>",
14
+ "clean_up_tokenization_spaces": false,
15
+ "eos_token": "<|endoftext|>",
16
+ "extra_special_tokens": {},
17
+ "model_max_length": 1024,
18
+ "pad_token": "<|endoftext|>",
19
+ "tokenizer_class": "GPT2Tokenizer",
20
+ "unk_token": "<|endoftext|>"
21
+ }
trained_model/training_args.bin ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:2c558057cd2aded4fc98607dab05ace7b473a9bc6904ec417fe25a1122501335
3
+ size 5777
trained_model/vocab.json ADDED
The diff for this file is too large to render. See raw diff