Hugging Face's logo

michaelc0des
/
cross-attention-chess-explainer

Model card Files
xet
 Community
michaelc0des commited on
Commit
363c2c6
·
verified ·
1 Parent(s): 5a2fd3b

Upload checkpoint-12462

Browse files
Files changed (13) hide show
  1. .gitattributes +1 -0
  2. checkpoint-12462/chat_template.jinja +4 -0
  3. checkpoint-12462/optimizer.pt +3 -0
  4. checkpoint-12462/rng_state_0.pth +3 -0
  5. checkpoint-12462/rng_state_1.pth +3 -0
  6. checkpoint-12462/rng_state_2.pth +3 -0
  7. checkpoint-12462/rng_state_3.pth +3 -0
  8. checkpoint-12462/scheduler.pt +3 -0
  9. checkpoint-12462/tokenizer.json +3 -0
  10. checkpoint-12462/tokenizer_config.json +17 -0
  11. checkpoint-12462/trainable_params.pt +3 -0
  12. checkpoint-12462/trainer_state.json +3575 -0
  13. checkpoint-12462/training_args.bin +3 -0
.gitattributes CHANGED
@@ -38,3 +38,4 @@ checkpoint-4154/tokenizer.json filter=lfs diff=lfs merge=lfs -text
38
  checkpoint-6231/tokenizer.json filter=lfs diff=lfs merge=lfs -text
39
  checkpoint-8308/tokenizer.json filter=lfs diff=lfs merge=lfs -text
40
  checkpoint-10385/tokenizer.json filter=lfs diff=lfs merge=lfs -text
 
 
38
  checkpoint-6231/tokenizer.json filter=lfs diff=lfs merge=lfs -text
39
  checkpoint-8308/tokenizer.json filter=lfs diff=lfs merge=lfs -text
40
  checkpoint-10385/tokenizer.json filter=lfs diff=lfs merge=lfs -text
41
+ checkpoint-12462/tokenizer.json filter=lfs diff=lfs merge=lfs -text
checkpoint-12462/chat_template.jinja ADDED
@@ -0,0 +1,4 @@
 
 
 
 
 
1
+ {% if messages[0]['role'] == 'system' %}{{ raise_exception('System role not supported') }}{% endif %}{% for message in messages %}{% if (message['role'] == 'user') != (loop.index0 % 2 == 0) %}{{ raise_exception('Conversation roles must alternate user/assistant/user/assistant/...') }}{% endif %}{% if (message['role'] == 'assistant') %}{% set role = 'model' %}{% else %}{% set role = message['role'] %}{% endif %}{{ '<start_of_turn>' + role + '
2
+ ' + message['content'] | trim + '<end_of_turn>
3
+ ' }}{% endfor %}{% if add_generation_prompt %}{{'<start_of_turn>model
4
+ '}}{% endif %}
checkpoint-12462/optimizer.pt ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:4382586c53a9278bd914b336849666adbeee65c0263c3878d652931e37412ecc
3
+ size 37657227
checkpoint-12462/rng_state_0.pth ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:f2b871c80d9a1994977bfceaa625d55c9c8f7050b6e53ba1357590c9887f3784
3
+ size 15429
checkpoint-12462/rng_state_1.pth ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:661fcabe1b611c0994c5d425ad8c4f1dfc2e0ff575db5fc5dbb46e98d8b5fa6c
3
+ size 15429
checkpoint-12462/rng_state_2.pth ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:483e58a165450498988f4184656b44aa7ec21811c855a9943913676f9ae8150f
3
+ size 15429
checkpoint-12462/rng_state_3.pth ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:2997cb7411d9e4233dfdb3546814404c1229cdcdd74d1b3ef7480e58b35efff8
3
+ size 15429
checkpoint-12462/scheduler.pt ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:6c6f6efb9474eb53f93437a4fd89c4c42661d77578f13d71d2e7c2e1d73ac2fd
3
+ size 1465
checkpoint-12462/tokenizer.json ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:bdc0fd8410449f9ab91a0bc149a04e4f2565ef5d608b588c971e500863286adf
3
+ size 34362526
checkpoint-12462/tokenizer_config.json ADDED
@@ -0,0 +1,17 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "backend": "tokenizers",
3
+ "bos_token": "<bos>",
4
+ "clean_up_tokenization_spaces": false,
5
+ "eos_token": "<eos>",
6
+ "is_local": false,
7
+ "local_files_only": false,
8
+ "mask_token": "<mask>",
9
+ "model_max_length": 1000000000000000019884624838656,
10
+ "pad_token": "<pad>",
11
+ "padding_side": "right",
12
+ "sp_model_kwargs": {},
13
+ "spaces_between_special_tokens": false,
14
+ "tokenizer_class": "GemmaTokenizer",
15
+ "unk_token": "<unk>",
16
+ "use_default_system_prompt": false
17
+ }
checkpoint-12462/trainable_params.pt ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:a3858dc9deb7197ab9dc16e0c82048231ab245a00061c93075f660a79f976565
3
+ size 18815091
checkpoint-12462/trainer_state.json ADDED
@@ -0,0 +1,3575 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "best_global_step": 12462,
3
+ "best_metric": 2.547119379043579,
4
+ "best_model_checkpoint": "outputs/chess-explainer/checkpoint-12462",
5
+ "epoch": 6.0,
6
+ "eval_steps": 500,
7
+ "global_step": 12462,
8
+ "is_hyper_param_search": false,
9
+ "is_local_process_zero": true,
10
+ "is_world_process_zero": true,
11
+ "log_history": [
12
+ {
13
+ "epoch": 0.00048146364949446316,
14
+ "grad_norm": 650.5328369140625,
15
+ "learning_rate": 0.0,
16
+ "loss": 18.217763900756836,
17
+ "step": 1
18
+ },
19
+ {
20
+ "epoch": 0.01203659123736158,
21
+ "grad_norm": 88.18751525878906,
22
+ "learning_rate": 7.692307692307694e-06,
23
+ "loss": 14.24288813273112,
24
+ "step": 25
25
+ },
26
+ {
27
+ "epoch": 0.02407318247472316,
28
+ "grad_norm": 22.323110580444336,
29
+ "learning_rate": 1.5705128205128205e-05,
30
+ "loss": 7.188988037109375,
31
+ "step": 50
32
+ },
33
+ {
34
+ "epoch": 0.036109773712084736,
35
+ "grad_norm": 14.299266815185547,
36
+ "learning_rate": 2.3717948717948718e-05,
37
+ "loss": 4.387466735839844,
38
+ "step": 75
39
+ },
40
+ {
41
+ "epoch": 0.04814636494944632,
42
+ "grad_norm": 13.159931182861328,
43
+ "learning_rate": 3.1730769230769234e-05,
44
+ "loss": 3.8534796142578127,
45
+ "step": 100
46
+ },
47
+ {
48
+ "epoch": 0.0601829561868079,
49
+ "grad_norm": 16.505720138549805,
50
+ "learning_rate": 3.974358974358974e-05,
51
+ "loss": 3.6811083984375,
52
+ "step": 125
53
+ },
54
+ {
55
+ "epoch": 0.07221954742416947,
56
+ "grad_norm": 14.32520866394043,
57
+ "learning_rate": 4.775641025641026e-05,
58
+ "loss": 3.5446063232421876,
59
+ "step": 150
60
+ },
61
+ {
62
+ "epoch": 0.08425613866153106,
63
+ "grad_norm": 15.38774299621582,
64
+ "learning_rate": 5.576923076923077e-05,
65
+ "loss": 3.47775390625,
66
+ "step": 175
67
+ },
68
+ {
69
+ "epoch": 0.09629272989889263,
70
+ "grad_norm": 11.126094818115234,
71
+ "learning_rate": 6.378205128205128e-05,
72
+ "loss": 3.4696426391601562,
73
+ "step": 200
74
+ },
75
+ {
76
+ "epoch": 0.10832932113625421,
77
+ "grad_norm": 10.559870719909668,
78
+ "learning_rate": 7.17948717948718e-05,
79
+ "loss": 3.4579669189453126,
80
+ "step": 225
81
+ },
82
+ {
83
+ "epoch": 0.1203659123736158,
84
+ "grad_norm": 11.133081436157227,
85
+ "learning_rate": 7.980769230769231e-05,
86
+ "loss": 3.359324951171875,
87
+ "step": 250
88
+ },
89
+ {
90
+ "epoch": 0.13240250361097738,
91
+ "grad_norm": 10.544161796569824,
92
+ "learning_rate": 8.782051282051283e-05,
93
+ "loss": 3.298221435546875,
94
+ "step": 275
95
+ },
96
+ {
97
+ "epoch": 0.14443909484833894,
98
+ "grad_norm": 8.630677223205566,
99
+ "learning_rate": 9.583333333333334e-05,
100
+ "loss": 3.361368408203125,
101
+ "step": 300
102
+ },
103
+ {
104
+ "epoch": 0.15647568608570053,
105
+ "grad_norm": 8.548908233642578,
106
+ "learning_rate": 0.00010384615384615386,
107
+ "loss": 3.345328674316406,
108
+ "step": 325
109
+ },
110
+ {
111
+ "epoch": 0.16851227732306212,
112
+ "grad_norm": 8.20425796508789,
113
+ "learning_rate": 0.00011185897435897436,
114
+ "loss": 3.280472717285156,
115
+ "step": 350
116
+ },
117
+ {
118
+ "epoch": 0.18054886856042368,
119
+ "grad_norm": 9.912631034851074,
120
+ "learning_rate": 0.00011987179487179487,
121
+ "loss": 3.3183026123046875,
122
+ "step": 375
123
+ },
124
+ {
125
+ "epoch": 0.19258545979778527,
126
+ "grad_norm": 9.256693840026855,
127
+ "learning_rate": 0.00012788461538461537,
128
+ "loss": 3.2713458251953127,
129
+ "step": 400
130
+ },
131
+ {
132
+ "epoch": 0.20462205103514686,
133
+ "grad_norm": 8.893656730651855,
134
+ "learning_rate": 0.0001358974358974359,
135
+ "loss": 3.2640109252929688,
136
+ "step": 425
137
+ },
138
+ {
139
+ "epoch": 0.21665864227250842,
140
+ "grad_norm": 8.918048858642578,
141
+ "learning_rate": 0.0001439102564102564,
142
+ "loss": 3.2969732666015625,
143
+ "step": 450
144
+ },
145
+ {
146
+ "epoch": 0.22869523350987,
147
+ "grad_norm": 8.13305377960205,
148
+ "learning_rate": 0.00015192307692307692,
149
+ "loss": 3.25054443359375,
150
+ "step": 475
151
+ },
152
+ {
153
+ "epoch": 0.2407318247472316,
154
+ "grad_norm": 7.971743583679199,
155
+ "learning_rate": 0.00015993589743589745,
156
+ "loss": 3.234297790527344,
157
+ "step": 500
158
+ },
159
+ {
160
+ "epoch": 0.25276841598459315,
161
+ "grad_norm": 7.267224311828613,
162
+ "learning_rate": 0.00016794871794871796,
163
+ "loss": 3.2479425048828126,
164
+ "step": 525
165
+ },
166
+ {
167
+ "epoch": 0.26480500722195477,
168
+ "grad_norm": 8.255003929138184,
169
+ "learning_rate": 0.00017596153846153846,
170
+ "loss": 3.2425189208984375,
171
+ "step": 550
172
+ },
173
+ {
174
+ "epoch": 0.27684159845931633,
175
+ "grad_norm": 7.8051042556762695,
176
+ "learning_rate": 0.00018397435897435897,
177
+ "loss": 3.2422137451171875,
178
+ "step": 575
179
+ },
180
+ {
181
+ "epoch": 0.2888781896966779,
182
+ "grad_norm": 8.21413516998291,
183
+ "learning_rate": 0.0001919871794871795,
184
+ "loss": 3.2551699829101564,
185
+ "step": 600
186
+ },
187
+ {
188
+ "epoch": 0.3009147809340395,
189
+ "grad_norm": 7.534178733825684,
190
+ "learning_rate": 0.0002,
191
+ "loss": 3.2088958740234377,
192
+ "step": 625
193
+ },
194
+ {
195
+ "epoch": 0.31295137217140107,
196
+ "grad_norm": 7.962012767791748,
197
+ "learning_rate": 0.00019999924007355532,
198
+ "loss": 3.2368560791015626,
199
+ "step": 650
200
+ },
201
+ {
202
+ "epoch": 0.3249879634087626,
203
+ "grad_norm": 7.770707130432129,
204
+ "learning_rate": 0.00019999696030577107,
205
+ "loss": 3.2101596069335936,
206
+ "step": 675
207
+ },
208
+ {
209
+ "epoch": 0.33702455464612424,
210
+ "grad_norm": 7.733644008636475,
211
+ "learning_rate": 0.00019999316073129634,
212
+ "loss": 3.2300433349609374,
213
+ "step": 700
214
+ },
215
+ {
216
+ "epoch": 0.3490611458834858,
217
+ "grad_norm": 7.780461311340332,
218
+ "learning_rate": 0.00019998784140787908,
219
+ "loss": 3.2330572509765627,
220
+ "step": 725
221
+ },
222
+ {
223
+ "epoch": 0.36109773712084736,
224
+ "grad_norm": 6.770570278167725,
225
+ "learning_rate": 0.00019998100241636516,
226
+ "loss": 3.2057620239257814,
227
+ "step": 750
228
+ },
229
+ {
230
+ "epoch": 0.373134328358209,
231
+ "grad_norm": 5.945966720581055,
232
+ "learning_rate": 0.0001999726438606972,
233
+ "loss": 3.2183990478515625,
234
+ "step": 775
235
+ },
236
+ {
237
+ "epoch": 0.38517091959557054,
238
+ "grad_norm": 7.591160774230957,
239
+ "learning_rate": 0.000199962765867913,
240
+ "loss": 3.191751708984375,
241
+ "step": 800
242
+ },
243
+ {
244
+ "epoch": 0.3972075108329321,
245
+ "grad_norm": 7.020476341247559,
246
+ "learning_rate": 0.00019995136858814346,
247
+ "loss": 3.181463623046875,
248
+ "step": 825
249
+ },
250
+ {
251
+ "epoch": 0.4092441020702937,
252
+ "grad_norm": 7.284232139587402,
253
+ "learning_rate": 0.00019993845219461046,
254
+ "loss": 3.1981622314453126,
255
+ "step": 850
256
+ },
257
+ {
258
+ "epoch": 0.4212806933076553,
259
+ "grad_norm": 6.910461902618408,
260
+ "learning_rate": 0.00019992401688362422,
261
+ "loss": 3.14352294921875,
262
+ "step": 875
263
+ },
264
+ {
265
+ "epoch": 0.43331728454501683,
266
+ "grad_norm": 6.141090393066406,
267
+ "learning_rate": 0.00019990806287458024,
268
+ "loss": 3.1020236206054688,
269
+ "step": 900
270
+ },
271
+ {
272
+ "epoch": 0.44535387578237845,
273
+ "grad_norm": 6.360198497772217,
274
+ "learning_rate": 0.00019989059040995594,
275
+ "loss": 3.233653564453125,
276
+ "step": 925
277
+ },
278
+ {
279
+ "epoch": 0.45739046701974,
280
+ "grad_norm": 6.173579692840576,
281
+ "learning_rate": 0.00019987159975530712,
282
+ "loss": 3.1653778076171877,
283
+ "step": 950
284
+ },
285
+ {
286
+ "epoch": 0.46942705825710157,
287
+ "grad_norm": 6.959299087524414,
288
+ "learning_rate": 0.00019985109119926377,
289
+ "loss": 3.1667141723632812,
290
+ "step": 975
291
+ },
292
+ {
293
+ "epoch": 0.4814636494944632,
294
+ "grad_norm": 6.9440107345581055,
295
+ "learning_rate": 0.00019982906505352577,
296
+ "loss": 3.1662142944335936,
297
+ "step": 1000
298
+ },
299
+ {
300
+ "epoch": 0.49350024073182475,
301
+ "grad_norm": 7.002237319946289,
302
+ "learning_rate": 0.00019980552165285815,
303
+ "loss": 3.1565814208984375,
304
+ "step": 1025
305
+ },
306
+ {
307
+ "epoch": 0.5055368319691863,
308
+ "grad_norm": 6.859927177429199,
309
+ "learning_rate": 0.00019978046135508596,
310
+ "loss": 3.177081298828125,
311
+ "step": 1050
312
+ },
313
+ {
314
+ "epoch": 0.5175734232065479,
315
+ "grad_norm": 6.390033721923828,
316
+ "learning_rate": 0.00019975388454108884,
317
+ "loss": 3.1408489990234374,
318
+ "step": 1075
319
+ },
320
+ {
321
+ "epoch": 0.5296100144439095,
322
+ "grad_norm": 6.612856864929199,
323
+ "learning_rate": 0.00019972579161479524,
324
+ "loss": 3.125029296875,
325
+ "step": 1100
326
+ },
327
+ {
328
+ "epoch": 0.5416466056812711,
329
+ "grad_norm": 6.74856424331665,
330
+ "learning_rate": 0.0001996961830031764,
331
+ "loss": 3.1270068359375,
332
+ "step": 1125
333
+ },
334
+ {
335
+ "epoch": 0.5536831969186327,
336
+ "grad_norm": 5.670539379119873,
337
+ "learning_rate": 0.00019966505915623963,
338
+ "loss": 3.079051208496094,
339
+ "step": 1150
340
+ },
341
+ {
342
+ "epoch": 0.5657197881559942,
343
+ "grad_norm": 6.464207649230957,
344
+ "learning_rate": 0.00019963242054702157,
345
+ "loss": 3.1350054931640625,
346
+ "step": 1175
347
+ },
348
+ {
349
+ "epoch": 0.5777563793933558,
350
+ "grad_norm": 5.980476379394531,
351
+ "learning_rate": 0.0001995982676715811,
352
+ "loss": 3.1213824462890627,
353
+ "step": 1200
354
+ },
355
+ {
356
+ "epoch": 0.5897929706307173,
357
+ "grad_norm": 6.767940044403076,
358
+ "learning_rate": 0.00019956260104899166,
359
+ "loss": 3.107749328613281,
360
+ "step": 1225
361
+ },
362
+ {
363
+ "epoch": 0.601829561868079,
364
+ "grad_norm": 6.736208915710449,
365
+ "learning_rate": 0.00019952542122133346,
366
+ "loss": 3.1330535888671873,
367
+ "step": 1250
368
+ },
369
+ {
370
+ "epoch": 0.6138661531054406,
371
+ "grad_norm": 6.237167835235596,
372
+ "learning_rate": 0.00019948672875368524,
373
+ "loss": 3.090823974609375,
374
+ "step": 1275
375
+ },
376
+ {
377
+ "epoch": 0.6259027443428021,
378
+ "grad_norm": 5.9626288414001465,
379
+ "learning_rate": 0.00019944652423411547,
380
+ "loss": 3.068702392578125,
381
+ "step": 1300
382
+ },
383
+ {
384
+ "epoch": 0.6379393355801637,
385
+ "grad_norm": 6.667422294616699,
386
+ "learning_rate": 0.00019940480827367377,
387
+ "loss": 3.1129641723632813,
388
+ "step": 1325
389
+ },
390
+ {
391
+ "epoch": 0.6499759268175253,
392
+ "grad_norm": 6.018889427185059,
393
+ "learning_rate": 0.0001993615815063814,
394
+ "loss": 3.0886264038085938,
395
+ "step": 1350
396
+ },
397
+ {
398
+ "epoch": 0.6620125180548868,
399
+ "grad_norm": 5.504490375518799,
400
+ "learning_rate": 0.00019931684458922159,
401
+ "loss": 3.0925244140625,
402
+ "step": 1375
403
+ },
404
+ {
405
+ "epoch": 0.6740491092922485,
406
+ "grad_norm": 6.392239093780518,
407
+ "learning_rate": 0.00019927059820212969,
408
+ "loss": 3.067706298828125,
409
+ "step": 1400
410
+ },
411
+ {
412
+ "epoch": 0.68608570052961,
413
+ "grad_norm": 5.7260637283325195,
414
+ "learning_rate": 0.0001992228430479827,
415
+ "loss": 3.1082818603515623,
416
+ "step": 1425
417
+ },
418
+ {
419
+ "epoch": 0.6981222917669716,
420
+ "grad_norm": 5.574620723724365,
421
+ "learning_rate": 0.00019917357985258877,
422
+ "loss": 3.0852099609375,
423
+ "step": 1450
424
+ },
425
+ {
426
+ "epoch": 0.7101588830043332,
427
+ "grad_norm": 5.973651885986328,
428
+ "learning_rate": 0.00019912280936467598,
429
+ "loss": 3.032557373046875,
430
+ "step": 1475
431
+ },
432
+ {
433
+ "epoch": 0.7221954742416947,
434
+ "grad_norm": 6.408794403076172,
435
+ "learning_rate": 0.00019907053235588103,
436
+ "loss": 3.0586279296875,
437
+ "step": 1500
438
+ },
439
+ {
440
+ "epoch": 0.7342320654790563,
441
+ "grad_norm": 5.924404144287109,
442
+ "learning_rate": 0.00019901674962073757,
443
+ "loss": 3.0331820678710937,
444
+ "step": 1525
445
+ },
446
+ {
447
+ "epoch": 0.746268656716418,
448
+ "grad_norm": 6.371328830718994,
449
+ "learning_rate": 0.00019896146197666408,
450
+ "loss": 3.044822998046875,
451
+ "step": 1550
452
+ },
453
+ {
454
+ "epoch": 0.7583052479537795,
455
+ "grad_norm": 5.798267841339111,
456
+ "learning_rate": 0.00019890467026395137,
457
+ "loss": 3.086248779296875,
458
+ "step": 1575
459
+ },
460
+ {
461
+ "epoch": 0.7703418391911411,
462
+ "grad_norm": 6.200769424438477,
463
+ "learning_rate": 0.00019884637534574995,
464
+ "loss": 3.0701373291015623,
465
+ "step": 1600
466
+ },
467
+ {
468
+ "epoch": 0.7823784304285026,
469
+ "grad_norm": 5.729808807373047,
470
+ "learning_rate": 0.00019878657810805682,
471
+ "loss": 3.033974914550781,
472
+ "step": 1625
473
+ },
474
+ {
475
+ "epoch": 0.7944150216658642,
476
+ "grad_norm": 5.3061699867248535,
477
+ "learning_rate": 0.00019872527945970206,
478
+ "loss": 3.023597412109375,
479
+ "step": 1650
480
+ },
481
+ {
482
+ "epoch": 0.8064516129032258,
483
+ "grad_norm": 6.059074878692627,
484
+ "learning_rate": 0.00019866248033233486,
485
+ "loss": 3.038387451171875,
486
+ "step": 1675
487
+ },
488
+ {
489
+ "epoch": 0.8184882041405874,
490
+ "grad_norm": 5.904861927032471,
491
+ "learning_rate": 0.00019859818168040962,
492
+ "loss": 3.0605734252929686,
493
+ "step": 1700
494
+ },
495
+ {
496
+ "epoch": 0.830524795377949,
497
+ "grad_norm": 7.235841751098633,
498
+ "learning_rate": 0.00019853238448117128,
499
+ "loss": 3.0388153076171873,
500
+ "step": 1725
501
+ },
502
+ {
503
+ "epoch": 0.8425613866153105,
504
+ "grad_norm": 5.9548869132995605,
505
+ "learning_rate": 0.00019846508973464047,
506
+ "loss": 3.052736511230469,
507
+ "step": 1750
508
+ },
509
+ {
510
+ "epoch": 0.8545979778526721,
511
+ "grad_norm": 6.491075038909912,
512
+ "learning_rate": 0.00019839629846359828,
513
+ "loss": 3.04111572265625,
514
+ "step": 1775
515
+ },
516
+ {
517
+ "epoch": 0.8666345690900337,
518
+ "grad_norm": 6.274312496185303,
519
+ "learning_rate": 0.0001983260117135709,
520
+ "loss": 3.0903143310546874,
521
+ "step": 1800
522
+ },
523
+ {
524
+ "epoch": 0.8786711603273952,
525
+ "grad_norm": 6.714303016662598,
526
+ "learning_rate": 0.0001982542305528135,
527
+ "loss": 3.0477191162109376,
528
+ "step": 1825
529
+ },
530
+ {
531
+ "epoch": 0.8907077515647569,
532
+ "grad_norm": 6.037519931793213,
533
+ "learning_rate": 0.00019818095607229412,
534
+ "loss": 3.0680242919921876,
535
+ "step": 1850
536
+ },
537
+ {
538
+ "epoch": 0.9027443428021185,
539
+ "grad_norm": 6.358810901641846,
540
+ "learning_rate": 0.00019810618938567712,
541
+ "loss": 3.0358065795898437,
542
+ "step": 1875
543
+ },
544
+ {
545
+ "epoch": 0.91478093403948,
546
+ "grad_norm": 5.641435623168945,
547
+ "learning_rate": 0.00019802993162930607,
548
+ "loss": 3.0244366455078127,
549
+ "step": 1900
550
+ },
551
+ {
552
+ "epoch": 0.9268175252768416,
553
+ "grad_norm": 6.10072135925293,
554
+ "learning_rate": 0.00019795218396218673,
555
+ "loss": 3.0294232177734375,
556
+ "step": 1925
557
+ },
558
+ {
559
+ "epoch": 0.9388541165142031,
560
+ "grad_norm": 5.697592735290527,
561
+ "learning_rate": 0.00019787294756596927,
562
+ "loss": 2.9873196411132814,
563
+ "step": 1950
564
+ },
565
+ {
566
+ "epoch": 0.9508907077515648,
567
+ "grad_norm": 5.733670711517334,
568
+ "learning_rate": 0.0001977922236449303,
569
+ "loss": 3.004986572265625,
570
+ "step": 1975
571
+ },
572
+ {
573
+ "epoch": 0.9629272989889264,
574
+ "grad_norm": 6.309650897979736,
575
+ "learning_rate": 0.00019771001342595471,
576
+ "loss": 3.00642578125,
577
+ "step": 2000
578
+ },
579
+ {
580
+ "epoch": 0.9749638902262879,
581
+ "grad_norm": 6.235594749450684,
582
+ "learning_rate": 0.0001976263181585169,
583
+ "loss": 2.9961761474609374,
584
+ "step": 2025
585
+ },
586
+ {
587
+ "epoch": 0.9870004814636495,
588
+ "grad_norm": 6.950772285461426,
589
+ "learning_rate": 0.00019754113911466176,
590
+ "loss": 3.034189453125,
591
+ "step": 2050
592
+ },
593
+ {
594
+ "epoch": 0.999037072701011,
595
+ "grad_norm": 5.884391784667969,
596
+ "learning_rate": 0.0001974544775889855,
597
+ "loss": 3.075783996582031,
598
+ "step": 2075
599
+ },
600
+ {
601
+ "epoch": 1.0,
602
+ "eval_loss": 2.9775943756103516,
603
+ "eval_runtime": 7.6569,
604
+ "eval_samples_per_second": 195.902,
605
+ "eval_steps_per_second": 6.138,
606
+ "step": 2077
607
+ },
608
+ {
609
+ "epoch": 1.0110736639383726,
610
+ "grad_norm": 5.676021575927734,
611
+ "learning_rate": 0.0001973663348986158,
612
+ "loss": 2.86690673828125,
613
+ "step": 2100
614
+ },
615
+ {
616
+ "epoch": 1.0231102551757343,
617
+ "grad_norm": 6.018618106842041,
618
+ "learning_rate": 0.00019727671238319188,
619
+ "loss": 2.8802978515625,
620
+ "step": 2125
621
+ },
622
+ {
623
+ "epoch": 1.0351468464130957,
624
+ "grad_norm": 6.222283840179443,
625
+ "learning_rate": 0.00019718561140484413,
626
+ "loss": 2.8613705444335937,
627
+ "step": 2150
628
+ },
629
+ {
630
+ "epoch": 1.0471834376504574,
631
+ "grad_norm": 5.6597208976745605,
632
+ "learning_rate": 0.0001970930333481734,
633
+ "loss": 2.856763916015625,
634
+ "step": 2175
635
+ },
636
+ {
637
+ "epoch": 1.059220028887819,
638
+ "grad_norm": 6.7447662353515625,
639
+ "learning_rate": 0.00019699897962022997,
640
+ "loss": 2.9224319458007812,
641
+ "step": 2200
642
+ },
643
+ {
644
+ "epoch": 1.0712566201251805,
645
+ "grad_norm": 7.006275653839111,
646
+ "learning_rate": 0.0001969034516504922,
647
+ "loss": 2.93245361328125,
648
+ "step": 2225
649
+ },
650
+ {
651
+ "epoch": 1.0832932113625422,
652
+ "grad_norm": 5.889551162719727,
653
+ "learning_rate": 0.00019680645089084454,
654
+ "loss": 2.875589599609375,
655
+ "step": 2250
656
+ },
657
+ {
658
+ "epoch": 1.0953298025999036,
659
+ "grad_norm": 6.063162326812744,
660
+ "learning_rate": 0.000196707978815556,
661
+ "loss": 2.874587097167969,
662
+ "step": 2275
663
+ },
664
+ {
665
+ "epoch": 1.1073663938372653,
666
+ "grad_norm": 6.2372145652771,
667
+ "learning_rate": 0.00019660803692125715,
668
+ "loss": 2.8780206298828124,
669
+ "step": 2300
670
+ },
671
+ {
672
+ "epoch": 1.1194029850746268,
673
+ "grad_norm": 6.315883159637451,
674
+ "learning_rate": 0.00019650662672691783,
675
+ "loss": 2.8887982177734375,
676
+ "step": 2325
677
+ },
678
+ {
679
+ "epoch": 1.1314395763119884,
680
+ "grad_norm": 6.411891937255859,
681
+ "learning_rate": 0.0001964037497738238,
682
+ "loss": 2.9513558959960937,
683
+ "step": 2350
684
+ },
685
+ {
686
+ "epoch": 1.14347616754935,
687
+ "grad_norm": 6.806637763977051,
688
+ "learning_rate": 0.00019629940762555336,
689
+ "loss": 2.8823919677734375,
690
+ "step": 2375
691
+ },
692
+ {
693
+ "epoch": 1.1555127587867116,
694
+ "grad_norm": 5.565702438354492,
695
+ "learning_rate": 0.0001961936018679537,
696
+ "loss": 2.8928656005859374,
697
+ "step": 2400
698
+ },
699
+ {
700
+ "epoch": 1.1675493500240732,
701
+ "grad_norm": 5.8602294921875,
702
+ "learning_rate": 0.00019608633410911667,
703
+ "loss": 2.9296820068359377,
704
+ "step": 2425
705
+ },
706
+ {
707
+ "epoch": 1.1795859412614347,
708
+ "grad_norm": 7.057725429534912,
709
+ "learning_rate": 0.0001959776059793544,
710
+ "loss": 2.926005859375,
711
+ "step": 2450
712
+ },
713
+ {
714
+ "epoch": 1.1916225324987963,
715
+ "grad_norm": 6.5474629402160645,
716
+ "learning_rate": 0.00019586741913117458,
717
+ "loss": 2.8745428466796876,
718
+ "step": 2475
719
+ },
720
+ {
721
+ "epoch": 1.2036591237361578,
722
+ "grad_norm": 5.752487659454346,
723
+ "learning_rate": 0.0001957557752392551,
724
+ "loss": 2.9059454345703126,
725
+ "step": 2500
726
+ },
727
+ {
728
+ "epoch": 1.2156957149735195,
729
+ "grad_norm": 6.054665565490723,
730
+ "learning_rate": 0.0001956426760004189,
731
+ "loss": 2.9109234619140625,
732
+ "step": 2525
733
+ },
734
+ {
735
+ "epoch": 1.2277323062108811,
736
+ "grad_norm": 5.9463276863098145,
737
+ "learning_rate": 0.0001955281231336081,
738
+ "loss": 2.8662490844726562,
739
+ "step": 2550
740
+ },
741
+ {
742
+ "epoch": 1.2397688974482426,
743
+ "grad_norm": 7.36589241027832,
744
+ "learning_rate": 0.00019541211837985768,
745
+ "loss": 2.9000286865234375,
746
+ "step": 2575
747
+ },
748
+ {
749
+ "epoch": 1.2518054886856043,
750
+ "grad_norm": 6.027646064758301,
751
+ "learning_rate": 0.0001952946635022693,
752
+ "loss": 2.8943441772460936,
753
+ "step": 2600
754
+ },
755
+ {
756
+ "epoch": 1.263842079922966,
757
+ "grad_norm": 5.916275978088379,
758
+ "learning_rate": 0.00019517576028598425,
759
+ "loss": 2.899263916015625,
760
+ "step": 2625
761
+ },
762
+ {
763
+ "epoch": 1.2758786711603274,
764
+ "grad_norm": 6.0202789306640625,
765
+ "learning_rate": 0.00019505541053815653,
766
+ "loss": 2.925803527832031,
767
+ "step": 2650
768
+ },
769
+ {
770
+ "epoch": 1.287915262397689,
771
+ "grad_norm": 6.8593339920043945,
772
+ "learning_rate": 0.00019493361608792528,
773
+ "loss": 2.9056402587890626,
774
+ "step": 2675
775
+ },
776
+ {
777
+ "epoch": 1.2999518536350505,
778
+ "grad_norm": 5.5273661613464355,
779
+ "learning_rate": 0.00019481037878638695,
780
+ "loss": 2.877239990234375,
781
+ "step": 2700
782
+ },
783
+ {
784
+ "epoch": 1.3119884448724122,
785
+ "grad_norm": 7.119853973388672,
786
+ "learning_rate": 0.0001946857005065672,
787
+ "loss": 2.85099853515625,
788
+ "step": 2725
789
+ },
790
+ {
791
+ "epoch": 1.3240250361097736,
792
+ "grad_norm": 5.379928112030029,
793
+ "learning_rate": 0.0001945595831433925,
794
+ "loss": 2.9064642333984376,
795
+ "step": 2750
796
+ },
797
+ {
798
+ "epoch": 1.3360616273471353,
799
+ "grad_norm": 6.6639604568481445,
800
+ "learning_rate": 0.00019443202861366124,
801
+ "loss": 2.882684326171875,
802
+ "step": 2775
803
+ },
804
+ {
805
+ "epoch": 1.348098218584497,
806
+ "grad_norm": 6.571842193603516,
807
+ "learning_rate": 0.00019430303885601465,
808
+ "loss": 2.933927307128906,
809
+ "step": 2800
810
+ },
811
+ {
812
+ "epoch": 1.3601348098218584,
813
+ "grad_norm": 6.048442363739014,
814
+ "learning_rate": 0.00019417261583090723,
815
+ "loss": 2.8845724487304687,
816
+ "step": 2825
817
+ },
818
+ {
819
+ "epoch": 1.37217140105922,
820
+ "grad_norm": 6.913212776184082,
821
+ "learning_rate": 0.00019404076152057713,
822
+ "loss": 2.92847412109375,
823
+ "step": 2850
824
+ },
825
+ {
826
+ "epoch": 1.3842079922965815,
827
+ "grad_norm": 6.1456122398376465,
828
+ "learning_rate": 0.0001939074779290159,
829
+ "loss": 2.864238586425781,
830
+ "step": 2875
831
+ },
832
+ {
833
+ "epoch": 1.3962445835339432,
834
+ "grad_norm": 6.314334869384766,
835
+ "learning_rate": 0.00019377276708193802,
836
+ "loss": 2.93041015625,
837
+ "step": 2900
838
+ },
839
+ {
840
+ "epoch": 1.4082811747713047,
841
+ "grad_norm": 6.124015808105469,
842
+ "learning_rate": 0.00019363663102675024,
843
+ "loss": 2.8582913208007814,
844
+ "step": 2925
845
+ },
846
+ {
847
+ "epoch": 1.4203177660086663,
848
+ "grad_norm": 5.999044895172119,
849
+ "learning_rate": 0.0001934990718325203,
850
+ "loss": 2.9177670288085937,
851
+ "step": 2950
852
+ },
853
+ {
854
+ "epoch": 1.432354357246028,
855
+ "grad_norm": 5.440136432647705,
856
+ "learning_rate": 0.00019336009158994562,
857
+ "loss": 2.942555236816406,
858
+ "step": 2975
859
+ },
860
+ {
861
+ "epoch": 1.4443909484833894,
862
+ "grad_norm": 6.6183929443359375,
863
+ "learning_rate": 0.00019321969241132138,
864
+ "loss": 2.93353515625,
865
+ "step": 3000
866
+ },
867
+ {
868
+ "epoch": 1.4564275397207511,
869
+ "grad_norm": 6.443948268890381,
870
+ "learning_rate": 0.00019307787643050857,
871
+ "loss": 2.914281311035156,
872
+ "step": 3025
873
+ },
874
+ {
875
+ "epoch": 1.4684641309581128,
876
+ "grad_norm": 6.57510232925415,
877
+ "learning_rate": 0.0001929346458029015,
878
+ "loss": 2.919800109863281,
879
+ "step": 3050
880
+ },
881
+ {
882
+ "epoch": 1.4805007221954742,
883
+ "grad_norm": 5.723294734954834,
884
+ "learning_rate": 0.00019279000270539497,
885
+ "loss": 2.875799255371094,
886
+ "step": 3075
887
+ },
888
+ {
889
+ "epoch": 1.4925373134328357,
890
+ "grad_norm": 6.246444225311279,
891
+ "learning_rate": 0.0001926439493363513,
892
+ "loss": 2.853829040527344,
893
+ "step": 3100
894
+ },
895
+ {
896
+ "epoch": 1.5045739046701974,
897
+ "grad_norm": 5.6569743156433105,
898
+ "learning_rate": 0.00019249648791556684,
899
+ "loss": 2.845904541015625,
900
+ "step": 3125
901
+ },
902
+ {
903
+ "epoch": 1.516610495907559,
904
+ "grad_norm": 5.917844295501709,
905
+ "learning_rate": 0.00019234762068423824,
906
+ "loss": 2.8845635986328126,
907
+ "step": 3150
908
+ },
909
+ {
910
+ "epoch": 1.5286470871449205,
911
+ "grad_norm": 7.2379302978515625,
912
+ "learning_rate": 0.00019219734990492843,
913
+ "loss": 2.8919659423828126,
914
+ "step": 3175
915
+ },
916
+ {
917
+ "epoch": 1.5406836783822822,
918
+ "grad_norm": 6.368435859680176,
919
+ "learning_rate": 0.00019204567786153213,
920
+ "loss": 2.8638519287109374,
921
+ "step": 3200
922
+ },
923
+ {
924
+ "epoch": 1.5527202696196438,
925
+ "grad_norm": 6.432679176330566,
926
+ "learning_rate": 0.0001918926068592414,
927
+ "loss": 2.8769232177734376,
928
+ "step": 3225
929
+ },
930
+ {
931
+ "epoch": 1.5647568608570053,
932
+ "grad_norm": 6.268744945526123,
933
+ "learning_rate": 0.00019173813922451015,
934
+ "loss": 2.88654296875,
935
+ "step": 3250
936
+ },
937
+ {
938
+ "epoch": 1.5767934520943667,
939
+ "grad_norm": 5.5019683837890625,
940
+ "learning_rate": 0.00019158227730501932,
941
+ "loss": 2.8765948486328123,
942
+ "step": 3275
943
+ },
944
+ {
945
+ "epoch": 1.5888300433317286,
946
+ "grad_norm": 5.808835983276367,
947
+ "learning_rate": 0.00019142502346964068,
948
+ "loss": 2.8841793823242186,
949
+ "step": 3300
950
+ },
951
+ {
952
+ "epoch": 1.60086663456909,
953
+ "grad_norm": 5.601189613342285,
954
+ "learning_rate": 0.00019126638010840126,
955
+ "loss": 2.90692138671875,
956
+ "step": 3325
957
+ },
958
+ {
959
+ "epoch": 1.6129032258064515,
960
+ "grad_norm": 6.727347373962402,
961
+ "learning_rate": 0.00019110634963244677,
962
+ "loss": 2.8471392822265624,
963
+ "step": 3350
964
+ },
965
+ {
966
+ "epoch": 1.6249398170438132,
967
+ "grad_norm": 5.520786762237549,
968
+ "learning_rate": 0.000190944934474005,
969
+ "loss": 2.825626220703125,
970
+ "step": 3375
971
+ },
972
+ {
973
+ "epoch": 1.6369764082811749,
974
+ "grad_norm": 5.6855244636535645,
975
+ "learning_rate": 0.0001907821370863489,
976
+ "loss": 2.85347900390625,
977
+ "step": 3400
978
+ },
979
+ {
980
+ "epoch": 1.6490129995185363,
981
+ "grad_norm": 6.275842189788818,
982
+ "learning_rate": 0.0001906179599437593,
983
+ "loss": 2.8564202880859373,
984
+ "step": 3425
985
+ },
986
+ {
987
+ "epoch": 1.661049590755898,
988
+ "grad_norm": 6.627660751342773,
989
+ "learning_rate": 0.0001904524055414872,
990
+ "loss": 2.88417236328125,
991
+ "step": 3450
992
+ },
993
+ {
994
+ "epoch": 1.6730861819932596,
995
+ "grad_norm": 5.4954609870910645,
996
+ "learning_rate": 0.00019028547639571598,
997
+ "loss": 2.883042297363281,
998
+ "step": 3475
999
+ },
1000
+ {
1001
+ "epoch": 1.685122773230621,
1002
+ "grad_norm": 6.2831034660339355,
1003
+ "learning_rate": 0.00019011717504352312,
1004
+ "loss": 2.89915771484375,
1005
+ "step": 3500
1006
+ },
1007
+ {
1008
+ "epoch": 1.6971593644679825,
1009
+ "grad_norm": 6.845497131347656,
1010
+ "learning_rate": 0.00018994750404284155,
1011
+ "loss": 2.81878173828125,
1012
+ "step": 3525
1013
+ },
1014
+ {
1015
+ "epoch": 1.7091959557053442,
1016
+ "grad_norm": 7.301944732666016,
1017
+ "learning_rate": 0.00018977646597242087,
1018
+ "loss": 2.8858172607421877,
1019
+ "step": 3550
1020
+ },
1021
+ {
1022
+ "epoch": 1.7212325469427059,
1023
+ "grad_norm": 7.100738525390625,
1024
+ "learning_rate": 0.00018960406343178815,
1025
+ "loss": 2.8665240478515623,
1026
+ "step": 3575
1027
+ },
1028
+ {
1029
+ "epoch": 1.7332691381800673,
1030
+ "grad_norm": 6.5114593505859375,
1031
+ "learning_rate": 0.00018943029904120836,
1032
+ "loss": 2.8382354736328126,
1033
+ "step": 3600
1034
+ },
1035
+ {
1036
+ "epoch": 1.745305729417429,
1037
+ "grad_norm": 5.751381874084473,
1038
+ "learning_rate": 0.00018925517544164468,
1039
+ "loss": 2.868603515625,
1040
+ "step": 3625
1041
+ },
1042
+ {
1043
+ "epoch": 1.7573423206547907,
1044
+ "grad_norm": 5.941408634185791,
1045
+ "learning_rate": 0.00018907869529471814,
1046
+ "loss": 2.8781854248046876,
1047
+ "step": 3650
1048
+ },
1049
+ {
1050
+ "epoch": 1.7693789118921521,
1051
+ "grad_norm": 5.040097236633301,
1052
+ "learning_rate": 0.00018890086128266735,
1053
+ "loss": 2.90862060546875,
1054
+ "step": 3675
1055
+ },
1056
+ {
1057
+ "epoch": 1.7814155031295136,
1058
+ "grad_norm": 7.4268341064453125,
1059
+ "learning_rate": 0.0001887216761083077,
1060
+ "loss": 2.870086364746094,
1061
+ "step": 3700
1062
+ },
1063
+ {
1064
+ "epoch": 1.7934520943668752,
1065
+ "grad_norm": 5.456490993499756,
1066
+ "learning_rate": 0.00018854114249499025,
1067
+ "loss": 2.8436822509765625,
1068
+ "step": 3725
1069
+ },
1070
+ {
1071
+ "epoch": 1.805488685604237,
1072
+ "grad_norm": 6.014543533325195,
1073
+ "learning_rate": 0.00018835926318656033,
1074
+ "loss": 2.8642138671875,
1075
+ "step": 3750
1076
+ },
1077
+ {
1078
+ "epoch": 1.8175252768415984,
1079
+ "grad_norm": 6.103621482849121,
1080
+ "learning_rate": 0.00018817604094731582,
1081
+ "loss": 2.8625579833984376,
1082
+ "step": 3775
1083
+ },
1084
+ {
1085
+ "epoch": 1.82956186807896,
1086
+ "grad_norm": 6.694746494293213,
1087
+ "learning_rate": 0.0001879914785619653,
1088
+ "loss": 2.8301632690429686,
1089
+ "step": 3800
1090
+ },
1091
+ {
1092
+ "epoch": 1.8415984593163217,
1093
+ "grad_norm": 5.783210754394531,
1094
+ "learning_rate": 0.00018780557883558543,
1095
+ "loss": 2.8412396240234377,
1096
+ "step": 3825
1097
+ },
1098
+ {
1099
+ "epoch": 1.8536350505536832,
1100
+ "grad_norm": 6.31929349899292,
1101
+ "learning_rate": 0.00018761834459357863,
1102
+ "loss": 2.8531256103515625,
1103
+ "step": 3850
1104
+ },
1105
+ {
1106
+ "epoch": 1.8656716417910446,
1107
+ "grad_norm": 5.855931282043457,
1108
+ "learning_rate": 0.00018742977868162992,
1109
+ "loss": 2.8694882202148437,
1110
+ "step": 3875
1111
+ },
1112
+ {
1113
+ "epoch": 1.8777082330284065,
1114
+ "grad_norm": 5.388266563415527,
1115
+ "learning_rate": 0.00018723988396566376,
1116
+ "loss": 2.848956298828125,
1117
+ "step": 3900
1118
+ },
1119
+ {
1120
+ "epoch": 1.889744824265768,
1121
+ "grad_norm": 7.263085842132568,
1122
+ "learning_rate": 0.0001870486633318005,
1123
+ "loss": 2.8653179931640627,
1124
+ "step": 3925
1125
+ },
1126
+ {
1127
+ "epoch": 1.9017814155031294,
1128
+ "grad_norm": 5.926449298858643,
1129
+ "learning_rate": 0.00018685611968631243,
1130
+ "loss": 2.8881048583984374,
1131
+ "step": 3950
1132
+ },
1133
+ {
1134
+ "epoch": 1.913818006740491,
1135
+ "grad_norm": 6.0646820068359375,
1136
+ "learning_rate": 0.0001866622559555797,
1137
+ "loss": 2.8977716064453123,
1138
+ "step": 3975
1139
+ },
1140
+ {
1141
+ "epoch": 1.9258545979778527,
1142
+ "grad_norm": 5.905919075012207,
1143
+ "learning_rate": 0.0001864670750860459,
1144
+ "loss": 2.901802673339844,
1145
+ "step": 4000
1146
+ },
1147
+ {
1148
+ "epoch": 1.9378911892152142,
1149
+ "grad_norm": 5.82496976852417,
1150
+ "learning_rate": 0.00018627058004417303,
1151
+ "loss": 2.8932440185546877,
1152
+ "step": 4025
1153
+ },
1154
+ {
1155
+ "epoch": 1.9499277804525759,
1156
+ "grad_norm": 7.004024028778076,
1157
+ "learning_rate": 0.00018607277381639672,
1158
+ "loss": 2.8420306396484376,
1159
+ "step": 4050
1160
+ },
1161
+ {
1162
+ "epoch": 1.9619643716899375,
1163
+ "grad_norm": 7.782563209533691,
1164
+ "learning_rate": 0.0001858736594090806,
1165
+ "loss": 2.901356201171875,
1166
+ "step": 4075
1167
+ },
1168
+ {
1169
+ "epoch": 1.974000962927299,
1170
+ "grad_norm": 6.040978908538818,
1171
+ "learning_rate": 0.00018567323984847075,
1172
+ "loss": 2.8719561767578123,
1173
+ "step": 4100
1174
+ },
1175
+ {
1176
+ "epoch": 1.9860375541646604,
1177
+ "grad_norm": 5.953182220458984,
1178
+ "learning_rate": 0.00018547151818064966,
1179
+ "loss": 2.86795166015625,
1180
+ "step": 4125
1181
+ },
1182
+ {
1183
+ "epoch": 1.998074145402022,
1184
+ "grad_norm": 5.744591236114502,
1185
+ "learning_rate": 0.00018526849747148996,
1186
+ "loss": 2.860693359375,
1187
+ "step": 4150
1188
+ },
1189
+ {
1190
+ "epoch": 2.0,
1191
+ "eval_loss": 2.8608288764953613,
1192
+ "eval_runtime": 4.4941,
1193
+ "eval_samples_per_second": 333.771,
1194
+ "eval_steps_per_second": 10.458,
1195
+ "step": 4154
1196
+ },
1197
+ {
1198
+ "epoch": 2.0101107366393838,
1199
+ "grad_norm": 6.642997741699219,
1200
+ "learning_rate": 0.0001850641808066077,
1201
+ "loss": 2.6906396484375,
1202
+ "step": 4175
1203
+ },
1204
+ {
1205
+ "epoch": 2.0221473278767452,
1206
+ "grad_norm": 6.480685234069824,
1207
+ "learning_rate": 0.00018485857129131564,
1208
+ "loss": 2.722727966308594,
1209
+ "step": 4200
1210
+ },
1211
+ {
1212
+ "epoch": 2.0341839191141067,
1213
+ "grad_norm": 6.283753395080566,
1214
+ "learning_rate": 0.00018465167205057597,
1215
+ "loss": 2.683138732910156,
1216
+ "step": 4225
1217
+ },
1218
+ {
1219
+ "epoch": 2.0462205103514686,
1220
+ "grad_norm": 5.976901531219482,
1221
+ "learning_rate": 0.00018444348622895275,
1222
+ "loss": 2.7119317626953126,
1223
+ "step": 4250
1224
+ },
1225
+ {
1226
+ "epoch": 2.05825710158883,
1227
+ "grad_norm": 5.369650840759277,
1228
+ "learning_rate": 0.00018423401699056423,
1229
+ "loss": 2.71682861328125,
1230
+ "step": 4275
1231
+ },
1232
+ {
1233
+ "epoch": 2.0702936928261915,
1234
+ "grad_norm": 5.941702842712402,
1235
+ "learning_rate": 0.0001840232675190346,
1236
+ "loss": 2.7161077880859374,
1237
+ "step": 4300
1238
+ },
1239
+ {
1240
+ "epoch": 2.0823302840635534,
1241
+ "grad_norm": 6.431283950805664,
1242
+ "learning_rate": 0.0001838112410174459,
1243
+ "loss": 2.7145794677734374,
1244
+ "step": 4325
1245
+ },
1246
+ {
1247
+ "epoch": 2.094366875300915,
1248
+ "grad_norm": 5.800447940826416,
1249
+ "learning_rate": 0.000183597940708289,
1250
+ "loss": 2.675470886230469,
1251
+ "step": 4350
1252
+ },
1253
+ {
1254
+ "epoch": 2.1064034665382763,
1255
+ "grad_norm": 5.919703960418701,
1256
+ "learning_rate": 0.00018338336983341475,
1257
+ "loss": 2.70038818359375,
1258
+ "step": 4375
1259
+ },
1260
+ {
1261
+ "epoch": 2.118440057775638,
1262
+ "grad_norm": 6.257649898529053,
1263
+ "learning_rate": 0.0001831675316539849,
1264
+ "loss": 2.69438720703125,
1265
+ "step": 4400
1266
+ },
1267
+ {
1268
+ "epoch": 2.1304766490129996,
1269
+ "grad_norm": 5.656405925750732,
1270
+ "learning_rate": 0.00018295042945042217,
1271
+ "loss": 2.7394085693359376,
1272
+ "step": 4425
1273
+ },
1274
+ {
1275
+ "epoch": 2.142513240250361,
1276
+ "grad_norm": 6.51097297668457,
1277
+ "learning_rate": 0.0001827320665223607,
1278
+ "loss": 2.763361511230469,
1279
+ "step": 4450
1280
+ },
1281
+ {
1282
+ "epoch": 2.1545498314877225,
1283
+ "grad_norm": 6.375082969665527,
1284
+ "learning_rate": 0.00018251244618859583,
1285
+ "loss": 2.730120849609375,
1286
+ "step": 4475
1287
+ },
1288
+ {
1289
+ "epoch": 2.1665864227250844,
1290
+ "grad_norm": 6.981193542480469,
1291
+ "learning_rate": 0.00018229157178703342,
1292
+ "loss": 2.71025146484375,
1293
+ "step": 4500
1294
+ },
1295
+ {
1296
+ "epoch": 2.178623013962446,
1297
+ "grad_norm": 6.799978733062744,
1298
+ "learning_rate": 0.00018206944667463953,
1299
+ "loss": 2.68072265625,
1300
+ "step": 4525
1301
+ },
1302
+ {
1303
+ "epoch": 2.1906596051998073,
1304
+ "grad_norm": 6.913100242614746,
1305
+ "learning_rate": 0.0001818460742273891,
1306
+ "loss": 2.73613037109375,
1307
+ "step": 4550
1308
+ },
1309
+ {
1310
+ "epoch": 2.202696196437169,
1311
+ "grad_norm": 6.257125377655029,
1312
+ "learning_rate": 0.00018162145784021466,
1313
+ "loss": 2.756729736328125,
1314
+ "step": 4575
1315
+ },
1316
+ {
1317
+ "epoch": 2.2147327876745306,
1318
+ "grad_norm": 5.430022239685059,
1319
+ "learning_rate": 0.00018139560092695495,
1320
+ "loss": 2.709376220703125,
1321
+ "step": 4600
1322
+ },
1323
+ {
1324
+ "epoch": 2.226769378911892,
1325
+ "grad_norm": 6.211202621459961,
1326
+ "learning_rate": 0.00018116850692030272,
1327
+ "loss": 2.7708380126953127,
1328
+ "step": 4625
1329
+ },
1330
+ {
1331
+ "epoch": 2.2388059701492535,
1332
+ "grad_norm": 6.597946643829346,
1333
+ "learning_rate": 0.0001809401792717528,
1334
+ "loss": 2.701777038574219,
1335
+ "step": 4650
1336
+ },
1337
+ {
1338
+ "epoch": 2.2508425613866154,
1339
+ "grad_norm": 5.942161560058594,
1340
+ "learning_rate": 0.0001807106214515496,
1341
+ "loss": 2.6990762329101563,
1342
+ "step": 4675
1343
+ },
1344
+ {
1345
+ "epoch": 2.262879152623977,
1346
+ "grad_norm": 7.107296466827393,
1347
+ "learning_rate": 0.00018047983694863425,
1348
+ "loss": 2.741151123046875,
1349
+ "step": 4700
1350
+ },
1351
+ {
1352
+ "epoch": 2.2749157438613383,
1353
+ "grad_norm": 6.462876319885254,
1354
+ "learning_rate": 0.00018024782927059167,
1355
+ "loss": 2.7986865234375,
1356
+ "step": 4725
1357
+ },
1358
+ {
1359
+ "epoch": 2.2869523350987,
1360
+ "grad_norm": 5.901287078857422,
1361
+ "learning_rate": 0.0001800146019435973,
1362
+ "loss": 2.723853759765625,
1363
+ "step": 4750
1364
+ },
1365
+ {
1366
+ "epoch": 2.2989889263360617,
1367
+ "grad_norm": 6.557262420654297,
1368
+ "learning_rate": 0.00017978015851236338,
1369
+ "loss": 2.731398620605469,
1370
+ "step": 4775
1371
+ },
1372
+ {
1373
+ "epoch": 2.311025517573423,
1374
+ "grad_norm": 6.787270545959473,
1375
+ "learning_rate": 0.00017954450254008516,
1376
+ "loss": 2.7483465576171877,
1377
+ "step": 4800
1378
+ },
1379
+ {
1380
+ "epoch": 2.3230621088107846,
1381
+ "grad_norm": 7.6440887451171875,
1382
+ "learning_rate": 0.0001793076376083868,
1383
+ "loss": 2.7426837158203123,
1384
+ "step": 4825
1385
+ },
1386
+ {
1387
+ "epoch": 2.3350987000481465,
1388
+ "grad_norm": 5.517909049987793,
1389
+ "learning_rate": 0.00017906956731726675,
1390
+ "loss": 2.718466796875,
1391
+ "step": 4850
1392
+ },
1393
+ {
1394
+ "epoch": 2.347135291285508,
1395
+ "grad_norm": 5.788064956665039,
1396
+ "learning_rate": 0.00017883029528504324,
1397
+ "loss": 2.699304504394531,
1398
+ "step": 4875
1399
+ },
1400
+ {
1401
+ "epoch": 2.3591718825228694,
1402
+ "grad_norm": 6.685894012451172,
1403
+ "learning_rate": 0.00017858982514829913,
1404
+ "loss": 2.743288269042969,
1405
+ "step": 4900
1406
+ },
1407
+ {
1408
+ "epoch": 2.3712084737602313,
1409
+ "grad_norm": 5.696547031402588,
1410
+ "learning_rate": 0.00017834816056182677,
1411
+ "loss": 2.7296527099609373,
1412
+ "step": 4925
1413
+ },
1414
+ {
1415
+ "epoch": 2.3832450649975927,
1416
+ "grad_norm": 6.552695274353027,
1417
+ "learning_rate": 0.00017810530519857235,
1418
+ "loss": 2.7500262451171875,
1419
+ "step": 4950
1420
+ },
1421
+ {
1422
+ "epoch": 2.395281656234954,
1423
+ "grad_norm": 5.272420883178711,
1424
+ "learning_rate": 0.00017786126274958015,
1425
+ "loss": 2.7251507568359377,
1426
+ "step": 4975
1427
+ },
1428
+ {
1429
+ "epoch": 2.4073182474723156,
1430
+ "grad_norm": 5.337221145629883,
1431
+ "learning_rate": 0.00017761603692393636,
1432
+ "loss": 2.794324951171875,
1433
+ "step": 5000
1434
+ },
1435
+ {
1436
+ "epoch": 2.4193548387096775,
1437
+ "grad_norm": 6.288032531738281,
1438
+ "learning_rate": 0.00017736963144871276,
1439
+ "loss": 2.73385498046875,
1440
+ "step": 5025
1441
+ },
1442
+ {
1443
+ "epoch": 2.431391429947039,
1444
+ "grad_norm": 6.103067398071289,
1445
+ "learning_rate": 0.00017712205006891013,
1446
+ "loss": 2.7030935668945313,
1447
+ "step": 5050
1448
+ },
1449
+ {
1450
+ "epoch": 2.4434280211844004,
1451
+ "grad_norm": 5.142453670501709,
1452
+ "learning_rate": 0.0001768732965474012,
1453
+ "loss": 2.7068914794921874,
1454
+ "step": 5075
1455
+ },
1456
+ {
1457
+ "epoch": 2.4554646124217623,
1458
+ "grad_norm": 6.099581241607666,
1459
+ "learning_rate": 0.00017662337466487355,
1460
+ "loss": 2.7641656494140623,
1461
+ "step": 5100
1462
+ },
1463
+ {
1464
+ "epoch": 2.4675012036591237,
1465
+ "grad_norm": 6.829136848449707,
1466
+ "learning_rate": 0.00017637228821977213,
1467
+ "loss": 2.7043777465820313,
1468
+ "step": 5125
1469
+ },
1470
+ {
1471
+ "epoch": 2.479537794896485,
1472
+ "grad_norm": 5.465605735778809,
1473
+ "learning_rate": 0.00017612004102824153,
1474
+ "loss": 2.7184182739257814,
1475
+ "step": 5150
1476
+ },
1477
+ {
1478
+ "epoch": 2.491574386133847,
1479
+ "grad_norm": 6.038458347320557,
1480
+ "learning_rate": 0.00017586663692406798,
1481
+ "loss": 2.7635272216796873,
1482
+ "step": 5175
1483
+ },
1484
+ {
1485
+ "epoch": 2.5036109773712085,
1486
+ "grad_norm": 6.614681720733643,
1487
+ "learning_rate": 0.0001756120797586211,
1488
+ "loss": 2.769054260253906,
1489
+ "step": 5200
1490
+ },
1491
+ {
1492
+ "epoch": 2.51564756860857,
1493
+ "grad_norm": 5.841181755065918,
1494
+ "learning_rate": 0.0001753563734007953,
1495
+ "loss": 2.7224261474609377,
1496
+ "step": 5225
1497
+ },
1498
+ {
1499
+ "epoch": 2.527684159845932,
1500
+ "grad_norm": 6.294864177703857,
1501
+ "learning_rate": 0.00017509952173695107,
1502
+ "loss": 2.7511309814453124,
1503
+ "step": 5250
1504
+ },
1505
+ {
1506
+ "epoch": 2.5397207510832933,
1507
+ "grad_norm": 5.583828449249268,
1508
+ "learning_rate": 0.00017484152867085583,
1509
+ "loss": 2.7023577880859375,
1510
+ "step": 5275
1511
+ },
1512
+ {
1513
+ "epoch": 2.5517573423206548,
1514
+ "grad_norm": 5.762092590332031,
1515
+ "learning_rate": 0.00017458239812362462,
1516
+ "loss": 2.7184487915039064,
1517
+ "step": 5300
1518
+ },
1519
+ {
1520
+ "epoch": 2.563793933558016,
1521
+ "grad_norm": 7.2237677574157715,
1522
+ "learning_rate": 0.0001743221340336606,
1523
+ "loss": 2.746933898925781,
1524
+ "step": 5325
1525
+ },
1526
+ {
1527
+ "epoch": 2.575830524795378,
1528
+ "grad_norm": 6.3399786949157715,
1529
+ "learning_rate": 0.00017406074035659506,
1530
+ "loss": 2.769549560546875,
1531
+ "step": 5350
1532
+ },
1533
+ {
1534
+ "epoch": 2.5878671160327396,
1535
+ "grad_norm": 5.478464603424072,
1536
+ "learning_rate": 0.0001737982210652273,
1537
+ "loss": 2.738487548828125,
1538
+ "step": 5375
1539
+ },
1540
+ {
1541
+ "epoch": 2.599903707270101,
1542
+ "grad_norm": 6.867932319641113,
1543
+ "learning_rate": 0.00017353458014946442,
1544
+ "loss": 2.7589501953125,
1545
+ "step": 5400
1546
+ },
1547
+ {
1548
+ "epoch": 2.611940298507463,
1549
+ "grad_norm": 6.149633407592773,
1550
+ "learning_rate": 0.00017326982161626044,
1551
+ "loss": 2.7048358154296874,
1552
+ "step": 5425
1553
+ },
1554
+ {
1555
+ "epoch": 2.6239768897448243,
1556
+ "grad_norm": 5.812656402587891,
1557
+ "learning_rate": 0.00017300394948955558,
1558
+ "loss": 2.7163870239257815,
1559
+ "step": 5450
1560
+ },
1561
+ {
1562
+ "epoch": 2.636013480982186,
1563
+ "grad_norm": 8.48040771484375,
1564
+ "learning_rate": 0.0001727369678102151,
1565
+ "loss": 2.7666748046875,
1566
+ "step": 5475
1567
+ },
1568
+ {
1569
+ "epoch": 2.6480500722195472,
1570
+ "grad_norm": 6.530597686767578,
1571
+ "learning_rate": 0.00017246888063596774,
1572
+ "loss": 2.683943176269531,
1573
+ "step": 5500
1574
+ },
1575
+ {
1576
+ "epoch": 2.660086663456909,
1577
+ "grad_norm": 5.324703216552734,
1578
+ "learning_rate": 0.00017219969204134412,
1579
+ "loss": 2.756099853515625,
1580
+ "step": 5525
1581
+ },
1582
+ {
1583
+ "epoch": 2.6721232546942706,
1584
+ "grad_norm": 5.394314289093018,
1585
+ "learning_rate": 0.0001719294061176149,
1586
+ "loss": 2.7569219970703127,
1587
+ "step": 5550
1588
+ },
1589
+ {
1590
+ "epoch": 2.684159845931632,
1591
+ "grad_norm": 6.482044219970703,
1592
+ "learning_rate": 0.00017165802697272854,
1593
+ "loss": 2.7562155151367187,
1594
+ "step": 5575
1595
+ },
1596
+ {
1597
+ "epoch": 2.696196437168994,
1598
+ "grad_norm": 5.999021530151367,
1599
+ "learning_rate": 0.00017138555873124874,
1600
+ "loss": 2.7514157104492187,
1601
+ "step": 5600
1602
+ },
1603
+ {
1604
+ "epoch": 2.7082330284063554,
1605
+ "grad_norm": 6.616397380828857,
1606
+ "learning_rate": 0.000171112005534292,
1607
+ "loss": 2.709639892578125,
1608
+ "step": 5625
1609
+ },
1610
+ {
1611
+ "epoch": 2.720269619643717,
1612
+ "grad_norm": 6.24782133102417,
1613
+ "learning_rate": 0.0001708373715394645,
1614
+ "loss": 2.7355551147460937,
1615
+ "step": 5650
1616
+ },
1617
+ {
1618
+ "epoch": 2.7323062108810783,
1619
+ "grad_norm": 6.01416015625,
1620
+ "learning_rate": 0.00017056166092079887,
1621
+ "loss": 2.681227722167969,
1622
+ "step": 5675
1623
+ },
1624
+ {
1625
+ "epoch": 2.74434280211844,
1626
+ "grad_norm": 5.480840682983398,
1627
+ "learning_rate": 0.00017028487786869097,
1628
+ "loss": 2.77478759765625,
1629
+ "step": 5700
1630
+ },
1631
+ {
1632
+ "epoch": 2.7563793933558016,
1633
+ "grad_norm": 6.248979568481445,
1634
+ "learning_rate": 0.00017000702658983603,
1635
+ "loss": 2.71619140625,
1636
+ "step": 5725
1637
+ },
1638
+ {
1639
+ "epoch": 2.768415984593163,
1640
+ "grad_norm": 6.709351062774658,
1641
+ "learning_rate": 0.0001697281113071647,
1642
+ "loss": 2.6932601928710938,
1643
+ "step": 5750
1644
+ },
1645
+ {
1646
+ "epoch": 2.780452575830525,
1647
+ "grad_norm": 5.883296966552734,
1648
+ "learning_rate": 0.00016944813625977895,
1649
+ "loss": 2.7240725708007814,
1650
+ "step": 5775
1651
+ },
1652
+ {
1653
+ "epoch": 2.7924891670678864,
1654
+ "grad_norm": 6.043994903564453,
1655
+ "learning_rate": 0.00016916710570288767,
1656
+ "loss": 2.730412902832031,
1657
+ "step": 5800
1658
+ },
1659
+ {
1660
+ "epoch": 2.804525758305248,
1661
+ "grad_norm": 6.184457302093506,
1662
+ "learning_rate": 0.0001688850239077419,
1663
+ "loss": 2.7380224609375,
1664
+ "step": 5825
1665
+ },
1666
+ {
1667
+ "epoch": 2.8165623495426093,
1668
+ "grad_norm": 6.543738842010498,
1669
+ "learning_rate": 0.00016860189516156992,
1670
+ "loss": 2.7130126953125,
1671
+ "step": 5850
1672
+ },
1673
+ {
1674
+ "epoch": 2.828598940779971,
1675
+ "grad_norm": 6.47238826751709,
1676
+ "learning_rate": 0.0001683177237675122,
1677
+ "loss": 2.7353460693359377,
1678
+ "step": 5875
1679
+ },
1680
+ {
1681
+ "epoch": 2.8406355320173327,
1682
+ "grad_norm": 5.968029975891113,
1683
+ "learning_rate": 0.00016803251404455582,
1684
+ "loss": 2.7125958251953124,
1685
+ "step": 5900
1686
+ },
1687
+ {
1688
+ "epoch": 2.8526721232546945,
1689
+ "grad_norm": 6.4303717613220215,
1690
+ "learning_rate": 0.00016774627032746904,
1691
+ "loss": 2.710166015625,
1692
+ "step": 5925
1693
+ },
1694
+ {
1695
+ "epoch": 2.864708714492056,
1696
+ "grad_norm": 5.7404093742370605,
1697
+ "learning_rate": 0.0001674589969667353,
1698
+ "loss": 2.7399676513671873,
1699
+ "step": 5950
1700
+ },
1701
+ {
1702
+ "epoch": 2.8767453057294174,
1703
+ "grad_norm": 6.183196544647217,
1704
+ "learning_rate": 0.00016717069832848698,
1705
+ "loss": 2.7283358764648438,
1706
+ "step": 5975
1707
+ },
1708
+ {
1709
+ "epoch": 2.888781896966779,
1710
+ "grad_norm": 5.792095184326172,
1711
+ "learning_rate": 0.00016688137879443935,
1712
+ "loss": 2.70381591796875,
1713
+ "step": 6000
1714
+ },
1715
+ {
1716
+ "epoch": 2.9008184882041403,
1717
+ "grad_norm": 5.859752655029297,
1718
+ "learning_rate": 0.00016659104276182365,
1719
+ "loss": 2.7537738037109376,
1720
+ "step": 6025
1721
+ },
1722
+ {
1723
+ "epoch": 2.9128550794415022,
1724
+ "grad_norm": 6.3950371742248535,
1725
+ "learning_rate": 0.0001662996946433205,
1726
+ "loss": 2.703232421875,
1727
+ "step": 6050
1728
+ },
1729
+ {
1730
+ "epoch": 2.9248916706788637,
1731
+ "grad_norm": 6.948364734649658,
1732
+ "learning_rate": 0.00016600733886699268,
1733
+ "loss": 2.7639871215820313,
1734
+ "step": 6075
1735
+ },
1736
+ {
1737
+ "epoch": 2.9369282619162256,
1738
+ "grad_norm": 6.1982197761535645,
1739
+ "learning_rate": 0.0001657139798762179,
1740
+ "loss": 2.733709411621094,
1741
+ "step": 6100
1742
+ },
1743
+ {
1744
+ "epoch": 2.948964853153587,
1745
+ "grad_norm": 6.387999534606934,
1746
+ "learning_rate": 0.00016541962212962127,
1747
+ "loss": 2.7400689697265626,
1748
+ "step": 6125
1749
+ },
1750
+ {
1751
+ "epoch": 2.9610014443909485,
1752
+ "grad_norm": 5.882162570953369,
1753
+ "learning_rate": 0.00016512427010100748,
1754
+ "loss": 2.7062359619140626,
1755
+ "step": 6150
1756
+ },
1757
+ {
1758
+ "epoch": 2.97303803562831,
1759
+ "grad_norm": 7.070481777191162,
1760
+ "learning_rate": 0.0001648279282792929,
1761
+ "loss": 2.6777212524414065,
1762
+ "step": 6175
1763
+ },
1764
+ {
1765
+ "epoch": 2.9850746268656714,
1766
+ "grad_norm": 5.267948150634766,
1767
+ "learning_rate": 0.0001645306011684373,
1768
+ "loss": 2.7145626831054686,
1769
+ "step": 6200
1770
+ },
1771
+ {
1772
+ "epoch": 2.9971112181030333,
1773
+ "grad_norm": 6.219203948974609,
1774
+ "learning_rate": 0.00016423229328737526,
1775
+ "loss": 2.75112060546875,
1776
+ "step": 6225
1777
+ },
1778
+ {
1779
+ "epoch": 3.0,
1780
+ "eval_loss": 2.7634668350219727,
1781
+ "eval_runtime": 4.1674,
1782
+ "eval_samples_per_second": 359.936,
1783
+ "eval_steps_per_second": 11.278,
1784
+ "step": 6231
1785
+ },
1786
+ {
1787
+ "epoch": 3.0091478093403947,
1788
+ "grad_norm": 7.532505035400391,
1789
+ "learning_rate": 0.0001639330091699478,
1790
+ "loss": 2.617950439453125,
1791
+ "step": 6250
1792
+ },
1793
+ {
1794
+ "epoch": 3.021184400577756,
1795
+ "grad_norm": 7.172801971435547,
1796
+ "learning_rate": 0.00016363275336483328,
1797
+ "loss": 2.505116271972656,
1798
+ "step": 6275
1799
+ },
1800
+ {
1801
+ "epoch": 3.033220991815118,
1802
+ "grad_norm": 6.818567276000977,
1803
+ "learning_rate": 0.0001633315304354781,
1804
+ "loss": 2.5599952697753907,
1805
+ "step": 6300
1806
+ },
1807
+ {
1808
+ "epoch": 3.0452575830524795,
1809
+ "grad_norm": 6.314502716064453,
1810
+ "learning_rate": 0.00016302934496002775,
1811
+ "loss": 2.5814093017578124,
1812
+ "step": 6325
1813
+ },
1814
+ {
1815
+ "epoch": 3.057294174289841,
1816
+ "grad_norm": 7.728026866912842,
1817
+ "learning_rate": 0.0001627262015312569,
1818
+ "loss": 2.5842514038085938,
1819
+ "step": 6350
1820
+ },
1821
+ {
1822
+ "epoch": 3.069330765527203,
1823
+ "grad_norm": 6.728147506713867,
1824
+ "learning_rate": 0.00016242210475649968,
1825
+ "loss": 2.587703857421875,
1826
+ "step": 6375
1827
+ },
1828
+ {
1829
+ "epoch": 3.0813673567645643,
1830
+ "grad_norm": 5.884317398071289,
1831
+ "learning_rate": 0.00016211705925757975,
1832
+ "loss": 2.538614044189453,
1833
+ "step": 6400
1834
+ },
1835
+ {
1836
+ "epoch": 3.0934039480019258,
1837
+ "grad_norm": 6.846307277679443,
1838
+ "learning_rate": 0.00016181106967073987,
1839
+ "loss": 2.541700592041016,
1840
+ "step": 6425
1841
+ },
1842
+ {
1843
+ "epoch": 3.1054405392392876,
1844
+ "grad_norm": 7.39595365524292,
1845
+ "learning_rate": 0.00016150414064657168,
1846
+ "loss": 2.56431884765625,
1847
+ "step": 6450
1848
+ },
1849
+ {
1850
+ "epoch": 3.117477130476649,
1851
+ "grad_norm": 7.125731468200684,
1852
+ "learning_rate": 0.00016119627684994478,
1853
+ "loss": 2.5778378295898436,
1854
+ "step": 6475
1855
+ },
1856
+ {
1857
+ "epoch": 3.1295137217140105,
1858
+ "grad_norm": 6.258044242858887,
1859
+ "learning_rate": 0.00016088748295993603,
1860
+ "loss": 2.5168409729003907,
1861
+ "step": 6500
1862
+ },
1863
+ {
1864
+ "epoch": 3.141550312951372,
1865
+ "grad_norm": 7.049948215484619,
1866
+ "learning_rate": 0.00016057776366975825,
1867
+ "loss": 2.556155548095703,
1868
+ "step": 6525
1869
+ },
1870
+ {
1871
+ "epoch": 3.153586904188734,
1872
+ "grad_norm": 6.056478500366211,
1873
+ "learning_rate": 0.00016026712368668903,
1874
+ "loss": 2.5735009765625,
1875
+ "step": 6550
1876
+ },
1877
+ {
1878
+ "epoch": 3.1656234954260953,
1879
+ "grad_norm": 6.195144176483154,
1880
+ "learning_rate": 0.00015995556773199912,
1881
+ "loss": 2.563138427734375,
1882
+ "step": 6575
1883
+ },
1884
+ {
1885
+ "epoch": 3.177660086663457,
1886
+ "grad_norm": 7.984062194824219,
1887
+ "learning_rate": 0.0001596431005408807,
1888
+ "loss": 2.5712921142578127,
1889
+ "step": 6600
1890
+ },
1891
+ {
1892
+ "epoch": 3.1896966779008187,
1893
+ "grad_norm": 6.834407806396484,
1894
+ "learning_rate": 0.00015932972686237543,
1895
+ "loss": 2.524141845703125,
1896
+ "step": 6625
1897
+ },
1898
+ {
1899
+ "epoch": 3.20173326913818,
1900
+ "grad_norm": 7.851695537567139,
1901
+ "learning_rate": 0.0001590154514593022,
1902
+ "loss": 2.527924041748047,
1903
+ "step": 6650
1904
+ },
1905
+ {
1906
+ "epoch": 3.2137698603755416,
1907
+ "grad_norm": 6.800895690917969,
1908
+ "learning_rate": 0.00015870027910818476,
1909
+ "loss": 2.559481658935547,
1910
+ "step": 6675
1911
+ },
1912
+ {
1913
+ "epoch": 3.225806451612903,
1914
+ "grad_norm": 6.966695785522461,
1915
+ "learning_rate": 0.00015838421459917927,
1916
+ "loss": 2.643104248046875,
1917
+ "step": 6700
1918
+ },
1919
+ {
1920
+ "epoch": 3.237843042850265,
1921
+ "grad_norm": 6.1939005851745605,
1922
+ "learning_rate": 0.00015806726273600127,
1923
+ "loss": 2.6130157470703126,
1924
+ "step": 6725
1925
+ },
1926
+ {
1927
+ "epoch": 3.2498796340876264,
1928
+ "grad_norm": 6.8425612449646,
1929
+ "learning_rate": 0.0001577494283358528,
1930
+ "loss": 2.6474554443359377,
1931
+ "step": 6750
1932
+ },
1933
+ {
1934
+ "epoch": 3.261916225324988,
1935
+ "grad_norm": 6.54850435256958,
1936
+ "learning_rate": 0.00015743071622934917,
1937
+ "loss": 2.5912841796875,
1938
+ "step": 6775
1939
+ },
1940
+ {
1941
+ "epoch": 3.2739528165623497,
1942
+ "grad_norm": 6.886445045471191,
1943
+ "learning_rate": 0.00015711113126044555,
1944
+ "loss": 2.5946051025390626,
1945
+ "step": 6800
1946
+ },
1947
+ {
1948
+ "epoch": 3.285989407799711,
1949
+ "grad_norm": 7.529403209686279,
1950
+ "learning_rate": 0.00015679067828636335,
1951
+ "loss": 2.5568299865722657,
1952
+ "step": 6825
1953
+ },
1954
+ {
1955
+ "epoch": 3.2980259990370726,
1956
+ "grad_norm": 7.362818717956543,
1957
+ "learning_rate": 0.0001564693621775163,
1958
+ "loss": 2.6015423583984374,
1959
+ "step": 6850
1960
+ },
1961
+ {
1962
+ "epoch": 3.310062590274434,
1963
+ "grad_norm": 6.586751937866211,
1964
+ "learning_rate": 0.00015614718781743663,
1965
+ "loss": 2.6284942626953125,
1966
+ "step": 6875
1967
+ },
1968
+ {
1969
+ "epoch": 3.322099181511796,
1970
+ "grad_norm": 6.70015811920166,
1971
+ "learning_rate": 0.00015582416010270062,
1972
+ "loss": 2.587824401855469,
1973
+ "step": 6900
1974
+ },
1975
+ {
1976
+ "epoch": 3.3341357727491574,
1977
+ "grad_norm": 6.754818916320801,
1978
+ "learning_rate": 0.00015550028394285432,
1979
+ "loss": 2.632406005859375,
1980
+ "step": 6925
1981
+ },
1982
+ {
1983
+ "epoch": 3.346172363986519,
1984
+ "grad_norm": 7.001147747039795,
1985
+ "learning_rate": 0.0001551755642603389,
1986
+ "loss": 2.567904052734375,
1987
+ "step": 6950
1988
+ },
1989
+ {
1990
+ "epoch": 3.3582089552238807,
1991
+ "grad_norm": 7.025686264038086,
1992
+ "learning_rate": 0.00015485000599041587,
1993
+ "loss": 2.5608477783203125,
1994
+ "step": 6975
1995
+ },
1996
+ {
1997
+ "epoch": 3.370245546461242,
1998
+ "grad_norm": 5.955574035644531,
1999
+ "learning_rate": 0.000154523614081092,
2000
+ "loss": 2.579781494140625,
2001
+ "step": 7000
2002
+ },
2003
+ {
2004
+ "epoch": 3.3822821376986036,
2005
+ "grad_norm": 8.050995826721191,
2006
+ "learning_rate": 0.0001541963934930441,
2007
+ "loss": 2.60483154296875,
2008
+ "step": 7025
2009
+ },
2010
+ {
2011
+ "epoch": 3.394318728935965,
2012
+ "grad_norm": 6.99261999130249,
2013
+ "learning_rate": 0.00015386834919954386,
2014
+ "loss": 2.603854064941406,
2015
+ "step": 7050
2016
+ },
2017
+ {
2018
+ "epoch": 3.406355320173327,
2019
+ "grad_norm": 6.021421432495117,
2020
+ "learning_rate": 0.00015353948618638177,
2021
+ "loss": 2.6255908203125,
2022
+ "step": 7075
2023
+ },
2024
+ {
2025
+ "epoch": 3.4183919114106884,
2026
+ "grad_norm": 6.664973258972168,
2027
+ "learning_rate": 0.00015320980945179196,
2028
+ "loss": 2.589926452636719,
2029
+ "step": 7100
2030
+ },
2031
+ {
2032
+ "epoch": 3.43042850264805,
2033
+ "grad_norm": 7.45606803894043,
2034
+ "learning_rate": 0.00015287932400637576,
2035
+ "loss": 2.5651092529296875,
2036
+ "step": 7125
2037
+ },
2038
+ {
2039
+ "epoch": 3.4424650938854118,
2040
+ "grad_norm": 7.181027412414551,
2041
+ "learning_rate": 0.0001525480348730258,
2042
+ "loss": 2.617786865234375,
2043
+ "step": 7150
2044
+ },
2045
+ {
2046
+ "epoch": 3.4545016851227732,
2047
+ "grad_norm": 6.788301944732666,
2048
+ "learning_rate": 0.00015221594708684952,
2049
+ "loss": 2.6190371704101563,
2050
+ "step": 7175
2051
+ },
2052
+ {
2053
+ "epoch": 3.4665382763601347,
2054
+ "grad_norm": 7.416632175445557,
2055
+ "learning_rate": 0.00015188306569509274,
2056
+ "loss": 2.5922671508789064,
2057
+ "step": 7200
2058
+ },
2059
+ {
2060
+ "epoch": 3.4785748675974966,
2061
+ "grad_norm": 6.855120658874512,
2062
+ "learning_rate": 0.0001515493957570629,
2063
+ "loss": 2.5730856323242186,
2064
+ "step": 7225
2065
+ },
2066
+ {
2067
+ "epoch": 3.490611458834858,
2068
+ "grad_norm": 5.933901786804199,
2069
+ "learning_rate": 0.00015121494234405218,
2070
+ "loss": 2.5321611022949218,
2071
+ "step": 7250
2072
+ },
2073
+ {
2074
+ "epoch": 3.5026480500722195,
2075
+ "grad_norm": 6.569029808044434,
2076
+ "learning_rate": 0.00015087971053926052,
2077
+ "loss": 2.56937744140625,
2078
+ "step": 7275
2079
+ },
2080
+ {
2081
+ "epoch": 3.5146846413095814,
2082
+ "grad_norm": 5.820389747619629,
2083
+ "learning_rate": 0.00015054370543771809,
2084
+ "loss": 2.5830810546875,
2085
+ "step": 7300
2086
+ },
2087
+ {
2088
+ "epoch": 3.526721232546943,
2089
+ "grad_norm": 7.1573004722595215,
2090
+ "learning_rate": 0.0001502069321462082,
2091
+ "loss": 2.5898391723632814,
2092
+ "step": 7325
2093
+ },
2094
+ {
2095
+ "epoch": 3.5387578237843043,
2096
+ "grad_norm": 7.135001182556152,
2097
+ "learning_rate": 0.0001498693957831894,
2098
+ "loss": 2.631561279296875,
2099
+ "step": 7350
2100
+ },
2101
+ {
2102
+ "epoch": 3.5507944150216657,
2103
+ "grad_norm": 7.952722549438477,
2104
+ "learning_rate": 0.00014953110147871793,
2105
+ "loss": 2.5712603759765624,
2106
+ "step": 7375
2107
+ },
2108
+ {
2109
+ "epoch": 3.5628310062590276,
2110
+ "grad_norm": 8.231966972351074,
2111
+ "learning_rate": 0.00014919205437436946,
2112
+ "loss": 2.610478820800781,
2113
+ "step": 7400
2114
+ },
2115
+ {
2116
+ "epoch": 3.574867597496389,
2117
+ "grad_norm": 6.280411720275879,
2118
+ "learning_rate": 0.00014885225962316128,
2119
+ "loss": 2.529931945800781,
2120
+ "step": 7425
2121
+ },
2122
+ {
2123
+ "epoch": 3.5869041887337505,
2124
+ "grad_norm": 5.856441497802734,
2125
+ "learning_rate": 0.00014851172238947372,
2126
+ "loss": 2.5853460693359374,
2127
+ "step": 7450
2128
+ },
2129
+ {
2130
+ "epoch": 3.5989407799711124,
2131
+ "grad_norm": 6.418439865112305,
2132
+ "learning_rate": 0.00014817044784897173,
2133
+ "loss": 2.6548699951171875,
2134
+ "step": 7475
2135
+ },
2136
+ {
2137
+ "epoch": 3.610977371208474,
2138
+ "grad_norm": 5.8023295402526855,
2139
+ "learning_rate": 0.00014782844118852627,
2140
+ "loss": 2.5802447509765627,
2141
+ "step": 7500
2142
+ },
2143
+ {
2144
+ "epoch": 3.6230139624458353,
2145
+ "grad_norm": 5.9953813552856445,
2146
+ "learning_rate": 0.00014748570760613549,
2147
+ "loss": 2.6488763427734376,
2148
+ "step": 7525
2149
+ },
2150
+ {
2151
+ "epoch": 3.6350505536831967,
2152
+ "grad_norm": 6.7495832443237305,
2153
+ "learning_rate": 0.00014714225231084562,
2154
+ "loss": 2.645798645019531,
2155
+ "step": 7550
2156
+ },
2157
+ {
2158
+ "epoch": 3.6470871449205586,
2159
+ "grad_norm": 6.393189430236816,
2160
+ "learning_rate": 0.0001467980805226719,
2161
+ "loss": 2.5896685791015623,
2162
+ "step": 7575
2163
+ },
2164
+ {
2165
+ "epoch": 3.65912373615792,
2166
+ "grad_norm": 6.28262996673584,
2167
+ "learning_rate": 0.00014645319747251921,
2168
+ "loss": 2.6326702880859374,
2169
+ "step": 7600
2170
+ },
2171
+ {
2172
+ "epoch": 3.6711603273952815,
2173
+ "grad_norm": 6.2060065269470215,
2174
+ "learning_rate": 0.00014610760840210254,
2175
+ "loss": 2.6136151123046876,
2176
+ "step": 7625
2177
+ },
2178
+ {
2179
+ "epoch": 3.6831969186326434,
2180
+ "grad_norm": 5.923848628997803,
2181
+ "learning_rate": 0.00014576131856386735,
2182
+ "loss": 2.587392578125,
2183
+ "step": 7650
2184
+ },
2185
+ {
2186
+ "epoch": 3.695233509870005,
2187
+ "grad_norm": 5.914072036743164,
2188
+ "learning_rate": 0.00014541433322090973,
2189
+ "loss": 2.6291851806640625,
2190
+ "step": 7675
2191
+ },
2192
+ {
2193
+ "epoch": 3.7072701011073663,
2194
+ "grad_norm": 7.405152320861816,
2195
+ "learning_rate": 0.0001450666576468965,
2196
+ "loss": 2.5964593505859375,
2197
+ "step": 7700
2198
+ },
2199
+ {
2200
+ "epoch": 3.7193066923447278,
2201
+ "grad_norm": 6.541108131408691,
2202
+ "learning_rate": 0.0001447182971259849,
2203
+ "loss": 2.565693054199219,
2204
+ "step": 7725
2205
+ },
2206
+ {
2207
+ "epoch": 3.7313432835820897,
2208
+ "grad_norm": 5.909659385681152,
2209
+ "learning_rate": 0.00014436925695274235,
2210
+ "loss": 2.5886358642578124,
2211
+ "step": 7750
2212
+ },
2213
+ {
2214
+ "epoch": 3.743379874819451,
2215
+ "grad_norm": 6.0169219970703125,
2216
+ "learning_rate": 0.000144019542432066,
2217
+ "loss": 2.610029296875,
2218
+ "step": 7775
2219
+ },
2220
+ {
2221
+ "epoch": 3.7554164660568126,
2222
+ "grad_norm": 6.487315654754639,
2223
+ "learning_rate": 0.00014366915887910214,
2224
+ "loss": 2.6469882202148436,
2225
+ "step": 7800
2226
+ },
2227
+ {
2228
+ "epoch": 3.7674530572941745,
2229
+ "grad_norm": 5.895727157592773,
2230
+ "learning_rate": 0.0001433181116191653,
2231
+ "loss": 2.5247569274902344,
2232
+ "step": 7825
2233
+ },
2234
+ {
2235
+ "epoch": 3.779489648531536,
2236
+ "grad_norm": 6.585092067718506,
2237
+ "learning_rate": 0.0001429664059876574,
2238
+ "loss": 2.5999505615234373,
2239
+ "step": 7850
2240
+ },
2241
+ {
2242
+ "epoch": 3.7915262397688974,
2243
+ "grad_norm": 7.017783164978027,
2244
+ "learning_rate": 0.00014261404732998664,
2245
+ "loss": 2.633411865234375,
2246
+ "step": 7875
2247
+ },
2248
+ {
2249
+ "epoch": 3.803562831006259,
2250
+ "grad_norm": 6.384684085845947,
2251
+ "learning_rate": 0.00014226104100148628,
2252
+ "loss": 2.5933465576171875,
2253
+ "step": 7900
2254
+ },
2255
+ {
2256
+ "epoch": 3.8155994222436207,
2257
+ "grad_norm": 7.031004905700684,
2258
+ "learning_rate": 0.00014190739236733316,
2259
+ "loss": 2.595792541503906,
2260
+ "step": 7925
2261
+ },
2262
+ {
2263
+ "epoch": 3.827636013480982,
2264
+ "grad_norm": 6.241200923919678,
2265
+ "learning_rate": 0.0001415531068024663,
2266
+ "loss": 2.5923992919921877,
2267
+ "step": 7950
2268
+ },
2269
+ {
2270
+ "epoch": 3.839672604718344,
2271
+ "grad_norm": 6.395936965942383,
2272
+ "learning_rate": 0.0001411981896915051,
2273
+ "loss": 2.613453369140625,
2274
+ "step": 7975
2275
+ },
2276
+ {
2277
+ "epoch": 3.8517091959557055,
2278
+ "grad_norm": 6.0687689781188965,
2279
+ "learning_rate": 0.0001408426464286675,
2280
+ "loss": 2.5782708740234375,
2281
+ "step": 8000
2282
+ },
2283
+ {
2284
+ "epoch": 3.863745787193067,
2285
+ "grad_norm": 7.165973663330078,
2286
+ "learning_rate": 0.00014048648241768807,
2287
+ "loss": 2.5483168029785155,
2288
+ "step": 8025
2289
+ },
2290
+ {
2291
+ "epoch": 3.8757823784304284,
2292
+ "grad_norm": 6.542165279388428,
2293
+ "learning_rate": 0.0001401297030717358,
2294
+ "loss": 2.636019287109375,
2295
+ "step": 8050
2296
+ },
2297
+ {
2298
+ "epoch": 3.88781896966779,
2299
+ "grad_norm": 6.252635478973389,
2300
+ "learning_rate": 0.00013977231381333193,
2301
+ "loss": 2.6014303588867187,
2302
+ "step": 8075
2303
+ },
2304
+ {
2305
+ "epoch": 3.8998555609051517,
2306
+ "grad_norm": 6.700534343719482,
2307
+ "learning_rate": 0.0001394143200742674,
2308
+ "loss": 2.5424969482421873,
2309
+ "step": 8100
2310
+ },
2311
+ {
2312
+ "epoch": 3.911892152142513,
2313
+ "grad_norm": 6.896066188812256,
2314
+ "learning_rate": 0.0001390557272955204,
2315
+ "loss": 2.5399298095703124,
2316
+ "step": 8125
2317
+ },
2318
+ {
2319
+ "epoch": 3.923928743379875,
2320
+ "grad_norm": 6.549251079559326,
2321
+ "learning_rate": 0.00013869654092717363,
2322
+ "loss": 2.5947125244140623,
2323
+ "step": 8150
2324
+ },
2325
+ {
2326
+ "epoch": 3.9359653346172365,
2327
+ "grad_norm": 6.1599836349487305,
2328
+ "learning_rate": 0.00013833676642833152,
2329
+ "loss": 2.61697021484375,
2330
+ "step": 8175
2331
+ },
2332
+ {
2333
+ "epoch": 3.948001925854598,
2334
+ "grad_norm": 6.616363525390625,
2335
+ "learning_rate": 0.00013797640926703717,
2336
+ "loss": 2.5735784912109376,
2337
+ "step": 8200
2338
+ },
2339
+ {
2340
+ "epoch": 3.9600385170919594,
2341
+ "grad_norm": 6.72858190536499,
2342
+ "learning_rate": 0.00013761547492018928,
2343
+ "loss": 2.5907177734375,
2344
+ "step": 8225
2345
+ },
2346
+ {
2347
+ "epoch": 3.972075108329321,
2348
+ "grad_norm": 6.385076522827148,
2349
+ "learning_rate": 0.00013725396887345897,
2350
+ "loss": 2.6179083251953124,
2351
+ "step": 8250
2352
+ },
2353
+ {
2354
+ "epoch": 3.9841116995666828,
2355
+ "grad_norm": 7.102210521697998,
2356
+ "learning_rate": 0.00013689189662120633,
2357
+ "loss": 2.61026611328125,
2358
+ "step": 8275
2359
+ },
2360
+ {
2361
+ "epoch": 3.996148290804044,
2362
+ "grad_norm": 6.699630260467529,
2363
+ "learning_rate": 0.000136529263666397,
2364
+ "loss": 2.623244323730469,
2365
+ "step": 8300
2366
+ },
2367
+ {
2368
+ "epoch": 4.0,
2369
+ "eval_loss": 2.6820578575134277,
2370
+ "eval_runtime": 4.1699,
2371
+ "eval_samples_per_second": 359.721,
2372
+ "eval_steps_per_second": 11.271,
2373
+ "step": 8308
2374
+ },
2375
+ {
2376
+ "epoch": 4.008184882041406,
2377
+ "grad_norm": 5.906957626342773,
2378
+ "learning_rate": 0.00013616607552051834,
2379
+ "loss": 2.4383436584472657,
2380
+ "step": 8325
2381
+ },
2382
+ {
2383
+ "epoch": 4.0202214732787676,
2384
+ "grad_norm": 6.453551292419434,
2385
+ "learning_rate": 0.00013580233770349592,
2386
+ "loss": 2.347547607421875,
2387
+ "step": 8350
2388
+ },
2389
+ {
2390
+ "epoch": 4.032258064516129,
2391
+ "grad_norm": 6.723680019378662,
2392
+ "learning_rate": 0.00013543805574360948,
2393
+ "loss": 2.373088073730469,
2394
+ "step": 8375
2395
+ },
2396
+ {
2397
+ "epoch": 4.0442946557534905,
2398
+ "grad_norm": 7.363197326660156,
2399
+ "learning_rate": 0.00013507323517740884,
2400
+ "loss": 2.4030003356933594,
2401
+ "step": 8400
2402
+ },
2403
+ {
2404
+ "epoch": 4.056331246990852,
2405
+ "grad_norm": 6.1376471519470215,
2406
+ "learning_rate": 0.00013470788154963,
2407
+ "loss": 2.389628448486328,
2408
+ "step": 8425
2409
+ },
2410
+ {
2411
+ "epoch": 4.068367838228213,
2412
+ "grad_norm": 7.293612003326416,
2413
+ "learning_rate": 0.00013434200041311057,
2414
+ "loss": 2.391862640380859,
2415
+ "step": 8450
2416
+ },
2417
+ {
2418
+ "epoch": 4.080404429465576,
2419
+ "grad_norm": 7.916410446166992,
2420
+ "learning_rate": 0.00013397559732870564,
2421
+ "loss": 2.357501678466797,
2422
+ "step": 8475
2423
+ },
2424
+ {
2425
+ "epoch": 4.092441020702937,
2426
+ "grad_norm": 6.08396577835083,
2427
+ "learning_rate": 0.000133608677865203,
2428
+ "loss": 2.4158206176757813,
2429
+ "step": 8500
2430
+ },
2431
+ {
2432
+ "epoch": 4.104477611940299,
2433
+ "grad_norm": 7.022041320800781,
2434
+ "learning_rate": 0.0001332412475992388,
2435
+ "loss": 2.438868408203125,
2436
+ "step": 8525
2437
+ },
2438
+ {
2439
+ "epoch": 4.11651420317766,
2440
+ "grad_norm": 7.004306793212891,
2441
+ "learning_rate": 0.00013287331211521246,
2442
+ "loss": 2.3929733276367187,
2443
+ "step": 8550
2444
+ },
2445
+ {
2446
+ "epoch": 4.1285507944150215,
2447
+ "grad_norm": 6.981446743011475,
2448
+ "learning_rate": 0.0001325048770052021,
2449
+ "loss": 2.431510467529297,
2450
+ "step": 8575
2451
+ },
2452
+ {
2453
+ "epoch": 4.140587385652383,
2454
+ "grad_norm": 6.265749931335449,
2455
+ "learning_rate": 0.00013213594786887944,
2456
+ "loss": 2.4273892211914063,
2457
+ "step": 8600
2458
+ },
2459
+ {
2460
+ "epoch": 4.152623976889744,
2461
+ "grad_norm": 7.472740173339844,
2462
+ "learning_rate": 0.00013176653031342456,
2463
+ "loss": 2.409165344238281,
2464
+ "step": 8625
2465
+ },
2466
+ {
2467
+ "epoch": 4.164660568127107,
2468
+ "grad_norm": 7.548570156097412,
2469
+ "learning_rate": 0.00013139662995344085,
2470
+ "loss": 2.4531121826171876,
2471
+ "step": 8650
2472
+ },
2473
+ {
2474
+ "epoch": 4.176697159364468,
2475
+ "grad_norm": 6.898479461669922,
2476
+ "learning_rate": 0.00013102625241086965,
2477
+ "loss": 2.432555847167969,
2478
+ "step": 8675
2479
+ },
2480
+ {
2481
+ "epoch": 4.18873375060183,
2482
+ "grad_norm": 6.945794105529785,
2483
+ "learning_rate": 0.00013065540331490472,
2484
+ "loss": 2.455061798095703,
2485
+ "step": 8700
2486
+ },
2487
+ {
2488
+ "epoch": 4.200770341839191,
2489
+ "grad_norm": 6.814357280731201,
2490
+ "learning_rate": 0.00013028408830190674,
2491
+ "loss": 2.4712957763671874,
2492
+ "step": 8725
2493
+ },
2494
+ {
2495
+ "epoch": 4.2128069330765525,
2496
+ "grad_norm": 7.292290687561035,
2497
+ "learning_rate": 0.00012991231301531773,
2498
+ "loss": 2.4582168579101564,
2499
+ "step": 8750
2500
+ },
2501
+ {
2502
+ "epoch": 4.224843524313914,
2503
+ "grad_norm": 7.236823558807373,
2504
+ "learning_rate": 0.00012954008310557506,
2505
+ "loss": 2.446655578613281,
2506
+ "step": 8775
2507
+ },
2508
+ {
2509
+ "epoch": 4.236880115551276,
2510
+ "grad_norm": 6.882739543914795,
2511
+ "learning_rate": 0.0001291674042300258,
2512
+ "loss": 2.405202178955078,
2513
+ "step": 8800
2514
+ },
2515
+ {
2516
+ "epoch": 4.248916706788638,
2517
+ "grad_norm": 7.120377063751221,
2518
+ "learning_rate": 0.00012879428205284058,
2519
+ "loss": 2.400958251953125,
2520
+ "step": 8825
2521
+ },
2522
+ {
2523
+ "epoch": 4.260953298025999,
2524
+ "grad_norm": 7.028608322143555,
2525
+ "learning_rate": 0.00012842072224492762,
2526
+ "loss": 2.4500877380371096,
2527
+ "step": 8850
2528
+ },
2529
+ {
2530
+ "epoch": 4.272989889263361,
2531
+ "grad_norm": 7.8143744468688965,
2532
+ "learning_rate": 0.00012804673048384647,
2533
+ "loss": 2.452120056152344,
2534
+ "step": 8875
2535
+ },
2536
+ {
2537
+ "epoch": 4.285026480500722,
2538
+ "grad_norm": 7.579928398132324,
2539
+ "learning_rate": 0.00012767231245372168,
2540
+ "loss": 2.4451675415039062,
2541
+ "step": 8900
2542
+ },
2543
+ {
2544
+ "epoch": 4.2970630717380836,
2545
+ "grad_norm": 7.399620056152344,
2546
+ "learning_rate": 0.00012729747384515648,
2547
+ "loss": 2.492531433105469,
2548
+ "step": 8925
2549
+ },
2550
+ {
2551
+ "epoch": 4.309099662975445,
2552
+ "grad_norm": 8.107259750366211,
2553
+ "learning_rate": 0.0001269222203551464,
2554
+ "loss": 2.432616424560547,
2555
+ "step": 8950
2556
+ },
2557
+ {
2558
+ "epoch": 4.321136254212807,
2559
+ "grad_norm": 6.925912857055664,
2560
+ "learning_rate": 0.0001265465576869923,
2561
+ "loss": 2.385529022216797,
2562
+ "step": 8975
2563
+ },
2564
+ {
2565
+ "epoch": 4.333172845450169,
2566
+ "grad_norm": 6.463615894317627,
2567
+ "learning_rate": 0.00012617049155021418,
2568
+ "loss": 2.434081726074219,
2569
+ "step": 9000
2570
+ },
2571
+ {
2572
+ "epoch": 4.34520943668753,
2573
+ "grad_norm": 7.031606674194336,
2574
+ "learning_rate": 0.0001257940276604641,
2575
+ "loss": 2.464780731201172,
2576
+ "step": 9025
2577
+ },
2578
+ {
2579
+ "epoch": 4.357246027924892,
2580
+ "grad_norm": 6.946998596191406,
2581
+ "learning_rate": 0.00012541717173943936,
2582
+ "loss": 2.4792620849609377,
2583
+ "step": 9050
2584
+ },
2585
+ {
2586
+ "epoch": 4.369282619162253,
2587
+ "grad_norm": 6.719104290008545,
2588
+ "learning_rate": 0.0001250399295147955,
2589
+ "loss": 2.485868225097656,
2590
+ "step": 9075
2591
+ },
2592
+ {
2593
+ "epoch": 4.381319210399615,
2594
+ "grad_norm": 6.994076728820801,
2595
+ "learning_rate": 0.00012466230672005945,
2596
+ "loss": 2.398624267578125,
2597
+ "step": 9100
2598
+ },
2599
+ {
2600
+ "epoch": 4.393355801636976,
2601
+ "grad_norm": 6.991820335388184,
2602
+ "learning_rate": 0.0001242843090945421,
2603
+ "loss": 2.4889877319335936,
2604
+ "step": 9125
2605
+ },
2606
+ {
2607
+ "epoch": 4.405392392874338,
2608
+ "grad_norm": 6.849164009094238,
2609
+ "learning_rate": 0.00012390594238325132,
2610
+ "loss": 2.4707565307617188,
2611
+ "step": 9150
2612
+ },
2613
+ {
2614
+ "epoch": 4.4174289841117,
2615
+ "grad_norm": 7.551220417022705,
2616
+ "learning_rate": 0.00012352721233680454,
2617
+ "loss": 2.47287109375,
2618
+ "step": 9175
2619
+ },
2620
+ {
2621
+ "epoch": 4.429465575349061,
2622
+ "grad_norm": 7.383901119232178,
2623
+ "learning_rate": 0.00012314812471134125,
2624
+ "loss": 2.460268707275391,
2625
+ "step": 9200
2626
+ },
2627
+ {
2628
+ "epoch": 4.441502166586423,
2629
+ "grad_norm": 6.343733310699463,
2630
+ "learning_rate": 0.00012276868526843573,
2631
+ "loss": 2.451211242675781,
2632
+ "step": 9225
2633
+ },
2634
+ {
2635
+ "epoch": 4.453538757823784,
2636
+ "grad_norm": 7.342288970947266,
2637
+ "learning_rate": 0.00012238889977500924,
2638
+ "loss": 2.4492242431640623,
2639
+ "step": 9250
2640
+ },
2641
+ {
2642
+ "epoch": 4.465575349061146,
2643
+ "grad_norm": 7.359269618988037,
2644
+ "learning_rate": 0.00012200877400324267,
2645
+ "loss": 2.4454722595214844,
2646
+ "step": 9275
2647
+ },
2648
+ {
2649
+ "epoch": 4.477611940298507,
2650
+ "grad_norm": 6.943546772003174,
2651
+ "learning_rate": 0.00012162831373048848,
2652
+ "loss": 2.4957781982421876,
2653
+ "step": 9300
2654
+ },
2655
+ {
2656
+ "epoch": 4.489648531535869,
2657
+ "grad_norm": 8.258399963378906,
2658
+ "learning_rate": 0.00012124752473918315,
2659
+ "loss": 2.491903839111328,
2660
+ "step": 9325
2661
+ },
2662
+ {
2663
+ "epoch": 4.501685122773231,
2664
+ "grad_norm": 6.876328945159912,
2665
+ "learning_rate": 0.00012086641281675912,
2666
+ "loss": 2.4897991943359377,
2667
+ "step": 9350
2668
+ },
2669
+ {
2670
+ "epoch": 4.513721714010592,
2671
+ "grad_norm": 5.609645843505859,
2672
+ "learning_rate": 0.00012048498375555702,
2673
+ "loss": 2.4758555603027346,
2674
+ "step": 9375
2675
+ },
2676
+ {
2677
+ "epoch": 4.525758305247954,
2678
+ "grad_norm": 7.3538126945495605,
2679
+ "learning_rate": 0.00012010324335273744,
2680
+ "loss": 2.4127471923828123,
2681
+ "step": 9400
2682
+ },
2683
+ {
2684
+ "epoch": 4.537794896485315,
2685
+ "grad_norm": 7.781580924987793,
2686
+ "learning_rate": 0.00011972119741019288,
2687
+ "loss": 2.491829528808594,
2688
+ "step": 9425
2689
+ },
2690
+ {
2691
+ "epoch": 4.549831487722677,
2692
+ "grad_norm": 7.821054935455322,
2693
+ "learning_rate": 0.00011933885173445968,
2694
+ "loss": 2.4405499267578126,
2695
+ "step": 9450
2696
+ },
2697
+ {
2698
+ "epoch": 4.561868078960039,
2699
+ "grad_norm": 6.082571983337402,
2700
+ "learning_rate": 0.00011895621213662962,
2701
+ "loss": 2.4237486267089845,
2702
+ "step": 9475
2703
+ },
2704
+ {
2705
+ "epoch": 4.5739046701974,
2706
+ "grad_norm": 6.463493347167969,
2707
+ "learning_rate": 0.0001185732844322617,
2708
+ "loss": 2.4664483642578126,
2709
+ "step": 9500
2710
+ },
2711
+ {
2712
+ "epoch": 4.585941261434762,
2713
+ "grad_norm": 6.795047760009766,
2714
+ "learning_rate": 0.00011819007444129368,
2715
+ "loss": 2.4464166259765623,
2716
+ "step": 9525
2717
+ },
2718
+ {
2719
+ "epoch": 4.597977852672123,
2720
+ "grad_norm": 6.385959625244141,
2721
+ "learning_rate": 0.0001178065879879537,
2722
+ "loss": 2.4959071350097655,
2723
+ "step": 9550
2724
+ },
2725
+ {
2726
+ "epoch": 4.610014443909485,
2727
+ "grad_norm": 6.93854284286499,
2728
+ "learning_rate": 0.0001174228309006717,
2729
+ "loss": 2.5116204833984375,
2730
+ "step": 9575
2731
+ },
2732
+ {
2733
+ "epoch": 4.622051035146846,
2734
+ "grad_norm": 5.849823474884033,
2735
+ "learning_rate": 0.00011703880901199081,
2736
+ "loss": 2.5280581665039064,
2737
+ "step": 9600
2738
+ },
2739
+ {
2740
+ "epoch": 4.634087626384208,
2741
+ "grad_norm": 7.291132926940918,
2742
+ "learning_rate": 0.00011665452815847886,
2743
+ "loss": 2.4106024169921874,
2744
+ "step": 9625
2745
+ },
2746
+ {
2747
+ "epoch": 4.646124217621569,
2748
+ "grad_norm": 7.537511348724365,
2749
+ "learning_rate": 0.00011626999418063951,
2750
+ "loss": 2.471666107177734,
2751
+ "step": 9650
2752
+ },
2753
+ {
2754
+ "epoch": 4.6581608088589315,
2755
+ "grad_norm": 7.474704265594482,
2756
+ "learning_rate": 0.00011588521292282346,
2757
+ "loss": 2.4104833984375,
2758
+ "step": 9675
2759
+ },
2760
+ {
2761
+ "epoch": 4.670197400096293,
2762
+ "grad_norm": 6.489062786102295,
2763
+ "learning_rate": 0.00011550019023313987,
2764
+ "loss": 2.4799649047851564,
2765
+ "step": 9700
2766
+ },
2767
+ {
2768
+ "epoch": 4.682233991333654,
2769
+ "grad_norm": 6.90573263168335,
2770
+ "learning_rate": 0.00011511493196336714,
2771
+ "loss": 2.4340060424804686,
2772
+ "step": 9725
2773
+ },
2774
+ {
2775
+ "epoch": 4.694270582571016,
2776
+ "grad_norm": 6.583920001983643,
2777
+ "learning_rate": 0.00011472944396886423,
2778
+ "loss": 2.4326211547851564,
2779
+ "step": 9750
2780
+ },
2781
+ {
2782
+ "epoch": 4.706307173808377,
2783
+ "grad_norm": 6.703094482421875,
2784
+ "learning_rate": 0.0001143437321084816,
2785
+ "loss": 2.415018310546875,
2786
+ "step": 9775
2787
+ },
2788
+ {
2789
+ "epoch": 4.718343765045739,
2790
+ "grad_norm": 6.776236057281494,
2791
+ "learning_rate": 0.00011395780224447203,
2792
+ "loss": 2.453302307128906,
2793
+ "step": 9800
2794
+ },
2795
+ {
2796
+ "epoch": 4.730380356283101,
2797
+ "grad_norm": 7.194311141967773,
2798
+ "learning_rate": 0.0001135716602424018,
2799
+ "loss": 2.426635437011719,
2800
+ "step": 9825
2801
+ },
2802
+ {
2803
+ "epoch": 4.7424169475204625,
2804
+ "grad_norm": 6.533903121948242,
2805
+ "learning_rate": 0.00011318531197106126,
2806
+ "loss": 2.5510267639160156,
2807
+ "step": 9850
2808
+ },
2809
+ {
2810
+ "epoch": 4.754453538757824,
2811
+ "grad_norm": 6.399111270904541,
2812
+ "learning_rate": 0.00011279876330237573,
2813
+ "loss": 2.452451477050781,
2814
+ "step": 9875
2815
+ },
2816
+ {
2817
+ "epoch": 4.766490129995185,
2818
+ "grad_norm": 6.134057998657227,
2819
+ "learning_rate": 0.00011241202011131633,
2820
+ "loss": 2.4819575500488282,
2821
+ "step": 9900
2822
+ },
2823
+ {
2824
+ "epoch": 4.778526721232547,
2825
+ "grad_norm": 6.859342575073242,
2826
+ "learning_rate": 0.00011202508827581066,
2827
+ "loss": 2.471083221435547,
2828
+ "step": 9925
2829
+ },
2830
+ {
2831
+ "epoch": 4.790563312469908,
2832
+ "grad_norm": 6.8716206550598145,
2833
+ "learning_rate": 0.00011163797367665338,
2834
+ "loss": 2.4077735900878907,
2835
+ "step": 9950
2836
+ },
2837
+ {
2838
+ "epoch": 4.80259990370727,
2839
+ "grad_norm": 6.526734352111816,
2840
+ "learning_rate": 0.00011125068219741695,
2841
+ "loss": 2.4468711853027343,
2842
+ "step": 9975
2843
+ },
2844
+ {
2845
+ "epoch": 4.814636494944631,
2846
+ "grad_norm": 6.951447486877441,
2847
+ "learning_rate": 0.00011086321972436202,
2848
+ "loss": 2.467903594970703,
2849
+ "step": 10000
2850
+ },
2851
+ {
2852
+ "epoch": 4.8266730861819935,
2853
+ "grad_norm": 6.659648418426514,
2854
+ "learning_rate": 0.00011047559214634823,
2855
+ "loss": 2.462569580078125,
2856
+ "step": 10025
2857
+ },
2858
+ {
2859
+ "epoch": 4.838709677419355,
2860
+ "grad_norm": 7.650249481201172,
2861
+ "learning_rate": 0.00011008780535474457,
2862
+ "loss": 2.4519964599609376,
2863
+ "step": 10050
2864
+ },
2865
+ {
2866
+ "epoch": 4.850746268656716,
2867
+ "grad_norm": 7.839598655700684,
2868
+ "learning_rate": 0.00010969986524333973,
2869
+ "loss": 2.425300750732422,
2870
+ "step": 10075
2871
+ },
2872
+ {
2873
+ "epoch": 4.862782859894078,
2874
+ "grad_norm": 5.824965476989746,
2875
+ "learning_rate": 0.00010931177770825272,
2876
+ "loss": 2.4256991577148437,
2877
+ "step": 10100
2878
+ },
2879
+ {
2880
+ "epoch": 4.874819451131439,
2881
+ "grad_norm": 6.790541648864746,
2882
+ "learning_rate": 0.00010892354864784318,
2883
+ "loss": 2.487823028564453,
2884
+ "step": 10125
2885
+ },
2886
+ {
2887
+ "epoch": 4.886856042368801,
2888
+ "grad_norm": 7.4350996017456055,
2889
+ "learning_rate": 0.00010853518396262166,
2890
+ "loss": 2.4774606323242185,
2891
+ "step": 10150
2892
+ },
2893
+ {
2894
+ "epoch": 4.898892633606163,
2895
+ "grad_norm": 6.516840934753418,
2896
+ "learning_rate": 0.00010814668955516007,
2897
+ "loss": 2.44733154296875,
2898
+ "step": 10175
2899
+ },
2900
+ {
2901
+ "epoch": 4.910929224843525,
2902
+ "grad_norm": 6.86664342880249,
2903
+ "learning_rate": 0.0001077580713300019,
2904
+ "loss": 2.3821670532226564,
2905
+ "step": 10200
2906
+ },
2907
+ {
2908
+ "epoch": 4.922965816080886,
2909
+ "grad_norm": 6.734835147857666,
2910
+ "learning_rate": 0.00010736933519357248,
2911
+ "loss": 2.4690182495117186,
2912
+ "step": 10225
2913
+ },
2914
+ {
2915
+ "epoch": 4.9350024073182475,
2916
+ "grad_norm": 7.759254455566406,
2917
+ "learning_rate": 0.00010698048705408918,
2918
+ "loss": 2.461112060546875,
2919
+ "step": 10250
2920
+ },
2921
+ {
2922
+ "epoch": 4.947038998555609,
2923
+ "grad_norm": 6.959079265594482,
2924
+ "learning_rate": 0.00010659153282147167,
2925
+ "loss": 2.455868835449219,
2926
+ "step": 10275
2927
+ },
2928
+ {
2929
+ "epoch": 4.95907558979297,
2930
+ "grad_norm": 6.43532133102417,
2931
+ "learning_rate": 0.00010620247840725217,
2932
+ "loss": 2.4868319702148436,
2933
+ "step": 10300
2934
+ },
2935
+ {
2936
+ "epoch": 4.971112181030332,
2937
+ "grad_norm": 6.879856109619141,
2938
+ "learning_rate": 0.00010581332972448534,
2939
+ "loss": 2.4183367919921874,
2940
+ "step": 10325
2941
+ },
2942
+ {
2943
+ "epoch": 4.983148772267694,
2944
+ "grad_norm": 6.395660877227783,
2945
+ "learning_rate": 0.00010542409268765876,
2946
+ "loss": 2.403534393310547,
2947
+ "step": 10350
2948
+ },
2949
+ {
2950
+ "epoch": 4.995185363505056,
2951
+ "grad_norm": 5.965160846710205,
2952
+ "learning_rate": 0.00010503477321260273,
2953
+ "loss": 2.441262054443359,
2954
+ "step": 10375
2955
+ },
2956
+ {
2957
+ "epoch": 5.0,
2958
+ "eval_loss": 2.610805034637451,
2959
+ "eval_runtime": 4.0971,
2960
+ "eval_samples_per_second": 366.116,
2961
+ "eval_steps_per_second": 11.472,
2962
+ "step": 10385
2963
+ },
2964
+ {
2965
+ "epoch": 5.007221954742417,
2966
+ "grad_norm": 7.076479434967041,
2967
+ "learning_rate": 0.00010464537721640056,
2968
+ "loss": 2.3097071838378906,
2969
+ "step": 10400
2970
+ },
2971
+ {
2972
+ "epoch": 5.0192585459797785,
2973
+ "grad_norm": 7.681911468505859,
2974
+ "learning_rate": 0.00010425591061729856,
2975
+ "loss": 2.3071243286132814,
2976
+ "step": 10425
2977
+ },
2978
+ {
2979
+ "epoch": 5.03129513721714,
2980
+ "grad_norm": 7.441799640655518,
2981
+ "learning_rate": 0.00010386637933461603,
2982
+ "loss": 2.2487457275390623,
2983
+ "step": 10450
2984
+ },
2985
+ {
2986
+ "epoch": 5.043331728454501,
2987
+ "grad_norm": 7.052056312561035,
2988
+ "learning_rate": 0.0001034767892886555,
2989
+ "loss": 2.2547097778320313,
2990
+ "step": 10475
2991
+ },
2992
+ {
2993
+ "epoch": 5.055368319691863,
2994
+ "grad_norm": 6.836119651794434,
2995
+ "learning_rate": 0.00010308714640061252,
2996
+ "loss": 2.280919189453125,
2997
+ "step": 10500
2998
+ },
2999
+ {
3000
+ "epoch": 5.067404910929225,
3001
+ "grad_norm": 8.23390007019043,
3002
+ "learning_rate": 0.00010269745659248575,
3003
+ "loss": 2.189468994140625,
3004
+ "step": 10525
3005
+ },
3006
+ {
3007
+ "epoch": 5.079441502166587,
3008
+ "grad_norm": 7.598567962646484,
3009
+ "learning_rate": 0.00010230772578698704,
3010
+ "loss": 2.2594345092773436,
3011
+ "step": 10550
3012
+ },
3013
+ {
3014
+ "epoch": 5.091478093403948,
3015
+ "grad_norm": 6.551168441772461,
3016
+ "learning_rate": 0.00010191795990745125,
3017
+ "loss": 2.32159912109375,
3018
+ "step": 10575
3019
+ },
3020
+ {
3021
+ "epoch": 5.1035146846413095,
3022
+ "grad_norm": 7.032190322875977,
3023
+ "learning_rate": 0.0001015281648777464,
3024
+ "loss": 2.2451826477050782,
3025
+ "step": 10600
3026
+ },
3027
+ {
3028
+ "epoch": 5.115551275878671,
3029
+ "grad_norm": 8.39832878112793,
3030
+ "learning_rate": 0.00010113834662218353,
3031
+ "loss": 2.2589088439941407,
3032
+ "step": 10625
3033
+ },
3034
+ {
3035
+ "epoch": 5.127587867116032,
3036
+ "grad_norm": 7.9065351486206055,
3037
+ "learning_rate": 0.00010074851106542662,
3038
+ "loss": 2.293925476074219,
3039
+ "step": 10650
3040
+ },
3041
+ {
3042
+ "epoch": 5.139624458353394,
3043
+ "grad_norm": 7.675061225891113,
3044
+ "learning_rate": 0.00010035866413240264,
3045
+ "loss": 2.323810729980469,
3046
+ "step": 10675
3047
+ },
3048
+ {
3049
+ "epoch": 5.151661049590756,
3050
+ "grad_norm": 6.749380111694336,
3051
+ "learning_rate": 9.996881174821147e-05,
3052
+ "loss": 2.256572570800781,
3053
+ "step": 10700
3054
+ },
3055
+ {
3056
+ "epoch": 5.163697640828118,
3057
+ "grad_norm": 7.127290725708008,
3058
+ "learning_rate": 9.957895983803586e-05,
3059
+ "loss": 2.270260925292969,
3060
+ "step": 10725
3061
+ },
3062
+ {
3063
+ "epoch": 5.175734232065479,
3064
+ "grad_norm": 7.5138020515441895,
3065
+ "learning_rate": 9.918911432705131e-05,
3066
+ "loss": 2.293995666503906,
3067
+ "step": 10750
3068
+ },
3069
+ {
3070
+ "epoch": 5.187770823302841,
3071
+ "grad_norm": 7.370467185974121,
3072
+ "learning_rate": 9.879928114033611e-05,
3073
+ "loss": 2.273690490722656,
3074
+ "step": 10775
3075
+ },
3076
+ {
3077
+ "epoch": 5.199807414540202,
3078
+ "grad_norm": 7.263876914978027,
3079
+ "learning_rate": 9.840946620278117e-05,
3080
+ "loss": 2.3219985961914062,
3081
+ "step": 10800
3082
+ },
3083
+ {
3084
+ "epoch": 5.2118440057775635,
3085
+ "grad_norm": 7.593104362487793,
3086
+ "learning_rate": 9.801967543900015e-05,
3087
+ "loss": 2.263868713378906,
3088
+ "step": 10825
3089
+ },
3090
+ {
3091
+ "epoch": 5.223880597014926,
3092
+ "grad_norm": 6.794946193695068,
3093
+ "learning_rate": 9.762991477323916e-05,
3094
+ "loss": 2.3010122680664065,
3095
+ "step": 10850
3096
+ },
3097
+ {
3098
+ "epoch": 5.235917188252287,
3099
+ "grad_norm": 7.785322189331055,
3100
+ "learning_rate": 9.724019012928693e-05,
3101
+ "loss": 2.30885986328125,
3102
+ "step": 10875
3103
+ },
3104
+ {
3105
+ "epoch": 5.247953779489649,
3106
+ "grad_norm": 7.871342658996582,
3107
+ "learning_rate": 9.68505074303848e-05,
3108
+ "loss": 2.3073556518554685,
3109
+ "step": 10900
3110
+ },
3111
+ {
3112
+ "epoch": 5.25999037072701,
3113
+ "grad_norm": 7.8656768798828125,
3114
+ "learning_rate": 9.646087259913647e-05,
3115
+ "loss": 2.360163269042969,
3116
+ "step": 10925
3117
+ },
3118
+ {
3119
+ "epoch": 5.272026961964372,
3120
+ "grad_norm": 8.353021621704102,
3121
+ "learning_rate": 9.607129155741822e-05,
3122
+ "loss": 2.3517471313476563,
3123
+ "step": 10950
3124
+ },
3125
+ {
3126
+ "epoch": 5.284063553201733,
3127
+ "grad_norm": 6.3557047843933105,
3128
+ "learning_rate": 9.568177022628874e-05,
3129
+ "loss": 2.3101840209960938,
3130
+ "step": 10975
3131
+ },
3132
+ {
3133
+ "epoch": 5.2961001444390945,
3134
+ "grad_norm": 8.154989242553711,
3135
+ "learning_rate": 9.529231452589923e-05,
3136
+ "loss": 2.2766015625,
3137
+ "step": 11000
3138
+ },
3139
+ {
3140
+ "epoch": 5.308136735676457,
3141
+ "grad_norm": 8.35250473022461,
3142
+ "learning_rate": 9.490293037540345e-05,
3143
+ "loss": 2.2737637329101563,
3144
+ "step": 11025
3145
+ },
3146
+ {
3147
+ "epoch": 5.320173326913818,
3148
+ "grad_norm": 6.666666030883789,
3149
+ "learning_rate": 9.451362369286761e-05,
3150
+ "loss": 2.3025851440429688,
3151
+ "step": 11050
3152
+ },
3153
+ {
3154
+ "epoch": 5.33220991815118,
3155
+ "grad_norm": 6.981100559234619,
3156
+ "learning_rate": 9.412440039518057e-05,
3157
+ "loss": 2.3344212341308594,
3158
+ "step": 11075
3159
+ },
3160
+ {
3161
+ "epoch": 5.344246509388541,
3162
+ "grad_norm": 8.032634735107422,
3163
+ "learning_rate": 9.373526639796396e-05,
3164
+ "loss": 2.2642364501953125,
3165
+ "step": 11100
3166
+ },
3167
+ {
3168
+ "epoch": 5.356283100625903,
3169
+ "grad_norm": 7.3971638679504395,
3170
+ "learning_rate": 9.334622761548197e-05,
3171
+ "loss": 2.3268336486816406,
3172
+ "step": 11125
3173
+ },
3174
+ {
3175
+ "epoch": 5.368319691863264,
3176
+ "grad_norm": 6.635739326477051,
3177
+ "learning_rate": 9.295728996055182e-05,
3178
+ "loss": 2.2535565185546873,
3179
+ "step": 11150
3180
+ },
3181
+ {
3182
+ "epoch": 5.3803562831006255,
3183
+ "grad_norm": 6.337807655334473,
3184
+ "learning_rate": 9.256845934445368e-05,
3185
+ "loss": 2.308728790283203,
3186
+ "step": 11175
3187
+ },
3188
+ {
3189
+ "epoch": 5.392392874337988,
3190
+ "grad_norm": 8.622179985046387,
3191
+ "learning_rate": 9.217974167684094e-05,
3192
+ "loss": 2.2889668273925783,
3193
+ "step": 11200
3194
+ },
3195
+ {
3196
+ "epoch": 5.404429465575349,
3197
+ "grad_norm": 6.722035884857178,
3198
+ "learning_rate": 9.179114286565026e-05,
3199
+ "loss": 2.3064193725585938,
3200
+ "step": 11225
3201
+ },
3202
+ {
3203
+ "epoch": 5.416466056812711,
3204
+ "grad_norm": 8.097888946533203,
3205
+ "learning_rate": 9.140266881701192e-05,
3206
+ "loss": 2.280697937011719,
3207
+ "step": 11250
3208
+ },
3209
+ {
3210
+ "epoch": 5.428502648050072,
3211
+ "grad_norm": 7.873524188995361,
3212
+ "learning_rate": 9.101432543516e-05,
3213
+ "loss": 2.3224221801757814,
3214
+ "step": 11275
3215
+ },
3216
+ {
3217
+ "epoch": 5.440539239287434,
3218
+ "grad_norm": 7.560741424560547,
3219
+ "learning_rate": 9.062611862234254e-05,
3220
+ "loss": 2.3603790283203123,
3221
+ "step": 11300
3222
+ },
3223
+ {
3224
+ "epoch": 5.452575830524795,
3225
+ "grad_norm": 7.508003234863281,
3226
+ "learning_rate": 9.023805427873206e-05,
3227
+ "loss": 2.2686558532714844,
3228
+ "step": 11325
3229
+ },
3230
+ {
3231
+ "epoch": 5.464612421762157,
3232
+ "grad_norm": 6.625362873077393,
3233
+ "learning_rate": 8.985013830233573e-05,
3234
+ "loss": 2.2339849853515625,
3235
+ "step": 11350
3236
+ },
3237
+ {
3238
+ "epoch": 5.476649012999519,
3239
+ "grad_norm": 7.706381320953369,
3240
+ "learning_rate": 8.946237658890564e-05,
3241
+ "loss": 2.3134950256347655,
3242
+ "step": 11375
3243
+ },
3244
+ {
3245
+ "epoch": 5.48868560423688,
3246
+ "grad_norm": 7.328007698059082,
3247
+ "learning_rate": 8.90747750318494e-05,
3248
+ "loss": 2.3151211547851562,
3249
+ "step": 11400
3250
+ },
3251
+ {
3252
+ "epoch": 5.500722195474242,
3253
+ "grad_norm": 7.3665385246276855,
3254
+ "learning_rate": 8.868733952214055e-05,
3255
+ "loss": 2.2758139038085936,
3256
+ "step": 11425
3257
+ },
3258
+ {
3259
+ "epoch": 5.512758786711603,
3260
+ "grad_norm": 7.762585163116455,
3261
+ "learning_rate": 8.830007594822882e-05,
3262
+ "loss": 2.269935302734375,
3263
+ "step": 11450
3264
+ },
3265
+ {
3266
+ "epoch": 5.524795377948965,
3267
+ "grad_norm": 6.537332057952881,
3268
+ "learning_rate": 8.791299019595082e-05,
3269
+ "loss": 2.325925750732422,
3270
+ "step": 11475
3271
+ },
3272
+ {
3273
+ "epoch": 5.536831969186326,
3274
+ "grad_norm": 6.946711540222168,
3275
+ "learning_rate": 8.752608814844059e-05,
3276
+ "loss": 2.3549649047851564,
3277
+ "step": 11500
3278
+ },
3279
+ {
3280
+ "epoch": 5.5488685604236885,
3281
+ "grad_norm": 7.574845314025879,
3282
+ "learning_rate": 8.713937568604005e-05,
3283
+ "loss": 2.273140563964844,
3284
+ "step": 11525
3285
+ },
3286
+ {
3287
+ "epoch": 5.56090515166105,
3288
+ "grad_norm": 7.267978668212891,
3289
+ "learning_rate": 8.675285868620971e-05,
3290
+ "loss": 2.3256234741210937,
3291
+ "step": 11550
3292
+ },
3293
+ {
3294
+ "epoch": 5.572941742898411,
3295
+ "grad_norm": 6.712131500244141,
3296
+ "learning_rate": 8.636654302343941e-05,
3297
+ "loss": 2.31070556640625,
3298
+ "step": 11575
3299
+ },
3300
+ {
3301
+ "epoch": 5.584978334135773,
3302
+ "grad_norm": 7.248861789703369,
3303
+ "learning_rate": 8.598043456915887e-05,
3304
+ "loss": 2.327481231689453,
3305
+ "step": 11600
3306
+ },
3307
+ {
3308
+ "epoch": 5.597014925373134,
3309
+ "grad_norm": 7.805160045623779,
3310
+ "learning_rate": 8.559453919164867e-05,
3311
+ "loss": 2.3892562866210936,
3312
+ "step": 11625
3313
+ },
3314
+ {
3315
+ "epoch": 5.609051516610496,
3316
+ "grad_norm": 8.140661239624023,
3317
+ "learning_rate": 8.520886275595072e-05,
3318
+ "loss": 2.2867330932617187,
3319
+ "step": 11650
3320
+ },
3321
+ {
3322
+ "epoch": 5.621088107847857,
3323
+ "grad_norm": 7.571468353271484,
3324
+ "learning_rate": 8.482341112377956e-05,
3325
+ "loss": 2.328978729248047,
3326
+ "step": 11675
3327
+ },
3328
+ {
3329
+ "epoch": 5.633124699085219,
3330
+ "grad_norm": 6.735067367553711,
3331
+ "learning_rate": 8.443819015343295e-05,
3332
+ "loss": 2.302386932373047,
3333
+ "step": 11700
3334
+ },
3335
+ {
3336
+ "epoch": 5.645161290322581,
3337
+ "grad_norm": 8.074029922485352,
3338
+ "learning_rate": 8.40532056997029e-05,
3339
+ "loss": 2.277113952636719,
3340
+ "step": 11725
3341
+ },
3342
+ {
3343
+ "epoch": 5.657197881559942,
3344
+ "grad_norm": 8.525930404663086,
3345
+ "learning_rate": 8.366846361378682e-05,
3346
+ "loss": 2.329440002441406,
3347
+ "step": 11750
3348
+ },
3349
+ {
3350
+ "epoch": 5.669234472797304,
3351
+ "grad_norm": 7.668955326080322,
3352
+ "learning_rate": 8.328396974319835e-05,
3353
+ "loss": 2.279188232421875,
3354
+ "step": 11775
3355
+ },
3356
+ {
3357
+ "epoch": 5.681271064034665,
3358
+ "grad_norm": 7.235455513000488,
3359
+ "learning_rate": 8.289972993167873e-05,
3360
+ "loss": 2.3442225646972656,
3361
+ "step": 11800
3362
+ },
3363
+ {
3364
+ "epoch": 5.693307655272027,
3365
+ "grad_norm": 6.819657325744629,
3366
+ "learning_rate": 8.251575001910785e-05,
3367
+ "loss": 2.2605599975585937,
3368
+ "step": 11825
3369
+ },
3370
+ {
3371
+ "epoch": 5.705344246509388,
3372
+ "grad_norm": 7.259073734283447,
3373
+ "learning_rate": 8.213203584141545e-05,
3374
+ "loss": 2.3369517517089844,
3375
+ "step": 11850
3376
+ },
3377
+ {
3378
+ "epoch": 5.7173808377467505,
3379
+ "grad_norm": 8.00145149230957,
3380
+ "learning_rate": 8.174859323049262e-05,
3381
+ "loss": 2.298871612548828,
3382
+ "step": 11875
3383
+ },
3384
+ {
3385
+ "epoch": 5.729417428984112,
3386
+ "grad_norm": 7.8096723556518555,
3387
+ "learning_rate": 8.136542801410292e-05,
3388
+ "loss": 2.2825933837890626,
3389
+ "step": 11900
3390
+ },
3391
+ {
3392
+ "epoch": 5.741454020221473,
3393
+ "grad_norm": 7.057461261749268,
3394
+ "learning_rate": 8.098254601579398e-05,
3395
+ "loss": 2.265797119140625,
3396
+ "step": 11925
3397
+ },
3398
+ {
3399
+ "epoch": 5.753490611458835,
3400
+ "grad_norm": 7.485247611999512,
3401
+ "learning_rate": 8.059995305480885e-05,
3402
+ "loss": 2.2326194763183596,
3403
+ "step": 11950
3404
+ },
3405
+ {
3406
+ "epoch": 5.765527202696196,
3407
+ "grad_norm": 6.613664627075195,
3408
+ "learning_rate": 8.02176549459978e-05,
3409
+ "loss": 2.288837585449219,
3410
+ "step": 11975
3411
+ },
3412
+ {
3413
+ "epoch": 5.777563793933558,
3414
+ "grad_norm": 7.495915412902832,
3415
+ "learning_rate": 7.983565749972961e-05,
3416
+ "loss": 2.341431884765625,
3417
+ "step": 12000
3418
+ },
3419
+ {
3420
+ "epoch": 5.789600385170919,
3421
+ "grad_norm": 7.257405757904053,
3422
+ "learning_rate": 7.945396652180352e-05,
3423
+ "loss": 2.2813145446777345,
3424
+ "step": 12025
3425
+ },
3426
+ {
3427
+ "epoch": 5.801636976408281,
3428
+ "grad_norm": 7.222981929779053,
3429
+ "learning_rate": 7.907258781336091e-05,
3430
+ "loss": 2.299049987792969,
3431
+ "step": 12050
3432
+ },
3433
+ {
3434
+ "epoch": 5.813673567645643,
3435
+ "grad_norm": 7.421830177307129,
3436
+ "learning_rate": 7.86915271707971e-05,
3437
+ "loss": 2.2596804809570314,
3438
+ "step": 12075
3439
+ },
3440
+ {
3441
+ "epoch": 5.8257101588830045,
3442
+ "grad_norm": 7.540179252624512,
3443
+ "learning_rate": 7.831079038567323e-05,
3444
+ "loss": 2.2943069458007814,
3445
+ "step": 12100
3446
+ },
3447
+ {
3448
+ "epoch": 5.837746750120366,
3449
+ "grad_norm": 7.248844623565674,
3450
+ "learning_rate": 7.793038324462838e-05,
3451
+ "loss": 2.279644775390625,
3452
+ "step": 12125
3453
+ },
3454
+ {
3455
+ "epoch": 5.849783341357727,
3456
+ "grad_norm": 7.413556098937988,
3457
+ "learning_rate": 7.755031152929149e-05,
3458
+ "loss": 2.2773260498046874,
3459
+ "step": 12150
3460
+ },
3461
+ {
3462
+ "epoch": 5.861819932595089,
3463
+ "grad_norm": 7.529948711395264,
3464
+ "learning_rate": 7.717058101619343e-05,
3465
+ "loss": 2.2864813232421874,
3466
+ "step": 12175
3467
+ },
3468
+ {
3469
+ "epoch": 5.87385652383245,
3470
+ "grad_norm": 6.944470405578613,
3471
+ "learning_rate": 7.679119747667942e-05,
3472
+ "loss": 2.292400207519531,
3473
+ "step": 12200
3474
+ },
3475
+ {
3476
+ "epoch": 5.885893115069813,
3477
+ "grad_norm": 6.74458122253418,
3478
+ "learning_rate": 7.641216667682115e-05,
3479
+ "loss": 2.2836102294921874,
3480
+ "step": 12225
3481
+ },
3482
+ {
3483
+ "epoch": 5.897929706307174,
3484
+ "grad_norm": 7.522007942199707,
3485
+ "learning_rate": 7.603349437732916e-05,
3486
+ "loss": 2.2751849365234373,
3487
+ "step": 12250
3488
+ },
3489
+ {
3490
+ "epoch": 5.9099662975445355,
3491
+ "grad_norm": 7.773344039916992,
3492
+ "learning_rate": 7.565518633346537e-05,
3493
+ "loss": 2.3335125732421873,
3494
+ "step": 12275
3495
+ },
3496
+ {
3497
+ "epoch": 5.922002888781897,
3498
+ "grad_norm": 7.2289042472839355,
3499
+ "learning_rate": 7.527724829495551e-05,
3500
+ "loss": 2.2528985595703124,
3501
+ "step": 12300
3502
+ },
3503
+ {
3504
+ "epoch": 5.934039480019258,
3505
+ "grad_norm": 6.855514049530029,
3506
+ "learning_rate": 7.489968600590174e-05,
3507
+ "loss": 2.337420654296875,
3508
+ "step": 12325
3509
+ },
3510
+ {
3511
+ "epoch": 5.94607607125662,
3512
+ "grad_norm": 7.413761615753174,
3513
+ "learning_rate": 7.452250520469548e-05,
3514
+ "loss": 2.3095712280273437,
3515
+ "step": 12350
3516
+ },
3517
+ {
3518
+ "epoch": 5.958112662493981,
3519
+ "grad_norm": 7.350351333618164,
3520
+ "learning_rate": 7.414571162392998e-05,
3521
+ "loss": 2.2485447692871094,
3522
+ "step": 12375
3523
+ },
3524
+ {
3525
+ "epoch": 5.970149253731344,
3526
+ "grad_norm": 7.017465114593506,
3527
+ "learning_rate": 7.37693109903134e-05,
3528
+ "loss": 2.3014979553222656,
3529
+ "step": 12400
3530
+ },
3531
+ {
3532
+ "epoch": 5.982185844968705,
3533
+ "grad_norm": 7.562068939208984,
3534
+ "learning_rate": 7.339330902458163e-05,
3535
+ "loss": 2.297460479736328,
3536
+ "step": 12425
3537
+ },
3538
+ {
3539
+ "epoch": 5.9942224362060665,
3540
+ "grad_norm": 7.372097015380859,
3541
+ "learning_rate": 7.301771144141141e-05,
3542
+ "loss": 2.3374281311035157,
3543
+ "step": 12450
3544
+ },
3545
+ {
3546
+ "epoch": 6.0,
3547
+ "eval_loss": 2.547119379043579,
3548
+ "eval_runtime": 4.2653,
3549
+ "eval_samples_per_second": 351.679,
3550
+ "eval_steps_per_second": 11.019,
3551
+ "step": 12462
3552
+ }
3553
+ ],
3554
+ "logging_steps": 25,
3555
+ "max_steps": 20770,
3556
+ "num_input_tokens_seen": 0,
3557
+ "num_train_epochs": 10,
3558
+ "save_steps": 500,
3559
+ "stateful_callbacks": {
3560
+ "TrainerControl": {
3561
+ "args": {
3562
+ "should_epoch_stop": false,
3563
+ "should_evaluate": false,
3564
+ "should_log": false,
3565
+ "should_save": true,
3566
+ "should_training_stop": false
3567
+ },
3568
+ "attributes": {}
3569
+ }
3570
+ },
3571
+ "total_flos": 0.0,
3572
+ "train_batch_size": 8,
3573
+ "trial_name": null,
3574
+ "trial_params": null
3575
+ }
checkpoint-12462/training_args.bin ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:1bb2c1c94aa0fdd3230268e016f0540025019dc2d2135c0ef925a101aa0459fa
3
+ size 5265