Hugging Face's logo

thoughtworks
/
arithmetic-sorl

Safetensors
sorl
arithmetic
interpretability
mechanistic-interpretability
qwen3
Model card Files
xet
 Community
amirali1985 commited on
Commit
3f3cf84
·
verified ·
1 Parent(s): a2c9d65

Upload add_sub_sorl_v1_abs10_K1_100K_2L1H128d

Browse files
Files changed (5) hide show
  1. add_sub_sorl_v1_abs10_K1_100K_2L1H128d/config.json +37 -0
  2. add_sub_sorl_v1_abs10_K1_100K_2L1H128d/generation_config.json +7 -0
  3. add_sub_sorl_v1_abs10_K1_100K_2L1H128d/metrics.json +3537 -0
  4. add_sub_sorl_v1_abs10_K1_100K_2L1H128d/model.safetensors +3 -0
  5. add_sub_sorl_v1_abs10_K1_100K_2L1H128d/train_config.json +84 -0
add_sub_sorl_v1_abs10_K1_100K_2L1H128d/config.json ADDED
@@ -0,0 +1,37 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "architectures": [
3
+ "SorlModelWrapper"
4
+ ],
5
+ "attention_bias": false,
6
+ "attention_dropout": 0.0,
7
+ "bos_token_id": null,
8
+ "dtype": "float32",
9
+ "eos_token_id": null,
10
+ "head_dim": 128,
11
+ "hidden_act": "silu",
12
+ "hidden_size": 128,
13
+ "initializer_range": 0.02,
14
+ "intermediate_size": 512,
15
+ "layer_types": [
16
+ "full_attention",
17
+ "full_attention"
18
+ ],
19
+ "max_position_embeddings": 128,
20
+ "max_window_layers": 28,
21
+ "model_type": "qwen3",
22
+ "num_attention_heads": 1,
23
+ "num_hidden_layers": 2,
24
+ "num_key_value_heads": 1,
25
+ "pad_token_id": null,
26
+ "rms_norm_eps": 1e-06,
27
+ "rope_parameters": {
28
+ "rope_theta": 10000.0,
29
+ "rope_type": "default"
30
+ },
31
+ "sliding_window": null,
32
+ "tie_word_embeddings": false,
33
+ "transformers_version": "5.5.0",
34
+ "use_cache": true,
35
+ "use_sliding_window": false,
36
+ "vocab_size": 151654
37
+ }
add_sub_sorl_v1_abs10_K1_100K_2L1H128d/generation_config.json ADDED
@@ -0,0 +1,7 @@
 
 
 
 
 
 
 
 
1
+ {
2
+ "_from_model_config": true,
3
+ "output_attentions": false,
4
+ "output_hidden_states": false,
5
+ "transformers_version": "5.5.0",
6
+ "use_cache": true
7
+ }
add_sub_sorl_v1_abs10_K1_100K_2L1H128d/metrics.json ADDED
@@ -0,0 +1,3537 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "history": {
3
+ "step": [
4
+ 50,
5
+ 100,
6
+ 150,
7
+ 200,
8
+ 250,
9
+ 300,
10
+ 350,
11
+ 400,
12
+ 450,
13
+ 500,
14
+ 550,
15
+ 600,
16
+ 650,
17
+ 700,
18
+ 750,
19
+ 800,
20
+ 850,
21
+ 900,
22
+ 950,
23
+ 1000,
24
+ 1050,
25
+ 1100,
26
+ 1150,
27
+ 1200,
28
+ 1250,
29
+ 1300,
30
+ 1350,
31
+ 1400,
32
+ 1450,
33
+ 1500,
34
+ 1550,
35
+ 1613,
36
+ 1663,
37
+ 1713,
38
+ 1763,
39
+ 1813,
40
+ 1863,
41
+ 1913,
42
+ 1963,
43
+ 2013,
44
+ 2063,
45
+ 2113,
46
+ 2163,
47
+ 2213,
48
+ 2263,
49
+ 2313,
50
+ 2363,
51
+ 2413,
52
+ 2463,
53
+ 2513,
54
+ 2563,
55
+ 2613,
56
+ 2663,
57
+ 2713,
58
+ 2763,
59
+ 2813,
60
+ 2863,
61
+ 2913,
62
+ 2963,
63
+ 3013,
64
+ 3063,
65
+ 3113,
66
+ 3176,
67
+ 3226,
68
+ 3276,
69
+ 3326,
70
+ 3376,
71
+ 3426,
72
+ 3476,
73
+ 3526,
74
+ 3576,
75
+ 3626,
76
+ 3676,
77
+ 3726,
78
+ 3776,
79
+ 3826,
80
+ 3876,
81
+ 3926,
82
+ 3976,
83
+ 4026,
84
+ 4076,
85
+ 4126,
86
+ 4176,
87
+ 4226,
88
+ 4276,
89
+ 4326,
90
+ 4376,
91
+ 4426,
92
+ 4476,
93
+ 4526,
94
+ 4576,
95
+ 4626,
96
+ 4676,
97
+ 4739,
98
+ 4789,
99
+ 4839,
100
+ 4889,
101
+ 4939,
102
+ 4989,
103
+ 5039,
104
+ 5089,
105
+ 5139,
106
+ 5189,
107
+ 5239,
108
+ 5289,
109
+ 5339,
110
+ 5389,
111
+ 5439,
112
+ 5489,
113
+ 5539,
114
+ 5589,
115
+ 5639,
116
+ 5689,
117
+ 5739,
118
+ 5789,
119
+ 5839,
120
+ 5889,
121
+ 5939,
122
+ 5989,
123
+ 6039,
124
+ 6089,
125
+ 6139,
126
+ 6189,
127
+ 6239,
128
+ 6302,
129
+ 6352,
130
+ 6402,
131
+ 6452,
132
+ 6502,
133
+ 6552,
134
+ 6602,
135
+ 6652,
136
+ 6702,
137
+ 6752,
138
+ 6802,
139
+ 6852,
140
+ 6902,
141
+ 6952,
142
+ 7002,
143
+ 7052,
144
+ 7102,
145
+ 7152,
146
+ 7202,
147
+ 7252,
148
+ 7302,
149
+ 7352,
150
+ 7402,
151
+ 7452,
152
+ 7502,
153
+ 7552,
154
+ 7602,
155
+ 7652,
156
+ 7702,
157
+ 7752,
158
+ 7802,
159
+ 7865,
160
+ 7915,
161
+ 7965,
162
+ 8015,
163
+ 8065,
164
+ 8115,
165
+ 8165,
166
+ 8215,
167
+ 8265,
168
+ 8315,
169
+ 8365,
170
+ 8415,
171
+ 8465,
172
+ 8515,
173
+ 8565,
174
+ 8615,
175
+ 8665,
176
+ 8715,
177
+ 8765,
178
+ 8815,
179
+ 8865,
180
+ 8915,
181
+ 8965,
182
+ 9015,
183
+ 9065,
184
+ 9115,
185
+ 9165,
186
+ 9215,
187
+ 9265,
188
+ 9315,
189
+ 9365,
190
+ 9428,
191
+ 9478,
192
+ 9528,
193
+ 9578,
194
+ 9628,
195
+ 9678,
196
+ 9728,
197
+ 9778,
198
+ 9828,
199
+ 9878,
200
+ 9928,
201
+ 9978,
202
+ 10028,
203
+ 10078,
204
+ 10128,
205
+ 10178,
206
+ 10228,
207
+ 10278,
208
+ 10328,
209
+ 10378,
210
+ 10428,
211
+ 10478,
212
+ 10528,
213
+ 10578,
214
+ 10628,
215
+ 10678,
216
+ 10728,
217
+ 10778,
218
+ 10828,
219
+ 10878,
220
+ 10928,
221
+ 10991,
222
+ 11041,
223
+ 11091,
224
+ 11141,
225
+ 11191,
226
+ 11241,
227
+ 11291,
228
+ 11341,
229
+ 11391,
230
+ 11441,
231
+ 11491,
232
+ 11541,
233
+ 11591,
234
+ 11641,
235
+ 11691,
236
+ 11741,
237
+ 11791,
238
+ 11841,
239
+ 11891,
240
+ 11941,
241
+ 11991,
242
+ 12041,
243
+ 12091,
244
+ 12141,
245
+ 12191,
246
+ 12241,
247
+ 12291,
248
+ 12341,
249
+ 12391,
250
+ 12441,
251
+ 12491,
252
+ 12554,
253
+ 12604,
254
+ 12654,
255
+ 12704,
256
+ 12754,
257
+ 12804,
258
+ 12854,
259
+ 12904,
260
+ 12954,
261
+ 13004,
262
+ 13054,
263
+ 13104,
264
+ 13154,
265
+ 13204,
266
+ 13254,
267
+ 13304,
268
+ 13354,
269
+ 13404,
270
+ 13454,
271
+ 13504,
272
+ 13554,
273
+ 13604,
274
+ 13654,
275
+ 13704,
276
+ 13754,
277
+ 13804,
278
+ 13854,
279
+ 13904,
280
+ 13954,
281
+ 14004,
282
+ 14054,
283
+ 14117,
284
+ 14167,
285
+ 14217,
286
+ 14267,
287
+ 14317,
288
+ 14367,
289
+ 14417,
290
+ 14467,
291
+ 14517,
292
+ 14567,
293
+ 14617,
294
+ 14667,
295
+ 14717,
296
+ 14767,
297
+ 14817,
298
+ 14867,
299
+ 14917,
300
+ 14967,
301
+ 15017,
302
+ 15067,
303
+ 15117,
304
+ 15167,
305
+ 15217,
306
+ 15267,
307
+ 15317,
308
+ 15367,
309
+ 15417,
310
+ 15467,
311
+ 15517,
312
+ 15567,
313
+ 15617
314
+ ],
315
+ "loss": [
316
+ 17.058679580688477,
317
+ 12.071294784545898,
318
+ 12.075809478759766,
319
+ 11.253564834594727,
320
+ 11.089519500732422,
321
+ 10.940181732177734,
322
+ 12.266656875610352,
323
+ 13.991432189941406,
324
+ 13.470409393310547,
325
+ 12.159656524658203,
326
+ 11.164305686950684,
327
+ 10.025985717773438,
328
+ 9.253530502319336,
329
+ 8.520360946655273,
330
+ 7.928439617156982,
331
+ 7.388673305511475,
332
+ 6.954824447631836,
333
+ 6.510239601135254,
334
+ 6.102847099304199,
335
+ 5.769922256469727,
336
+ 5.414681434631348,
337
+ 5.094540596008301,
338
+ 4.942929267883301,
339
+ 4.669748306274414,
340
+ 4.509861469268799,
341
+ 4.366674423217773,
342
+ 4.324215412139893,
343
+ 4.107407569885254,
344
+ 4.083709716796875,
345
+ 4.103391170501709,
346
+ 3.9770045280456543,
347
+ 4.0465288162231445,
348
+ 3.910430431365967,
349
+ 3.821906089782715,
350
+ 3.7727980613708496,
351
+ 3.6820712089538574,
352
+ 3.643986940383911,
353
+ 3.5627994537353516,
354
+ 3.3588201999664307,
355
+ 3.2525694370269775,
356
+ 3.1562700271606445,
357
+ 3.0145630836486816,
358
+ 2.827360153198242,
359
+ 2.9272427558898926,
360
+ 2.6685421466827393,
361
+ 2.706240177154541,
362
+ 2.2141590118408203,
363
+ 2.080279588699341,
364
+ 2.021372079849243,
365
+ 1.5348303318023682,
366
+ 1.3845281600952148,
367
+ 1.3317179679870605,
368
+ 1.1982601881027222,
369
+ 0.8741508722305298,
370
+ 0.8348809480667114,
371
+ 0.3984057903289795,
372
+ 0.20673656463623047,
373
+ 0.27791106700897217,
374
+ 0.04971718788146973,
375
+ -0.06928825378417969,
376
+ -0.35716164112091064,
377
+ -0.5071943998336792,
378
+ -0.604527473449707,
379
+ -0.9463205337524414,
380
+ -1.0644609928131104,
381
+ -1.6019870042800903,
382
+ -1.5990351438522339,
383
+ -1.7667346000671387,
384
+ -1.6968029737472534,
385
+ -2.2229859828948975,
386
+ -2.050459384918213,
387
+ -2.2578847408294678,
388
+ -2.4909887313842773,
389
+ -2.663642644882202,
390
+ -2.7289047241210938,
391
+ -2.7970166206359863,
392
+ -3.2159619331359863,
393
+ -3.2037758827209473,
394
+ -3.2441158294677734,
395
+ -3.73105525970459,
396
+ -3.5268428325653076,
397
+ -3.673250913619995,
398
+ -3.9010133743286133,
399
+ -4.044625282287598,
400
+ -4.250681400299072,
401
+ -4.287570953369141,
402
+ -4.509010314941406,
403
+ -4.709904670715332,
404
+ -4.1907453536987305,
405
+ -4.795726299285889,
406
+ -5.155961036682129,
407
+ -5.217984676361084,
408
+ -5.4597907066345215,
409
+ -5.846768379211426,
410
+ -5.338827133178711,
411
+ -5.926792144775391,
412
+ -5.54110050201416,
413
+ -6.284809112548828,
414
+ -6.1352763175964355,
415
+ -6.457379341125488,
416
+ -6.335579872131348,
417
+ -6.512700080871582,
418
+ -6.467146873474121,
419
+ -6.944681167602539,
420
+ -7.37921142578125,
421
+ -7.1620612144470215,
422
+ -7.155861854553223,
423
+ -7.256058216094971,
424
+ -7.728118896484375,
425
+ -7.695461750030518,
426
+ -7.914387226104736,
427
+ -7.554648399353027,
428
+ -7.779732704162598,
429
+ -7.9208455085754395,
430
+ -7.9366044998168945,
431
+ -7.782120227813721,
432
+ -8.91067123413086,
433
+ -8.124263763427734,
434
+ -8.910039901733398,
435
+ -8.93726634979248,
436
+ -8.636125564575195,
437
+ -8.879812240600586,
438
+ -9.21804428100586,
439
+ -8.93394660949707,
440
+ -8.772409439086914,
441
+ -9.114423751831055,
442
+ -9.52176570892334,
443
+ -9.679537773132324,
444
+ -9.38150691986084,
445
+ -9.239180564880371,
446
+ -9.42644214630127,
447
+ -10.02372932434082,
448
+ -9.637173652648926,
449
+ -10.19497299194336,
450
+ -10.027009963989258,
451
+ -10.37713623046875,
452
+ -11.075992584228516,
453
+ -10.521074295043945,
454
+ -10.119483947753906,
455
+ -10.352949142456055,
456
+ -10.176406860351562,
457
+ -11.221048355102539,
458
+ -10.163715362548828,
459
+ -10.174932479858398,
460
+ -10.562588691711426,
461
+ -11.307696342468262,
462
+ -10.952698707580566,
463
+ -10.998300552368164,
464
+ -11.305855751037598,
465
+ -11.078039169311523,
466
+ -10.59353256225586,
467
+ -10.946012496948242,
468
+ -10.811249732971191,
469
+ -10.62971019744873,
470
+ -10.429285049438477,
471
+ -11.270776748657227,
472
+ -11.108061790466309,
473
+ -11.425422668457031,
474
+ -11.906654357910156,
475
+ -11.834147453308105,
476
+ -11.421073913574219,
477
+ -11.53869342803955,
478
+ -11.424299240112305,
479
+ -11.553974151611328,
480
+ -11.855186462402344,
481
+ -11.911027908325195,
482
+ -11.807997703552246,
483
+ -12.490833282470703,
484
+ -12.310643196105957,
485
+ -11.897083282470703,
486
+ -11.95351505279541,
487
+ -12.306541442871094,
488
+ -12.44533634185791,
489
+ -12.58035945892334,
490
+ -12.522439956665039,
491
+ -12.348492622375488,
492
+ -12.517007827758789,
493
+ -12.727097511291504,
494
+ -12.547197341918945,
495
+ -12.472339630126953,
496
+ -13.114413261413574,
497
+ -12.913713455200195,
498
+ -13.045747756958008,
499
+ -13.283641815185547,
500
+ -13.274696350097656,
501
+ -13.449202537536621,
502
+ -12.705506324768066,
503
+ -13.4158353805542,
504
+ -12.665903091430664,
505
+ -13.495611190795898,
506
+ -13.058124542236328,
507
+ -13.600540161132812,
508
+ -13.82583999633789,
509
+ -14.1760835647583,
510
+ -13.933846473693848,
511
+ -13.544583320617676,
512
+ -14.254415512084961,
513
+ -13.886369705200195,
514
+ -14.3123779296875,
515
+ -15.15442943572998,
516
+ -13.968494415283203,
517
+ -13.106738090515137,
518
+ -14.348647117614746,
519
+ -14.07884693145752,
520
+ -14.128357887268066,
521
+ -14.38370418548584,
522
+ -14.07156753540039,
523
+ -14.012033462524414,
524
+ -13.819063186645508,
525
+ -13.77818775177002,
526
+ -14.303144454956055,
527
+ -14.817033767700195,
528
+ -14.463690757751465,
529
+ -14.339393615722656,
530
+ -14.704872131347656,
531
+ -14.065943717956543,
532
+ -14.560592651367188,
533
+ -15.052495956420898,
534
+ -14.9498872756958,
535
+ -14.633975982666016,
536
+ -14.176228523254395,
537
+ -14.946612358093262,
538
+ -14.689916610717773,
539
+ -13.865412712097168,
540
+ -14.444391250610352,
541
+ -13.635597229003906,
542
+ -14.880843162536621,
543
+ -14.38078498840332,
544
+ -14.61551284790039,
545
+ -14.777350425720215,
546
+ -14.543102264404297,
547
+ -14.869044303894043,
548
+ -14.436915397644043,
549
+ -14.495689392089844,
550
+ -14.512720108032227,
551
+ -15.159751892089844,
552
+ -14.868324279785156,
553
+ -14.316522598266602,
554
+ -13.757987022399902,
555
+ -15.092426300048828,
556
+ -14.50970458984375,
557
+ -14.850339889526367,
558
+ -14.380881309509277,
559
+ -15.073590278625488,
560
+ -14.21918773651123,
561
+ -14.355367660522461,
562
+ -14.541015625,
563
+ -14.94819164276123,
564
+ -14.794121742248535,
565
+ -14.893954277038574,
566
+ -15.033775329589844,
567
+ -15.040970802307129,
568
+ -13.66554069519043,
569
+ -15.070680618286133,
570
+ -14.796491622924805,
571
+ -14.20163631439209,
572
+ -14.78106689453125,
573
+ -14.246969223022461,
574
+ -14.547835350036621,
575
+ -14.554485321044922,
576
+ -14.69047737121582,
577
+ -15.24648666381836,
578
+ -15.195624351501465,
579
+ -14.78447437286377,
580
+ -15.09692096710205,
581
+ -14.842815399169922,
582
+ -15.116517066955566,
583
+ -14.314155578613281,
584
+ -14.64827823638916,
585
+ -14.323659896850586,
586
+ -14.941908836364746,
587
+ -14.900824546813965,
588
+ -14.715432167053223,
589
+ -15.195356369018555,
590
+ -14.543051719665527,
591
+ -14.932683944702148,
592
+ -14.703986167907715,
593
+ -14.91855525970459,
594
+ -15.370640754699707,
595
+ -14.344747543334961,
596
+ -14.384592056274414,
597
+ -14.370786666870117,
598
+ -14.778783798217773,
599
+ -15.044204711914062,
600
+ -15.072113990783691,
601
+ -14.399548530578613,
602
+ -14.629952430725098,
603
+ -15.644158363342285,
604
+ -14.712305068969727,
605
+ -14.865691184997559,
606
+ -14.848604202270508,
607
+ -14.985692024230957,
608
+ -15.339838027954102,
609
+ -15.118191719055176,
610
+ -14.90454387664795,
611
+ -13.698931694030762,
612
+ -15.085529327392578,
613
+ -14.809250831604004,
614
+ -15.182311058044434,
615
+ -14.881649017333984,
616
+ -15.461803436279297,
617
+ -15.416975021362305,
618
+ -15.248565673828125,
619
+ -14.732452392578125,
620
+ -14.659343719482422,
621
+ -14.986372947692871,
622
+ -13.943513870239258,
623
+ -14.92879581451416,
624
+ -15.08570671081543,
625
+ -14.93384075164795
626
+ ],
627
+ "base_loss": [
628
+ 11.97581958770752,
629
+ 11.905919075012207,
630
+ 11.856316566467285,
631
+ 11.803647994995117,
632
+ 11.683354377746582,
633
+ 11.430238723754883,
634
+ 10.973109245300293,
635
+ 10.401822090148926,
636
+ 9.762314796447754,
637
+ 9.06917667388916,
638
+ 8.469539642333984,
639
+ 7.721865177154541,
640
+ 7.126051902770996,
641
+ 6.492182731628418,
642
+ 5.9556427001953125,
643
+ 5.474269390106201,
644
+ 5.050034046173096,
645
+ 4.69666051864624,
646
+ 4.237353801727295,
647
+ 3.946223020553589,
648
+ 3.5668532848358154,
649
+ 3.2946741580963135,
650
+ 3.132756471633911,
651
+ 2.877244472503662,
652
+ 2.789710521697998,
653
+ 2.6111509799957275,
654
+ 2.59852933883667,
655
+ 2.4336607456207275,
656
+ 2.3749501705169678,
657
+ 2.4099490642547607,
658
+ 2.307492733001709,
659
+ 2.378389596939087,
660
+ 2.3193907737731934,
661
+ 2.256823778152466,
662
+ 2.2493033409118652,
663
+ 2.1607625484466553,
664
+ 2.232160806655884,
665
+ 2.210972309112549,
666
+ 2.2195281982421875,
667
+ 2.1501283645629883,
668
+ 2.106466293334961,
669
+ 2.1990718841552734,
670
+ 2.121859073638916,
671
+ 2.11881685256958,
672
+ 2.050048828125,
673
+ 2.1745543479919434,
674
+ 2.1117610931396484,
675
+ 2.1416916847229004,
676
+ 2.074476957321167,
677
+ 2.1191108226776123,
678
+ 2.1552398204803467,
679
+ 2.098280191421509,
680
+ 2.0711982250213623,
681
+ 2.069748640060425,
682
+ 2.0417377948760986,
683
+ 2.0193734169006348,
684
+ 1.9738519191741943,
685
+ 2.004648447036743,
686
+ 2.041905641555786,
687
+ 2.094106912612915,
688
+ 2.029179096221924,
689
+ 2.0607993602752686,
690
+ 1.9671266078948975,
691
+ 2.0648550987243652,
692
+ 2.03229022026062,
693
+ 2.034166097640991,
694
+ 2.0015652179718018,
695
+ 1.969677209854126,
696
+ 1.9908339977264404,
697
+ 1.961512565612793,
698
+ 1.97637939453125,
699
+ 1.9645373821258545,
700
+ 1.9948030710220337,
701
+ 1.9972399473190308,
702
+ 1.975239634513855,
703
+ 1.9624359607696533,
704
+ 1.9769198894500732,
705
+ 1.9701197147369385,
706
+ 1.9513427019119263,
707
+ 1.9957109689712524,
708
+ 2.02386474609375,
709
+ 1.9144378900527954,
710
+ 1.9434694051742554,
711
+ 1.928746223449707,
712
+ 1.9623788595199585,
713
+ 1.9549086093902588,
714
+ 1.9200810194015503,
715
+ 1.9720319509506226,
716
+ 1.8710367679595947,
717
+ 1.8939361572265625,
718
+ 1.965189814567566,
719
+ 1.9280474185943604,
720
+ 1.9357928037643433,
721
+ 1.9348770380020142,
722
+ 1.8829528093338013,
723
+ 1.9468907117843628,
724
+ 1.8578323125839233,
725
+ 1.9199492931365967,
726
+ 1.8980647325515747,
727
+ 1.9082478284835815,
728
+ 1.877751350402832,
729
+ 1.918462872505188,
730
+ 1.8922593593597412,
731
+ 1.8730746507644653,
732
+ 1.9706628322601318,
733
+ 1.9149200916290283,
734
+ 1.9123393297195435,
735
+ 1.9305058717727661,
736
+ 1.9212254285812378,
737
+ 1.9125176668167114,
738
+ 1.8994981050491333,
739
+ 1.8678184747695923,
740
+ 1.9083601236343384,
741
+ 1.865444302558899,
742
+ 1.8769367933273315,
743
+ 1.831385612487793,
744
+ 1.9528310298919678,
745
+ 1.7970741987228394,
746
+ 1.9215021133422852,
747
+ 1.924176573753357,
748
+ 1.8569155931472778,
749
+ 1.8625681400299072,
750
+ 1.8507641553878784,
751
+ 1.8132127523422241,
752
+ 1.8047358989715576,
753
+ 1.8524806499481201,
754
+ 1.9000047445297241,
755
+ 1.8736531734466553,
756
+ 1.851633071899414,
757
+ 1.7899644374847412,
758
+ 1.8516868352890015,
759
+ 1.9208060503005981,
760
+ 1.826438069343567,
761
+ 1.8691084384918213,
762
+ 1.829530119895935,
763
+ 1.8599605560302734,
764
+ 1.929831624031067,
765
+ 1.839551329612732,
766
+ 1.8207708597183228,
767
+ 1.835858702659607,
768
+ 1.796998143196106,
769
+ 1.9141267538070679,
770
+ 1.74322509765625,
771
+ 1.7585960626602173,
772
+ 1.818877935409546,
773
+ 1.886348009109497,
774
+ 1.8434619903564453,
775
+ 1.845589518547058,
776
+ 1.8447835445404053,
777
+ 1.8461545705795288,
778
+ 1.7587424516677856,
779
+ 1.809011697769165,
780
+ 1.8070470094680786,
781
+ 1.7725656032562256,
782
+ 1.7408034801483154,
783
+ 1.8025940656661987,
784
+ 1.8015649318695068,
785
+ 1.8385709524154663,
786
+ 1.8431962728500366,
787
+ 1.8289631605148315,
788
+ 1.8115733861923218,
789
+ 1.8153003454208374,
790
+ 1.7963066101074219,
791
+ 1.8321744203567505,
792
+ 1.8367938995361328,
793
+ 1.8365236520767212,
794
+ 1.7981778383255005,
795
+ 1.850977897644043,
796
+ 1.85101318359375,
797
+ 1.8151100873947144,
798
+ 1.8139420747756958,
799
+ 1.8318036794662476,
800
+ 1.8421821594238281,
801
+ 1.863321304321289,
802
+ 1.8574210405349731,
803
+ 1.8055585622787476,
804
+ 1.8183119297027588,
805
+ 1.8638273477554321,
806
+ 1.8235864639282227,
807
+ 1.8221427202224731,
808
+ 1.8668882846832275,
809
+ 1.8524396419525146,
810
+ 1.8740791082382202,
811
+ 1.8451207876205444,
812
+ 1.8496829271316528,
813
+ 1.8741220235824585,
814
+ 1.8040688037872314,
815
+ 1.8750196695327759,
816
+ 1.798129916191101,
817
+ 1.8137329816818237,
818
+ 1.754019856452942,
819
+ 1.8408955335617065,
820
+ 1.8235032558441162,
821
+ 1.8432775735855103,
822
+ 1.8397051095962524,
823
+ 1.7955766916275024,
824
+ 1.8629276752471924,
825
+ 1.8080666065216064,
826
+ 1.834132432937622,
827
+ 1.913939356803894,
828
+ 1.8291800022125244,
829
+ 1.723251223564148,
830
+ 1.8392133712768555,
831
+ 1.81052565574646,
832
+ 1.8053992986679077,
833
+ 1.8262540102005005,
834
+ 1.7913705110549927,
835
+ 1.8171836137771606,
836
+ 1.7890034914016724,
837
+ 1.7711535692214966,
838
+ 1.814965844154358,
839
+ 1.90057373046875,
840
+ 1.8188408613204956,
841
+ 1.8336418867111206,
842
+ 1.8536070585250854,
843
+ 1.7907453775405884,
844
+ 1.8246866464614868,
845
+ 1.8842809200286865,
846
+ 1.8884356021881104,
847
+ 1.86888587474823,
848
+ 1.763142704963684,
849
+ 1.8630893230438232,
850
+ 1.8403632640838623,
851
+ 1.7514209747314453,
852
+ 1.8075389862060547,
853
+ 1.7217520475387573,
854
+ 1.8392680883407593,
855
+ 1.79038405418396,
856
+ 1.8200702667236328,
857
+ 1.8442285060882568,
858
+ 1.8235127925872803,
859
+ 1.8467375040054321,
860
+ 1.7958012819290161,
861
+ 1.8232800960540771,
862
+ 1.8174993991851807,
863
+ 1.8645979166030884,
864
+ 1.8331048488616943,
865
+ 1.768808364868164,
866
+ 1.756399154663086,
867
+ 1.8840776681900024,
868
+ 1.7993316650390625,
869
+ 1.8357040882110596,
870
+ 1.775375247001648,
871
+ 1.8506090641021729,
872
+ 1.7914584875106812,
873
+ 1.7711988687515259,
874
+ 1.8120496273040771,
875
+ 1.809195876121521,
876
+ 1.8359266519546509,
877
+ 1.8239470720291138,
878
+ 1.865204930305481,
879
+ 1.8264871835708618,
880
+ 1.7227336168289185,
881
+ 1.857824683189392,
882
+ 1.7876943349838257,
883
+ 1.7857199907302856,
884
+ 1.817625641822815,
885
+ 1.7760107517242432,
886
+ 1.786660075187683,
887
+ 1.8002840280532837,
888
+ 1.8020439147949219,
889
+ 1.8705308437347412,
890
+ 1.835376501083374,
891
+ 1.809902548789978,
892
+ 1.8419641256332397,
893
+ 1.819088339805603,
894
+ 1.8311010599136353,
895
+ 1.7518032789230347,
896
+ 1.7682523727416992,
897
+ 1.7615206241607666,
898
+ 1.8202406167984009,
899
+ 1.7954785823822021,
900
+ 1.8104820251464844,
901
+ 1.836683988571167,
902
+ 1.7659143209457397,
903
+ 1.8375284671783447,
904
+ 1.7930984497070312,
905
+ 1.8177721500396729,
906
+ 1.8563690185546875,
907
+ 1.7223241329193115,
908
+ 1.7598693370819092,
909
+ 1.7399520874023438,
910
+ 1.7832624912261963,
911
+ 1.8069127798080444,
912
+ 1.8135422468185425,
913
+ 1.7696037292480469,
914
+ 1.7895756959915161,
915
+ 1.8951972723007202,
916
+ 1.7877286672592163,
917
+ 1.7978174686431885,
918
+ 1.7961523532867432,
919
+ 1.8308228254318237,
920
+ 1.8464124202728271,
921
+ 1.8243399858474731,
922
+ 1.8128236532211304,
923
+ 1.7097042798995972,
924
+ 1.832968831062317,
925
+ 1.774518370628357,
926
+ 1.8333759307861328,
927
+ 1.8074891567230225,
928
+ 1.8543541431427002,
929
+ 1.8627923727035522,
930
+ 1.8344980478286743,
931
+ 1.7641881704330444,
932
+ 1.771275281906128,
933
+ 1.806702971458435,
934
+ 1.6821259260177612,
935
+ 1.79462730884552,
936
+ 1.824669599533081,
937
+ 1.8043057918548584
938
+ ],
939
+ "info_loss": [
940
+ -0.4429798126220703,
941
+ -0.925724983215332,
942
+ -0.9064960479736328,
943
+ -0.9643974304199219,
944
+ -0.9325065612792969,
945
+ -0.8594551086425781,
946
+ -0.5867624282836914,
947
+ -0.23642349243164062,
948
+ -0.09283447265625,
949
+ -0.04981422424316406,
950
+ -0.025468826293945312,
951
+ -0.02157449722290039,
952
+ -0.01519012451171875,
953
+ -0.01186227798461914,
954
+ -0.009993553161621094,
955
+ -0.011256694793701172,
956
+ -0.009229660034179688,
957
+ -0.016143798828125,
958
+ -0.00892496109008789,
959
+ -0.012013912200927734,
960
+ -0.00827789306640625,
961
+ -0.012102603912353516,
962
+ -0.010592460632324219,
963
+ -0.01172780990600586,
964
+ -0.018558025360107422,
965
+ -0.014684438705444336,
966
+ -0.017517805099487305,
967
+ -0.022264719009399414,
968
+ -0.01866292953491211,
969
+ -0.019960641860961914,
970
+ -0.02227616310119629,
971
+ -0.022397518157958984,
972
+ -0.029932737350463867,
973
+ -0.032581329345703125,
974
+ -0.03666114807128906,
975
+ -0.03683209419250488,
976
+ -0.04747271537780762,
977
+ -0.053417205810546875,
978
+ -0.07464981079101562,
979
+ -0.07843613624572754,
980
+ -0.08355212211608887,
981
+ -0.10699033737182617,
982
+ -0.11798286437988281,
983
+ -0.10773301124572754,
984
+ -0.12663209438323975,
985
+ -0.13516998291015625,
986
+ -0.17830467224121094,
987
+ -0.19451630115509033,
988
+ -0.19385206699371338,
989
+ -0.24684381484985352,
990
+ -0.2654237747192383,
991
+ -0.2650742530822754,
992
+ -0.2756338119506836,
993
+ -0.3079715967178345,
994
+ -0.30915868282318115,
995
+ -0.3506397008895874,
996
+ -0.3651341199874878,
997
+ -0.361122727394104,
998
+ -0.3877995014190674,
999
+ -0.40496909618377686,
1000
+ -0.4268909692764282,
1001
+ -0.44554972648620605,
1002
+ -0.44558215141296387,
1003
+ -0.48971569538116455,
1004
+ -0.49822378158569336,
1005
+ -0.5520108938217163,
1006
+ -0.5486308336257935,
1007
+ -0.561981201171875,
1008
+ -0.5573716163635254,
1009
+ -0.6069915294647217,
1010
+ -0.5910892486572266,
1011
+ -0.6107043027877808,
1012
+ -0.6372184753417969,
1013
+ -0.6544332504272461,
1014
+ -0.6589148044586182,
1015
+ -0.6643508672714233,
1016
+ -0.7075719833374023,
1017
+ -0.7056999206542969,
1018
+ -0.7080061435699463,
1019
+ -0.7609148025512695,
1020
+ -0.7434616088867188,
1021
+ -0.7472522258758545,
1022
+ -0.7726354598999023,
1023
+ -0.7854812145233154,
1024
+ -0.8096990585327148,
1025
+ -0.8125025033950806,
1026
+ -0.831092357635498,
1027
+ -0.8563343286514282,
1028
+ -0.7942420244216919,
1029
+ -0.8571605682373047,
1030
+ -0.9001623392105103,
1031
+ -0.9025158882141113,
1032
+ -0.9276812076568604,
1033
+ -0.9661676287651062,
1034
+ -0.9101447463035583,
1035
+ -0.9754331707954407,
1036
+ -0.927806556224823,
1037
+ -1.0083897113800049,
1038
+ -0.9913882613182068,
1039
+ -1.0244412422180176,
1040
+ -1.009228229522705,
1041
+ -1.0310440063476562,
1042
+ -1.0236215591430664,
1043
+ -1.0694704055786133,
1044
+ -1.1226258277893066,
1045
+ -1.0953067541122437,
1046
+ -1.0941710472106934,
1047
+ -1.1062018871307373,
1048
+ -1.1524460315704346,
1049
+ -1.1479971408843994,
1050
+ -1.1689343452453613,
1051
+ -1.129467248916626,
1052
+ -1.1562525033950806,
1053
+ -1.1656074523925781,
1054
+ -1.1681034564971924,
1055
+ -1.148446798324585,
1056
+ -1.273049235343933,
1057
+ -1.1785154342651367,
1058
+ -1.2695176601409912,
1059
+ -1.27180814743042,
1060
+ -1.2349011898040771,
1061
+ -1.2595701217651367,
1062
+ -1.2920808792114258,
1063
+ -1.2593683004379272,
1064
+ -1.2420064210891724,
1065
+ -1.2797435522079468,
1066
+ -1.324939489364624,
1067
+ -1.3368648290634155,
1068
+ -1.3045830726623535,
1069
+ -1.2830278873443604,
1070
+ -1.3076720237731934,
1071
+ -1.373103141784668,
1072
+ -1.3247764110565186,
1073
+ -1.3843960762023926,
1074
+ -1.362923264503479,
1075
+ -1.399010419845581,
1076
+ -1.4755921363830566,
1077
+ -1.4102996587753296,
1078
+ -1.3684272766113281,
1079
+ -1.3915423154830933,
1080
+ -1.3694959878921509,
1081
+ -1.4847661256790161,
1082
+ -1.3614094257354736,
1083
+ -1.3625366687774658,
1084
+ -1.4058926105499268,
1085
+ -1.487978458404541,
1086
+ -1.4466862678527832,
1087
+ -1.4511346817016602,
1088
+ -1.4801867008209229,
1089
+ -1.4586901664733887,
1090
+ -1.4010403156280518,
1091
+ -1.4388937950134277,
1092
+ -1.4252755641937256,
1093
+ -1.403607964515686,
1094
+ -1.3800384998321533,
1095
+ -1.468253493309021,
1096
+ -1.451707124710083,
1097
+ -1.4855163097381592,
1098
+ -1.5341110229492188,
1099
+ -1.523695468902588,
1100
+ -1.480466365814209,
1101
+ -1.4927358627319336,
1102
+ -1.477243423461914,
1103
+ -1.4918805360794067,
1104
+ -1.5207462310791016,
1105
+ -1.52505362033844,
1106
+ -1.5084590911865234,
1107
+ -1.5824997425079346,
1108
+ -1.5617815256118774,
1109
+ -1.5139210224151611,
1110
+ -1.519599437713623,
1111
+ -1.5504082441329956,
1112
+ -1.5667778253555298,
1113
+ -1.5825839042663574,
1114
+ -1.570741057395935,
1115
+ -1.5464295148849487,
1116
+ -1.5580387115478516,
1117
+ -1.582585096359253,
1118
+ -1.5551860332489014,
1119
+ -1.5460532903671265,
1120
+ -1.6225043535232544,
1121
+ -1.5952054262161255,
1122
+ -1.611521601676941,
1123
+ -1.6259791851043701,
1124
+ -1.623521327972412,
1125
+ -1.640841007232666,
1126
+ -1.5547593832015991,
1127
+ -1.624985933303833,
1128
+ -1.5381035804748535,
1129
+ -1.6003485918045044,
1130
+ -1.5406513214111328,
1131
+ -1.5946320295333862,
1132
+ -1.6037163734436035,
1133
+ -1.6333632469177246,
1134
+ -1.6042176485061646,
1135
+ -1.5597771406173706,
1136
+ -1.6335865259170532,
1137
+ -1.5865051746368408,
1138
+ -1.6336908340454102,
1139
+ -1.7223904132843018,
1140
+ -1.5977472066879272,
1141
+ -1.4961810111999512,
1142
+ -1.632677674293518,
1143
+ -1.6021032333374023,
1144
+ -1.6054232120513916,
1145
+ -1.6328864097595215,
1146
+ -1.5980485677719116,
1147
+ -1.5935709476470947,
1148
+ -1.5735996961593628,
1149
+ -1.5675565004348755,
1150
+ -1.6234757900238037,
1151
+ -1.6824424266815186,
1152
+ -1.637977123260498,
1153
+ -1.6278289556503296,
1154
+ -1.666030764579773,
1155
+ -1.5971355438232422,
1156
+ -1.6500568389892578,
1157
+ -1.7027713060379028,
1158
+ -1.6930065155029297,
1159
+ -1.6627039909362793,
1160
+ -1.6027346849441528,
1161
+ -1.6907548904418945,
1162
+ -1.663461446762085,
1163
+ -1.5707286596298218,
1164
+ -1.6340826749801636,
1165
+ -1.544435977935791,
1166
+ -1.6812596321105957,
1167
+ -1.6255617141723633,
1168
+ -1.653585433959961,
1169
+ -1.670334815979004,
1170
+ -1.644826054573059,
1171
+ -1.679727554321289,
1172
+ -1.6318567991256714,
1173
+ -1.640092372894287,
1174
+ -1.6410956382751465,
1175
+ -1.71164071559906,
1176
+ -1.6783699989318848,
1177
+ -1.6165579557418823,
1178
+ -1.5596308708190918,
1179
+ -1.7056488990783691,
1180
+ -1.6388802528381348,
1181
+ -1.67656672000885,
1182
+ -1.6232863664627075,
1183
+ -1.700361967086792,
1184
+ -1.6093416213989258,
1185
+ -1.6221750974655151,
1186
+ -1.643754005432129,
1187
+ -1.683701515197754,
1188
+ -1.6710007190704346,
1189
+ -1.6793253421783447,
1190
+ -1.6974258422851562,
1191
+ -1.694360613822937,
1192
+ -1.546610713005066,
1193
+ -1.7004656791687012,
1194
+ -1.665978193283081,
1195
+ -1.6065903902053833,
1196
+ -1.6668998003005981,
1197
+ -1.6099098920822144,
1198
+ -1.640737771987915,
1199
+ -1.643592119216919,
1200
+ -1.6568360328674316,
1201
+ -1.718977689743042,
1202
+ -1.7107713222503662,
1203
+ -1.6671520471572876,
1204
+ -1.7014224529266357,
1205
+ -1.673378348350525,
1206
+ -1.7017608880996704,
1207
+ -1.6154385805130005,
1208
+ -1.6485825777053833,
1209
+ -1.6158063411712646,
1210
+ -1.6832412481307983,
1211
+ -1.6779087781906128,
1212
+ -1.6593689918518066,
1213
+ -1.7101919651031494,
1214
+ -1.637917399406433,
1215
+ -1.6840521097183228,
1216
+ -1.6566969156265259,
1217
+ -1.6811336278915405,
1218
+ -1.7296388149261475,
1219
+ -1.6141208410263062,
1220
+ -1.6213123798370361,
1221
+ -1.61818528175354,
1222
+ -1.6631547212600708,
1223
+ -1.692192554473877,
1224
+ -1.695425271987915,
1225
+ -1.6241600513458252,
1226
+ -1.6486636400222778,
1227
+ -1.7609822750091553,
1228
+ -1.6569427251815796,
1229
+ -1.6732288599014282,
1230
+ -1.6714438199996948,
1231
+ -1.6882189512252808,
1232
+ -1.7259800434112549,
1233
+ -1.7008271217346191,
1234
+ -1.6783097982406616,
1235
+ -1.5476491451263428,
1236
+ -1.6985646486282349,
1237
+ -1.6655540466308594,
1238
+ -1.7081644535064697,
1239
+ -1.6755136251449585,
1240
+ -1.737999677658081,
1241
+ -1.7347484827041626,
1242
+ -1.7148970365524292,
1243
+ -1.6564112901687622,
1244
+ -1.6496626138687134,
1245
+ -1.6862026453018188,
1246
+ -1.5690271854400635,
1247
+ -1.6789637804031372,
1248
+ -1.6975533962249756,
1249
+ -1.6807794570922852
1250
+ ],
1251
+ "abs_loss": [
1252
+ 2.302774667739868,
1253
+ 2.3026697635650635,
1254
+ 2.2992327213287354,
1255
+ 2.297530174255371,
1256
+ 2.2940094470977783,
1257
+ 2.269758462905884,
1258
+ 2.2083513736724854,
1259
+ 2.153167724609375,
1260
+ 2.088714599609375,
1261
+ 2.003596067428589,
1262
+ 1.9283307790756226,
1263
+ 1.8622757196426392,
1264
+ 1.8360427618026733,
1265
+ 1.8171132802963257,
1266
+ 1.813844084739685,
1267
+ 1.8032232522964478,
1268
+ 1.8129087686538696,
1269
+ 1.8104888200759888,
1270
+ 1.785931944847107,
1271
+ 1.807608962059021,
1272
+ 1.791109561920166,
1273
+ 1.782739520072937,
1274
+ 1.8011255264282227,
1275
+ 1.7847914695739746,
1276
+ 1.7908815145492554,
1277
+ 1.7906817197799683,
1278
+ 1.8005393743515015,
1279
+ 1.7798646688461304,
1280
+ 1.7872501611709595,
1281
+ 1.7846059799194336,
1282
+ 1.7894243001937866,
1283
+ 1.799343228340149,
1284
+ 1.7973175048828125,
1285
+ 1.8135799169540405,
1286
+ 1.806353211402893,
1287
+ 1.810350775718689,
1288
+ 1.7859697341918945,
1289
+ 1.784395694732666,
1290
+ 1.7853018045425415,
1291
+ 1.799679160118103,
1292
+ 1.7913331985473633,
1293
+ 1.7948356866836548,
1294
+ 1.796937346458435,
1295
+ 1.8073328733444214,
1296
+ 1.793578028678894,
1297
+ 1.7811359167099,
1298
+ 1.8052068948745728,
1299
+ 1.7905341386795044,
1300
+ 1.8073314428329468,
1301
+ 1.793124794960022,
1302
+ 1.7846623659133911,
1303
+ 1.7915252447128296,
1304
+ 1.7856773138046265,
1305
+ 1.7928529977798462,
1306
+ 1.7935142517089844,
1307
+ 1.7977737188339233,
1308
+ 1.7909151315689087,
1309
+ 1.7946544885635376,
1310
+ 1.8064361810684204,
1311
+ 1.8164712190628052,
1312
+ 1.7730330228805542,
1313
+ 1.8205056190490723,
1314
+ 1.7856916189193726,
1315
+ 1.8085269927978516,
1316
+ 1.8009587526321411,
1317
+ 1.7873872518539429,
1318
+ 1.8036233186721802,
1319
+ 1.780255675315857,
1320
+ 1.8008899688720703,
1321
+ 1.796427845954895,
1322
+ 1.785579800605774,
1323
+ 1.7940574884414673,
1324
+ 1.8132492303848267,
1325
+ 1.787928581237793,
1326
+ 1.791530966758728,
1327
+ 1.7920583486557007,
1328
+ 1.7829809188842773,
1329
+ 1.786683440208435,
1330
+ 1.8005237579345703,
1331
+ 1.7794418334960938,
1332
+ 1.8006178140640259,
1333
+ 1.8131917715072632,
1334
+ 1.78261137008667,
1335
+ 1.7813431024551392,
1336
+ 1.8046191930770874,
1337
+ 1.7937930822372437,
1338
+ 1.7975245714187622,
1339
+ 1.7893714904785156,
1340
+ 1.7886813879013062,
1341
+ 1.7994028329849243,
1342
+ 1.7864784002304077,
1343
+ 1.7799925804138184,
1344
+ 1.8010121583938599,
1345
+ 1.8003937005996704,
1346
+ 1.7860342264175415,
1347
+ 1.7980984449386597,
1348
+ 1.7924017906188965,
1349
+ 1.7803153991699219,
1350
+ 1.8044723272323608,
1351
+ 1.7865444421768188,
1352
+ 1.7961807250976562,
1353
+ 1.786765694618225,
1354
+ 1.7691847085952759,
1355
+ 1.783901572227478,
1356
+ 1.7862968444824219,
1357
+ 1.7776674032211304,
1358
+ 1.7459640502929688,
1359
+ 1.7819658517837524,
1360
+ 1.7765679359436035,
1361
+ 1.7403287887573242,
1362
+ 1.7661186456680298,
1363
+ 1.7637948989868164,
1364
+ 1.757712960243225,
1365
+ 1.7380234003067017,
1366
+ 1.7372264862060547,
1367
+ 1.7452131509780884,
1368
+ 1.7133928537368774,
1369
+ 1.7297821044921875,
1370
+ 1.7233662605285645,
1371
+ 1.6872073411941528,
1372
+ 1.6743888854980469,
1373
+ 1.684798240661621,
1374
+ 1.6756247282028198,
1375
+ 1.640410304069519,
1376
+ 1.6232737302780151,
1377
+ 1.5927348136901855,
1378
+ 1.6236165761947632,
1379
+ 1.5589827299118042,
1380
+ 1.5354042053222656,
1381
+ 1.5580135583877563,
1382
+ 1.540323257446289,
1383
+ 1.5473884344100952,
1384
+ 1.5110059976577759,
1385
+ 1.5289121866226196,
1386
+ 1.4746437072753906,
1387
+ 1.4815839529037476,
1388
+ 1.4720487594604492,
1389
+ 1.4475010633468628,
1390
+ 1.4170955419540405,
1391
+ 1.439864158630371,
1392
+ 1.450907588005066,
1393
+ 1.4158029556274414,
1394
+ 1.4222148656845093,
1395
+ 1.4148112535476685,
1396
+ 1.3853353261947632,
1397
+ 1.3800958395004272,
1398
+ 1.3925875425338745,
1399
+ 1.366193413734436,
1400
+ 1.339877963066101,
1401
+ 1.338718056678772,
1402
+ 1.3540067672729492,
1403
+ 1.2886933088302612,
1404
+ 1.3037408590316772,
1405
+ 1.2491716146469116,
1406
+ 1.2514790296554565,
1407
+ 1.2776761054992676,
1408
+ 1.235782265663147,
1409
+ 1.199764609336853,
1410
+ 1.2057338953018188,
1411
+ 1.179001808166504,
1412
+ 1.199578881263733,
1413
+ 1.1650631427764893,
1414
+ 1.1823461055755615,
1415
+ 1.1296807527542114,
1416
+ 1.061727523803711,
1417
+ 1.0562517642974854,
1418
+ 1.0407414436340332,
1419
+ 1.0513092279434204,
1420
+ 1.0313113927841187,
1421
+ 1.016687273979187,
1422
+ 0.9966397285461426,
1423
+ 0.9166355133056641,
1424
+ 0.9164144396781921,
1425
+ 0.8513301014900208,
1426
+ 0.9040841460227966,
1427
+ 0.8253297805786133,
1428
+ 0.8022173047065735,
1429
+ 0.8879294395446777,
1430
+ 0.7884294390678406,
1431
+ 0.8011953830718994,
1432
+ 0.8852624893188477,
1433
+ 0.7915285229682922,
1434
+ 0.8282907605171204,
1435
+ 0.7584848403930664,
1436
+ 0.7359228134155273,
1437
+ 0.7241374850273132,
1438
+ 0.7859964370727539,
1439
+ 0.7374222874641418,
1440
+ 0.8249303698539734,
1441
+ 0.6992270350456238,
1442
+ 0.7268570065498352,
1443
+ 0.6129200458526611,
1444
+ 0.6673300862312317,
1445
+ 0.6459084153175354,
1446
+ 0.6239676475524902,
1447
+ 0.6642455458641052,
1448
+ 0.6000144481658936,
1449
+ 0.5803681015968323,
1450
+ 0.6091102957725525,
1451
+ 0.5995710492134094,
1452
+ 0.575659453868866,
1453
+ 0.5954058170318604,
1454
+ 0.5573702454566956,
1455
+ 0.601353108882904,
1456
+ 0.5530087351799011,
1457
+ 0.549146831035614,
1458
+ 0.5198046565055847,
1459
+ 0.559395968914032,
1460
+ 0.6079249978065491,
1461
+ 0.5585064888000488,
1462
+ 0.5879273414611816,
1463
+ 0.5459863543510437,
1464
+ 0.5438500046730042,
1465
+ 0.5740121006965637,
1466
+ 0.5585501790046692,
1467
+ 0.5253642201423645,
1468
+ 0.5573577284812927,
1469
+ 0.5516605377197266,
1470
+ 0.5462677478790283,
1471
+ 0.5402286052703857,
1472
+ 0.5425603985786438,
1473
+ 0.5428329110145569,
1474
+ 0.5838813781738281,
1475
+ 0.5411114692687988,
1476
+ 0.5418056845664978,
1477
+ 0.5675632357597351,
1478
+ 0.5249342322349548,
1479
+ 0.5347199440002441,
1480
+ 0.5285334587097168,
1481
+ 0.5136241316795349,
1482
+ 0.5481179356575012,
1483
+ 0.5299501419067383,
1484
+ 0.5274301171302795,
1485
+ 0.5396122932434082,
1486
+ 0.5228613018989563,
1487
+ 0.5150278210639954,
1488
+ 0.5020576119422913,
1489
+ 0.5356988906860352,
1490
+ 0.5076723694801331,
1491
+ 0.5448198318481445,
1492
+ 0.5158776640892029,
1493
+ 0.49781814217567444,
1494
+ 0.5534107685089111,
1495
+ 0.4977816641330719,
1496
+ 0.5467914342880249,
1497
+ 0.5156167149543762,
1498
+ 0.5240278840065002,
1499
+ 0.47339025139808655,
1500
+ 0.524770975112915,
1501
+ 0.512990415096283,
1502
+ 0.525944709777832,
1503
+ 0.5293850302696228,
1504
+ 0.5092964768409729,
1505
+ 0.5099233984947205,
1506
+ 0.5006259083747864,
1507
+ 0.5148139595985413,
1508
+ 0.4936690330505371,
1509
+ 0.4972756803035736,
1510
+ 0.5012990832328796,
1511
+ 0.5216149687767029,
1512
+ 0.51573246717453,
1513
+ 0.5044646263122559,
1514
+ 0.507038950920105,
1515
+ 0.5074252486228943,
1516
+ 0.5225192904472351,
1517
+ 0.5007583498954773,
1518
+ 0.5170509815216064,
1519
+ 0.5111693739891052,
1520
+ 0.5237758755683899,
1521
+ 0.4961097240447998,
1522
+ 0.49951156973838806,
1523
+ 0.5272775888442993,
1524
+ 0.5035490393638611,
1525
+ 0.5023374557495117,
1526
+ 0.4979199469089508,
1527
+ 0.4978765547275543,
1528
+ 0.49012234807014465,
1529
+ 0.5153786540031433,
1530
+ 0.5036439299583435,
1531
+ 0.5055687427520752,
1532
+ 0.49839353561401367,
1533
+ 0.5015595555305481,
1534
+ 0.5172246098518372,
1535
+ 0.5164979696273804,
1536
+ 0.49499478936195374,
1537
+ 0.4840283691883087,
1538
+ 0.5149380564689636,
1539
+ 0.47752246260643005,
1540
+ 0.4929479658603668,
1541
+ 0.47668758034706116,
1542
+ 0.5033168196678162,
1543
+ 0.4837077558040619,
1544
+ 0.5035582780838013,
1545
+ 0.5016844868659973,
1546
+ 0.4754479229450226,
1547
+ 0.5102002620697021,
1548
+ 0.5025449395179749,
1549
+ 0.4980194866657257,
1550
+ 0.48076269030570984,
1551
+ 0.48116350173950195,
1552
+ 0.479817658662796,
1553
+ 0.47096654772758484,
1554
+ 0.48386359214782715,
1555
+ 0.5134944319725037,
1556
+ 0.5004227757453918,
1557
+ 0.5008113980293274,
1558
+ 0.505754292011261,
1559
+ 0.4924980700016022,
1560
+ 0.461383581161499,
1561
+ 0.4810548722743988
1562
+ ],
1563
+ "zipf_loss": [
1564
+ 9.282380104064941,
1565
+ 9.19235897064209,
1566
+ 9.054530143737793,
1567
+ 8.86413860321045,
1568
+ 8.501830101013184,
1569
+ 7.8775177001953125,
1570
+ 6.940337181091309,
1571
+ 5.738528728485107,
1572
+ 4.427567481994629,
1573
+ 3.3882627487182617,
1574
+ 2.7566213607788086,
1575
+ 2.333637237548828,
1576
+ 2.095775842666626,
1577
+ 1.9650895595550537,
1578
+ 1.891347885131836,
1579
+ 1.8466486930847168,
1580
+ 1.815796136856079,
1581
+ 1.7939680814743042,
1582
+ 1.7761495113372803,
1583
+ 1.7630772590637207,
1584
+ 1.7514963150024414,
1585
+ 1.742618441581726,
1586
+ 1.7359848022460938,
1587
+ 1.7313027381896973,
1588
+ 1.7266430854797363,
1589
+ 1.7232997417449951,
1590
+ 1.7208101749420166,
1591
+ 1.718407392501831,
1592
+ 1.7166640758514404,
1593
+ 1.714587926864624,
1594
+ 1.7133309841156006,
1595
+ 1.7121798992156982,
1596
+ 1.7106351852416992,
1597
+ 1.7095375061035156,
1598
+ 1.7094708681106567,
1599
+ 1.7085946798324585,
1600
+ 1.707956314086914,
1601
+ 1.7075597047805786,
1602
+ 1.7072598934173584,
1603
+ 1.7068345546722412,
1604
+ 1.7061917781829834,
1605
+ 1.7059110403060913,
1606
+ 1.7056361436843872,
1607
+ 1.7050225734710693,
1608
+ 1.7054564952850342,
1609
+ 1.7052719593048096,
1610
+ 1.7049238681793213,
1611
+ 1.7046974897384644,
1612
+ 1.70468270778656,
1613
+ 1.7048451900482178,
1614
+ 1.7050598859786987,
1615
+ 1.70502769947052,
1616
+ 1.7048323154449463,
1617
+ 1.704832911491394,
1618
+ 1.705378532409668,
1619
+ 1.7056519985198975,
1620
+ 1.705134391784668,
1621
+ 1.7050244808197021,
1622
+ 1.7051630020141602,
1623
+ 1.7046489715576172,
1624
+ 1.7052654027938843,
1625
+ 1.7054530382156372,
1626
+ 1.7055983543395996,
1627
+ 1.7051284313201904,
1628
+ 1.7053906917572021,
1629
+ 1.7052172422409058,
1630
+ 1.7053455114364624,
1631
+ 1.7053747177124023,
1632
+ 1.705990195274353,
1633
+ 1.7057740688323975,
1634
+ 1.7054957151412964,
1635
+ 1.7052152156829834,
1636
+ 1.7050681114196777,
1637
+ 1.7046568393707275,
1638
+ 1.7058507204055786,
1639
+ 1.7048505544662476,
1640
+ 1.7045396566390991,
1641
+ 1.7044354677200317,
1642
+ 1.7045506238937378,
1643
+ 1.7044376134872437,
1644
+ 1.7038466930389404,
1645
+ 1.7035143375396729,
1646
+ 1.7036104202270508,
1647
+ 1.7033064365386963,
1648
+ 1.7034683227539062,
1649
+ 1.7031662464141846,
1650
+ 1.7020795345306396,
1651
+ 1.7024693489074707,
1652
+ 1.7017698287963867,
1653
+ 1.7020031213760376,
1654
+ 1.7018243074417114,
1655
+ 1.7011274099349976,
1656
+ 1.7011266946792603,
1657
+ 1.6999914646148682,
1658
+ 1.7010635137557983,
1659
+ 1.7008386850357056,
1660
+ 1.699892520904541,
1661
+ 1.7011066675186157,
1662
+ 1.7000941038131714,
1663
+ 1.7001302242279053,
1664
+ 1.6993330717086792,
1665
+ 1.700600504875183,
1666
+ 1.6998910903930664,
1667
+ 1.6985578536987305,
1668
+ 1.697753667831421,
1669
+ 1.6983197927474976,
1670
+ 1.6989123821258545,
1671
+ 1.697258472442627,
1672
+ 1.697458267211914,
1673
+ 1.6979584693908691,
1674
+ 1.698846459388733,
1675
+ 1.6958258152008057,
1676
+ 1.698660135269165,
1677
+ 1.6959824562072754,
1678
+ 1.693770408630371,
1679
+ 1.6964412927627563,
1680
+ 1.6956510543823242,
1681
+ 1.690838098526001,
1682
+ 1.6912989616394043,
1683
+ 1.687917709350586,
1684
+ 1.6885323524475098,
1685
+ 1.6848413944244385,
1686
+ 1.6844377517700195,
1687
+ 1.6824839115142822,
1688
+ 1.6805908679962158,
1689
+ 1.671257734298706,
1690
+ 1.6652629375457764,
1691
+ 1.6595594882965088,
1692
+ 1.6591498851776123,
1693
+ 1.645331621170044,
1694
+ 1.6445586681365967,
1695
+ 1.6317576169967651,
1696
+ 1.6330525875091553,
1697
+ 1.626988410949707,
1698
+ 1.625227451324463,
1699
+ 1.6048496961593628,
1700
+ 1.6028923988342285,
1701
+ 1.5976217985153198,
1702
+ 1.6023080348968506,
1703
+ 1.5826292037963867,
1704
+ 1.5764636993408203,
1705
+ 1.5709054470062256,
1706
+ 1.5649313926696777,
1707
+ 1.550356388092041,
1708
+ 1.5389254093170166,
1709
+ 1.5477302074432373,
1710
+ 1.5314435958862305,
1711
+ 1.530837059020996,
1712
+ 1.5172395706176758,
1713
+ 1.528836727142334,
1714
+ 1.5227267742156982,
1715
+ 1.5050448179244995,
1716
+ 1.5040851831436157,
1717
+ 1.508886456489563,
1718
+ 1.5051476955413818,
1719
+ 1.481396198272705,
1720
+ 1.48386549949646,
1721
+ 1.4711945056915283,
1722
+ 1.470686435699463,
1723
+ 1.455944299697876,
1724
+ 1.4520591497421265,
1725
+ 1.4568583965301514,
1726
+ 1.4335932731628418,
1727
+ 1.4196878671646118,
1728
+ 1.4093097448349,
1729
+ 1.3973584175109863,
1730
+ 1.3743411302566528,
1731
+ 1.3780543804168701,
1732
+ 1.35302734375,
1733
+ 1.3253475427627563,
1734
+ 1.328873872756958,
1735
+ 1.2740740776062012,
1736
+ 1.2886179685592651,
1737
+ 1.2970260381698608,
1738
+ 1.2371416091918945,
1739
+ 1.2277114391326904,
1740
+ 1.1648452281951904,
1741
+ 1.1461334228515625,
1742
+ 1.1022343635559082,
1743
+ 1.0859322547912598,
1744
+ 1.1552174091339111,
1745
+ 1.1067478656768799,
1746
+ 1.1125588417053223,
1747
+ 1.0551815032958984,
1748
+ 1.037243366241455,
1749
+ 1.012671709060669,
1750
+ 0.9594193696975708,
1751
+ 0.8852614760398865,
1752
+ 0.8345097303390503,
1753
+ 0.6242198944091797,
1754
+ 0.5216841697692871,
1755
+ 0.44359350204467773,
1756
+ 0.3210862874984741,
1757
+ 0.2496810257434845,
1758
+ 0.2062283456325531,
1759
+ 0.19118726253509521,
1760
+ 0.15852060914039612,
1761
+ 0.11257840692996979,
1762
+ 0.12948691844940186,
1763
+ 0.09557680040597916,
1764
+ 0.12223208695650101,
1765
+ 0.0722803846001625,
1766
+ 0.08317853510379791,
1767
+ 0.07152432203292847,
1768
+ 0.06517422944307327,
1769
+ 0.06399285793304443,
1770
+ 0.06556820124387741,
1771
+ 0.05055273324251175,
1772
+ 0.0671379417181015,
1773
+ 0.07037275284528732,
1774
+ 0.05785449594259262,
1775
+ 0.052218057215213776,
1776
+ 0.04285527020692825,
1777
+ 0.04785213619470596,
1778
+ 0.045972492545843124,
1779
+ 0.062129877507686615,
1780
+ 0.05955282226204872,
1781
+ 0.03577025607228279,
1782
+ 0.037115827202796936,
1783
+ 0.07015583664178848,
1784
+ 0.03371995687484741,
1785
+ 0.04356369003653526,
1786
+ 0.04594729095697403,
1787
+ 0.036341458559036255,
1788
+ 0.03471563011407852,
1789
+ 0.030254818499088287,
1790
+ 0.03999147564172745,
1791
+ 0.030976232141256332,
1792
+ 0.04741799458861351,
1793
+ 0.030406780540943146,
1794
+ 0.026834703981876373,
1795
+ 0.02849872037768364,
1796
+ 0.03310792148113251,
1797
+ 0.02799415960907936,
1798
+ 0.02845187485218048,
1799
+ 0.040554437786340714,
1800
+ 0.03206374868750572,
1801
+ 0.026677696034312248,
1802
+ 0.031155336648225784,
1803
+ 0.025501376017928123,
1804
+ 0.02817722037434578,
1805
+ 0.02984173595905304,
1806
+ 0.02126740664243698,
1807
+ 0.029643401503562927,
1808
+ 0.02809096686542034,
1809
+ 0.0436217226088047,
1810
+ 0.0320722758769989,
1811
+ 0.03228864446282387,
1812
+ 0.02748124673962593,
1813
+ 0.024052176624536514,
1814
+ 0.02268369309604168,
1815
+ 0.023208793252706528,
1816
+ 0.02690294198691845,
1817
+ 0.025160372257232666,
1818
+ 0.025534648448228836,
1819
+ 0.027067625895142555,
1820
+ 0.020938962697982788,
1821
+ 0.02639070712029934,
1822
+ 0.022751711308956146,
1823
+ 0.028989966958761215,
1824
+ 0.024265270680189133,
1825
+ 0.02231273055076599,
1826
+ 0.026008237153291702,
1827
+ 0.026401793584227562,
1828
+ 0.023088747635483742,
1829
+ 0.021805057302117348,
1830
+ 0.018285084515810013,
1831
+ 0.03731069713830948,
1832
+ 0.016918132081627846,
1833
+ 0.023272741585969925,
1834
+ 0.020311087369918823,
1835
+ 0.030056297779083252,
1836
+ 0.01741965115070343,
1837
+ 0.019644513726234436,
1838
+ 0.02041568234562874,
1839
+ 0.020521465688943863,
1840
+ 0.020872578024864197,
1841
+ 0.023472178727388382,
1842
+ 0.019014505669474602,
1843
+ 0.023579228669404984,
1844
+ 0.018822474405169487,
1845
+ 0.0209577064961195,
1846
+ 0.017779560759663582,
1847
+ 0.019157029688358307,
1848
+ 0.019096536561846733,
1849
+ 0.02404487133026123,
1850
+ 0.015615022741258144,
1851
+ 0.022715352475643158,
1852
+ 0.020099684596061707,
1853
+ 0.02111135795712471,
1854
+ 0.019349459558725357,
1855
+ 0.017303336411714554,
1856
+ 0.023193418979644775,
1857
+ 0.015570679679512978,
1858
+ 0.01818649284541607,
1859
+ 0.01683659665286541,
1860
+ 0.01689448580145836,
1861
+ 0.021969454362988472,
1862
+ 0.017880555242300034,
1863
+ 0.01788102090358734,
1864
+ 0.015858149155974388,
1865
+ 0.02062143385410309,
1866
+ 0.01751919463276863,
1867
+ 0.016123514622449875,
1868
+ 0.01596410945057869,
1869
+ 0.018869422376155853,
1870
+ 0.014056047424674034,
1871
+ 0.01696602627635002,
1872
+ 0.019019555300474167,
1873
+ 0.021542396396398544
1874
+ ],
1875
+ "denoise_loss": [],
1876
+ "ortho_loss": [
1877
+ 0.8551329374313354,
1878
+ 0.6809848546981812,
1879
+ 0.6896126866340637,
1880
+ 0.6923681497573853,
1881
+ 0.6762440204620361,
1882
+ 0.6583203673362732,
1883
+ 0.5726157426834106,
1884
+ 0.5264959931373596,
1885
+ 0.4263795018196106,
1886
+ 0.41162046790122986,
1887
+ 0.37400272488594055,
1888
+ 0.3735012710094452,
1889
+ 0.381208211183548,
1890
+ 0.41497308015823364,
1891
+ 0.4097766578197479,
1892
+ 0.432305246591568,
1893
+ 0.45130327343940735,
1894
+ 0.45364445447921753,
1895
+ 0.46194586157798767,
1896
+ 0.4523734450340271,
1897
+ 0.4371296167373657,
1898
+ 0.4281756579875946,
1899
+ 0.42442041635513306,
1900
+ 0.42701807618141174,
1901
+ 0.4443005919456482,
1902
+ 0.43819254636764526,
1903
+ 0.431176096200943,
1904
+ 0.44323667883872986,
1905
+ 0.4287269711494446,
1906
+ 0.4352761209011078,
1907
+ 0.4443753957748413,
1908
+ 0.4461357295513153,
1909
+ 0.45649778842926025,
1910
+ 0.4600295424461365,
1911
+ 0.46885156631469727,
1912
+ 0.46068140864372253,
1913
+ 0.4829767048358917,
1914
+ 0.483411580324173,
1915
+ 0.49483123421669006,
1916
+ 0.4960421323776245,
1917
+ 0.49287500977516174,
1918
+ 0.4998624324798584,
1919
+ 0.5185896158218384,
1920
+ 0.5174418091773987,
1921
+ 0.5339639186859131,
1922
+ 0.5419471859931946,
1923
+ 0.5476418733596802,
1924
+ 0.5522668361663818,
1925
+ 0.5674724578857422,
1926
+ 0.5813707113265991,
1927
+ 0.5875105261802673,
1928
+ 0.5952541828155518,
1929
+ 0.6024448275566101,
1930
+ 0.6185035109519958,
1931
+ 0.6345133185386658,
1932
+ 0.640365719795227,
1933
+ 0.6422853469848633,
1934
+ 0.6507490873336792,
1935
+ 0.6544419527053833,
1936
+ 0.655788779258728,
1937
+ 0.6553842425346375,
1938
+ 0.6615697145462036,
1939
+ 0.6706589460372925,
1940
+ 0.6754246950149536,
1941
+ 0.6843225359916687,
1942
+ 0.6889523267745972,
1943
+ 0.6909466981887817,
1944
+ 0.6919379234313965,
1945
+ 0.7065051794052124,
1946
+ 0.7166821956634521,
1947
+ 0.7217351198196411,
1948
+ 0.727962076663971,
1949
+ 0.7332582473754883,
1950
+ 0.7407894730567932,
1951
+ 0.7345052361488342,
1952
+ 0.7358593344688416,
1953
+ 0.7402819395065308,
1954
+ 0.7456216812133789,
1955
+ 0.7608010172843933,
1956
+ 0.7564619183540344,
1957
+ 0.7551699280738831,
1958
+ 0.7626091241836548,
1959
+ 0.7552273273468018,
1960
+ 0.7583609819412231,
1961
+ 0.7688825726509094,
1962
+ 0.7836931347846985,
1963
+ 0.7787953019142151,
1964
+ 0.7687429189682007,
1965
+ 0.7720668315887451,
1966
+ 0.7776916027069092,
1967
+ 0.7850612998008728,
1968
+ 0.7933614253997803,
1969
+ 0.7918949723243713,
1970
+ 0.7847102284431458,
1971
+ 0.7898427248001099,
1972
+ 0.7951951026916504,
1973
+ 0.795856237411499,
1974
+ 0.7960901856422424,
1975
+ 0.8040072917938232,
1976
+ 0.8084561824798584,
1977
+ 0.8083102703094482,
1978
+ 0.8083745241165161,
1979
+ 0.8097822666168213,
1980
+ 0.8120978474617004,
1981
+ 0.8145012855529785,
1982
+ 0.8144902586936951,
1983
+ 0.8155438303947449,
1984
+ 0.8158413767814636,
1985
+ 0.815707266330719,
1986
+ 0.8173868060112,
1987
+ 0.8161760568618774,
1988
+ 0.8151018023490906,
1989
+ 0.8127409219741821,
1990
+ 0.818340003490448,
1991
+ 0.8182719945907593,
1992
+ 0.8116747140884399,
1993
+ 0.8161134719848633,
1994
+ 0.8164383172988892,
1995
+ 0.8160198926925659,
1996
+ 0.8176860809326172,
1997
+ 0.817899763584137,
1998
+ 0.8196207880973816,
1999
+ 0.8160160779953003,
2000
+ 0.8231117725372314,
2001
+ 0.824707567691803,
2002
+ 0.8251413106918335,
2003
+ 0.8255681395530701,
2004
+ 0.8253524303436279,
2005
+ 0.8262022137641907,
2006
+ 0.8234677910804749,
2007
+ 0.8221582174301147,
2008
+ 0.8235515356063843,
2009
+ 0.8222318887710571,
2010
+ 0.8249043822288513,
2011
+ 0.8275862336158752,
2012
+ 0.8306819796562195,
2013
+ 0.8327849507331848,
2014
+ 0.8310838937759399,
2015
+ 0.829380989074707,
2016
+ 0.8325851559638977,
2017
+ 0.8267432451248169,
2018
+ 0.8254737257957458,
2019
+ 0.8243470191955566,
2020
+ 0.8241411447525024,
2021
+ 0.8248693943023682,
2022
+ 0.8196035027503967,
2023
+ 0.8174967765808105,
2024
+ 0.8194631338119507,
2025
+ 0.818739652633667,
2026
+ 0.8207557797431946,
2027
+ 0.8191924691200256,
2028
+ 0.8175469636917114,
2029
+ 0.8199913501739502,
2030
+ 0.8217624425888062,
2031
+ 0.8199456930160522,
2032
+ 0.8208876848220825,
2033
+ 0.8207148313522339,
2034
+ 0.8140701651573181,
2035
+ 0.8208418488502502,
2036
+ 0.825015127658844,
2037
+ 0.8239944577217102,
2038
+ 0.8232424855232239,
2039
+ 0.8214470744132996,
2040
+ 0.8210936188697815,
2041
+ 0.8236593008041382,
2042
+ 0.8205541372299194,
2043
+ 0.8149093985557556,
2044
+ 0.8162462115287781,
2045
+ 0.814713716506958,
2046
+ 0.8164079785346985,
2047
+ 0.8172007203102112,
2048
+ 0.8190504312515259,
2049
+ 0.8212146759033203,
2050
+ 0.8209188580513,
2051
+ 0.8185583353042603,
2052
+ 0.8205258250236511,
2053
+ 0.8217184543609619,
2054
+ 0.8219864368438721,
2055
+ 0.8230453133583069,
2056
+ 0.8206337094306946,
2057
+ 0.8139926791191101,
2058
+ 0.8103196024894714,
2059
+ 0.8113728761672974,
2060
+ 0.8084726929664612,
2061
+ 0.8066606521606445,
2062
+ 0.8049653768539429,
2063
+ 0.8091378211975098,
2064
+ 0.8126949071884155,
2065
+ 0.8123783469200134,
2066
+ 0.8114101886749268,
2067
+ 0.8076272010803223,
2068
+ 0.8087856769561768,
2069
+ 0.8102235794067383,
2070
+ 0.8033007383346558,
2071
+ 0.8063364028930664,
2072
+ 0.8073849081993103,
2073
+ 0.8050742745399475,
2074
+ 0.8047197461128235,
2075
+ 0.8041149973869324,
2076
+ 0.804347813129425,
2077
+ 0.8050500154495239,
2078
+ 0.8030960559844971,
2079
+ 0.8031201958656311,
2080
+ 0.8029020428657532,
2081
+ 0.80161052942276,
2082
+ 0.8041740655899048,
2083
+ 0.8046395182609558,
2084
+ 0.8055464029312134,
2085
+ 0.808538019657135,
2086
+ 0.809974193572998,
2087
+ 0.8101837635040283,
2088
+ 0.8096837401390076,
2089
+ 0.8048954606056213,
2090
+ 0.8061514496803284,
2091
+ 0.8059777617454529,
2092
+ 0.8071358799934387,
2093
+ 0.807914137840271,
2094
+ 0.808815598487854,
2095
+ 0.8088506460189819,
2096
+ 0.8091861605644226,
2097
+ 0.8074175119400024,
2098
+ 0.8084784746170044,
2099
+ 0.8078944087028503,
2100
+ 0.808995246887207,
2101
+ 0.8105732798576355,
2102
+ 0.811357319355011,
2103
+ 0.8094915747642517,
2104
+ 0.8101207613945007,
2105
+ 0.8105116486549377,
2106
+ 0.8099663853645325,
2107
+ 0.8084689974784851,
2108
+ 0.8071997761726379,
2109
+ 0.8090832233428955,
2110
+ 0.808785080909729,
2111
+ 0.8068552017211914,
2112
+ 0.8046531081199646,
2113
+ 0.8037227392196655,
2114
+ 0.8025578856468201,
2115
+ 0.797788679599762,
2116
+ 0.7978010773658752,
2117
+ 0.7989774942398071,
2118
+ 0.7995787262916565,
2119
+ 0.7987369894981384,
2120
+ 0.8007193803787231,
2121
+ 0.800644040107727,
2122
+ 0.7989750504493713,
2123
+ 0.8004719614982605,
2124
+ 0.8004665970802307,
2125
+ 0.8009901642799377,
2126
+ 0.8026313781738281,
2127
+ 0.8037139177322388,
2128
+ 0.802797794342041,
2129
+ 0.8051229119300842,
2130
+ 0.8072916269302368,
2131
+ 0.8045981526374817,
2132
+ 0.8049484491348267,
2133
+ 0.8056313395500183,
2134
+ 0.8055064678192139,
2135
+ 0.8054987788200378,
2136
+ 0.8056279420852661,
2137
+ 0.8065914511680603,
2138
+ 0.8073932528495789,
2139
+ 0.8081034421920776,
2140
+ 0.8092781901359558,
2141
+ 0.809478759765625,
2142
+ 0.8096094727516174,
2143
+ 0.8095933794975281,
2144
+ 0.8094146251678467,
2145
+ 0.8093663454055786,
2146
+ 0.8103243112564087,
2147
+ 0.8102310299873352,
2148
+ 0.8089123964309692,
2149
+ 0.8099369406700134,
2150
+ 0.8090203404426575,
2151
+ 0.8103007078170776,
2152
+ 0.8099101185798645,
2153
+ 0.8106024265289307,
2154
+ 0.8110378980636597,
2155
+ 0.8111708164215088,
2156
+ 0.8129123449325562,
2157
+ 0.813470721244812,
2158
+ 0.8133234977722168,
2159
+ 0.8128352165222168,
2160
+ 0.8133217692375183,
2161
+ 0.812566876411438,
2162
+ 0.8128852844238281,
2163
+ 0.8131295442581177,
2164
+ 0.8131888508796692,
2165
+ 0.8135608434677124,
2166
+ 0.8146476745605469,
2167
+ 0.8154059648513794,
2168
+ 0.8154715895652771,
2169
+ 0.8158872127532959,
2170
+ 0.8160539865493774,
2171
+ 0.8156576752662659,
2172
+ 0.8159629106521606,
2173
+ 0.8166300654411316,
2174
+ 0.8167709708213806,
2175
+ 0.8167173862457275,
2176
+ 0.8168660402297974,
2177
+ 0.8163995742797852,
2178
+ 0.8162612318992615,
2179
+ 0.8166356682777405,
2180
+ 0.8165327310562134,
2181
+ 0.8166013360023499,
2182
+ 0.816638708114624,
2183
+ 0.8168372511863708,
2184
+ 0.816966712474823,
2185
+ 0.8168796896934509,
2186
+ 0.8168999552726746
2187
+ ],
2188
+ "lr": [
2189
+ 2.0940170940170946e-06,
2190
+ 4.230769230769231e-06,
2191
+ 6.367521367521369e-06,
2192
+ 8.504273504273505e-06,
2193
+ 1.0641025641025641e-05,
2194
+ 1.2777777777777779e-05,
2195
+ 1.4914529914529916e-05,
2196
+ 1.7051282051282053e-05,
2197
+ 1.918803418803419e-05,
2198
+ 2e-05,
2199
+ 2e-05,
2200
+ 2e-05,
2201
+ 2e-05,
2202
+ 2e-05,
2203
+ 2e-05,
2204
+ 2e-05,
2205
+ 2e-05,
2206
+ 2e-05,
2207
+ 2e-05,
2208
+ 2e-05,
2209
+ 2e-05,
2210
+ 2e-05,
2211
+ 2e-05,
2212
+ 2e-05,
2213
+ 2e-05,
2214
+ 2e-05,
2215
+ 2e-05,
2216
+ 2e-05,
2217
+ 2e-05,
2218
+ 2e-05,
2219
+ 2e-05,
2220
+ 2e-05,
2221
+ 2e-05,
2222
+ 2e-05,
2223
+ 2e-05,
2224
+ 2e-05,
2225
+ 2e-05,
2226
+ 2e-05,
2227
+ 2e-05,
2228
+ 2e-05,
2229
+ 2e-05,
2230
+ 2e-05,
2231
+ 2e-05,
2232
+ 2e-05,
2233
+ 2e-05,
2234
+ 2e-05,
2235
+ 2e-05,
2236
+ 2e-05,
2237
+ 2e-05,
2238
+ 2e-05,
2239
+ 2e-05,
2240
+ 2e-05,
2241
+ 2e-05,
2242
+ 2e-05,
2243
+ 2e-05,
2244
+ 2e-05,
2245
+ 2e-05,
2246
+ 2e-05,
2247
+ 2e-05,
2248
+ 2e-05,
2249
+ 2e-05,
2250
+ 2e-05,
2251
+ 2e-05,
2252
+ 2e-05,
2253
+ 2e-05,
2254
+ 2e-05,
2255
+ 2e-05,
2256
+ 2e-05,
2257
+ 2e-05,
2258
+ 2e-05,
2259
+ 2e-05,
2260
+ 2e-05,
2261
+ 2e-05,
2262
+ 2e-05,
2263
+ 2e-05,
2264
+ 2e-05,
2265
+ 2e-05,
2266
+ 2e-05,
2267
+ 2e-05,
2268
+ 2e-05,
2269
+ 2e-05,
2270
+ 2e-05,
2271
+ 2e-05,
2272
+ 2e-05,
2273
+ 2e-05,
2274
+ 2e-05,
2275
+ 2e-05,
2276
+ 2e-05,
2277
+ 2e-05,
2278
+ 2e-05,
2279
+ 2e-05,
2280
+ 2e-05,
2281
+ 2e-05,
2282
+ 2e-05,
2283
+ 2e-05,
2284
+ 2e-05,
2285
+ 2e-05,
2286
+ 2e-05,
2287
+ 2e-05,
2288
+ 2e-05,
2289
+ 2e-05,
2290
+ 2e-05,
2291
+ 2e-05,
2292
+ 2e-05,
2293
+ 2e-05,
2294
+ 2e-05,
2295
+ 2e-05,
2296
+ 2e-05,
2297
+ 2e-05,
2298
+ 2e-05,
2299
+ 2e-05,
2300
+ 2e-05,
2301
+ 2e-05,
2302
+ 2e-05,
2303
+ 2e-05,
2304
+ 2e-05,
2305
+ 2e-05,
2306
+ 2e-05,
2307
+ 2e-05,
2308
+ 2e-05,
2309
+ 2e-05,
2310
+ 2e-05,
2311
+ 2e-05,
2312
+ 2e-05,
2313
+ 2e-05,
2314
+ 2e-05,
2315
+ 2e-05,
2316
+ 2e-05,
2317
+ 2e-05,
2318
+ 2e-05,
2319
+ 2e-05,
2320
+ 2e-05,
2321
+ 2e-05,
2322
+ 2e-05,
2323
+ 2e-05,
2324
+ 2e-05,
2325
+ 2e-05,
2326
+ 2e-05,
2327
+ 2e-05,
2328
+ 2e-05,
2329
+ 2e-05,
2330
+ 2e-05,
2331
+ 2e-05,
2332
+ 2e-05,
2333
+ 2e-05,
2334
+ 2e-05,
2335
+ 2e-05,
2336
+ 2e-05,
2337
+ 2e-05,
2338
+ 2e-05,
2339
+ 2e-05,
2340
+ 2e-05,
2341
+ 2e-05,
2342
+ 2e-05,
2343
+ 2e-05,
2344
+ 2e-05,
2345
+ 2e-05,
2346
+ 2e-05,
2347
+ 2e-05,
2348
+ 2e-05,
2349
+ 2e-05,
2350
+ 2e-05,
2351
+ 2e-05,
2352
+ 2e-05,
2353
+ 2e-05,
2354
+ 2e-05,
2355
+ 2e-05,
2356
+ 2e-05,
2357
+ 2e-05,
2358
+ 2e-05,
2359
+ 2e-05,
2360
+ 2e-05,
2361
+ 2e-05,
2362
+ 2e-05,
2363
+ 2e-05,
2364
+ 2e-05,
2365
+ 2e-05,
2366
+ 2e-05,
2367
+ 2e-05,
2368
+ 2e-05,
2369
+ 2e-05,
2370
+ 2e-05,
2371
+ 2e-05,
2372
+ 2e-05,
2373
+ 2e-05,
2374
+ 2e-05,
2375
+ 2e-05,
2376
+ 2e-05,
2377
+ 2e-05,
2378
+ 1.9964978235061336e-05,
2379
+ 1.981658092599921e-05,
2380
+ 1.966818361693708e-05,
2381
+ 1.951978630787495e-05,
2382
+ 1.9371388998812825e-05,
2383
+ 1.9222991689750693e-05,
2384
+ 1.9074594380688566e-05,
2385
+ 1.8926197071626434e-05,
2386
+ 1.8777799762564307e-05,
2387
+ 1.8629402453502176e-05,
2388
+ 1.8481005144440044e-05,
2389
+ 1.8332607835377923e-05,
2390
+ 1.8184210526315792e-05,
2391
+ 1.803581321725366e-05,
2392
+ 1.7887415908191533e-05,
2393
+ 1.7739018599129406e-05,
2394
+ 1.7590621290067274e-05,
2395
+ 1.7442223981005143e-05,
2396
+ 1.729382667194302e-05,
2397
+ 1.7145429362880888e-05,
2398
+ 1.6997032053818757e-05,
2399
+ 1.6848634744756632e-05,
2400
+ 1.67002374356945e-05,
2401
+ 1.655184012663237e-05,
2402
+ 1.640344281757024e-05,
2403
+ 1.6255045508508114e-05,
2404
+ 1.6106648199445983e-05,
2405
+ 1.5958250890383856e-05,
2406
+ 1.5771270280965573e-05,
2407
+ 1.562287297190344e-05,
2408
+ 1.5474475662841314e-05,
2409
+ 1.532607835377919e-05,
2410
+ 1.5177681044717056e-05,
2411
+ 1.5029283735654927e-05,
2412
+ 1.48808864265928e-05,
2413
+ 1.4732489117530668e-05,
2414
+ 1.4584091808468539e-05,
2415
+ 1.4435694499406409e-05,
2416
+ 1.4287297190344285e-05,
2417
+ 1.4138899881282154e-05,
2418
+ 1.3990502572220024e-05,
2419
+ 1.3842105263157896e-05,
2420
+ 1.3693707954095765e-05,
2421
+ 1.3545310645033636e-05,
2422
+ 1.3396913335971506e-05,
2423
+ 1.3248516026909382e-05,
2424
+ 1.310011871784725e-05,
2425
+ 1.2951721408785121e-05,
2426
+ 1.2803324099722994e-05,
2427
+ 1.2654926790660862e-05,
2428
+ 1.2506529481598733e-05,
2429
+ 1.2358132172536607e-05,
2430
+ 1.220973486347448e-05,
2431
+ 1.2061337554412346e-05,
2432
+ 1.1912940245350217e-05,
2433
+ 1.176454293628809e-05,
2434
+ 1.1616145627225958e-05,
2435
+ 1.146774831816383e-05,
2436
+ 1.1319351009101704e-05,
2437
+ 1.113237039968342e-05,
2438
+ 1.098397309062129e-05,
2439
+ 1.0835575781559164e-05,
2440
+ 1.0687178472497033e-05,
2441
+ 1.0538781163434902e-05,
2442
+ 1.0390383854372777e-05,
2443
+ 1.0241986545310648e-05,
2444
+ 1.0093589236248515e-05,
2445
+ 9.945191927186385e-06,
2446
+ 9.79679461812426e-06,
2447
+ 9.64839730906213e-06,
2448
+ 9.499999999999999e-06,
2449
+ 9.351602690937873e-06,
2450
+ 9.203205381875743e-06,
2451
+ 9.054808072813612e-06,
2452
+ 8.906410763751483e-06,
2453
+ 8.758013454689357e-06,
2454
+ 8.609616145627227e-06,
2455
+ 8.461218836565096e-06,
2456
+ 8.31282152750297e-06,
2457
+ 8.16442421844084e-06,
2458
+ 8.01602690937871e-06,
2459
+ 7.86762960031658e-06,
2460
+ 7.719232291254454e-06,
2461
+ 7.5708349821923235e-06,
2462
+ 7.422437673130192e-06,
2463
+ 7.274040364068067e-06,
2464
+ 7.125643055005938e-06,
2465
+ 6.977245745943806e-06,
2466
+ 6.828848436881681e-06,
2467
+ 6.68045112781955e-06,
2468
+ 6.493470518401265e-06,
2469
+ 6.345073209339139e-06,
2470
+ 6.196675900277009e-06,
2471
+ 6.048278591214878e-06,
2472
+ 5.899881282152753e-06,
2473
+ 5.7514839730906225e-06,
2474
+ 5.603086664028492e-06,
2475
+ 5.454689354966362e-06,
2476
+ 5.306292045904236e-06,
2477
+ 5.157894736842106e-06,
2478
+ 5.009497427779974e-06,
2479
+ 4.86110011871785e-06,
2480
+ 4.712702809655719e-06,
2481
+ 4.5643055005935885e-06,
2482
+ 4.415908191531458e-06,
2483
+ 4.267510882469333e-06,
2484
+ 4.119113573407203e-06,
2485
+ 3.9707162643450716e-06,
2486
+ 3.822318955282946e-06,
2487
+ 3.673921646220816e-06,
2488
+ 3.5255243371586857e-06,
2489
+ 3.377127028096555e-06,
2490
+ 3.22872971903443e-06,
2491
+ 3.080332409972299e-06,
2492
+ 2.9319351009101688e-06,
2493
+ 2.783537791848043e-06,
2494
+ 2.635140482785913e-06,
2495
+ 2.4867431737237825e-06,
2496
+ 2.338345864661657e-06,
2497
+ 2.1899485555995266e-06,
2498
+ 2.041551246537396e-06
2499
+ ],
2500
+ "emb_lr": [],
2501
+ "eval_step": [
2502
+ 1550,
2503
+ 3113,
2504
+ 4676,
2505
+ 6239,
2506
+ 7802,
2507
+ 9365,
2508
+ 10928,
2509
+ 12491,
2510
+ 14054,
2511
+ 15617
2512
+ ],
2513
+ "eval_accuracy": [
2514
+ 0.0,
2515
+ 0.01,
2516
+ 0.0,
2517
+ 0.0,
2518
+ 0.0,
2519
+ 0.0,
2520
+ 0.01,
2521
+ 0.0,
2522
+ 0.0,
2523
+ 0.01
2524
+ ]
2525
+ },
2526
+ "final_accuracy": 0.5416666666666666,
2527
+ "sft_eval": {
2528
+ "config": {
2529
+ "ops": "add_sub",
2530
+ "K": null,
2531
+ "mode": "sft",
2532
+ "n_digits": 6,
2533
+ "n_per_split": 100
2534
+ },
2535
+ "splits": {
2536
+ "add_S0": {
2537
+ "full_accuracy": 0.0,
2538
+ "n_examples": 100,
2539
+ "per_subtask": {
2540
+ "SA": {
2541
+ "accuracy": 0.2049586776859504,
2542
+ "count": 605
2543
+ },
2544
+ "SS": {
2545
+ "accuracy": 0.968421052631579,
2546
+ "count": 95
2547
+ }
2548
+ }
2549
+ },
2550
+ "add_S1": {
2551
+ "full_accuracy": 0.0,
2552
+ "n_examples": 100,
2553
+ "per_subtask": {
2554
+ "SA": {
2555
+ "accuracy": 0.25,
2556
+ "count": 204
2557
+ },
2558
+ "SC": {
2559
+ "accuracy": 0.10059171597633136,
2560
+ "count": 169
2561
+ },
2562
+ "SS": {
2563
+ "accuracy": 0.6774193548387096,
2564
+ "count": 31
2565
+ },
2566
+ "UC": {
2567
+ "accuracy": 0.20270270270270271,
2568
+ "count": 296
2569
+ }
2570
+ }
2571
+ },
2572
+ "add_S2": {
2573
+ "full_accuracy": 0.0,
2574
+ "n_examples": 100,
2575
+ "per_subtask": {
2576
+ "SA": {
2577
+ "accuracy": 0.3803680981595092,
2578
+ "count": 163
2579
+ },
2580
+ "SC": {
2581
+ "accuracy": 0.13846153846153847,
2582
+ "count": 130
2583
+ },
2584
+ "SS": {
2585
+ "accuracy": 0.39080459770114945,
2586
+ "count": 87
2587
+ },
2588
+ "UC": {
2589
+ "accuracy": 0.33004926108374383,
2590
+ "count": 203
2591
+ },
2592
+ "US": {
2593
+ "accuracy": 0.6410256410256411,
2594
+ "count": 117
2595
+ }
2596
+ }
2597
+ },
2598
+ "add_S3": {
2599
+ "full_accuracy": 0.0,
2600
+ "n_examples": 100,
2601
+ "per_subtask": {
2602
+ "SA": {
2603
+ "accuracy": 0.4049586776859504,
2604
+ "count": 121
2605
+ },
2606
+ "SC": {
2607
+ "accuracy": 0.06611570247933884,
2608
+ "count": 121
2609
+ },
2610
+ "SS": {
2611
+ "accuracy": 0.4489795918367347,
2612
+ "count": 49
2613
+ },
2614
+ "UC": {
2615
+ "accuracy": 0.34408602150537637,
2616
+ "count": 186
2617
+ },
2618
+ "US": {
2619
+ "accuracy": 0.5829596412556054,
2620
+ "count": 223
2621
+ }
2622
+ }
2623
+ },
2624
+ "add_S4": {
2625
+ "full_accuracy": 0.0,
2626
+ "n_examples": 100,
2627
+ "per_subtask": {
2628
+ "SA": {
2629
+ "accuracy": 0.4519230769230769,
2630
+ "count": 104
2631
+ },
2632
+ "SC": {
2633
+ "accuracy": 0.11320754716981132,
2634
+ "count": 106
2635
+ },
2636
+ "SS": {
2637
+ "accuracy": 0.6086956521739131,
2638
+ "count": 23
2639
+ },
2640
+ "UC": {
2641
+ "accuracy": 0.3875,
2642
+ "count": 160
2643
+ },
2644
+ "US": {
2645
+ "accuracy": 0.5863192182410424,
2646
+ "count": 307
2647
+ }
2648
+ }
2649
+ },
2650
+ "add_S5": {
2651
+ "full_accuracy": 0.0,
2652
+ "n_examples": 100,
2653
+ "per_subtask": {
2654
+ "SA": {
2655
+ "accuracy": 0.45,
2656
+ "count": 100
2657
+ },
2658
+ "SC": {
2659
+ "accuracy": 0.03,
2660
+ "count": 100
2661
+ },
2662
+ "UC": {
2663
+ "accuracy": 0.28,
2664
+ "count": 100
2665
+ },
2666
+ "US": {
2667
+ "accuracy": 0.21,
2668
+ "count": 400
2669
+ }
2670
+ }
2671
+ },
2672
+ "add_S6": {
2673
+ "full_accuracy": 0.05,
2674
+ "n_examples": 100,
2675
+ "per_subtask": {
2676
+ "SC": {
2677
+ "accuracy": 0.05,
2678
+ "count": 100
2679
+ },
2680
+ "UC": {
2681
+ "accuracy": 0.75,
2682
+ "count": 100
2683
+ },
2684
+ "US": {
2685
+ "accuracy": 0.758,
2686
+ "count": 500
2687
+ }
2688
+ }
2689
+ },
2690
+ "add_random": {
2691
+ "full_accuracy": 0.0,
2692
+ "n_examples": 200,
2693
+ "per_subtask": {
2694
+ "SA": {
2695
+ "accuracy": 0.25279642058165547,
2696
+ "count": 447
2697
+ },
2698
+ "SC": {
2699
+ "accuracy": 0.1125,
2700
+ "count": 320
2701
+ },
2702
+ "SS": {
2703
+ "accuracy": 0.5,
2704
+ "count": 56
2705
+ },
2706
+ "UC": {
2707
+ "accuracy": 0.22495274102079396,
2708
+ "count": 529
2709
+ },
2710
+ "US": {
2711
+ "accuracy": 0.625,
2712
+ "count": 48
2713
+ }
2714
+ }
2715
+ },
2716
+ "add_C3": {
2717
+ "full_accuracy": 0.0,
2718
+ "n_examples": 100,
2719
+ "per_subtask": {
2720
+ "SA": {
2721
+ "accuracy": 0.2633333333333333,
2722
+ "count": 300
2723
+ },
2724
+ "SC": {
2725
+ "accuracy": 0.08,
2726
+ "count": 100
2727
+ },
2728
+ "UC": {
2729
+ "accuracy": 0.11917098445595854,
2730
+ "count": 193
2731
+ },
2732
+ "US": {
2733
+ "accuracy": 0.1588785046728972,
2734
+ "count": 107
2735
+ }
2736
+ }
2737
+ },
2738
+ "add_C4": {
2739
+ "full_accuracy": 0.0,
2740
+ "n_examples": 100,
2741
+ "per_subtask": {
2742
+ "SA": {
2743
+ "accuracy": 0.355,
2744
+ "count": 200
2745
+ },
2746
+ "SC": {
2747
+ "accuracy": 0.02,
2748
+ "count": 100
2749
+ },
2750
+ "UC": {
2751
+ "accuracy": 0.08984375,
2752
+ "count": 256
2753
+ },
2754
+ "US": {
2755
+ "accuracy": 0.2152777777777778,
2756
+ "count": 144
2757
+ }
2758
+ }
2759
+ },
2760
+ "add_C5": {
2761
+ "full_accuracy": 0.0,
2762
+ "n_examples": 100,
2763
+ "per_subtask": {
2764
+ "SA": {
2765
+ "accuracy": 0.55,
2766
+ "count": 100
2767
+ },
2768
+ "SC": {
2769
+ "accuracy": 0.08,
2770
+ "count": 100
2771
+ },
2772
+ "UC": {
2773
+ "accuracy": 0.13398692810457516,
2774
+ "count": 306
2775
+ },
2776
+ "US": {
2777
+ "accuracy": 0.39690721649484534,
2778
+ "count": 194
2779
+ }
2780
+ }
2781
+ },
2782
+ "add_C6": {
2783
+ "full_accuracy": 0.0,
2784
+ "n_examples": 100,
2785
+ "per_subtask": {
2786
+ "SC": {
2787
+ "accuracy": 0.16,
2788
+ "count": 100
2789
+ },
2790
+ "UC": {
2791
+ "accuracy": 0.25956284153005466,
2792
+ "count": 366
2793
+ },
2794
+ "US": {
2795
+ "accuracy": 0.9401709401709402,
2796
+ "count": 234
2797
+ }
2798
+ }
2799
+ },
2800
+ "sub_M0": {
2801
+ "full_accuracy": 0.0,
2802
+ "n_examples": 100,
2803
+ "per_subtask": {
2804
+ "MD": {
2805
+ "accuracy": 0.20465890183028287,
2806
+ "count": 601
2807
+ },
2808
+ "ME": {
2809
+ "accuracy": 1.0,
2810
+ "count": 99
2811
+ }
2812
+ }
2813
+ },
2814
+ "sub_M1": {
2815
+ "full_accuracy": 0.0,
2816
+ "n_examples": 100,
2817
+ "per_subtask": {
2818
+ "MD": {
2819
+ "accuracy": 0.3835125448028674,
2820
+ "count": 279
2821
+ },
2822
+ "MB": {
2823
+ "accuracy": 0.0,
2824
+ "count": 145
2825
+ },
2826
+ "ME": {
2827
+ "accuracy": 1.0,
2828
+ "count": 24
2829
+ },
2830
+ "UB": {
2831
+ "accuracy": 0.09523809523809523,
2832
+ "count": 252
2833
+ }
2834
+ }
2835
+ },
2836
+ "sub_M2": {
2837
+ "full_accuracy": 0.0,
2838
+ "n_examples": 100,
2839
+ "per_subtask": {
2840
+ "MD": {
2841
+ "accuracy": 0.6150234741784038,
2842
+ "count": 213
2843
+ },
2844
+ "MB": {
2845
+ "accuracy": 0.0,
2846
+ "count": 113
2847
+ },
2848
+ "ME": {
2849
+ "accuracy": 1.0,
2850
+ "count": 85
2851
+ },
2852
+ "UB": {
2853
+ "accuracy": 0.16574585635359115,
2854
+ "count": 181
2855
+ },
2856
+ "UD": {
2857
+ "accuracy": 0.0,
2858
+ "count": 108
2859
+ }
2860
+ }
2861
+ },
2862
+ "sub_M3": {
2863
+ "full_accuracy": 0.0,
2864
+ "n_examples": 100,
2865
+ "per_subtask": {
2866
+ "MD": {
2867
+ "accuracy": 0.7597765363128491,
2868
+ "count": 179
2869
+ },
2870
+ "MB": {
2871
+ "accuracy": 0.0,
2872
+ "count": 103
2873
+ },
2874
+ "ME": {
2875
+ "accuracy": 1.0,
2876
+ "count": 56
2877
+ },
2878
+ "UB": {
2879
+ "accuracy": 0.12080536912751678,
2880
+ "count": 149
2881
+ },
2882
+ "UD": {
2883
+ "accuracy": 0.0,
2884
+ "count": 213
2885
+ }
2886
+ }
2887
+ },
2888
+ "sub_M4": {
2889
+ "full_accuracy": 0.0,
2890
+ "n_examples": 100,
2891
+ "per_subtask": {
2892
+ "MD": {
2893
+ "accuracy": 0.5,
2894
+ "count": 200
2895
+ },
2896
+ "MB": {
2897
+ "accuracy": 0.0,
2898
+ "count": 100
2899
+ },
2900
+ "UB": {
2901
+ "accuracy": 0.3,
2902
+ "count": 100
2903
+ },
2904
+ "UD": {
2905
+ "accuracy": 0.0,
2906
+ "count": 300
2907
+ }
2908
+ }
2909
+ },
2910
+ "sub_M5": {
2911
+ "full_accuracy": 0.0,
2912
+ "n_examples": 100,
2913
+ "per_subtask": {
2914
+ "MD": {
2915
+ "accuracy": 1.0,
2916
+ "count": 100
2917
+ },
2918
+ "MB": {
2919
+ "accuracy": 0.0,
2920
+ "count": 100
2921
+ },
2922
+ "UB": {
2923
+ "accuracy": 0.31,
2924
+ "count": 100
2925
+ },
2926
+ "UD": {
2927
+ "accuracy": 0.0,
2928
+ "count": 400
2929
+ }
2930
+ }
2931
+ },
2932
+ "sub_random": {
2933
+ "full_accuracy": 0.0,
2934
+ "n_examples": 200,
2935
+ "per_subtask": {
2936
+ "MD": {
2937
+ "accuracy": 0.3616666666666667,
2938
+ "count": 600
2939
+ },
2940
+ "MB": {
2941
+ "accuracy": 0.0,
2942
+ "count": 267
2943
+ },
2944
+ "ME": {
2945
+ "accuracy": 1.0,
2946
+ "count": 53
2947
+ },
2948
+ "UB": {
2949
+ "accuracy": 0.12072892938496584,
2950
+ "count": 439
2951
+ },
2952
+ "UD": {
2953
+ "accuracy": 0.0,
2954
+ "count": 41
2955
+ }
2956
+ }
2957
+ },
2958
+ "sub_B3": {
2959
+ "full_accuracy": 0.0,
2960
+ "n_examples": 100,
2961
+ "per_subtask": {
2962
+ "MD": {
2963
+ "accuracy": 0.3333333333333333,
2964
+ "count": 300
2965
+ },
2966
+ "MB": {
2967
+ "accuracy": 0.0,
2968
+ "count": 100
2969
+ },
2970
+ "UB": {
2971
+ "accuracy": 0.17766497461928935,
2972
+ "count": 197
2973
+ },
2974
+ "UD": {
2975
+ "accuracy": 0.0,
2976
+ "count": 103
2977
+ }
2978
+ }
2979
+ },
2980
+ "sub_B4": {
2981
+ "full_accuracy": 0.0,
2982
+ "n_examples": 100,
2983
+ "per_subtask": {
2984
+ "MD": {
2985
+ "accuracy": 0.5,
2986
+ "count": 200
2987
+ },
2988
+ "MB": {
2989
+ "accuracy": 0.0,
2990
+ "count": 100
2991
+ },
2992
+ "UB": {
2993
+ "accuracy": 0.145748987854251,
2994
+ "count": 247
2995
+ },
2996
+ "UD": {
2997
+ "accuracy": 0.0,
2998
+ "count": 153
2999
+ }
3000
+ }
3001
+ },
3002
+ "sub_B5": {
3003
+ "full_accuracy": 0.0,
3004
+ "n_examples": 100,
3005
+ "per_subtask": {
3006
+ "MD": {
3007
+ "accuracy": 1.0,
3008
+ "count": 100
3009
+ },
3010
+ "MB": {
3011
+ "accuracy": 0.0,
3012
+ "count": 100
3013
+ },
3014
+ "UB": {
3015
+ "accuracy": 0.11073825503355705,
3016
+ "count": 298
3017
+ },
3018
+ "UD": {
3019
+ "accuracy": 0.0,
3020
+ "count": 202
3021
+ }
3022
+ }
3023
+ }
3024
+ },
3025
+ "summary": {
3026
+ "overall_accuracy": 0.0020833333333333333,
3027
+ "total_examples": 2400,
3028
+ "n_splits": 22
3029
+ }
3030
+ },
3031
+ "sorl_eval": {
3032
+ "config": {
3033
+ "ops": "add_sub",
3034
+ "K": 1,
3035
+ "mode": "sorl",
3036
+ "n_digits": 6,
3037
+ "n_per_split": 100
3038
+ },
3039
+ "splits": {
3040
+ "add_S0": {
3041
+ "full_accuracy": 0.72,
3042
+ "n_examples": 100,
3043
+ "per_subtask": {
3044
+ "SA": {
3045
+ "accuracy": 0.9504132231404959,
3046
+ "count": 605
3047
+ },
3048
+ "SS": {
3049
+ "accuracy": 1.0,
3050
+ "count": 95
3051
+ }
3052
+ }
3053
+ },
3054
+ "add_S1": {
3055
+ "full_accuracy": 0.79,
3056
+ "n_examples": 100,
3057
+ "per_subtask": {
3058
+ "SA": {
3059
+ "accuracy": 0.9558823529411765,
3060
+ "count": 204
3061
+ },
3062
+ "SC": {
3063
+ "accuracy": 0.9704142011834319,
3064
+ "count": 169
3065
+ },
3066
+ "SS": {
3067
+ "accuracy": 1.0,
3068
+ "count": 31
3069
+ },
3070
+ "UC": {
3071
+ "accuracy": 0.9763513513513513,
3072
+ "count": 296
3073
+ }
3074
+ }
3075
+ },
3076
+ "add_S2": {
3077
+ "full_accuracy": 0.58,
3078
+ "n_examples": 100,
3079
+ "per_subtask": {
3080
+ "SA": {
3081
+ "accuracy": 0.9570552147239264,
3082
+ "count": 163
3083
+ },
3084
+ "SC": {
3085
+ "accuracy": 0.8923076923076924,
3086
+ "count": 130
3087
+ },
3088
+ "SS": {
3089
+ "accuracy": 0.9770114942528736,
3090
+ "count": 87
3091
+ },
3092
+ "UC": {
3093
+ "accuracy": 0.8866995073891626,
3094
+ "count": 203
3095
+ },
3096
+ "US": {
3097
+ "accuracy": 0.9914529914529915,
3098
+ "count": 117
3099
+ }
3100
+ }
3101
+ },
3102
+ "add_S3": {
3103
+ "full_accuracy": 0.63,
3104
+ "n_examples": 100,
3105
+ "per_subtask": {
3106
+ "SA": {
3107
+ "accuracy": 0.9669421487603306,
3108
+ "count": 121
3109
+ },
3110
+ "SC": {
3111
+ "accuracy": 0.9586776859504132,
3112
+ "count": 121
3113
+ },
3114
+ "SS": {
3115
+ "accuracy": 1.0,
3116
+ "count": 49
3117
+ },
3118
+ "UC": {
3119
+ "accuracy": 0.8548387096774194,
3120
+ "count": 186
3121
+ },
3122
+ "US": {
3123
+ "accuracy": 0.9865470852017937,
3124
+ "count": 223
3125
+ }
3126
+ }
3127
+ },
3128
+ "add_S4": {
3129
+ "full_accuracy": 0.45,
3130
+ "n_examples": 100,
3131
+ "per_subtask": {
3132
+ "SA": {
3133
+ "accuracy": 1.0,
3134
+ "count": 104
3135
+ },
3136
+ "SC": {
3137
+ "accuracy": 0.9622641509433962,
3138
+ "count": 106
3139
+ },
3140
+ "SS": {
3141
+ "accuracy": 1.0,
3142
+ "count": 23
3143
+ },
3144
+ "UC": {
3145
+ "accuracy": 0.71875,
3146
+ "count": 160
3147
+ },
3148
+ "US": {
3149
+ "accuracy": 0.8631921824104235,
3150
+ "count": 307
3151
+ }
3152
+ }
3153
+ },
3154
+ "add_S5": {
3155
+ "full_accuracy": 0.29,
3156
+ "n_examples": 100,
3157
+ "per_subtask": {
3158
+ "SA": {
3159
+ "accuracy": 0.99,
3160
+ "count": 100
3161
+ },
3162
+ "SC": {
3163
+ "accuracy": 1.0,
3164
+ "count": 100
3165
+ },
3166
+ "UC": {
3167
+ "accuracy": 0.47,
3168
+ "count": 100
3169
+ },
3170
+ "US": {
3171
+ "accuracy": 0.6525,
3172
+ "count": 400
3173
+ }
3174
+ }
3175
+ },
3176
+ "add_S6": {
3177
+ "full_accuracy": 0.34,
3178
+ "n_examples": 100,
3179
+ "per_subtask": {
3180
+ "SC": {
3181
+ "accuracy": 1.0,
3182
+ "count": 100
3183
+ },
3184
+ "UC": {
3185
+ "accuracy": 0.52,
3186
+ "count": 100
3187
+ },
3188
+ "US": {
3189
+ "accuracy": 0.656,
3190
+ "count": 500
3191
+ }
3192
+ }
3193
+ },
3194
+ "add_random": {
3195
+ "full_accuracy": 0.82,
3196
+ "n_examples": 200,
3197
+ "per_subtask": {
3198
+ "SA": {
3199
+ "accuracy": 0.9686800894854586,
3200
+ "count": 447
3201
+ },
3202
+ "SC": {
3203
+ "accuracy": 0.98125,
3204
+ "count": 320
3205
+ },
3206
+ "SS": {
3207
+ "accuracy": 0.9642857142857143,
3208
+ "count": 56
3209
+ },
3210
+ "UC": {
3211
+ "accuracy": 0.9659735349716446,
3212
+ "count": 529
3213
+ },
3214
+ "US": {
3215
+ "accuracy": 0.9791666666666666,
3216
+ "count": 48
3217
+ }
3218
+ }
3219
+ },
3220
+ "add_C3": {
3221
+ "full_accuracy": 0.65,
3222
+ "n_examples": 100,
3223
+ "per_subtask": {
3224
+ "SA": {
3225
+ "accuracy": 0.9966666666666667,
3226
+ "count": 300
3227
+ },
3228
+ "SC": {
3229
+ "accuracy": 1.0,
3230
+ "count": 100
3231
+ },
3232
+ "UC": {
3233
+ "accuracy": 0.8186528497409327,
3234
+ "count": 193
3235
+ },
3236
+ "US": {
3237
+ "accuracy": 0.9906542056074766,
3238
+ "count": 107
3239
+ }
3240
+ }
3241
+ },
3242
+ "add_C4": {
3243
+ "full_accuracy": 0.6,
3244
+ "n_examples": 100,
3245
+ "per_subtask": {
3246
+ "SA": {
3247
+ "accuracy": 0.995,
3248
+ "count": 200
3249
+ },
3250
+ "SC": {
3251
+ "accuracy": 1.0,
3252
+ "count": 100
3253
+ },
3254
+ "UC": {
3255
+ "accuracy": 0.84765625,
3256
+ "count": 256
3257
+ },
3258
+ "US": {
3259
+ "accuracy": 0.9583333333333334,
3260
+ "count": 144
3261
+ }
3262
+ }
3263
+ },
3264
+ "add_C5": {
3265
+ "full_accuracy": 0.47,
3266
+ "n_examples": 100,
3267
+ "per_subtask": {
3268
+ "SA": {
3269
+ "accuracy": 1.0,
3270
+ "count": 100
3271
+ },
3272
+ "SC": {
3273
+ "accuracy": 1.0,
3274
+ "count": 100
3275
+ },
3276
+ "UC": {
3277
+ "accuracy": 0.8169934640522876,
3278
+ "count": 306
3279
+ },
3280
+ "US": {
3281
+ "accuracy": 0.9329896907216495,
3282
+ "count": 194
3283
+ }
3284
+ }
3285
+ },
3286
+ "add_C6": {
3287
+ "full_accuracy": 0.45,
3288
+ "n_examples": 100,
3289
+ "per_subtask": {
3290
+ "SC": {
3291
+ "accuracy": 1.0,
3292
+ "count": 100
3293
+ },
3294
+ "UC": {
3295
+ "accuracy": 0.8333333333333334,
3296
+ "count": 366
3297
+ },
3298
+ "US": {
3299
+ "accuracy": 0.9401709401709402,
3300
+ "count": 234
3301
+ }
3302
+ }
3303
+ },
3304
+ "sub_M0": {
3305
+ "full_accuracy": 0.79,
3306
+ "n_examples": 100,
3307
+ "per_subtask": {
3308
+ "MD": {
3309
+ "accuracy": 0.9650582362728786,
3310
+ "count": 601
3311
+ },
3312
+ "ME": {
3313
+ "accuracy": 1.0,
3314
+ "count": 99
3315
+ }
3316
+ }
3317
+ },
3318
+ "sub_M1": {
3319
+ "full_accuracy": 0.83,
3320
+ "n_examples": 100,
3321
+ "per_subtask": {
3322
+ "MD": {
3323
+ "accuracy": 0.989247311827957,
3324
+ "count": 279
3325
+ },
3326
+ "MB": {
3327
+ "accuracy": 0.993103448275862,
3328
+ "count": 145
3329
+ },
3330
+ "ME": {
3331
+ "accuracy": 1.0,
3332
+ "count": 24
3333
+ },
3334
+ "UB": {
3335
+ "accuracy": 0.9484126984126984,
3336
+ "count": 252
3337
+ }
3338
+ }
3339
+ },
3340
+ "sub_M2": {
3341
+ "full_accuracy": 0.38,
3342
+ "n_examples": 100,
3343
+ "per_subtask": {
3344
+ "MD": {
3345
+ "accuracy": 0.971830985915493,
3346
+ "count": 213
3347
+ },
3348
+ "MB": {
3349
+ "accuracy": 0.9557522123893806,
3350
+ "count": 113
3351
+ },
3352
+ "ME": {
3353
+ "accuracy": 1.0,
3354
+ "count": 85
3355
+ },
3356
+ "UB": {
3357
+ "accuracy": 0.6464088397790055,
3358
+ "count": 181
3359
+ },
3360
+ "UD": {
3361
+ "accuracy": 0.9907407407407407,
3362
+ "count": 108
3363
+ }
3364
+ }
3365
+ },
3366
+ "sub_M3": {
3367
+ "full_accuracy": 0.34,
3368
+ "n_examples": 100,
3369
+ "per_subtask": {
3370
+ "MD": {
3371
+ "accuracy": 0.994413407821229,
3372
+ "count": 179
3373
+ },
3374
+ "MB": {
3375
+ "accuracy": 0.9902912621359223,
3376
+ "count": 103
3377
+ },
3378
+ "ME": {
3379
+ "accuracy": 1.0,
3380
+ "count": 56
3381
+ },
3382
+ "UB": {
3383
+ "accuracy": 0.6308724832214765,
3384
+ "count": 149
3385
+ },
3386
+ "UD": {
3387
+ "accuracy": 0.8685446009389671,
3388
+ "count": 213
3389
+ }
3390
+ }
3391
+ },
3392
+ "sub_M4": {
3393
+ "full_accuracy": 0.23,
3394
+ "n_examples": 100,
3395
+ "per_subtask": {
3396
+ "MD": {
3397
+ "accuracy": 0.99,
3398
+ "count": 200
3399
+ },
3400
+ "MB": {
3401
+ "accuracy": 1.0,
3402
+ "count": 100
3403
+ },
3404
+ "UB": {
3405
+ "accuracy": 0.49,
3406
+ "count": 100
3407
+ },
3408
+ "UD": {
3409
+ "accuracy": 0.7366666666666667,
3410
+ "count": 300
3411
+ }
3412
+ }
3413
+ },
3414
+ "sub_M5": {
3415
+ "full_accuracy": 0.08,
3416
+ "n_examples": 100,
3417
+ "per_subtask": {
3418
+ "MD": {
3419
+ "accuracy": 1.0,
3420
+ "count": 100
3421
+ },
3422
+ "MB": {
3423
+ "accuracy": 1.0,
3424
+ "count": 100
3425
+ },
3426
+ "UB": {
3427
+ "accuracy": 0.4,
3428
+ "count": 100
3429
+ },
3430
+ "UD": {
3431
+ "accuracy": 0.4975,
3432
+ "count": 400
3433
+ }
3434
+ }
3435
+ },
3436
+ "sub_random": {
3437
+ "full_accuracy": 0.715,
3438
+ "n_examples": 200,
3439
+ "per_subtask": {
3440
+ "MD": {
3441
+ "accuracy": 0.975,
3442
+ "count": 600
3443
+ },
3444
+ "MB": {
3445
+ "accuracy": 0.9775280898876404,
3446
+ "count": 267
3447
+ },
3448
+ "ME": {
3449
+ "accuracy": 1.0,
3450
+ "count": 53
3451
+ },
3452
+ "UB": {
3453
+ "accuracy": 0.908883826879271,
3454
+ "count": 439
3455
+ },
3456
+ "UD": {
3457
+ "accuracy": 0.9512195121951219,
3458
+ "count": 41
3459
+ }
3460
+ }
3461
+ },
3462
+ "sub_B3": {
3463
+ "full_accuracy": 0.43,
3464
+ "n_examples": 100,
3465
+ "per_subtask": {
3466
+ "MD": {
3467
+ "accuracy": 0.9733333333333334,
3468
+ "count": 300
3469
+ },
3470
+ "MB": {
3471
+ "accuracy": 1.0,
3472
+ "count": 100
3473
+ },
3474
+ "UB": {
3475
+ "accuracy": 0.7969543147208121,
3476
+ "count": 197
3477
+ },
3478
+ "UD": {
3479
+ "accuracy": 0.8640776699029126,
3480
+ "count": 103
3481
+ }
3482
+ }
3483
+ },
3484
+ "sub_B4": {
3485
+ "full_accuracy": 0.49,
3486
+ "n_examples": 100,
3487
+ "per_subtask": {
3488
+ "MD": {
3489
+ "accuracy": 0.985,
3490
+ "count": 200
3491
+ },
3492
+ "MB": {
3493
+ "accuracy": 1.0,
3494
+ "count": 100
3495
+ },
3496
+ "UB": {
3497
+ "accuracy": 0.8178137651821862,
3498
+ "count": 247
3499
+ },
3500
+ "UD": {
3501
+ "accuracy": 0.8888888888888888,
3502
+ "count": 153
3503
+ }
3504
+ }
3505
+ },
3506
+ "sub_B5": {
3507
+ "full_accuracy": 0.41,
3508
+ "n_examples": 100,
3509
+ "per_subtask": {
3510
+ "MD": {
3511
+ "accuracy": 1.0,
3512
+ "count": 100
3513
+ },
3514
+ "MB": {
3515
+ "accuracy": 1.0,
3516
+ "count": 100
3517
+ },
3518
+ "UB": {
3519
+ "accuracy": 0.7818791946308725,
3520
+ "count": 298
3521
+ },
3522
+ "UD": {
3523
+ "accuracy": 0.9207920792079208,
3524
+ "count": 202
3525
+ }
3526
+ }
3527
+ }
3528
+ },
3529
+ "summary": {
3530
+ "overall_accuracy": 0.5416666666666666,
3531
+ "total_examples": 2400,
3532
+ "n_splits": 22
3533
+ }
3534
+ },
3535
+ "sorl_overall_accuracy": 0.5416666666666666,
3536
+ "sft_overall_accuracy": 0.0020833333333333333
3537
+ }
add_sub_sorl_v1_abs10_K1_100K_2L1H128d/model.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:956b354dccbcdcec2cd4403c18d659a3ccad4e7ebf1d091e85ec7b3f1b7bbfbd
3
+ size 157702060
add_sub_sorl_v1_abs10_K1_100K_2L1H128d/train_config.json ADDED
@@ -0,0 +1,84 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "num_rollouts": 4,
3
+ "K": 1,
4
+ "max_iterations": 2,
5
+ "memory_span_abs": 1792,
6
+ "memory_span_traj": 1792,
7
+ "temperature": 1.0,
8
+ "ar_search": false,
9
+ "response_only_abs": false,
10
+ "alpha_info_gain": 10.0,
11
+ "alpha_abs": 0.1,
12
+ "alpha_soft_zipf": 1.0,
13
+ "alpha_ortho": 0.0,
14
+ "alpha_anchor": 0.0,
15
+ "alpha_jacobi": 0.0,
16
+ "decay": 0.8,
17
+ "target_vocab_util": 0.8,
18
+ "min_abs_ppl": 0.0,
19
+ "zipf_alpha": 1.0,
20
+ "lr": 2e-05,
21
+ "emb_lr_mult": 1.0,
22
+ "weight_decay": 0.01,
23
+ "warmup_steps": 468,
24
+ "cooldown_frac": 0.4,
25
+ "max_grad_norm": 1.0,
26
+ "vq_abs_pretrain_steps": 0,
27
+ "vq_abs_pretrain_lr": 0.001,
28
+ "vq_abs_pretrain_layer": -1,
29
+ "vq_abs_pretrain_batch_size": 256,
30
+ "vq_abs_pretrain_target_vectors": 20000,
31
+ "batch_size": 64,
32
+ "gradient_accumulation_steps": 1,
33
+ "num_epochs": 10,
34
+ "emb_warmup_steps": 0,
35
+ "log_every": 50,
36
+ "eval_every": 1562,
37
+ "save_every": 999999,
38
+ "eval_samples": 100,
39
+ "output_dir": "ckpt/sweep/as_sorl_abs10_K1_100K_2L1H128d",
40
+ "eval_K": 4,
41
+ "alpha_traj": 0.0,
42
+ "corrupt_method": "shuffle",
43
+ "corrupt_ratio": 0.3,
44
+ "alpha_contrastive": 1.0,
45
+ "gamma_contrastive": 0.5,
46
+ "alpha_masked_traj": 0.0,
47
+ "mask_nl_ratio": 0.3,
48
+ "mask_nl_mode": "fixed",
49
+ "mask_nl_fixed_id": 0,
50
+ "use_ste": true,
51
+ "n_inner": 1,
52
+ "random_K": null,
53
+ "strip_suffix": null,
54
+ "compress_prefix": null,
55
+ "random_mem_span": null,
56
+ "warmup_ratio": 0.03,
57
+ "beta2": 0.999,
58
+ "seed": 42,
59
+ "n_digits": 6,
60
+ "n_layer": 2,
61
+ "n_head": 1,
62
+ "n_embd": 128,
63
+ "ops": "add_sub",
64
+ "abs_vocab": 10,
65
+ "dataset_size": 100000,
66
+ "mode": "sorl",
67
+ "device": "cuda",
68
+ "push_to_hub": true,
69
+ "no_wandb": false,
70
+ "n_params": 39348864,
71
+ "run_name": "add_sub_sorl_v1_abs10_K1_100K_2L1H128d",
72
+ "git_commit": "f447da529caceac8c7d256cbb2cd185cbc50feac",
73
+ "timestamp": "2026-04-12T09:46:18.764196+00:00",
74
+ "tokenizer": "Qwen/Qwen3-0.6B",
75
+ "dataset_repo": "thoughtworks/arithmetic-sorl-data",
76
+ "dataset_config": "add_sub_6digit",
77
+ "model_repo": "thoughtworks/arithmetic-sorl",
78
+ "trainer_version": "v1",
79
+ "wandb_run_id": "nqevi98w",
80
+ "wandb_url": "https://wandb.ai/nlp_and_interpretability/sorl-arithmetic/runs/nqevi98w",
81
+ "final_accuracy": 0.5416666666666666,
82
+ "sft_accuracy": 0.0020833333333333333,
83
+ "eval_method": "ArithmeticEvaluator"
84
+ }