AbstractPhil commited on
Commit
c0e8e49
·
verified ·
1 Parent(s): 55e1af1

Ablation H-LOW-H1_svd_fp64-s2

Browse files
H/LOW/H1_svd_fp64/seed2/epoch_1_checkpoint.pt ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:92ed9056490c5c80ea38f4177847e3e9e296f9802c1c8fe3671f3be7e0b992fe
3
+ size 3057263
H/LOW/H1_svd_fp64/seed2/final_report.json ADDED
@@ -0,0 +1,575 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "config": {
3
+ "group": "H",
4
+ "variant": "H1_svd_fp64",
5
+ "band": "LOW",
6
+ "seed": 2,
7
+ "phase": 2,
8
+ "num_epochs": 1,
9
+ "batch_size": 256,
10
+ "overrides": {
11
+ "svd": "fp64"
12
+ },
13
+ "description": "H-LOW-H1_svd_fp64-s2"
14
+ },
15
+ "run_config": {
16
+ "matrix_v": 64,
17
+ "D": 16,
18
+ "patch_size": 16,
19
+ "hidden": 64,
20
+ "depth": 1,
21
+ "n_cross_layers": 1,
22
+ "n_heads": 4,
23
+ "max_alpha": 0.2,
24
+ "alpha_init": -2.0,
25
+ "img_size": 64,
26
+ "batch_size": 128,
27
+ "lr": 0.0001,
28
+ "epochs": 1,
29
+ "weight_decay": 0.0,
30
+ "use_cv_ema": true,
31
+ "cv_ema_alpha": 0.01,
32
+ "cv_alignment_epochs": 0,
33
+ "cv_measure_every": 50,
34
+ "cv_sigma_scale": 0.3,
35
+ "boost": 0.5,
36
+ "cross_attn_clip": 0.5,
37
+ "allowed_types": [
38
+ 0,
39
+ 1,
40
+ 2,
41
+ 3,
42
+ 4,
43
+ 5,
44
+ 6,
45
+ 7,
46
+ 8,
47
+ 9,
48
+ 10,
49
+ 11,
50
+ 12,
51
+ 13,
52
+ 14,
53
+ 15
54
+ ],
55
+ "train_size": 1000000,
56
+ "val_size": 10000,
57
+ "num_workers": 2,
58
+ "report_every": 100,
59
+ "major_report_every": 10,
60
+ "save_every": 5,
61
+ "seed": 2,
62
+ "hf_repo": "AbstractPhil/geolip-svae-batteries",
63
+ "upload": false
64
+ },
65
+ "cv_ema_final": 0.19587209262630428,
66
+ "cv_last": 0.22964861386096685,
67
+ "predicted_band": "LOW",
68
+ "expected_band": "LOW",
69
+ "band_match": true,
70
+ "test_mse": 0.9361449480056763,
71
+ "recon_ema": 0.9383916904664783,
72
+ "S0": 2.8740506172180176,
73
+ "SD": 1.1786231994628906,
74
+ "ratio": 2.4384812670774987,
75
+ "erank": 15.507071495056152,
76
+ "observed_sphere_cv": 0.19485158795722082,
77
+ "uniform_sphere_cv_prediction": 0.19536415806695984,
78
+ "band_deviation": -0.0005125701097390134,
79
+ "params_finite": true,
80
+ "num_epochs_run": 1,
81
+ "start_epoch": 0,
82
+ "per_epoch_metrics": [
83
+ {
84
+ "epoch": 1,
85
+ "test_mse": 0.9361449480056763,
86
+ "cv_ema": 0.19587209262630428,
87
+ "observed_sphere_cv": 0.19485158795722082,
88
+ "band_deviation": -0.0005125701097390134,
89
+ "erank": 15.507071495056152,
90
+ "params_finite": true,
91
+ "wallclock_seconds": 33.687026262283325,
92
+ "checkpoint_path": "/content/ablations_phase2/H/LOW/H1_svd_fp64_s2/epoch_1_checkpoint.pt"
93
+ }
94
+ ],
95
+ "params_count": 250211,
96
+ "wallclock_seconds": 33.688371419906616,
97
+ "batches_completed": 3906,
98
+ "batch_limit": 3906,
99
+ "cv_trajectory": [
100
+ {
101
+ "batch": 0,
102
+ "cv": 0.19001339292580166,
103
+ "cv_ema": 0.19001339292580166,
104
+ "recon": 1.554689884185791
105
+ },
106
+ {
107
+ "batch": 50,
108
+ "cv": 0.21289860564349508,
109
+ "cv_ema": 0.19024224505297857,
110
+ "recon": 1.6366069316864014
111
+ },
112
+ {
113
+ "batch": 100,
114
+ "cv": 0.1954455742352387,
115
+ "cv_ema": 0.19029427834480117,
116
+ "recon": 1.3525546789169312
117
+ },
118
+ {
119
+ "batch": 150,
120
+ "cv": 0.19123598087854002,
121
+ "cv_ema": 0.19030369537013855,
122
+ "recon": 1.311715841293335
123
+ },
124
+ {
125
+ "batch": 200,
126
+ "cv": 0.21078020614053322,
127
+ "cv_ema": 0.1905084604778425,
128
+ "recon": 1.1933097839355469
129
+ },
130
+ {
131
+ "batch": 250,
132
+ "cv": 0.21410923212677793,
133
+ "cv_ema": 0.19074446819433186,
134
+ "recon": 1.132683277130127
135
+ },
136
+ {
137
+ "batch": 300,
138
+ "cv": 0.19812763049965385,
139
+ "cv_ema": 0.19081829981738507,
140
+ "recon": 0.9860724210739136
141
+ },
142
+ {
143
+ "batch": 350,
144
+ "cv": 0.1961626467855953,
145
+ "cv_ema": 0.19087174328706716,
146
+ "recon": 0.974073588848114
147
+ },
148
+ {
149
+ "batch": 400,
150
+ "cv": 0.20100583761048024,
151
+ "cv_ema": 0.1909730842303013,
152
+ "recon": 0.9447538256645203
153
+ },
154
+ {
155
+ "batch": 450,
156
+ "cv": 0.20455541580340703,
157
+ "cv_ema": 0.19110890754603235,
158
+ "recon": 0.7784267663955688
159
+ },
160
+ {
161
+ "batch": 500,
162
+ "cv": 0.2044477872086995,
163
+ "cv_ema": 0.19124229634265902,
164
+ "recon": 0.9474643468856812
165
+ },
166
+ {
167
+ "batch": 550,
168
+ "cv": 0.1890090520121447,
169
+ "cv_ema": 0.1912199638993539,
170
+ "recon": 1.1690516471862793
171
+ },
172
+ {
173
+ "batch": 600,
174
+ "cv": 0.21108900322290655,
175
+ "cv_ema": 0.19141865429258942,
176
+ "recon": 0.9558122158050537
177
+ },
178
+ {
179
+ "batch": 650,
180
+ "cv": 0.18483139453784808,
181
+ "cv_ema": 0.19135278169504202,
182
+ "recon": 1.012071132659912
183
+ },
184
+ {
185
+ "batch": 700,
186
+ "cv": 0.1869526899805379,
187
+ "cv_ema": 0.19130878077789698,
188
+ "recon": 0.957419753074646
189
+ },
190
+ {
191
+ "batch": 750,
192
+ "cv": 0.19172395585481122,
193
+ "cv_ema": 0.19131293252866613,
194
+ "recon": 0.9696613550186157
195
+ },
196
+ {
197
+ "batch": 800,
198
+ "cv": 0.1946501528498362,
199
+ "cv_ema": 0.19134630473187783,
200
+ "recon": 0.8533892035484314
201
+ },
202
+ {
203
+ "batch": 850,
204
+ "cv": 0.19721580861409607,
205
+ "cv_ema": 0.1914049997707,
206
+ "recon": 0.7751085162162781
207
+ },
208
+ {
209
+ "batch": 900,
210
+ "cv": 0.20548769692468682,
211
+ "cv_ema": 0.19154582674223986,
212
+ "recon": 1.0633841753005981
213
+ },
214
+ {
215
+ "batch": 950,
216
+ "cv": 0.1927463102203822,
217
+ "cv_ema": 0.19155783157702128,
218
+ "recon": 1.1170639991760254
219
+ },
220
+ {
221
+ "batch": 1000,
222
+ "cv": 0.19517301036308343,
223
+ "cv_ema": 0.1915939833648819,
224
+ "recon": 1.0227506160736084
225
+ },
226
+ {
227
+ "batch": 1050,
228
+ "cv": 0.18643029433577044,
229
+ "cv_ema": 0.19154234647459079,
230
+ "recon": 1.034805417060852
231
+ },
232
+ {
233
+ "batch": 1100,
234
+ "cv": 0.2028659449567202,
235
+ "cv_ema": 0.19165558245941208,
236
+ "recon": 0.8597820997238159
237
+ },
238
+ {
239
+ "batch": 1150,
240
+ "cv": 0.20068799615533917,
241
+ "cv_ema": 0.19174590659637133,
242
+ "recon": 0.9308916926383972
243
+ },
244
+ {
245
+ "batch": 1200,
246
+ "cv": 0.2168935490536606,
247
+ "cv_ema": 0.1919973830209442,
248
+ "recon": 1.1548497676849365
249
+ },
250
+ {
251
+ "batch": 1250,
252
+ "cv": 0.17577882336693185,
253
+ "cv_ema": 0.19183519742440408,
254
+ "recon": 0.9124873876571655
255
+ },
256
+ {
257
+ "batch": 1300,
258
+ "cv": 0.17704545086076043,
259
+ "cv_ema": 0.19168729995876765,
260
+ "recon": 0.9781206846237183
261
+ },
262
+ {
263
+ "batch": 1350,
264
+ "cv": 0.21355617285767134,
265
+ "cv_ema": 0.19190598868775668,
266
+ "recon": 1.0025413036346436
267
+ },
268
+ {
269
+ "batch": 1400,
270
+ "cv": 0.18413600336891892,
271
+ "cv_ema": 0.1918282888345683,
272
+ "recon": 1.004195213317871
273
+ },
274
+ {
275
+ "batch": 1450,
276
+ "cv": 0.20150723077444213,
277
+ "cv_ema": 0.191925078253967,
278
+ "recon": 0.8943648338317871
279
+ },
280
+ {
281
+ "batch": 1500,
282
+ "cv": 0.1943735070503464,
283
+ "cv_ema": 0.1919495625419308,
284
+ "recon": 0.8982095122337341
285
+ },
286
+ {
287
+ "batch": 1550,
288
+ "cv": 0.21482131437985824,
289
+ "cv_ema": 0.19217828006031007,
290
+ "recon": 0.8428016901016235
291
+ },
292
+ {
293
+ "batch": 1600,
294
+ "cv": 0.19613051521877978,
295
+ "cv_ema": 0.19221780241189476,
296
+ "recon": 0.9197558164596558
297
+ },
298
+ {
299
+ "batch": 1650,
300
+ "cv": 0.18803818046494863,
301
+ "cv_ema": 0.1921760061924253,
302
+ "recon": 1.0482890605926514
303
+ },
304
+ {
305
+ "batch": 1700,
306
+ "cv": 0.20635075486342572,
307
+ "cv_ema": 0.1923177536791353,
308
+ "recon": 1.0123822689056396
309
+ },
310
+ {
311
+ "batch": 1750,
312
+ "cv": 0.182958693684451,
313
+ "cv_ema": 0.19222416307918846,
314
+ "recon": 0.8709230422973633
315
+ },
316
+ {
317
+ "batch": 1800,
318
+ "cv": 0.20347256840373965,
319
+ "cv_ema": 0.19233664713243398,
320
+ "recon": 1.0027490854263306
321
+ },
322
+ {
323
+ "batch": 1850,
324
+ "cv": 0.20029676426127718,
325
+ "cv_ema": 0.1924162483037224,
326
+ "recon": 0.8338183164596558
327
+ },
328
+ {
329
+ "batch": 1900,
330
+ "cv": 0.212680574880711,
331
+ "cv_ema": 0.19261889156949227,
332
+ "recon": 1.0084389448165894
333
+ },
334
+ {
335
+ "batch": 1950,
336
+ "cv": 0.20591962947808481,
337
+ "cv_ema": 0.1927518989485782,
338
+ "recon": 1.0208427906036377
339
+ },
340
+ {
341
+ "batch": 2000,
342
+ "cv": 0.22417364574809961,
343
+ "cv_ema": 0.1930661164165734,
344
+ "recon": 1.0749752521514893
345
+ },
346
+ {
347
+ "batch": 2050,
348
+ "cv": 0.20002832290331327,
349
+ "cv_ema": 0.1931357384814408,
350
+ "recon": 1.0595444440841675
351
+ },
352
+ {
353
+ "batch": 2100,
354
+ "cv": 0.21369090450988826,
355
+ "cv_ema": 0.1933412901417253,
356
+ "recon": 0.9916477203369141
357
+ },
358
+ {
359
+ "batch": 2150,
360
+ "cv": 0.19577175435233898,
361
+ "cv_ema": 0.19336559478383145,
362
+ "recon": 0.8702353239059448
363
+ },
364
+ {
365
+ "batch": 2200,
366
+ "cv": 0.18934182175952816,
367
+ "cv_ema": 0.19332535705358841,
368
+ "recon": 0.9577357172966003
369
+ },
370
+ {
371
+ "batch": 2250,
372
+ "cv": 0.20152656561332155,
373
+ "cv_ema": 0.19340736913918574,
374
+ "recon": 0.8527600169181824
375
+ },
376
+ {
377
+ "batch": 2300,
378
+ "cv": 0.2133399202738424,
379
+ "cv_ema": 0.1936066946505323,
380
+ "recon": 1.0764939785003662
381
+ },
382
+ {
383
+ "batch": 2350,
384
+ "cv": 0.2158551919035048,
385
+ "cv_ema": 0.193829179623062,
386
+ "recon": 0.9936237335205078
387
+ },
388
+ {
389
+ "batch": 2400,
390
+ "cv": 0.21061070101394125,
391
+ "cv_ema": 0.1939969948369708,
392
+ "recon": 0.8907790184020996
393
+ },
394
+ {
395
+ "batch": 2450,
396
+ "cv": 0.19217323152366794,
397
+ "cv_ema": 0.19397875720383778,
398
+ "recon": 0.9950212240219116
399
+ },
400
+ {
401
+ "batch": 2500,
402
+ "cv": 0.20179547922829513,
403
+ "cv_ema": 0.19405692442408234,
404
+ "recon": 0.973811149597168
405
+ },
406
+ {
407
+ "batch": 2550,
408
+ "cv": 0.21268829355404395,
409
+ "cv_ema": 0.19424323811538197,
410
+ "recon": 0.8774554133415222
411
+ },
412
+ {
413
+ "batch": 2600,
414
+ "cv": 0.18361178268696596,
415
+ "cv_ema": 0.1941369235610978,
416
+ "recon": 0.9389066696166992
417
+ },
418
+ {
419
+ "batch": 2650,
420
+ "cv": 0.2185435182040418,
421
+ "cv_ema": 0.19438098950752725,
422
+ "recon": 0.9011183977127075
423
+ },
424
+ {
425
+ "batch": 2700,
426
+ "cv": 0.20586012261420567,
427
+ "cv_ema": 0.19449578083859403,
428
+ "recon": 0.96256422996521
429
+ },
430
+ {
431
+ "batch": 2750,
432
+ "cv": 0.19270337153346032,
433
+ "cv_ema": 0.1944778567455427,
434
+ "recon": 0.9573084712028503
435
+ },
436
+ {
437
+ "batch": 2800,
438
+ "cv": 0.19619480558036145,
439
+ "cv_ema": 0.19449502623389087,
440
+ "recon": 0.881339430809021
441
+ },
442
+ {
443
+ "batch": 2850,
444
+ "cv": 0.19936079485637412,
445
+ "cv_ema": 0.1945436839201157,
446
+ "recon": 0.8487212061882019
447
+ },
448
+ {
449
+ "batch": 2900,
450
+ "cv": 0.1998968886853869,
451
+ "cv_ema": 0.1945972159677684,
452
+ "recon": 0.8254375457763672
453
+ },
454
+ {
455
+ "batch": 2950,
456
+ "cv": 0.1781408530523925,
457
+ "cv_ema": 0.19443265233861465,
458
+ "recon": 0.9268795847892761
459
+ },
460
+ {
461
+ "batch": 3000,
462
+ "cv": 0.19883920289800014,
463
+ "cv_ema": 0.1944767178442085,
464
+ "recon": 0.8614661693572998
465
+ },
466
+ {
467
+ "batch": 3050,
468
+ "cv": 0.19524888632309995,
469
+ "cv_ema": 0.1944844395289974,
470
+ "recon": 0.991146445274353
471
+ },
472
+ {
473
+ "batch": 3100,
474
+ "cv": 0.2120247297769718,
475
+ "cv_ema": 0.19465984243147716,
476
+ "recon": 1.0094472169876099
477
+ },
478
+ {
479
+ "batch": 3150,
480
+ "cv": 0.203874544107878,
481
+ "cv_ema": 0.19475198944824118,
482
+ "recon": 1.0143463611602783
483
+ },
484
+ {
485
+ "batch": 3200,
486
+ "cv": 0.20426333712431505,
487
+ "cv_ema": 0.19484710292500193,
488
+ "recon": 1.0393750667572021
489
+ },
490
+ {
491
+ "batch": 3250,
492
+ "cv": 0.20207000087315188,
493
+ "cv_ema": 0.19491933190448343,
494
+ "recon": 0.7881455421447754
495
+ },
496
+ {
497
+ "batch": 3300,
498
+ "cv": 0.18444329179233937,
499
+ "cv_ema": 0.19481457150336198,
500
+ "recon": 0.9459242224693298
501
+ },
502
+ {
503
+ "batch": 3350,
504
+ "cv": 0.20675505132185099,
505
+ "cv_ema": 0.19493397630154685,
506
+ "recon": 0.8319012522697449
507
+ },
508
+ {
509
+ "batch": 3400,
510
+ "cv": 0.19983264298592368,
511
+ "cv_ema": 0.1949829629683906,
512
+ "recon": 1.1386942863464355
513
+ },
514
+ {
515
+ "batch": 3450,
516
+ "cv": 0.1796589774847231,
517
+ "cv_ema": 0.19482972311355393,
518
+ "recon": 0.9570139646530151
519
+ },
520
+ {
521
+ "batch": 3500,
522
+ "cv": 0.2039666711819475,
523
+ "cv_ema": 0.19492109259423787,
524
+ "recon": 0.7409090995788574
525
+ },
526
+ {
527
+ "batch": 3550,
528
+ "cv": 0.19868304796717978,
529
+ "cv_ema": 0.19495871214796728,
530
+ "recon": 0.9842604398727417
531
+ },
532
+ {
533
+ "batch": 3600,
534
+ "cv": 0.20693183314487593,
535
+ "cv_ema": 0.1950784433579364,
536
+ "recon": 0.8687727451324463
537
+ },
538
+ {
539
+ "batch": 3650,
540
+ "cv": 0.21059020457060315,
541
+ "cv_ema": 0.19523356097006306,
542
+ "recon": 0.9183297157287598
543
+ },
544
+ {
545
+ "batch": 3700,
546
+ "cv": 0.20969581349037686,
547
+ "cv_ema": 0.1953781834952662,
548
+ "recon": 0.934743344783783
549
+ },
550
+ {
551
+ "batch": 3750,
552
+ "cv": 0.18753777200284574,
553
+ "cv_ema": 0.19529977938034201,
554
+ "recon": 1.0764092206954956
555
+ },
556
+ {
557
+ "batch": 3800,
558
+ "cv": 0.20385838074701998,
559
+ "cv_ema": 0.1953853653940088,
560
+ "recon": 0.9792913198471069
561
+ },
562
+ {
563
+ "batch": 3850,
564
+ "cv": 0.20994039040672605,
565
+ "cv_ema": 0.19553091564413597,
566
+ "recon": 0.854432225227356
567
+ },
568
+ {
569
+ "batch": 3900,
570
+ "cv": 0.22964861386096685,
571
+ "cv_ema": 0.19587209262630428,
572
+ "recon": 0.9132484793663025
573
+ }
574
+ ]
575
+ }
H/LOW/H1_svd_fp64/seed2/tensorboard/events.out.tfevents.1776796420.52b79b2c7612.4109.38 ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:ab32ce9ced415138689542d3670d790e4f5e8bf14ff88506a8cffe8422413f35
3
+ size 612125