AbstractPhil commited on
Commit
7bd4b66
·
verified ·
1 Parent(s): f4db6c7

Ablation H-LOW-H2_linear_matched-s2

Browse files
H/LOW/H2_linear_matched/seed2/epoch_1_checkpoint.pt ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:515ab2a56d0554c55536c58a032413344e65998e14a2dcb80bb8e540466b87e7
3
+ size 15654967
H/LOW/H2_linear_matched/seed2/final_report.json ADDED
@@ -0,0 +1,577 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "config": {
3
+ "group": "H",
4
+ "variant": "H2_linear_matched",
5
+ "band": "LOW",
6
+ "seed": 2,
7
+ "phase": 2,
8
+ "num_epochs": 1,
9
+ "batch_size": 256,
10
+ "overrides": {
11
+ "svd": "none",
12
+ "linear_readout": true,
13
+ "match_params": true
14
+ },
15
+ "description": "H-LOW-H2_linear_matched-s2"
16
+ },
17
+ "run_config": {
18
+ "matrix_v": 64,
19
+ "D": 16,
20
+ "patch_size": 16,
21
+ "hidden": 64,
22
+ "depth": 1,
23
+ "n_cross_layers": 1,
24
+ "n_heads": 4,
25
+ "max_alpha": 0.2,
26
+ "alpha_init": -2.0,
27
+ "img_size": 64,
28
+ "batch_size": 128,
29
+ "lr": 0.0001,
30
+ "epochs": 1,
31
+ "weight_decay": 0.0,
32
+ "use_cv_ema": true,
33
+ "cv_ema_alpha": 0.01,
34
+ "cv_alignment_epochs": 0,
35
+ "cv_measure_every": 50,
36
+ "cv_sigma_scale": 0.3,
37
+ "boost": 0.5,
38
+ "cross_attn_clip": 0.5,
39
+ "allowed_types": [
40
+ 0,
41
+ 1,
42
+ 2,
43
+ 3,
44
+ 4,
45
+ 5,
46
+ 6,
47
+ 7,
48
+ 8,
49
+ 9,
50
+ 10,
51
+ 11,
52
+ 12,
53
+ 13,
54
+ 14,
55
+ 15
56
+ ],
57
+ "train_size": 1000000,
58
+ "val_size": 10000,
59
+ "num_workers": 2,
60
+ "report_every": 100,
61
+ "major_report_every": 10,
62
+ "save_every": 5,
63
+ "seed": 2,
64
+ "hf_repo": "AbstractPhil/geolip-svae-batteries",
65
+ "upload": false
66
+ },
67
+ "cv_ema_final": 0.20864014587063576,
68
+ "cv_last": 0.19100614431865967,
69
+ "predicted_band": "LOW",
70
+ "expected_band": "LOW",
71
+ "band_match": true,
72
+ "test_mse": 0.9113913774490356,
73
+ "recon_ema": 0.9149379420719547,
74
+ "S0": 1.3562417030334473,
75
+ "SD": 1.5627585649490356,
76
+ "ratio": 0.8678510710316703,
77
+ "erank": 13.180778503417969,
78
+ "observed_sphere_cv": 0.1967436516054922,
79
+ "uniform_sphere_cv_prediction": 0.19536415806695984,
80
+ "band_deviation": 0.001379493538532367,
81
+ "params_finite": true,
82
+ "num_epochs_run": 1,
83
+ "start_epoch": 0,
84
+ "per_epoch_metrics": [
85
+ {
86
+ "epoch": 1,
87
+ "test_mse": 0.9113913774490356,
88
+ "cv_ema": 0.20864014587063576,
89
+ "observed_sphere_cv": 0.1967436516054922,
90
+ "band_deviation": 0.001379493538532367,
91
+ "erank": 13.180778503417969,
92
+ "params_finite": true,
93
+ "wallclock_seconds": 33.26713752746582,
94
+ "checkpoint_path": "/content/ablations_phase2/H/LOW/H2_linear_matched_s2/epoch_1_checkpoint.pt"
95
+ }
96
+ ],
97
+ "params_count": 1299811,
98
+ "wallclock_seconds": 33.26849055290222,
99
+ "batches_completed": 3906,
100
+ "batch_limit": 3906,
101
+ "cv_trajectory": [
102
+ {
103
+ "batch": 0,
104
+ "cv": 0.21736838087124133,
105
+ "cv_ema": 0.21736838087124133,
106
+ "recon": 1.6821898221969604
107
+ },
108
+ {
109
+ "batch": 50,
110
+ "cv": 0.20697061692050073,
111
+ "cv_ema": 0.21726440323173393,
112
+ "recon": 1.3824676275253296
113
+ },
114
+ {
115
+ "batch": 100,
116
+ "cv": 0.19719447159148898,
117
+ "cv_ema": 0.21706370391533147,
118
+ "recon": 1.39213228225708
119
+ },
120
+ {
121
+ "batch": 150,
122
+ "cv": 0.2056236942242671,
123
+ "cv_ema": 0.2169493038184208,
124
+ "recon": 1.2919197082519531
125
+ },
126
+ {
127
+ "batch": 200,
128
+ "cv": 0.19907182637467022,
129
+ "cv_ema": 0.2167705290439833,
130
+ "recon": 1.2644081115722656
131
+ },
132
+ {
133
+ "batch": 250,
134
+ "cv": 0.19556503409405193,
135
+ "cv_ema": 0.216558474094484,
136
+ "recon": 1.00709867477417
137
+ },
138
+ {
139
+ "batch": 300,
140
+ "cv": 0.21931045394434212,
141
+ "cv_ema": 0.21658599389298258,
142
+ "recon": 1.25796639919281
143
+ },
144
+ {
145
+ "batch": 350,
146
+ "cv": 0.19609880515856903,
147
+ "cv_ema": 0.21638112200563844,
148
+ "recon": 1.2303824424743652
149
+ },
150
+ {
151
+ "batch": 400,
152
+ "cv": 0.19914867740687361,
153
+ "cv_ema": 0.2162087975596508,
154
+ "recon": 1.0299748182296753
155
+ },
156
+ {
157
+ "batch": 450,
158
+ "cv": 0.17936290599972382,
159
+ "cv_ema": 0.21584033864405155,
160
+ "recon": 1.0881257057189941
161
+ },
162
+ {
163
+ "batch": 500,
164
+ "cv": 0.2068571612525706,
165
+ "cv_ema": 0.21575050687013675,
166
+ "recon": 0.9538010358810425
167
+ },
168
+ {
169
+ "batch": 550,
170
+ "cv": 0.20263738030465958,
171
+ "cv_ema": 0.21561937560448197,
172
+ "recon": 1.0054969787597656
173
+ },
174
+ {
175
+ "batch": 600,
176
+ "cv": 0.1869399861685074,
177
+ "cv_ema": 0.21533258171012223,
178
+ "recon": 0.9404968023300171
179
+ },
180
+ {
181
+ "batch": 650,
182
+ "cv": 0.20242556480522994,
183
+ "cv_ema": 0.2152035115410733,
184
+ "recon": 1.0369188785552979
185
+ },
186
+ {
187
+ "batch": 700,
188
+ "cv": 0.1958752913929731,
189
+ "cv_ema": 0.2150102293395923,
190
+ "recon": 1.0466899871826172
191
+ },
192
+ {
193
+ "batch": 750,
194
+ "cv": 0.20406581321678646,
195
+ "cv_ema": 0.21490078517836422,
196
+ "recon": 1.033632755279541
197
+ },
198
+ {
199
+ "batch": 800,
200
+ "cv": 0.20532502369506542,
201
+ "cv_ema": 0.21480502756353123,
202
+ "recon": 1.0458296537399292
203
+ },
204
+ {
205
+ "batch": 850,
206
+ "cv": 0.19060079501513782,
207
+ "cv_ema": 0.21456298523804732,
208
+ "recon": 1.018322229385376
209
+ },
210
+ {
211
+ "batch": 900,
212
+ "cv": 0.2145004447647878,
213
+ "cv_ema": 0.2145623598333147,
214
+ "recon": 0.9905637502670288
215
+ },
216
+ {
217
+ "batch": 950,
218
+ "cv": 0.2073947144648241,
219
+ "cv_ema": 0.2144906833796298,
220
+ "recon": 0.9515813589096069
221
+ },
222
+ {
223
+ "batch": 1000,
224
+ "cv": 0.20121339313231504,
225
+ "cv_ema": 0.21435791047715663,
226
+ "recon": 1.1682820320129395
227
+ },
228
+ {
229
+ "batch": 1050,
230
+ "cv": 0.21122881276459787,
231
+ "cv_ema": 0.21432661950003104,
232
+ "recon": 1.0861215591430664
233
+ },
234
+ {
235
+ "batch": 1100,
236
+ "cv": 0.19732264963056953,
237
+ "cv_ema": 0.21415657980133643,
238
+ "recon": 1.0437085628509521
239
+ },
240
+ {
241
+ "batch": 1150,
242
+ "cv": 0.2115142248357745,
243
+ "cv_ema": 0.2141301562516808,
244
+ "recon": 1.2454768419265747
245
+ },
246
+ {
247
+ "batch": 1200,
248
+ "cv": 0.19591572561553333,
249
+ "cv_ema": 0.21394801194531932,
250
+ "recon": 0.9622622728347778
251
+ },
252
+ {
253
+ "batch": 1250,
254
+ "cv": 0.22052921107105367,
255
+ "cv_ema": 0.21401382393657667,
256
+ "recon": 0.9996315836906433
257
+ },
258
+ {
259
+ "batch": 1300,
260
+ "cv": 0.20717308459870373,
261
+ "cv_ema": 0.21394541654319793,
262
+ "recon": 0.9225133657455444
263
+ },
264
+ {
265
+ "batch": 1350,
266
+ "cv": 0.20612268509997092,
267
+ "cv_ema": 0.21386718922876566,
268
+ "recon": 0.9973444938659668
269
+ },
270
+ {
271
+ "batch": 1400,
272
+ "cv": 0.1969967192146464,
273
+ "cv_ema": 0.21369848452862444,
274
+ "recon": 1.2164726257324219
275
+ },
276
+ {
277
+ "batch": 1450,
278
+ "cv": 0.19722825742025335,
279
+ "cv_ema": 0.21353378225754074,
280
+ "recon": 0.9795428514480591
281
+ },
282
+ {
283
+ "batch": 1500,
284
+ "cv": 0.17875135759519648,
285
+ "cv_ema": 0.2131859580109173,
286
+ "recon": 0.9350489377975464
287
+ },
288
+ {
289
+ "batch": 1550,
290
+ "cv": 0.2106809786961379,
291
+ "cv_ema": 0.2131609082177695,
292
+ "recon": 0.7416782379150391
293
+ },
294
+ {
295
+ "batch": 1600,
296
+ "cv": 0.2026936859925539,
297
+ "cv_ema": 0.21305623599551735,
298
+ "recon": 0.7771551012992859
299
+ },
300
+ {
301
+ "batch": 1650,
302
+ "cv": 0.19412010311650588,
303
+ "cv_ema": 0.2128668746667272,
304
+ "recon": 0.9246198534965515
305
+ },
306
+ {
307
+ "batch": 1700,
308
+ "cv": 0.18514067962230923,
309
+ "cv_ema": 0.21258961271628302,
310
+ "recon": 0.9045388698577881
311
+ },
312
+ {
313
+ "batch": 1750,
314
+ "cv": 0.21516059489054337,
315
+ "cv_ema": 0.21261532253802562,
316
+ "recon": 0.9411343336105347
317
+ },
318
+ {
319
+ "batch": 1800,
320
+ "cv": 0.1996758425540149,
321
+ "cv_ema": 0.2124859277381855,
322
+ "recon": 0.8896402716636658
323
+ },
324
+ {
325
+ "batch": 1850,
326
+ "cv": 0.19646634635748836,
327
+ "cv_ema": 0.21232573192437854,
328
+ "recon": 1.0027294158935547
329
+ },
330
+ {
331
+ "batch": 1900,
332
+ "cv": 0.2001457991783175,
333
+ "cv_ema": 0.21220393259691792,
334
+ "recon": 0.9211632013320923
335
+ },
336
+ {
337
+ "batch": 1950,
338
+ "cv": 0.1990242680348622,
339
+ "cv_ema": 0.21207213595129734,
340
+ "recon": 0.8416087031364441
341
+ },
342
+ {
343
+ "batch": 2000,
344
+ "cv": 0.206358010315371,
345
+ "cv_ema": 0.2120149946949381,
346
+ "recon": 1.1454858779907227
347
+ },
348
+ {
349
+ "batch": 2050,
350
+ "cv": 0.20478341681517917,
351
+ "cv_ema": 0.2119426789161405,
352
+ "recon": 0.9051783084869385
353
+ },
354
+ {
355
+ "batch": 2100,
356
+ "cv": 0.18442532152453087,
357
+ "cv_ema": 0.2116675053422244,
358
+ "recon": 0.9592191576957703
359
+ },
360
+ {
361
+ "batch": 2150,
362
+ "cv": 0.2141129290639343,
363
+ "cv_ema": 0.21169195957944148,
364
+ "recon": 0.8185178637504578
365
+ },
366
+ {
367
+ "batch": 2200,
368
+ "cv": 0.19351365276303686,
369
+ "cv_ema": 0.21151017651127743,
370
+ "recon": 0.8459402918815613
371
+ },
372
+ {
373
+ "batch": 2250,
374
+ "cv": 0.204486704199239,
375
+ "cv_ema": 0.21143994178815703,
376
+ "recon": 0.8161579966545105
377
+ },
378
+ {
379
+ "batch": 2300,
380
+ "cv": 0.20584568650332002,
381
+ "cv_ema": 0.21138399923530865,
382
+ "recon": 0.7851448059082031
383
+ },
384
+ {
385
+ "batch": 2350,
386
+ "cv": 0.21137360256283727,
387
+ "cv_ema": 0.21138389526858392,
388
+ "recon": 1.0606319904327393
389
+ },
390
+ {
391
+ "batch": 2400,
392
+ "cv": 0.2175581843473404,
393
+ "cv_ema": 0.21144563815937148,
394
+ "recon": 0.9794124364852905
395
+ },
396
+ {
397
+ "batch": 2450,
398
+ "cv": 0.20576121286888993,
399
+ "cv_ema": 0.21138879390646667,
400
+ "recon": 1.0026440620422363
401
+ },
402
+ {
403
+ "batch": 2500,
404
+ "cv": 0.20719880003327035,
405
+ "cv_ema": 0.2113468939677347,
406
+ "recon": 0.9946974515914917
407
+ },
408
+ {
409
+ "batch": 2550,
410
+ "cv": 0.21437404370189075,
411
+ "cv_ema": 0.21137716546507626,
412
+ "recon": 0.869573712348938
413
+ },
414
+ {
415
+ "batch": 2600,
416
+ "cv": 0.20435260106877234,
417
+ "cv_ema": 0.21130691982111321,
418
+ "recon": 0.8392354846000671
419
+ },
420
+ {
421
+ "batch": 2650,
422
+ "cv": 0.2034392342539591,
423
+ "cv_ema": 0.21122824296544168,
424
+ "recon": 1.1247367858886719
425
+ },
426
+ {
427
+ "batch": 2700,
428
+ "cv": 0.18528727942080941,
429
+ "cv_ema": 0.21096883332999536,
430
+ "recon": 1.0038074254989624
431
+ },
432
+ {
433
+ "batch": 2750,
434
+ "cv": 0.1927517815469004,
435
+ "cv_ema": 0.21078666281216443,
436
+ "recon": 0.8091232180595398
437
+ },
438
+ {
439
+ "batch": 2800,
440
+ "cv": 0.20300822024114756,
441
+ "cv_ema": 0.21070887838645425,
442
+ "recon": 0.8857018351554871
443
+ },
444
+ {
445
+ "batch": 2850,
446
+ "cv": 0.21576781753041022,
447
+ "cv_ema": 0.2107594677778938,
448
+ "recon": 0.9347890615463257
449
+ },
450
+ {
451
+ "batch": 2900,
452
+ "cv": 0.18480947443884313,
453
+ "cv_ema": 0.2104999678445033,
454
+ "recon": 0.9902662038803101
455
+ },
456
+ {
457
+ "batch": 2950,
458
+ "cv": 0.19491030425066305,
459
+ "cv_ema": 0.21034407120856488,
460
+ "recon": 0.9432126879692078
461
+ },
462
+ {
463
+ "batch": 3000,
464
+ "cv": 0.1877047798270376,
465
+ "cv_ema": 0.21011767829474962,
466
+ "recon": 0.9136123061180115
467
+ },
468
+ {
469
+ "batch": 3050,
470
+ "cv": 0.21513457263618282,
471
+ "cv_ema": 0.21016784723816395,
472
+ "recon": 0.9100525379180908
473
+ },
474
+ {
475
+ "batch": 3100,
476
+ "cv": 0.2077645998625229,
477
+ "cv_ema": 0.21014381476440755,
478
+ "recon": 0.9523067474365234
479
+ },
480
+ {
481
+ "batch": 3150,
482
+ "cv": 0.20381521858157675,
483
+ "cv_ema": 0.21008052880257924,
484
+ "recon": 0.8197886943817139
485
+ },
486
+ {
487
+ "batch": 3200,
488
+ "cv": 0.20007923176625547,
489
+ "cv_ema": 0.20998051583221602,
490
+ "recon": 0.9272677898406982
491
+ },
492
+ {
493
+ "batch": 3250,
494
+ "cv": 0.21226350709837405,
495
+ "cv_ema": 0.21000334574487758,
496
+ "recon": 0.9756273031234741
497
+ },
498
+ {
499
+ "batch": 3300,
500
+ "cv": 0.1897377771920804,
501
+ "cv_ema": 0.20980069005934962,
502
+ "recon": 0.9095922708511353
503
+ },
504
+ {
505
+ "batch": 3350,
506
+ "cv": 0.20318325418986521,
507
+ "cv_ema": 0.20973451570065477,
508
+ "recon": 0.8678194880485535
509
+ },
510
+ {
511
+ "batch": 3400,
512
+ "cv": 0.19004654428258608,
513
+ "cv_ema": 0.20953763598647407,
514
+ "recon": 0.8769561648368835
515
+ },
516
+ {
517
+ "batch": 3450,
518
+ "cv": 0.19754966361844878,
519
+ "cv_ema": 0.20941775626279382,
520
+ "recon": 0.9336184859275818
521
+ },
522
+ {
523
+ "batch": 3500,
524
+ "cv": 0.1966707734826583,
525
+ "cv_ema": 0.20929028643499245,
526
+ "recon": 0.8782939910888672
527
+ },
528
+ {
529
+ "batch": 3550,
530
+ "cv": 0.20767085734052448,
531
+ "cv_ema": 0.20927409214404777,
532
+ "recon": 0.9238303899765015
533
+ },
534
+ {
535
+ "batch": 3600,
536
+ "cv": 0.20735956290916327,
537
+ "cv_ema": 0.2092549468516989,
538
+ "recon": 0.6905795931816101
539
+ },
540
+ {
541
+ "batch": 3650,
542
+ "cv": 0.18706523369404685,
543
+ "cv_ema": 0.20903304972012238,
544
+ "recon": 0.890720546245575
545
+ },
546
+ {
547
+ "batch": 3700,
548
+ "cv": 0.19947011640845835,
549
+ "cv_ema": 0.20893742038700575,
550
+ "recon": 0.7536596059799194
551
+ },
552
+ {
553
+ "batch": 3750,
554
+ "cv": 0.20203026225251,
555
+ "cv_ema": 0.20886834880566077,
556
+ "recon": 1.0469310283660889
557
+ },
558
+ {
559
+ "batch": 3800,
560
+ "cv": 0.20699318574868242,
561
+ "cv_ema": 0.208849597175091,
562
+ "recon": 1.0025001764297485
563
+ },
564
+ {
565
+ "batch": 3850,
566
+ "cv": 0.20571658950934402,
567
+ "cv_ema": 0.2088182670984335,
568
+ "recon": 0.8653454780578613
569
+ },
570
+ {
571
+ "batch": 3900,
572
+ "cv": 0.19100614431865967,
573
+ "cv_ema": 0.20864014587063576,
574
+ "recon": 0.8587158918380737
575
+ }
576
+ ]
577
+ }
H/LOW/H2_linear_matched/seed2/tensorboard/events.out.tfevents.1776797035.52b79b2c7612.4109.47 ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:fd52f1853d4ff001cbd4ee6b3c677935144818e9e2a772871a0359753ec8f4cb
3
+ size 612125