sparsetrace commited on
Commit
31ad9b5
·
verified ·
1 Parent(s): b1a9de0

checkpoint: latest

Browse files
Files changed (4) hide show
  1. ema.safetensors +3 -0
  2. model.safetensors +3 -0
  3. optim.safetensors +3 -0
  4. state.json +531 -0
ema.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:8b54aaeaa9e33318a0aafdcd99119ac580d62391ff8a079dcf6a9fca04bb0f34
3
+ size 2046527448
model.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:29c9ee0f77fbda23e2241d36780e8e29911eedb1f930708b6aff2fb3d7a309f5
3
+ size 2046527448
optim.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:9a1ef91b9bd066b57b4beda240bfc0dd27316db194724d568b42fdae0167d9fc
3
+ size 4093066344
state.json ADDED
@@ -0,0 +1,531 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "step": 1000,
3
+ "run_history": [
4
+ {
5
+ "start_step": 0,
6
+ "end_step": 1000,
7
+ "seconds": 279.4,
8
+ "world": 2,
9
+ "objective": "flow",
10
+ "finished_at": "2026-07-19T17:33:21.495131+00:00"
11
+ }
12
+ ],
13
+ "config": {
14
+ "model": {
15
+ "num_attention_heads": 16,
16
+ "attention_head_dim": 64,
17
+ "num_layers": 24,
18
+ "patch_size": 2,
19
+ "sample_size": 32,
20
+ "in_channels": 4,
21
+ "out_channels": 4,
22
+ "num_classes": 1000
23
+ },
24
+ "data": {
25
+ "hub_repo": "sparsetrace/dlatentzz",
26
+ "latent_shape": [
27
+ 4,
28
+ 32,
29
+ 32
30
+ ],
31
+ "expected_total": 1281167
32
+ },
33
+ "train": {
34
+ "objective": "flow",
35
+ "global_batch": 256,
36
+ "lr": 0.0001,
37
+ "weight_decay": 0.0,
38
+ "ema_decay": 0.9999,
39
+ "label_dropout": 0.1,
40
+ "base_seed": 0,
41
+ "deadline_check_every": 500
42
+ },
43
+ "hub": {
44
+ "checkpoint_repo": "sparsetrace/quicktraindit",
45
+ "archive_every_steps": 200000
46
+ }
47
+ },
48
+ "optim_param_groups": [
49
+ {
50
+ "lr": 0.0001,
51
+ "betas": [
52
+ 0.9,
53
+ 0.999
54
+ ],
55
+ "eps": 1e-08,
56
+ "weight_decay": 0.0,
57
+ "amsgrad": false,
58
+ "maximize": false,
59
+ "foreach": null,
60
+ "capturable": false,
61
+ "differentiable": false,
62
+ "fused": null,
63
+ "decoupled_weight_decay": true,
64
+ "params": [
65
+ 0,
66
+ 1,
67
+ 2,
68
+ 3,
69
+ 4,
70
+ 5,
71
+ 6,
72
+ 7,
73
+ 8,
74
+ 9,
75
+ 10,
76
+ 11,
77
+ 12,
78
+ 13,
79
+ 14,
80
+ 15,
81
+ 16,
82
+ 17,
83
+ 18,
84
+ 19,
85
+ 20,
86
+ 21,
87
+ 22,
88
+ 23,
89
+ 24,
90
+ 25,
91
+ 26,
92
+ 27,
93
+ 28,
94
+ 29,
95
+ 30,
96
+ 31,
97
+ 32,
98
+ 33,
99
+ 34,
100
+ 35,
101
+ 36,
102
+ 37,
103
+ 38,
104
+ 39,
105
+ 40,
106
+ 41,
107
+ 42,
108
+ 43,
109
+ 44,
110
+ 45,
111
+ 46,
112
+ 47,
113
+ 48,
114
+ 49,
115
+ 50,
116
+ 51,
117
+ 52,
118
+ 53,
119
+ 54,
120
+ 55,
121
+ 56,
122
+ 57,
123
+ 58,
124
+ 59,
125
+ 60,
126
+ 61,
127
+ 62,
128
+ 63,
129
+ 64,
130
+ 65,
131
+ 66,
132
+ 67,
133
+ 68,
134
+ 69,
135
+ 70,
136
+ 71,
137
+ 72,
138
+ 73,
139
+ 74,
140
+ 75,
141
+ 76,
142
+ 77,
143
+ 78,
144
+ 79,
145
+ 80,
146
+ 81,
147
+ 82,
148
+ 83,
149
+ 84,
150
+ 85,
151
+ 86,
152
+ 87,
153
+ 88,
154
+ 89,
155
+ 90,
156
+ 91,
157
+ 92,
158
+ 93,
159
+ 94,
160
+ 95,
161
+ 96,
162
+ 97,
163
+ 98,
164
+ 99,
165
+ 100,
166
+ 101,
167
+ 102,
168
+ 103,
169
+ 104,
170
+ 105,
171
+ 106,
172
+ 107,
173
+ 108,
174
+ 109,
175
+ 110,
176
+ 111,
177
+ 112,
178
+ 113,
179
+ 114,
180
+ 115,
181
+ 116,
182
+ 117,
183
+ 118,
184
+ 119,
185
+ 120,
186
+ 121,
187
+ 122,
188
+ 123,
189
+ 124,
190
+ 125,
191
+ 126,
192
+ 127,
193
+ 128,
194
+ 129,
195
+ 130,
196
+ 131,
197
+ 132,
198
+ 133,
199
+ 134,
200
+ 135,
201
+ 136,
202
+ 137,
203
+ 138,
204
+ 139,
205
+ 140,
206
+ 141,
207
+ 142,
208
+ 143,
209
+ 144,
210
+ 145,
211
+ 146,
212
+ 147,
213
+ 148,
214
+ 149,
215
+ 150,
216
+ 151,
217
+ 152,
218
+ 153,
219
+ 154,
220
+ 155,
221
+ 156,
222
+ 157,
223
+ 158,
224
+ 159,
225
+ 160,
226
+ 161,
227
+ 162,
228
+ 163,
229
+ 164,
230
+ 165,
231
+ 166,
232
+ 167,
233
+ 168,
234
+ 169,
235
+ 170,
236
+ 171,
237
+ 172,
238
+ 173,
239
+ 174,
240
+ 175,
241
+ 176,
242
+ 177,
243
+ 178,
244
+ 179,
245
+ 180,
246
+ 181,
247
+ 182,
248
+ 183,
249
+ 184,
250
+ 185,
251
+ 186,
252
+ 187,
253
+ 188,
254
+ 189,
255
+ 190,
256
+ 191,
257
+ 192,
258
+ 193,
259
+ 194,
260
+ 195,
261
+ 196,
262
+ 197,
263
+ 198,
264
+ 199,
265
+ 200,
266
+ 201,
267
+ 202,
268
+ 203,
269
+ 204,
270
+ 205,
271
+ 206,
272
+ 207,
273
+ 208,
274
+ 209,
275
+ 210,
276
+ 211,
277
+ 212,
278
+ 213,
279
+ 214,
280
+ 215,
281
+ 216,
282
+ 217,
283
+ 218,
284
+ 219,
285
+ 220,
286
+ 221,
287
+ 222,
288
+ 223,
289
+ 224,
290
+ 225,
291
+ 226,
292
+ 227,
293
+ 228,
294
+ 229,
295
+ 230,
296
+ 231,
297
+ 232,
298
+ 233,
299
+ 234,
300
+ 235,
301
+ 236,
302
+ 237,
303
+ 238,
304
+ 239,
305
+ 240,
306
+ 241,
307
+ 242,
308
+ 243,
309
+ 244,
310
+ 245,
311
+ 246,
312
+ 247,
313
+ 248,
314
+ 249,
315
+ 250,
316
+ 251,
317
+ 252,
318
+ 253,
319
+ 254,
320
+ 255,
321
+ 256,
322
+ 257,
323
+ 258,
324
+ 259,
325
+ 260,
326
+ 261,
327
+ 262,
328
+ 263,
329
+ 264,
330
+ 265,
331
+ 266,
332
+ 267,
333
+ 268,
334
+ 269,
335
+ 270,
336
+ 271,
337
+ 272,
338
+ 273,
339
+ 274,
340
+ 275,
341
+ 276,
342
+ 277,
343
+ 278,
344
+ 279,
345
+ 280,
346
+ 281,
347
+ 282,
348
+ 283,
349
+ 284,
350
+ 285,
351
+ 286,
352
+ 287,
353
+ 288,
354
+ 289,
355
+ 290,
356
+ 291,
357
+ 292,
358
+ 293,
359
+ 294,
360
+ 295,
361
+ 296,
362
+ 297,
363
+ 298,
364
+ 299,
365
+ 300,
366
+ 301,
367
+ 302,
368
+ 303,
369
+ 304,
370
+ 305,
371
+ 306,
372
+ 307,
373
+ 308,
374
+ 309,
375
+ 310,
376
+ 311,
377
+ 312,
378
+ 313,
379
+ 314,
380
+ 315,
381
+ 316,
382
+ 317,
383
+ 318,
384
+ 319,
385
+ 320,
386
+ 321,
387
+ 322,
388
+ 323,
389
+ 324,
390
+ 325,
391
+ 326,
392
+ 327,
393
+ 328,
394
+ 329,
395
+ 330,
396
+ 331,
397
+ 332,
398
+ 333,
399
+ 334,
400
+ 335,
401
+ 336,
402
+ 337,
403
+ 338,
404
+ 339,
405
+ 340,
406
+ 341,
407
+ 342,
408
+ 343,
409
+ 344,
410
+ 345,
411
+ 346,
412
+ 347,
413
+ 348,
414
+ 349,
415
+ 350,
416
+ 351,
417
+ 352,
418
+ 353,
419
+ 354,
420
+ 355,
421
+ 356,
422
+ 357,
423
+ 358,
424
+ 359,
425
+ 360,
426
+ 361,
427
+ 362,
428
+ 363,
429
+ 364,
430
+ 365,
431
+ 366,
432
+ 367,
433
+ 368,
434
+ 369,
435
+ 370,
436
+ 371,
437
+ 372,
438
+ 373,
439
+ 374,
440
+ 375,
441
+ 376,
442
+ 377,
443
+ 378,
444
+ 379,
445
+ 380,
446
+ 381,
447
+ 382,
448
+ 383,
449
+ 384,
450
+ 385,
451
+ 386,
452
+ 387,
453
+ 388,
454
+ 389,
455
+ 390,
456
+ 391,
457
+ 392,
458
+ 393,
459
+ 394,
460
+ 395,
461
+ 396,
462
+ 397,
463
+ 398,
464
+ 399,
465
+ 400,
466
+ 401,
467
+ 402,
468
+ 403,
469
+ 404,
470
+ 405,
471
+ 406,
472
+ 407,
473
+ 408,
474
+ 409,
475
+ 410,
476
+ 411,
477
+ 412,
478
+ 413,
479
+ 414,
480
+ 415,
481
+ 416,
482
+ 417,
483
+ 418,
484
+ 419,
485
+ 420,
486
+ 421,
487
+ 422,
488
+ 423,
489
+ 424,
490
+ 425,
491
+ 426,
492
+ 427,
493
+ 428,
494
+ 429,
495
+ 430,
496
+ 431,
497
+ 432,
498
+ 433,
499
+ 434,
500
+ 435,
501
+ 436,
502
+ 437,
503
+ 438,
504
+ 439,
505
+ 440,
506
+ 441,
507
+ 442,
508
+ 443,
509
+ 444,
510
+ 445,
511
+ 446,
512
+ 447,
513
+ 448,
514
+ 449,
515
+ 450,
516
+ 451,
517
+ 452,
518
+ 453,
519
+ 454,
520
+ 455,
521
+ 456,
522
+ 457,
523
+ 458,
524
+ 459,
525
+ 460,
526
+ 461
527
+ ]
528
+ }
529
+ ],
530
+ "torch_version": "2.13.0+cu129"
531
+ }