{ "checkpoint": "math_ink_06_candidate.pt", "bytes": 8821978, "seed": 17, "device": "cuda", "training_source_ids": [ "hwrt", "uci-pendigits", "uci-uji-pen-v2" ], "training_independent_source_groups": [ "hwrt-2015", "uci-pendigits-81", "uji-pen-family" ], "source_registry_sha256": "fa256b6cfb22b472530f9c8166aff9a1d69a6716ede8e0dc417a29c9b1b11ccc", "train_samples": 13371, "source_count": 3, "baseline_validation": { "uci-pendigits": { "samples": 300, "online_top1": 0.9566666666666667, "online_top5": 1.0, "raster_top1": 0.45666666666666667, "raster_top5": 0.7766666666666666 }, "uci-uji-pen-v2": { "samples": 300, "online_top1": 0.8, "online_top5": 0.9733333333333334, "raster_top1": 0.48333333333333334, "raster_top5": 0.76 }, "hwrt": { "samples": 261, "online_top1": 0.9003831417624522, "online_top5": 1.0, "raster_top1": 0.7816091954022989, "raster_top5": 0.9770114942528736 } }, "selected_validation": { "uci-pendigits": { "samples": 300, "online_top1": 0.9566666666666667, "online_top5": 1.0, "raster_top1": 0.43333333333333335, "raster_top5": 0.7433333333333333 }, "uci-uji-pen-v2": { "samples": 300, "online_top1": 0.81, "online_top5": 0.9733333333333334, "raster_top1": 0.49, "raster_top5": 0.76 }, "hwrt": { "samples": 261, "online_top1": 0.9042145593869731, "online_top5": 1.0, "raster_top1": 0.7854406130268199, "raster_top5": 0.9731800766283525 } }, "selected_epoch": 1, "selected_interpolation_alpha": 0.5, "baseline_test": { "uci-pendigits": { "samples": 500, "online_top1": 0.932, "online_top5": 0.994, "raster_top1": 0.428, "raster_top5": 0.726 }, "uci-uji-pen-v2": { "samples": 500, "online_top1": 0.718, "online_top5": 0.938, "raster_top1": 0.41, "raster_top5": 0.724 }, "hwrt": { "samples": 500, "online_top1": 0.84, "online_top5": 0.99, "raster_top1": 0.744, "raster_top5": 0.946 } }, "test": { "uci-pendigits": { "samples": 500, "online_top1": 0.932, "online_top5": 0.994, "raster_top1": 0.408, "raster_top5": 0.72 }, "uci-uji-pen-v2": { "samples": 500, "online_top1": 0.716, "online_top5": 0.94, "raster_top1": 0.41, "raster_top5": 0.726 }, "hwrt": { "samples": 500, "online_top1": 0.84, "online_top5": 0.99, "raster_top1": 0.738, "raster_top5": 0.946 } }, "test_delta": { "uci-pendigits": { "online_top1": 0.0, "online_top5": 0.0, "raster_top1": -0.020000000000000018, "raster_top5": -0.006000000000000005 }, "uci-uji-pen-v2": { "online_top1": -0.0020000000000000018, "online_top5": 0.0020000000000000018, "raster_top1": 0.0, "raster_top5": 0.0020000000000000018 }, "hwrt": { "online_top1": 0.0, "online_top5": 0.0, "raster_top1": -0.006000000000000005, "raster_top5": 0.0 } }, "history": [ { "epoch": 0, "macro_online_top1": 0.885683269476373, "validation": { "uci-pendigits": { "samples": 300, "online_top1": 0.9566666666666667, "online_top5": 1.0, "raster_top1": 0.45666666666666667, "raster_top5": 0.7766666666666666 }, "uci-uji-pen-v2": { "samples": 300, "online_top1": 0.8, "online_top5": 0.9733333333333334, "raster_top1": 0.48333333333333334, "raster_top5": 0.76 }, "hwrt": { "samples": 261, "online_top1": 0.9003831417624522, "online_top5": 1.0, "raster_top1": 0.7816091954022989, "raster_top5": 0.9770114942528736 } } }, { "epoch": 1, "loss": 0.9748340293265986, "cross_source_contrastive_anchors": 7505, "macro_online_top1": 0.8879054916985951, "hwrt_gate": true, "validation": { "uci-pendigits": { "samples": 300, "online_top1": 0.9566666666666667, "online_top5": 1.0, "raster_top1": 0.4166666666666667, "raster_top5": 0.7133333333333334 }, "uci-uji-pen-v2": { "samples": 300, "online_top1": 0.8066666666666666, "online_top5": 0.9733333333333334, "raster_top1": 0.49333333333333335, "raster_top5": 0.7633333333333333 }, "hwrt": { "samples": 261, "online_top1": 0.9003831417624522, "online_top5": 1.0, "raster_top1": 0.7854406130268199, "raster_top5": 0.9731800766283525 } }, "interpolation": [ { "alpha": 0.25, "macro_online_top1": 0.885683269476373, "hwrt_gate": true, "validation": { "uci-pendigits": { "samples": 300, "online_top1": 0.9566666666666667, "online_top5": 1.0, "raster_top1": 0.44666666666666666, "raster_top5": 0.7566666666666667 }, "uci-uji-pen-v2": { "samples": 300, "online_top1": 0.8, "online_top5": 0.9733333333333334, "raster_top1": 0.4866666666666667, "raster_top5": 0.76 }, "hwrt": { "samples": 261, "online_top1": 0.9003831417624522, "online_top5": 1.0, "raster_top1": 0.789272030651341, "raster_top5": 0.9770114942528736 } } }, { "alpha": 0.5, "macro_online_top1": 0.8902937420178799, "hwrt_gate": true, "validation": { "uci-pendigits": { "samples": 300, "online_top1": 0.9566666666666667, "online_top5": 1.0, "raster_top1": 0.43333333333333335, "raster_top5": 0.7433333333333333 }, "uci-uji-pen-v2": { "samples": 300, "online_top1": 0.81, "online_top5": 0.9733333333333334, "raster_top1": 0.49, "raster_top5": 0.76 }, "hwrt": { "samples": 261, "online_top1": 0.9042145593869731, "online_top5": 1.0, "raster_top1": 0.7854406130268199, "raster_top5": 0.9731800766283525 } } }, { "alpha": 0.75, "macro_online_top1": 0.8891826309067689, "hwrt_gate": true, "validation": { "uci-pendigits": { "samples": 300, "online_top1": 0.9566666666666667, "online_top5": 1.0, "raster_top1": 0.42, "raster_top5": 0.7366666666666667 }, "uci-uji-pen-v2": { "samples": 300, "online_top1": 0.8066666666666666, "online_top5": 0.9733333333333334, "raster_top1": 0.49333333333333335, "raster_top5": 0.7633333333333333 }, "hwrt": { "samples": 261, "online_top1": 0.9042145593869731, "online_top5": 1.0, "raster_top1": 0.789272030651341, "raster_top5": 0.9731800766283525 } } }, { "alpha": 1.0, "macro_online_top1": 0.8879054916985951, "hwrt_gate": true, "validation": { "uci-pendigits": { "samples": 300, "online_top1": 0.9566666666666667, "online_top5": 1.0, "raster_top1": 0.4166666666666667, "raster_top5": 0.7133333333333334 }, "uci-uji-pen-v2": { "samples": 300, "online_top1": 0.8066666666666666, "online_top5": 0.9733333333333334, "raster_top1": 0.49333333333333335, "raster_top5": 0.7633333333333333 }, "hwrt": { "samples": 261, "online_top1": 0.9003831417624522, "online_top5": 1.0, "raster_top1": 0.7854406130268199, "raster_top5": 0.9731800766283525 } } } ], "resume_state": "federated_online_epoch_001.pt" } ], "hwrt_official_test_used": false, "product_validation": false }