Loading dataset from disk:   0%|                                                                                                                                                       | 0/133 [00:00<?, ?it/s]
Loading dataset from disk: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 133/133 [00:00<00:00, 31376.48it/s]

Loading checkpoint shards:   0%|                                                                                                                                                         | 0/4 [00:00<?, ?it/s]
Loading checkpoint shards:  25%|████████████████████████████████████▎                                                                                                            | 1/4 [00:01<00:03,  1.14s/it]
Loading checkpoint shards:  50%|████████████████████████████████████████████████████████████████████████▌                                                                        | 2/4 [00:02<00:02,  1.09s/it]
Loading checkpoint shards:  75%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                    | 3/4 [00:03<00:01,  1.07s/it]
Loading checkpoint shards: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:03<00:00,  1.22it/s]
Loading checkpoint shards: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:03<00:00,  1.09it/s]
Time to load cpu_adam op: 2.310872793197632 seconds