| Running 1 job |
| { |
| "type": "diffusion_trainer", |
| "training_folder": "/root/lab/ai-toolkit/output", |
| "sqlite_db_path": "/root/lab/ai-toolkit/aitk_db.db", |
| "device": "cuda", |
| "trigger_word": "l4n4lux", |
| "performance_log_every": 10, |
| "network": { |
| "type": "lora", |
| "linear": 64, |
| "linear_alpha": 64, |
| "conv": 16, |
| "conv_alpha": 16, |
| "lokr_full_rank": true, |
| "lokr_factor": -1, |
| "network_kwargs": { |
| "ignore_if_contains": [] |
| } |
| }, |
| "save": { |
| "dtype": "bf16", |
| "save_every": 250, |
| "max_step_saves_to_keep": 4, |
| "save_format": "diffusers", |
| "push_to_hub": false |
| }, |
| "datasets": [ |
| { |
| "folder_path": "/root/lab/ai-toolkit/datasets/lana", |
| "mask_path": null, |
| "mask_min_value": 0.1, |
| "default_caption": "l4n4lux", |
| "caption_ext": "txt", |
| "caption_dropout_rate": 0.05, |
| "cache_latents_to_disk": false, |
| "is_reg": false, |
| "network_weight": 1, |
| "resolution": [ |
| 512, |
| 768, |
| 1024 |
| ], |
| "controls": [], |
| "shrink_video_to_frames": true, |
| "num_frames": 1, |
| "flip_x": false, |
| "flip_y": false, |
| "num_repeats": 1 |
| } |
| ], |
| "train": { |
| "batch_size": 1, |
| "bypass_guidance_embedding": false, |
| "steps": 5000, |
| "gradient_accumulation": 1, |
| "train_unet": true, |
| "train_text_encoder": false, |
| "gradient_checkpointing": true, |
| "noise_scheduler": "flowmatch", |
| "optimizer": "adamw8bit", |
| "timestep_type": "sigmoid", |
| "content_or_style": "balanced", |
| "optimizer_params": { |
| "weight_decay": 0.0001 |
| }, |
| "unload_text_encoder": false, |
| "cache_text_embeddings": false, |
| "lr": 0.0001, |
| "ema_config": { |
| "use_ema": false, |
| "ema_decay": 0.99 |
| }, |
| "skip_first_sample": true, |
| "force_first_sample": false, |
| "disable_sampling": false, |
| "dtype": "bf16", |
| "diff_output_preservation": true, |
| "diff_output_preservation_multiplier": 1, |
| "diff_output_preservation_class": "woman", |
| "switch_boundary_every": 1, |
| "loss_type": "mse" |
| }, |
| "logging": { |
| "log_every": 1, |
| "use_ui_logger": true |
| }, |
| "model": { |
| "name_or_path": "ai-toolkit/Wan2.2-T2V-A14B-Diffusers-bf16", |
| "quantize": false, |
| "qtype": "qfloat8", |
| "quantize_te": false, |
| "qtype_te": "qfloat8", |
| "arch": "wan22_14b:t2v", |
| "low_vram": false, |
| "model_kwargs": { |
| "train_high_noise": false, |
| "train_low_noise": true |
| }, |
| "layer_offloading": false, |
| "layer_offloading_text_encoder_percent": 1, |
| "layer_offloading_transformer_percent": 1 |
| }, |
| "sample": { |
| "sampler": "flowmatch", |
| "sample_every": 250, |
| "width": 1024, |
| "height": 1024, |
| "samples": [ |
| { |
| "prompt": "l4n4lux, woman with red hair, playing chess at the park, bomb going off in the background" |
| } |
| ], |
| "neg": "", |
| "seed": 42, |
| "walk_seed": true, |
| "guidance_scale": 4, |
| "sample_steps": 12, |
| "num_frames": 1, |
| "fps": 1 |
| } |
| } |
| Using SQLite database at /root/lab/ai-toolkit/aitk_db.db |
| Job ID: "765fbd95-c627-460c-a232-147504194a44" |
|
|
| ############################################# |
| # Running job: lana-lora-wan2.2 |
| ############################################# |
|
|
|
|
| Running 1 process |
| Loading Wan model |
| Loading transformer 1 |
|
Loading checkpoint shards: 0%| | 0/3 [00:00<?, ?it/s]
Loading checkpoint shards: 0%| | 0/3 [00:00<?, ?it/s]
Loading checkpoint shards: 33%|##########################3 | 1/3 [00:00<00:00, 4.16it/s]
Loading checkpoint shards: 33%|##########################3 | 1/3 [00:00<00:00, 4.16it/s]
Loading checkpoint shards: 67%|####################################################6 | 2/3 [00:00<00:00, 4.33it/s]
Loading checkpoint shards: 67%|####################################################6 | 2/3 [00:00<00:00, 4.33it/s]
Loading checkpoint shards: 100%|###############################################################################| 3/3 [00:00<00:00, 4.69it/s]
Loading checkpoint shards: 100%|###############################################################################| 3/3 [00:00<00:00, 4.69it/s]
Loading checkpoint shards: 100%|###############################################################################| 3/3 [00:00<00:00, 4.56it/s]
Loading checkpoint shards: 100%|###############################################################################| 3/3 [00:00<00:00, 4.56it/s] |
|
|
| Loading transformer 2 |
|
Loading checkpoint shards: 0%| | 0/3 [00:00<?, ?it/s]
Loading checkpoint shards: 0%| | 0/3 [00:00<?, ?it/s]
Loading checkpoint shards: 33%|##########################3 | 1/3 [00:00<00:00, 5.26it/s]
Loading checkpoint shards: 33%|##########################3 | 1/3 [00:00<00:00, 5.26it/s]
Loading checkpoint shards: 67%|####################################################6 | 2/3 [00:00<00:00, 5.32it/s]
Loading checkpoint shards: 67%|####################################################6 | 2/3 [00:00<00:00, 5.32it/s]
Loading checkpoint shards: 100%|###############################################################################| 3/3 [00:00<00:00, 5.53it/s]
Loading checkpoint shards: 100%|###############################################################################| 3/3 [00:00<00:00, 5.53it/s]
Loading checkpoint shards: 100%|###############################################################################| 3/3 [00:00<00:00, 5.46it/s]
Loading checkpoint shards: 100%|###############################################################################| 3/3 [00:00<00:00, 5.46it/s] |
|
|
| Creating DualWanTransformer3DModel |
| Loading UMT5EncoderModel |
| You set `add_prefix_space`. The tokenizer needs to be converted from the slow tokenizers |
| You set `add_prefix_space`. The tokenizer needs to be converted from the slow tokenizers |
| Using ai-toolkit/umt5_xxl_encoder for UMT5 encoder. |
| `torch_dtype` is deprecated! Use `dtype` instead! |
| `torch_dtype` is deprecated! Use `dtype` instead! |
|
Loading checkpoint shards: 0%| | 0/3 [00:00<?, ?it/s]
Loading checkpoint shards: 0%| | 0/3 [00:00<?, ?it/s]
Loading checkpoint shards: 67%|####################################################6 | 2/3 [00:00<00:00, 9.23it/s]
Loading checkpoint shards: 67%|####################################################6 | 2/3 [00:00<00:00, 9.23it/s]
Loading checkpoint shards: 100%|###############################################################################| 3/3 [00:00<00:00, 11.56it/s]
Loading checkpoint shards: 100%|###############################################################################| 3/3 [00:00<00:00, 11.56it/s] |
|
|
| Loading VAE |
| Making pipe |
| Preparing Model |
| create LoRA network. base dim (rank): 64, alpha: 64 |
| neuron dropout: p=None, rank dropout: p=None, module dropout: p=None |
| apply LoRA to Conv2d with kernel size (3,3). dim (rank): 16, alpha: 16 |
| create LoRA for Text Encoder: 0 modules. |
| create LoRA for U-Net: 400 modules. |
| enable LoRA for U-Net |
| #### IMPORTANT RESUMING FROM /root/lab/ai-toolkit/output/lana-lora-wan2.2/lana-lora-wan2.2_000002500_low_noise.safetensors #### |
| Loading from /root/lab/ai-toolkit/output/lana-lora-wan2.2/lana-lora-wan2.2_000002500_low_noise.safetensors |
| Missing keys: [] |
| Found step 2500 in metadata, starting from there |
| Loading optimizer state from /root/lab/ai-toolkit/output/lana-lora-wan2.2/optimizer.pt |
| Updating optimizer LR from params |
| Dataset: /root/lab/ai-toolkit/datasets/lana |
| - Preprocessing image dimensions |
|
0%| | 0/72 [00:00<?, ?it/s]
0%| | 0/72 [00:00<?, ?it/s]
100%|######################################################################################################| 72/72 [00:00<00:00, 8887.02it/s]
100%|######################################################################################################| 72/72 [00:00<00:00, 8887.02it/s] |
|
|
| - Found 72 images |
| Bucket sizes for /root/lab/ai-toolkit/datasets/lana: |
| 480x512: 72 files |
| 1 buckets made |
| Dataset: /root/lab/ai-toolkit/datasets/lana |
| - Preprocessing image dimensions |
|
0%| | 0/72 [00:00<?, ?it/s]
0%| | 0/72 [00:00<?, ?it/s]
100%|#####################################################################################################| 72/72 [00:00<00:00, 18973.98it/s]
100%|#####################################################################################################| 72/72 [00:00<00:00, 18973.98it/s] |
|
|
| - Found 72 images |
| Bucket sizes for /root/lab/ai-toolkit/datasets/lana: |
| 720x768: 72 files |
| 1 buckets made |
| Dataset: /root/lab/ai-toolkit/datasets/lana |
| - Preprocessing image dimensions |
|
0%| | 0/72 [00:00<?, ?it/s]
0%| | 0/72 [00:00<?, ?it/s]
100%|#####################################################################################################| 72/72 [00:00<00:00, 28519.21it/s]
100%|#####################################################################################################| 72/72 [00:00<00:00, 28519.21it/s] |
|
|
| - Found 72 images |
| Bucket sizes for /root/lab/ai-toolkit/datasets/lana: |
| 960x1024: 72 files |
| 1 buckets made |
| Skipping first sample due to config setting |
|
lana-lora-wan2.2: 50%|############################################# | 2500/5000 [00:00<?, ?it/s]
lana-lora-wan2.2: 50%|############################################# | 2500/5000 [00:00<?, ?it/s]
lana-lora-wan2.2: 50%|##############################5 | 2500/5000 [00:05<?, ?it/s, lr: 1.0e-04 loss: 4.657e-02]
lana-lora-wan2.2: 50%|##############################5 | 2500/5000 [00:05<?, ?it/s, lr: 1.0e-04 loss: 4.657e-02]
lana-lora-wan2.2: 50%|##############################5 | 2500/5000 [00:05<?, ?it/s, lr: 1.0e-04 loss: 4.657e-02]
lana-lora-wan2.2: 50%|##############################5 | 2500/5000 [00:05<?, ?it/s, lr: 1.0e-04 loss: 4.657e-02]
lana-lora-wan2.2: 50%|##############################5 | 2500/5000 [00:07<?, ?it/s, lr: 1.0e-04 loss: 1.112e-01]
lana-lora-wan2.2: 50%|##############################5 | 2500/5000 [00:07<?, ?it/s, lr: 1.0e-04 loss: 1.112e-01]
lana-lora-wan2.2: 50%|#########################5 | 2501/5000 [00:09<6:31:37, 9.40s/it, lr: 1.0e-04 loss: 2.785e-02]
lana-lora-wan2.2: 50%|#########################5 | 2501/5000 [00:09<6:31:37, 9.40s/it, lr: 1.0e-04 loss: 2.785e-02]
lana-lora-wan2.2: 50%|#########################5 | 2502/5000 [00:11<4:00:58, 5.79s/it, lr: 1.0e-04 loss: 7.016e-02]
lana-lora-wan2.2: 50%|#########################5 | 2502/5000 [00:11<4:00:58, 5.79s/it, lr: 1.0e-04 loss: 7.016e-02]
lana-lora-wan2.2: 50%|#########################5 | 2503/5000 [00:15<3:31:40, 5.09s/it, lr: 1.0e-04 loss: 2.891e-02]
lana-lora-wan2.2: 50%|#########################5 | 2503/5000 [00:15<3:31:40, 5.09s/it, lr: 1.0e-04 loss: 2.891e-02]
lana-lora-wan2.2: 50%|#########################5 | 2504/5000 [00:16<2:51:26, 4.12s/it, lr: 1.0e-04 loss: 7.707e-02]
lana-lora-wan2.2: 50%|#########################5 | 2504/5000 [00:16<2:51:26, 4.12s/it, lr: 1.0e-04 loss: 7.707e-02]
lana-lora-wan2.2: 50%|#########################5 | 2505/5000 [00:20<2:49:40, 4.08s/it, lr: 1.0e-04 loss: 3.164e-02]
lana-lora-wan2.2: 50%|#########################5 | 2505/5000 [00:20<2:49:40, 4.08s/it, lr: 1.0e-04 loss: 3.164e-02]
lana-lora-wan2.2: 50%|#########################5 | 2506/5000 [00:22<2:36:25, 3.76s/it, lr: 1.0e-04 loss: 2.816e-02]
lana-lora-wan2.2: 50%|#########################5 | 2506/5000 [00:22<2:36:25, 3.76s/it, lr: 1.0e-04 loss: 2.816e-02]
lana-lora-wan2.2: 50%|#########################5 | 2507/5000 [00:23<2:21:11, 3.40s/it, lr: 1.0e-04 loss: 5.696e-02]
lana-lora-wan2.2: 50%|#########################5 | 2507/5000 [00:23<2:21:11, 3.40s/it, lr: 1.0e-04 loss: 5.696e-02]
lana-lora-wan2.2: 50%|#########################5 | 2508/5000 [00:27<2:22:27, 3.43s/it, lr: 1.0e-04 loss: 4.011e-02]
lana-lora-wan2.2: 50%|#########################5 | 2508/5000 [00:27<2:22:27, 3.43s/it, lr: 1.0e-04 loss: 4.011e-02]
lana-lora-wan2.2: 50%|#########################5 | 2509/5000 [00:28<2:12:06, 3.18s/it, lr: 1.0e-04 loss: 4.080e-02]
lana-lora-wan2.2: 50%|#########################5 | 2509/5000 [00:28<2:12:06, 3.18s/it, lr: 1.0e-04 loss: 4.080e-02]
lana-lora-wan2.2: 50%|#########################6 | 2510/5000 [00:32<2:13:59, 3.23s/it, lr: 1.0e-04 loss: 2.404e-02]
lana-lora-wan2.2: 50%|#########################6 | 2510/5000 [00:32<2:13:59, 3.23s/it, lr: 1.0e-04 loss: 2.404e-02]
lana-lora-wan2.2: 50%|#########################6 | 2511/5000 [00:33<2:07:26, 3.07s/it, lr: 1.0e-04 loss: 1.078e-01]
lana-lora-wan2.2: 50%|#########################6 | 2511/5000 [00:33<2:07:26, 3.07s/it, lr: 1.0e-04 loss: 1.078e-01]
lana-lora-wan2.2: 50%|#########################6 | 2512/5000 [00:35<2:04:15, 3.00s/it, lr: 1.0e-04 loss: 8.345e-02]
lana-lora-wan2.2: 50%|#########################6 | 2512/5000 [00:35<2:04:15, 3.00s/it, lr: 1.0e-04 loss: 8.345e-02]
lana-lora-wan2.2: 50%|#########################6 | 2513/5000 [00:38<2:01:35, 2.93s/it, lr: 1.0e-04 loss: 1.853e-01]
lana-lora-wan2.2: 50%|#########################6 | 2513/5000 [00:38<2:01:35, 2.93s/it, lr: 1.0e-04 loss: 1.853e-01]
lana-lora-wan2.2: 50%|#########################6 | 2514/5000 [00:39<1:56:21, 2.81s/it, lr: 1.0e-04 loss: 6.034e-02]
lana-lora-wan2.2: 50%|#########################6 | 2514/5000 [00:39<1:56:21, 2.81s/it, lr: 1.0e-04 loss: 6.034e-02]
lana-lora-wan2.2: 50%|#########################6 | 2515/5000 [00:42<1:58:40, 2.87s/it, lr: 1.0e-04 loss: 2.032e-02]
lana-lora-wan2.2: 50%|#########################6 | 2515/5000 [00:42<1:58:40, 2.87s/it, lr: 1.0e-04 loss: 2.032e-02]
lana-lora-wan2.2: 50%|#########################6 | 2516/5000 [00:46<2:00:39, 2.91s/it, lr: 1.0e-04 loss: 8.243e-02]
lana-lora-wan2.2: 50%|#########################6 | 2516/5000 [00:46<2:00:39, 2.91s/it, lr: 1.0e-04 loss: 8.243e-02]
lana-lora-wan2.2: 50%|#########################6 | 2517/5000 [00:48<1:57:11, 2.83s/it, lr: 1.0e-04 loss: 5.800e-02]
lana-lora-wan2.2: 50%|#########################6 | 2517/5000 [00:48<1:57:11, 2.83s/it, lr: 1.0e-04 loss: 5.800e-02]
lana-lora-wan2.2: 50%|#########################6 | 2518/5000 [00:49<1:53:20, 2.74s/it, lr: 1.0e-04 loss: 3.955e-02]
lana-lora-wan2.2: 50%|#########################6 | 2518/5000 [00:49<1:53:20, 2.74s/it, lr: 1.0e-04 loss: 3.955e-02]
lana-lora-wan2.2: 50%|#########################6 | 2519/5000 [00:51<1:52:03, 2.71s/it, lr: 1.0e-04 loss: 2.270e-01]
lana-lora-wan2.2: 50%|#########################6 | 2519/5000 [00:51<1:52:03, 2.71s/it, lr: 1.0e-04 loss: 2.270e-01]
lana-lora-wan2.2: 50%|#########################7 | 2520/5000 [00:52<1:48:51, 2.63s/it, lr: 1.0e-04 loss: 5.030e-02]
lana-lora-wan2.2: 50%|#########################7 | 2520/5000 [00:52<1:48:51, 2.63s/it, lr: 1.0e-04 loss: 5.030e-02]
lana-lora-wan2.2: 50%|#########################7 | 2521/5000 [00:54<1:47:54, 2.61s/it, lr: 1.0e-04 loss: 5.569e-02]
lana-lora-wan2.2: 50%|#########################7 | 2521/5000 [00:54<1:47:54, 2.61s/it, lr: 1.0e-04 loss: 5.569e-02]
lana-lora-wan2.2: 50%|#########################7 | 2522/5000 [00:57<1:47:02, 2.59s/it, lr: 1.0e-04 loss: 3.982e-02]
lana-lora-wan2.2: 50%|#########################7 | 2522/5000 [00:57<1:47:02, 2.59s/it, lr: 1.0e-04 loss: 3.982e-02]
lana-lora-wan2.2: 50%|#########################7 | 2523/5000 [01:00<1:49:22, 2.65s/it, lr: 1.0e-04 loss: 7.694e-02]
lana-lora-wan2.2: 50%|#########################7 | 2523/5000 [01:00<1:49:22, 2.65s/it, lr: 1.0e-04 loss: 7.694e-02]
lana-lora-wan2.2: 50%|#########################7 | 2524/5000 [01:03<1:48:30, 2.63s/it, lr: 1.0e-04 loss: 4.213e-02]
lana-lora-wan2.2: 50%|#########################7 | 2524/5000 [01:03<1:48:30, 2.63s/it, lr: 1.0e-04 loss: 4.213e-02]
lana-lora-wan2.2: 50%|#########################7 | 2525/5000 [01:05<1:47:43, 2.61s/it, lr: 1.0e-04 loss: 2.555e-02]
lana-lora-wan2.2: 50%|#########################7 | 2525/5000 [01:05<1:47:43, 2.61s/it, lr: 1.0e-04 loss: 2.555e-02]
lana-lora-wan2.2: 51%|#########################7 | 2526/5000 [01:07<1:46:59, 2.59s/it, lr: 1.0e-04 loss: 4.381e-02]
lana-lora-wan2.2: 51%|#########################7 | 2526/5000 [01:07<1:46:59, 2.59s/it, lr: 1.0e-04 loss: 4.381e-02]
lana-lora-wan2.2: 51%|#########################7 | 2527/5000 [01:08<1:44:46, 2.54s/it, lr: 1.0e-04 loss: 1.786e-01]
lana-lora-wan2.2: 51%|#########################7 | 2527/5000 [01:08<1:44:46, 2.54s/it, lr: 1.0e-04 loss: 1.786e-01]
lana-lora-wan2.2: 51%|#########################7 | 2528/5000 [01:11<1:44:35, 2.54s/it, lr: 1.0e-04 loss: 2.921e-02]
lana-lora-wan2.2: 51%|#########################7 | 2528/5000 [01:11<1:44:35, 2.54s/it, lr: 1.0e-04 loss: 2.921e-02]
lana-lora-wan2.2: 51%|#########################7 | 2529/5000 [01:14<1:46:08, 2.58s/it, lr: 1.0e-04 loss: 2.464e-02]
lana-lora-wan2.2: 51%|#########################7 | 2529/5000 [01:14<1:46:08, 2.58s/it, lr: 1.0e-04 loss: 2.464e-02]
lana-lora-wan2.2: 51%|#########################8 | 2530/5000 [01:18<1:47:34, 2.61s/it, lr: 1.0e-04 loss: 7.274e-02]
lana-lora-wan2.2: 51%|#########################8 | 2530/5000 [01:18<1:47:34, 2.61s/it, lr: 1.0e-04 loss: 7.274e-02]
lana-lora-wan2.2: 51%|#########################8 | 2531/5000 [01:22<1:48:54, 2.65s/it, lr: 1.0e-04 loss: 1.517e-01]
lana-lora-wan2.2: 51%|#########################8 | 2531/5000 [01:22<1:48:54, 2.65s/it, lr: 1.0e-04 loss: 1.517e-01]
lana-lora-wan2.2: 51%|#########################8 | 2532/5000 [01:25<1:50:09, 2.68s/it, lr: 1.0e-04 loss: 1.881e-02]
lana-lora-wan2.2: 51%|#########################8 | 2532/5000 [01:25<1:50:09, 2.68s/it, lr: 1.0e-04 loss: 1.881e-02]
lana-lora-wan2.2: 51%|#########################8 | 2533/5000 [01:29<1:51:20, 2.71s/it, lr: 1.0e-04 loss: 6.465e-02]
lana-lora-wan2.2: 51%|#########################8 | 2533/5000 [01:29<1:51:20, 2.71s/it, lr: 1.0e-04 loss: 6.465e-02]
lana-lora-wan2.2: 51%|#########################8 | 2534/5000 [01:31<1:51:02, 2.70s/it, lr: 1.0e-04 loss: 6.319e-02]
lana-lora-wan2.2: 51%|#########################8 | 2534/5000 [01:31<1:51:02, 2.70s/it, lr: 1.0e-04 loss: 6.319e-02]
lana-lora-wan2.2: 51%|#########################8 | 2535/5000 [01:33<1:49:14, 2.66s/it, lr: 1.0e-04 loss: 1.292e-01]
lana-lora-wan2.2: 51%|#########################8 | 2535/5000 [01:33<1:49:14, 2.66s/it, lr: 1.0e-04 loss: 1.292e-01]
lana-lora-wan2.2: 51%|#########################8 | 2536/5000 [01:36<1:50:20, 2.69s/it, lr: 1.0e-04 loss: 1.116e-01]
lana-lora-wan2.2: 51%|#########################8 | 2536/5000 [01:36<1:50:20, 2.69s/it, lr: 1.0e-04 loss: 1.116e-01]
lana-lora-wan2.2: 51%|#########################8 | 2537/5000 [01:37<1:48:37, 2.65s/it, lr: 1.0e-04 loss: 9.636e-02]
lana-lora-wan2.2: 51%|#########################8 | 2537/5000 [01:37<1:48:37, 2.65s/it, lr: 1.0e-04 loss: 9.636e-02]
lana-lora-wan2.2: 51%|#########################8 | 2538/5000 [01:41<1:49:40, 2.67s/it, lr: 1.0e-04 loss: 2.320e-02]
lana-lora-wan2.2: 51%|#########################8 | 2538/5000 [01:41<1:49:40, 2.67s/it, lr: 1.0e-04 loss: 2.320e-02]
lana-lora-wan2.2: 51%|#########################8 | 2539/5000 [01:45<1:50:39, 2.70s/it, lr: 1.0e-04 loss: 6.859e-02]
lana-lora-wan2.2: 51%|#########################8 | 2539/5000 [01:45<1:50:39, 2.70s/it, lr: 1.0e-04 loss: 6.859e-02]
lana-lora-wan2.2: 51%|#########################9 | 2540/5000 [01:47<1:50:23, 2.69s/it, lr: 1.0e-04 loss: 3.930e-02]
lana-lora-wan2.2: 51%|#########################9 | 2540/5000 [01:47<1:50:23, 2.69s/it, lr: 1.0e-04 loss: 3.930e-02]
lana-lora-wan2.2: 51%|#########################9 | 2541/5000 [01:51<1:51:20, 2.72s/it, lr: 1.0e-04 loss: 3.789e-02]
lana-lora-wan2.2: 51%|#########################9 | 2541/5000 [01:51<1:51:20, 2.72s/it, lr: 1.0e-04 loss: 3.789e-02]
lana-lora-wan2.2: 51%|#########################9 | 2542/5000 [01:53<1:50:46, 2.70s/it, lr: 1.0e-04 loss: 4.410e-02]
lana-lora-wan2.2: 51%|#########################9 | 2542/5000 [01:53<1:50:46, 2.70s/it, lr: 1.0e-04 loss: 4.410e-02]
lana-lora-wan2.2: 51%|#########################9 | 2543/5000 [01:57<1:51:38, 2.73s/it, lr: 1.0e-04 loss: 8.579e-02]
lana-lora-wan2.2: 51%|#########################9 | 2543/5000 [01:57<1:51:38, 2.73s/it, lr: 1.0e-04 loss: 8.579e-02]
lana-lora-wan2.2: 51%|#########################9 | 2544/5000 [02:00<1:52:26, 2.75s/it, lr: 1.0e-04 loss: 3.314e-02]
lana-lora-wan2.2: 51%|#########################9 | 2544/5000 [02:00<1:52:26, 2.75s/it, lr: 1.0e-04 loss: 3.314e-02]
lana-lora-wan2.2: 51%|#########################9 | 2545/5000 [02:03<1:51:52, 2.73s/it, lr: 1.0e-04 loss: 1.251e-01]
lana-lora-wan2.2: 51%|#########################9 | 2545/5000 [02:03<1:51:52, 2.73s/it, lr: 1.0e-04 loss: 1.251e-01]
lana-lora-wan2.2: 51%|#########################9 | 2546/5000 [02:05<1:51:34, 2.73s/it, lr: 1.0e-04 loss: 4.131e-02]
lana-lora-wan2.2: 51%|#########################9 | 2546/5000 [02:05<1:51:34, 2.73s/it, lr: 1.0e-04 loss: 4.131e-02]
lana-lora-wan2.2: 51%|#########################9 | 2547/5000 [02:09<1:52:20, 2.75s/it, lr: 1.0e-04 loss: 3.481e-02]
lana-lora-wan2.2: 51%|#########################9 | 2547/5000 [02:09<1:52:20, 2.75s/it, lr: 1.0e-04 loss: 3.481e-02]
lana-lora-wan2.2: 51%|#########################9 | 2548/5000 [02:12<1:53:04, 2.77s/it, lr: 1.0e-04 loss: 5.021e-02]
lana-lora-wan2.2: 51%|#########################9 | 2548/5000 [02:12<1:53:04, 2.77s/it, lr: 1.0e-04 loss: 5.021e-02]
lana-lora-wan2.2: 51%|#########################9 | 2549/5000 [02:14<1:52:31, 2.75s/it, lr: 1.0e-04 loss: 4.678e-02]
lana-lora-wan2.2: 51%|#########################9 | 2549/5000 [02:14<1:52:31, 2.75s/it, lr: 1.0e-04 loss: 4.678e-02]
lana-lora-wan2.2: 51%|########################## | 2550/5000 [02:16<1:51:11, 2.72s/it, lr: 1.0e-04 loss: 1.037e-01]
lana-lora-wan2.2: 51%|########################## | 2550/5000 [02:16<1:51:11, 2.72s/it, lr: 1.0e-04 loss: 1.037e-01]
lana-lora-wan2.2: 51%|########################## | 2551/5000 [02:18<1:50:55, 2.72s/it, lr: 1.0e-04 loss: 8.858e-02]
lana-lora-wan2.2: 51%|########################## | 2551/5000 [02:18<1:50:55, 2.72s/it, lr: 1.0e-04 loss: 8.858e-02]
lana-lora-wan2.2: 51%|########################## | 2552/5000 [02:19<1:49:40, 2.69s/it, lr: 1.0e-04 loss: 4.132e-01]
lana-lora-wan2.2: 51%|########################## | 2552/5000 [02:19<1:49:40, 2.69s/it, lr: 1.0e-04 loss: 4.132e-01]
lana-lora-wan2.2: 51%|########################## | 2553/5000 [02:21<1:49:13, 2.68s/it, lr: 1.0e-04 loss: 1.638e-01]
lana-lora-wan2.2: 51%|########################## | 2553/5000 [02:21<1:49:13, 2.68s/it, lr: 1.0e-04 loss: 1.638e-01]
lana-lora-wan2.2: 51%|########################## | 2554/5000 [02:25<1:49:55, 2.70s/it, lr: 1.0e-04 loss: 2.332e-02]
lana-lora-wan2.2: 51%|########################## | 2554/5000 [02:25<1:49:55, 2.70s/it, lr: 1.0e-04 loss: 2.332e-02]
lana-lora-wan2.2: 51%|########################## | 2555/5000 [02:29<1:50:35, 2.71s/it, lr: 1.0e-04 loss: 8.302e-02]
lana-lora-wan2.2: 51%|########################## | 2555/5000 [02:29<1:50:35, 2.71s/it, lr: 1.0e-04 loss: 8.302e-02]
lana-lora-wan2.2: 51%|########################## | 2556/5000 [02:32<1:51:13, 2.73s/it, lr: 1.0e-04 loss: 2.798e-02]
lana-lora-wan2.2: 51%|########################## | 2556/5000 [02:32<1:51:13, 2.73s/it, lr: 1.0e-04 loss: 2.798e-02]
lana-lora-wan2.2: 51%|########################## | 2557/5000 [02:34<1:50:19, 2.71s/it, lr: 1.0e-04 loss: 4.861e-02]
lana-lora-wan2.2: 51%|########################## | 2557/5000 [02:34<1:50:19, 2.71s/it, lr: 1.0e-04 loss: 4.861e-02]
lana-lora-wan2.2: 51%|########################## | 2558/5000 [02:36<1:49:54, 2.70s/it, lr: 1.0e-04 loss: 1.884e-02]
lana-lora-wan2.2: 51%|########################## | 2558/5000 [02:36<1:49:54, 2.70s/it, lr: 1.0e-04 loss: 1.884e-02]
lana-lora-wan2.2: 51%|##########################1 | 2559/5000 [02:38<1:49:29, 2.69s/it, lr: 1.0e-04 loss: 6.816e-02]
lana-lora-wan2.2: 51%|##########################1 | 2559/5000 [02:38<1:49:29, 2.69s/it, lr: 1.0e-04 loss: 6.816e-02]
lana-lora-wan2.2: 51%|##########################1 | 2560/5000 [02:39<1:48:25, 2.67s/it, lr: 1.0e-04 loss: 3.401e-02]
lana-lora-wan2.2: 51%|##########################1 | 2560/5000 [02:39<1:48:25, 2.67s/it, lr: 1.0e-04 loss: 3.401e-02]
lana-lora-wan2.2: 51%|##########################1 | 2561/5000 [02:43<1:49:01, 2.68s/it, lr: 1.0e-04 loss: 4.337e-02]
lana-lora-wan2.2: 51%|##########################1 | 2561/5000 [02:43<1:49:01, 2.68s/it, lr: 1.0e-04 loss: 4.337e-02]
lana-lora-wan2.2: 51%|##########################1 | 2562/5000 [02:44<1:48:00, 2.66s/it, lr: 1.0e-04 loss: 4.481e-02]
lana-lora-wan2.2: 51%|##########################1 | 2562/5000 [02:44<1:48:00, 2.66s/it, lr: 1.0e-04 loss: 4.481e-02]
lana-lora-wan2.2: 51%|##########################1 | 2563/5000 [02:47<1:47:50, 2.66s/it, lr: 1.0e-04 loss: 3.799e-02]
lana-lora-wan2.2: 51%|##########################1 | 2563/5000 [02:47<1:47:50, 2.66s/it, lr: 1.0e-04 loss: 3.799e-02]
lana-lora-wan2.2: 51%|##########################1 | 2564/5000 [02:49<1:47:30, 2.65s/it, lr: 1.0e-04 loss: 3.133e-02]
lana-lora-wan2.2: 51%|##########################1 | 2564/5000 [02:49<1:47:30, 2.65s/it, lr: 1.0e-04 loss: 3.133e-02]
lana-lora-wan2.2: 51%|##########################1 | 2565/5000 [02:50<1:46:32, 2.63s/it, lr: 1.0e-04 loss: 3.918e-02]
lana-lora-wan2.2: 51%|##########################1 | 2565/5000 [02:50<1:46:32, 2.63s/it, lr: 1.0e-04 loss: 3.918e-02]
lana-lora-wan2.2: 51%|##########################1 | 2566/5000 [02:54<1:47:07, 2.64s/it, lr: 1.0e-04 loss: 8.627e-02]
lana-lora-wan2.2: 51%|##########################1 | 2566/5000 [02:54<1:47:07, 2.64s/it, lr: 1.0e-04 loss: 8.627e-02]
lana-lora-wan2.2: 51%|##########################1 | 2567/5000 [02:57<1:47:41, 2.66s/it, lr: 1.0e-04 loss: 2.440e-01]
lana-lora-wan2.2: 51%|##########################1 | 2567/5000 [02:57<1:47:41, 2.66s/it, lr: 1.0e-04 loss: 2.440e-01]
lana-lora-wan2.2: 51%|##########################1 | 2568/5000 [03:00<1:47:21, 2.65s/it, lr: 1.0e-04 loss: 3.099e-02]
lana-lora-wan2.2: 51%|##########################1 | 2568/5000 [03:00<1:47:21, 2.65s/it, lr: 1.0e-04 loss: 3.099e-02]
lana-lora-wan2.2: 51%|##########################2 | 2569/5000 [03:02<1:47:11, 2.65s/it, lr: 1.0e-04 loss: 3.403e-02]
lana-lora-wan2.2: 51%|##########################2 | 2569/5000 [03:02<1:47:11, 2.65s/it, lr: 1.0e-04 loss: 3.403e-02]
lana-lora-wan2.2: 51%|##########################2 | 2570/5000 [03:03<1:46:18, 2.62s/it, lr: 1.0e-04 loss: 4.881e-02]
lana-lora-wan2.2: 51%|##########################2 | 2570/5000 [03:03<1:46:18, 2.62s/it, lr: 1.0e-04 loss: 4.881e-02]
lana-lora-wan2.2: 51%|##########################2 | 2571/5000 [03:05<1:45:59, 2.62s/it, lr: 1.0e-04 loss: 2.355e-02]
lana-lora-wan2.2: 51%|##########################2 | 2571/5000 [03:05<1:45:59, 2.62s/it, lr: 1.0e-04 loss: 2.355e-02]
lana-lora-wan2.2: 51%|##########################2 | 2572/5000 [03:09<1:46:33, 2.63s/it, lr: 1.0e-04 loss: 2.936e-02]
lana-lora-wan2.2: 51%|##########################2 | 2572/5000 [03:09<1:46:33, 2.63s/it, lr: 1.0e-04 loss: 2.936e-02]
lana-lora-wan2.2: 51%|##########################2 | 2573/5000 [03:10<1:45:42, 2.61s/it, lr: 1.0e-04 loss: 2.811e-02]
lana-lora-wan2.2: 51%|##########################2 | 2573/5000 [03:10<1:45:42, 2.61s/it, lr: 1.0e-04 loss: 2.811e-02]
lana-lora-wan2.2: 51%|##########################2 | 2574/5000 [03:12<1:45:25, 2.61s/it, lr: 1.0e-04 loss: 3.986e-02]
lana-lora-wan2.2: 51%|##########################2 | 2574/5000 [03:12<1:45:25, 2.61s/it, lr: 1.0e-04 loss: 3.986e-02]
lana-lora-wan2.2: 52%|##########################2 | 2575/5000 [03:15<1:45:18, 2.61s/it, lr: 1.0e-04 loss: 3.470e-02]
lana-lora-wan2.2: 52%|##########################2 | 2575/5000 [03:15<1:45:18, 2.61s/it, lr: 1.0e-04 loss: 3.470e-02]
lana-lora-wan2.2: 52%|##########################2 | 2576/5000 [03:19<1:45:49, 2.62s/it, lr: 1.0e-04 loss: 1.324e-01]
lana-lora-wan2.2: 52%|##########################2 | 2576/5000 [03:19<1:45:49, 2.62s/it, lr: 1.0e-04 loss: 1.324e-01]
lana-lora-wan2.2: 52%|##########################2 | 2577/5000 [03:20<1:45:01, 2.60s/it, lr: 1.0e-04 loss: 1.949e-01]
lana-lora-wan2.2: 52%|##########################2 | 2577/5000 [03:20<1:45:01, 2.60s/it, lr: 1.0e-04 loss: 1.949e-01]
lana-lora-wan2.2: 52%|##########################2 | 2578/5000 [03:22<1:44:45, 2.60s/it, lr: 1.0e-04 loss: 4.898e-02]
lana-lora-wan2.2: 52%|##########################2 | 2578/5000 [03:22<1:44:45, 2.60s/it, lr: 1.0e-04 loss: 4.898e-02]
lana-lora-wan2.2: 52%|##########################3 | 2579/5000 [03:26<1:45:15, 2.61s/it, lr: 1.0e-04 loss: 2.474e-02]
lana-lora-wan2.2: 52%|##########################3 | 2579/5000 [03:26<1:45:15, 2.61s/it, lr: 1.0e-04 loss: 2.474e-02]
lana-lora-wan2.2: 52%|##########################3 | 2580/5000 [03:28<1:45:08, 2.61s/it, lr: 1.0e-04 loss: 5.607e-02]
lana-lora-wan2.2: 52%|##########################3 | 2580/5000 [03:28<1:45:08, 2.61s/it, lr: 1.0e-04 loss: 5.607e-02]
lana-lora-wan2.2: 52%|##########################3 | 2581/5000 [03:30<1:44:52, 2.60s/it, lr: 1.0e-04 loss: 2.562e-02]
lana-lora-wan2.2: 52%|##########################3 | 2581/5000 [03:30<1:44:52, 2.60s/it, lr: 1.0e-04 loss: 2.562e-02]
lana-lora-wan2.2: 52%|##########################3 | 2582/5000 [03:31<1:44:08, 2.58s/it, lr: 1.0e-04 loss: 4.998e-02]
lana-lora-wan2.2: 52%|##########################3 | 2582/5000 [03:31<1:44:08, 2.58s/it, lr: 1.0e-04 loss: 4.998e-02]
lana-lora-wan2.2: 52%|##########################3 | 2583/5000 [03:33<1:43:25, 2.57s/it, lr: 1.0e-04 loss: 4.625e-01]
lana-lora-wan2.2: 52%|##########################3 | 2583/5000 [03:33<1:43:25, 2.57s/it, lr: 1.0e-04 loss: 4.625e-01]
lana-lora-wan2.2: 52%|##########################3 | 2584/5000 [03:34<1:42:43, 2.55s/it, lr: 1.0e-04 loss: 4.522e-02]
lana-lora-wan2.2: 52%|##########################3 | 2584/5000 [03:34<1:42:43, 2.55s/it, lr: 1.0e-04 loss: 4.522e-02]
lana-lora-wan2.2: 52%|##########################3 | 2585/5000 [03:36<1:42:29, 2.55s/it, lr: 1.0e-04 loss: 1.103e-01]
lana-lora-wan2.2: 52%|##########################3 | 2585/5000 [03:36<1:42:29, 2.55s/it, lr: 1.0e-04 loss: 1.103e-01]
lana-lora-wan2.2: 52%|##########################3 | 2586/5000 [03:40<1:43:06, 2.56s/it, lr: 1.0e-04 loss: 4.294e-01]
lana-lora-wan2.2: 52%|##########################3 | 2586/5000 [03:40<1:43:06, 2.56s/it, lr: 1.0e-04 loss: 4.294e-01]
lana-lora-wan2.2: 52%|##########################3 | 2587/5000 [03:44<1:43:34, 2.58s/it, lr: 1.0e-04 loss: 4.954e-02]
lana-lora-wan2.2: 52%|##########################3 | 2587/5000 [03:44<1:43:34, 2.58s/it, lr: 1.0e-04 loss: 4.954e-02]
lana-lora-wan2.2: 52%|##########################3 | 2588/5000 [03:46<1:43:21, 2.57s/it, lr: 1.0e-04 loss: 1.239e-01]
lana-lora-wan2.2: 52%|##########################3 | 2588/5000 [03:46<1:43:21, 2.57s/it, lr: 1.0e-04 loss: 1.239e-01]
lana-lora-wan2.2: 52%|##########################4 | 2589/5000 [03:49<1:43:48, 2.58s/it, lr: 1.0e-04 loss: 5.258e-02]
lana-lora-wan2.2: 52%|##########################4 | 2589/5000 [03:49<1:43:48, 2.58s/it, lr: 1.0e-04 loss: 5.258e-02]
lana-lora-wan2.2: 52%|##########################4 | 2590/5000 [03:53<1:44:14, 2.60s/it, lr: 1.0e-04 loss: 5.280e-02]
lana-lora-wan2.2: 52%|##########################4 | 2590/5000 [03:53<1:44:14, 2.60s/it, lr: 1.0e-04 loss: 5.280e-02]
lana-lora-wan2.2: 52%|##########################4 | 2591/5000 [03:57<1:44:39, 2.61s/it, lr: 1.0e-04 loss: 3.570e-02]
lana-lora-wan2.2: 52%|##########################4 | 2591/5000 [03:57<1:44:39, 2.61s/it, lr: 1.0e-04 loss: 3.570e-02]
lana-lora-wan2.2: 52%|##########################4 | 2592/5000 [03:59<1:44:32, 2.61s/it, lr: 1.0e-04 loss: 1.714e-01]
lana-lora-wan2.2: 52%|##########################4 | 2592/5000 [03:59<1:44:32, 2.61s/it, lr: 1.0e-04 loss: 1.714e-01]
lana-lora-wan2.2: 52%|##########################4 | 2593/5000 [04:00<1:43:53, 2.59s/it, lr: 1.0e-04 loss: 4.291e-02]
lana-lora-wan2.2: 52%|##########################4 | 2593/5000 [04:00<1:43:53, 2.59s/it, lr: 1.0e-04 loss: 4.291e-02]
lana-lora-wan2.2: 52%|##########################4 | 2594/5000 [04:03<1:43:40, 2.59s/it, lr: 1.0e-04 loss: 8.646e-02]
lana-lora-wan2.2: 52%|##########################4 | 2594/5000 [04:03<1:43:40, 2.59s/it, lr: 1.0e-04 loss: 8.646e-02]
lana-lora-wan2.2: 52%|##########################4 | 2595/5000 [04:06<1:44:04, 2.60s/it, lr: 1.0e-04 loss: 1.829e-01]
lana-lora-wan2.2: 52%|##########################4 | 2595/5000 [04:06<1:44:04, 2.60s/it, lr: 1.0e-04 loss: 1.829e-01]
lana-lora-wan2.2: 52%|##########################4 | 2596/5000 [04:07<1:43:27, 2.58s/it, lr: 1.0e-04 loss: 1.298e-01]
lana-lora-wan2.2: 52%|##########################4 | 2596/5000 [04:07<1:43:27, 2.58s/it, lr: 1.0e-04 loss: 1.298e-01]
lana-lora-wan2.2: 52%|##########################4 | 2597/5000 [04:09<1:42:49, 2.57s/it, lr: 1.0e-04 loss: 6.658e-02]
lana-lora-wan2.2: 52%|##########################4 | 2597/5000 [04:09<1:42:49, 2.57s/it, lr: 1.0e-04 loss: 6.658e-02]
lana-lora-wan2.2: 52%|##########################4 | 2598/5000 [04:10<1:42:21, 2.56s/it, lr: 1.0e-04 loss: 4.331e-02]
lana-lora-wan2.2: 52%|##########################4 | 2598/5000 [04:10<1:42:21, 2.56s/it, lr: 1.0e-04 loss: 4.331e-02]
lana-lora-wan2.2: 52%|##########################5 | 2599/5000 [04:12<1:42:09, 2.55s/it, lr: 1.0e-04 loss: 3.296e-02]
lana-lora-wan2.2: 52%|##########################5 | 2599/5000 [04:12<1:42:09, 2.55s/it, lr: 1.0e-04 loss: 3.296e-02]
lana-lora-wan2.2: 52%|##########################5 | 2600/5000 [04:13<1:41:34, 2.54s/it, lr: 1.0e-04 loss: 6.254e-02]
lana-lora-wan2.2: 52%|##########################5 | 2600/5000 [04:13<1:41:34, 2.54s/it, lr: 1.0e-04 loss: 6.254e-02]
lana-lora-wan2.2: 52%|##########################5 | 2601/5000 [04:15<1:40:59, 2.53s/it, lr: 1.0e-04 loss: 5.688e-02]
lana-lora-wan2.2: 52%|##########################5 | 2601/5000 [04:15<1:40:59, 2.53s/it, lr: 1.0e-04 loss: 5.688e-02]
lana-lora-wan2.2: 52%|##########################5 | 2602/5000 [04:16<1:40:25, 2.51s/it, lr: 1.0e-04 loss: 4.027e-02]
lana-lora-wan2.2: 52%|##########################5 | 2602/5000 [04:16<1:40:25, 2.51s/it, lr: 1.0e-04 loss: 4.027e-02]
lana-lora-wan2.2: 52%|##########################5 | 2603/5000 [04:17<1:39:51, 2.50s/it, lr: 1.0e-04 loss: 5.200e-02]
lana-lora-wan2.2: 52%|##########################5 | 2603/5000 [04:17<1:39:51, 2.50s/it, lr: 1.0e-04 loss: 5.200e-02]
lana-lora-wan2.2: 52%|##########################5 | 2604/5000 [04:21<1:40:21, 2.51s/it, lr: 1.0e-04 loss: 3.152e-02]
lana-lora-wan2.2: 52%|##########################5 | 2604/5000 [04:21<1:40:21, 2.51s/it, lr: 1.0e-04 loss: 3.152e-02]
lana-lora-wan2.2: 52%|##########################5 | 2605/5000 [04:23<1:40:11, 2.51s/it, lr: 1.0e-04 loss: 1.127e-01]
lana-lora-wan2.2: 52%|##########################5 | 2605/5000 [04:23<1:40:11, 2.51s/it, lr: 1.0e-04 loss: 1.127e-01]
lana-lora-wan2.2: 52%|##########################5 | 2606/5000 [04:24<1:39:38, 2.50s/it, lr: 1.0e-04 loss: 3.309e-02]
lana-lora-wan2.2: 52%|##########################5 | 2606/5000 [04:24<1:39:38, 2.50s/it, lr: 1.0e-04 loss: 3.309e-02]
lana-lora-wan2.2: 52%|##########################5 | 2607/5000 [04:25<1:39:06, 2.48s/it, lr: 1.0e-04 loss: 8.916e-02]
lana-lora-wan2.2: 52%|##########################5 | 2607/5000 [04:25<1:39:06, 2.48s/it, lr: 1.0e-04 loss: 8.916e-02]
lana-lora-wan2.2: 52%|##########################6 | 2608/5000 [04:29<1:39:29, 2.50s/it, lr: 1.0e-04 loss: 2.203e-02]
lana-lora-wan2.2: 52%|##########################6 | 2608/5000 [04:29<1:39:29, 2.50s/it, lr: 1.0e-04 loss: 2.203e-02]
lana-lora-wan2.2: 52%|##########################6 | 2609/5000 [04:30<1:38:58, 2.48s/it, lr: 1.0e-04 loss: 3.175e-02]
lana-lora-wan2.2: 52%|##########################6 | 2609/5000 [04:30<1:38:58, 2.48s/it, lr: 1.0e-04 loss: 3.175e-02]
lana-lora-wan2.2: 52%|##########################6 | 2610/5000 [04:32<1:38:33, 2.47s/it, lr: 1.0e-04 loss: 8.964e-02]
lana-lora-wan2.2: 52%|##########################6 | 2610/5000 [04:32<1:38:33, 2.47s/it, lr: 1.0e-04 loss: 8.964e-02]
lana-lora-wan2.2: 52%|##########################6 | 2611/5000 [04:35<1:38:56, 2.49s/it, lr: 1.0e-04 loss: 3.661e-02]
lana-lora-wan2.2: 52%|##########################6 | 2611/5000 [04:35<1:38:56, 2.49s/it, lr: 1.0e-04 loss: 3.661e-02]
lana-lora-wan2.2: 52%|##########################6 | 2612/5000 [04:37<1:38:26, 2.47s/it, lr: 1.0e-04 loss: 3.142e-02]
lana-lora-wan2.2: 52%|##########################6 | 2612/5000 [04:37<1:38:26, 2.47s/it, lr: 1.0e-04 loss: 3.142e-02]
lana-lora-wan2.2: 52%|##########################6 | 2613/5000 [04:40<1:38:49, 2.48s/it, lr: 1.0e-04 loss: 4.651e-02]
lana-lora-wan2.2: 52%|##########################6 | 2613/5000 [04:40<1:38:49, 2.48s/it, lr: 1.0e-04 loss: 4.651e-02]
lana-lora-wan2.2: 52%|##########################6 | 2614/5000 [04:41<1:38:19, 2.47s/it, lr: 1.0e-04 loss: 3.985e-02]
lana-lora-wan2.2: 52%|##########################6 | 2614/5000 [04:41<1:38:19, 2.47s/it, lr: 1.0e-04 loss: 3.985e-02]
lana-lora-wan2.2: 52%|##########################6 | 2615/5000 [04:45<1:38:47, 2.49s/it, lr: 1.0e-04 loss: 3.081e-02]
lana-lora-wan2.2: 52%|##########################6 | 2615/5000 [04:45<1:38:47, 2.49s/it, lr: 1.0e-04 loss: 3.081e-02]
lana-lora-wan2.2: 52%|##########################6 | 2616/5000 [04:49<1:39:08, 2.50s/it, lr: 1.0e-04 loss: 3.694e-02]
lana-lora-wan2.2: 52%|##########################6 | 2616/5000 [04:49<1:39:08, 2.50s/it, lr: 1.0e-04 loss: 3.694e-02]
lana-lora-wan2.2: 52%|##########################6 | 2617/5000 [04:51<1:38:59, 2.49s/it, lr: 1.0e-04 loss: 5.289e-02]
lana-lora-wan2.2: 52%|##########################6 | 2617/5000 [04:51<1:38:59, 2.49s/it, lr: 1.0e-04 loss: 5.289e-02]
lana-lora-wan2.2: 52%|##########################7 | 2618/5000 [04:53<1:38:50, 2.49s/it, lr: 1.0e-04 loss: 3.362e-02]
lana-lora-wan2.2: 52%|##########################7 | 2618/5000 [04:53<1:38:50, 2.49s/it, lr: 1.0e-04 loss: 3.362e-02]
lana-lora-wan2.2: 52%|##########################7 | 2619/5000 [04:57<1:39:11, 2.50s/it, lr: 1.0e-04 loss: 6.936e-02]
lana-lora-wan2.2: 52%|##########################7 | 2619/5000 [04:57<1:39:11, 2.50s/it, lr: 1.0e-04 loss: 6.936e-02]
lana-lora-wan2.2: 52%|##########################7 | 2620/5000 [04:59<1:39:02, 2.50s/it, lr: 1.0e-04 loss: 3.139e-02]
lana-lora-wan2.2: 52%|##########################7 | 2620/5000 [04:59<1:39:02, 2.50s/it, lr: 1.0e-04 loss: 3.139e-02]
lana-lora-wan2.2: 52%|##########################7 | 2621/5000 [05:03<1:39:28, 2.51s/it, lr: 1.0e-04 loss: 4.112e-02]
lana-lora-wan2.2: 52%|##########################7 | 2621/5000 [05:03<1:39:28, 2.51s/it, lr: 1.0e-04 loss: 4.112e-02]
lana-lora-wan2.2: 52%|##########################7 | 2622/5000 [05:04<1:38:59, 2.50s/it, lr: 1.0e-04 loss: 3.977e-02]
lana-lora-wan2.2: 52%|##########################7 | 2622/5000 [05:04<1:38:59, 2.50s/it, lr: 1.0e-04 loss: 3.977e-02]
lana-lora-wan2.2: 52%|##########################7 | 2623/5000 [05:06<1:38:50, 2.50s/it, lr: 1.0e-04 loss: 3.055e-02]
lana-lora-wan2.2: 52%|##########################7 | 2623/5000 [05:06<1:38:50, 2.50s/it, lr: 1.0e-04 loss: 3.055e-02]
lana-lora-wan2.2: 52%|##########################7 | 2624/5000 [05:08<1:38:23, 2.48s/it, lr: 1.0e-04 loss: 3.222e-02]
lana-lora-wan2.2: 52%|##########################7 | 2624/5000 [05:08<1:38:23, 2.48s/it, lr: 1.0e-04 loss: 3.222e-02]
lana-lora-wan2.2: 52%|##########################7 | 2625/5000 [05:10<1:38:14, 2.48s/it, lr: 1.0e-04 loss: 6.774e-02]
lana-lora-wan2.2: 52%|##########################7 | 2625/5000 [05:10<1:38:14, 2.48s/it, lr: 1.0e-04 loss: 6.774e-02]
lana-lora-wan2.2: 53%|##########################7 | 2626/5000 [05:13<1:38:34, 2.49s/it, lr: 1.0e-04 loss: 5.699e-02]
lana-lora-wan2.2: 53%|##########################7 | 2626/5000 [05:13<1:38:34, 2.49s/it, lr: 1.0e-04 loss: 5.699e-02]
lana-lora-wan2.2: 53%|##########################7 | 2627/5000 [05:16<1:38:31, 2.49s/it, lr: 1.0e-04 loss: 7.264e-02]
lana-lora-wan2.2: 53%|##########################7 | 2627/5000 [05:16<1:38:31, 2.49s/it, lr: 1.0e-04 loss: 7.264e-02]
lana-lora-wan2.2: 53%|##########################8 | 2628/5000 [05:20<1:38:50, 2.50s/it, lr: 1.0e-04 loss: 3.472e-02]
lana-lora-wan2.2: 53%|##########################8 | 2628/5000 [05:20<1:38:50, 2.50s/it, lr: 1.0e-04 loss: 3.472e-02]
lana-lora-wan2.2: 53%|##########################8 | 2629/5000 [05:23<1:39:09, 2.51s/it, lr: 1.0e-04 loss: 2.994e-02]
lana-lora-wan2.2: 53%|##########################8 | 2629/5000 [05:23<1:39:09, 2.51s/it, lr: 1.0e-04 loss: 2.994e-02]
lana-lora-wan2.2: 53%|##########################8 | 2630/5000 [05:24<1:38:42, 2.50s/it, lr: 1.0e-04 loss: 4.752e-02]
lana-lora-wan2.2: 53%|##########################8 | 2630/5000 [05:24<1:38:42, 2.50s/it, lr: 1.0e-04 loss: 4.752e-02]
lana-lora-wan2.2: 53%|##########################8 | 2631/5000 [05:28<1:39:01, 2.51s/it, lr: 1.0e-04 loss: 3.649e-02]
lana-lora-wan2.2: 53%|##########################8 | 2631/5000 [05:28<1:39:01, 2.51s/it, lr: 1.0e-04 loss: 3.649e-02]
lana-lora-wan2.2: 53%|##########################8 | 2632/5000 [05:30<1:38:52, 2.51s/it, lr: 1.0e-04 loss: 1.603e-01]
lana-lora-wan2.2: 53%|##########################8 | 2632/5000 [05:30<1:38:52, 2.51s/it, lr: 1.0e-04 loss: 1.603e-01]
lana-lora-wan2.2: 53%|##########################8 | 2633/5000 [05:34<1:39:16, 2.52s/it, lr: 1.0e-04 loss: 3.763e-02]
lana-lora-wan2.2: 53%|##########################8 | 2633/5000 [05:34<1:39:16, 2.52s/it, lr: 1.0e-04 loss: 3.763e-02]
lana-lora-wan2.2: 53%|##########################8 | 2634/5000 [05:38<1:39:33, 2.52s/it, lr: 1.0e-04 loss: 9.904e-02]
lana-lora-wan2.2: 53%|##########################8 | 2634/5000 [05:38<1:39:33, 2.52s/it, lr: 1.0e-04 loss: 9.904e-02]
lana-lora-wan2.2: 53%|##########################8 | 2635/5000 [05:40<1:39:25, 2.52s/it, lr: 1.0e-04 loss: 2.256e-01]
lana-lora-wan2.2: 53%|##########################8 | 2635/5000 [05:40<1:39:25, 2.52s/it, lr: 1.0e-04 loss: 2.256e-01]
lana-lora-wan2.2: 53%|##########################8 | 2636/5000 [05:44<1:39:42, 2.53s/it, lr: 1.0e-04 loss: 1.030e-01]
lana-lora-wan2.2: 53%|##########################8 | 2636/5000 [05:44<1:39:42, 2.53s/it, lr: 1.0e-04 loss: 1.030e-01]
lana-lora-wan2.2: 53%|##########################8 | 2637/5000 [05:47<1:39:59, 2.54s/it, lr: 1.0e-04 loss: 1.158e-01]
lana-lora-wan2.2: 53%|##########################8 | 2637/5000 [05:47<1:39:59, 2.54s/it, lr: 1.0e-04 loss: 1.158e-01]
lana-lora-wan2.2: 53%|##########################9 | 2638/5000 [05:51<1:40:15, 2.55s/it, lr: 1.0e-04 loss: 1.699e-01]
lana-lora-wan2.2: 53%|##########################9 | 2638/5000 [05:51<1:40:15, 2.55s/it, lr: 1.0e-04 loss: 1.699e-01]
lana-lora-wan2.2: 53%|##########################9 | 2639/5000 [05:53<1:39:56, 2.54s/it, lr: 1.0e-04 loss: 3.308e-02]
lana-lora-wan2.2: 53%|##########################9 | 2639/5000 [05:53<1:39:56, 2.54s/it, lr: 1.0e-04 loss: 3.308e-02]
lana-lora-wan2.2: 53%|##########################9 | 2640/5000 [05:56<1:40:12, 2.55s/it, lr: 1.0e-04 loss: 4.854e-02]
lana-lora-wan2.2: 53%|##########################9 | 2640/5000 [05:56<1:40:12, 2.55s/it, lr: 1.0e-04 loss: 4.854e-02]
lana-lora-wan2.2: 53%|##########################9 | 2641/5000 [05:57<1:39:46, 2.54s/it, lr: 1.0e-04 loss: 4.649e-02]
lana-lora-wan2.2: 53%|##########################9 | 2641/5000 [05:57<1:39:46, 2.54s/it, lr: 1.0e-04 loss: 4.649e-02]
lana-lora-wan2.2: 53%|##########################9 | 2642/5000 [05:59<1:39:21, 2.53s/it, lr: 1.0e-04 loss: 1.458e-01]
lana-lora-wan2.2: 53%|##########################9 | 2642/5000 [05:59<1:39:21, 2.53s/it, lr: 1.0e-04 loss: 1.458e-01]
lana-lora-wan2.2: 53%|##########################9 | 2643/5000 [06:02<1:39:37, 2.54s/it, lr: 1.0e-04 loss: 3.384e-02]
lana-lora-wan2.2: 53%|##########################9 | 2643/5000 [06:02<1:39:37, 2.54s/it, lr: 1.0e-04 loss: 3.384e-02]
lana-lora-wan2.2: 53%|##########################9 | 2644/5000 [06:06<1:39:57, 2.55s/it, lr: 1.0e-04 loss: 1.377e-01]
lana-lora-wan2.2: 53%|##########################9 | 2644/5000 [06:06<1:39:57, 2.55s/it, lr: 1.0e-04 loss: 1.377e-01]
lana-lora-wan2.2: 53%|##########################9 | 2645/5000 [06:08<1:39:49, 2.54s/it, lr: 1.0e-04 loss: 4.828e-02]
lana-lora-wan2.2: 53%|##########################9 | 2645/5000 [06:08<1:39:49, 2.54s/it, lr: 1.0e-04 loss: 4.828e-02]
lana-lora-wan2.2: 53%|##########################9 | 2646/5000 [06:12<1:40:04, 2.55s/it, lr: 1.0e-04 loss: 1.666e-02]
lana-lora-wan2.2: 53%|##########################9 | 2646/5000 [06:12<1:40:04, 2.55s/it, lr: 1.0e-04 loss: 1.666e-02]
lana-lora-wan2.2: 53%|##########################9 | 2647/5000 [06:14<1:39:55, 2.55s/it, lr: 1.0e-04 loss: 8.059e-02]
lana-lora-wan2.2: 53%|##########################9 | 2647/5000 [06:14<1:39:55, 2.55s/it, lr: 1.0e-04 loss: 8.059e-02]
lana-lora-wan2.2: 53%|########################### | 2648/5000 [06:15<1:39:31, 2.54s/it, lr: 1.0e-04 loss: 9.952e-02]
lana-lora-wan2.2: 53%|########################### | 2648/5000 [06:15<1:39:31, 2.54s/it, lr: 1.0e-04 loss: 9.952e-02]
lana-lora-wan2.2: 53%|########################### | 2649/5000 [06:16<1:39:07, 2.53s/it, lr: 1.0e-04 loss: 9.609e-02]
lana-lora-wan2.2: 53%|########################### | 2649/5000 [06:16<1:39:07, 2.53s/it, lr: 1.0e-04 loss: 9.609e-02]
lana-lora-wan2.2: 53%|########################### | 2650/5000 [06:20<1:39:27, 2.54s/it, lr: 1.0e-04 loss: 1.149e-01]
lana-lora-wan2.2: 53%|########################### | 2650/5000 [06:20<1:39:27, 2.54s/it, lr: 1.0e-04 loss: 1.149e-01]
lana-lora-wan2.2: 53%|########################### | 2651/5000 [06:23<1:39:19, 2.54s/it, lr: 1.0e-04 loss: 2.632e-02]
lana-lora-wan2.2: 53%|########################### | 2651/5000 [06:23<1:39:19, 2.54s/it, lr: 1.0e-04 loss: 2.632e-02]
lana-lora-wan2.2: 53%|########################### | 2652/5000 [06:24<1:38:55, 2.53s/it, lr: 1.0e-04 loss: 3.628e-02]
lana-lora-wan2.2: 53%|########################### | 2652/5000 [06:24<1:38:55, 2.53s/it, lr: 1.0e-04 loss: 3.628e-02]
lana-lora-wan2.2: 53%|########################### | 2653/5000 [06:26<1:38:47, 2.53s/it, lr: 1.0e-04 loss: 4.784e-02]
lana-lora-wan2.2: 53%|########################### | 2653/5000 [06:26<1:38:47, 2.53s/it, lr: 1.0e-04 loss: 4.784e-02]
lana-lora-wan2.2: 53%|########################### | 2654/5000 [06:28<1:38:39, 2.52s/it, lr: 1.0e-04 loss: 1.028e-01]
lana-lora-wan2.2: 53%|########################### | 2654/5000 [06:28<1:38:39, 2.52s/it, lr: 1.0e-04 loss: 1.028e-01]
lana-lora-wan2.2: 53%|########################### | 2655/5000 [06:29<1:38:16, 2.51s/it, lr: 1.0e-04 loss: 7.485e-02]
lana-lora-wan2.2: 53%|########################### | 2655/5000 [06:29<1:38:16, 2.51s/it, lr: 1.0e-04 loss: 7.485e-02]
lana-lora-wan2.2: 53%|########################### | 2656/5000 [06:31<1:38:00, 2.51s/it, lr: 1.0e-04 loss: 1.484e-01]
lana-lora-wan2.2: 53%|########################### | 2656/5000 [06:31<1:38:00, 2.51s/it, lr: 1.0e-04 loss: 1.484e-01]
lana-lora-wan2.2: 53%|###########################1 | 2657/5000 [06:35<1:38:14, 2.52s/it, lr: 1.0e-04 loss: 1.038e-01]
lana-lora-wan2.2: 53%|###########################1 | 2657/5000 [06:35<1:38:14, 2.52s/it, lr: 1.0e-04 loss: 1.038e-01]
lana-lora-wan2.2: 53%|###########################1 | 2658/5000 [06:36<1:37:52, 2.51s/it, lr: 1.0e-04 loss: 3.977e-02]
lana-lora-wan2.2: 53%|###########################1 | 2658/5000 [06:36<1:37:52, 2.51s/it, lr: 1.0e-04 loss: 3.977e-02]
lana-lora-wan2.2: 53%|###########################1 | 2659/5000 [06:38<1:37:44, 2.51s/it, lr: 1.0e-04 loss: 4.251e-02]
lana-lora-wan2.2: 53%|###########################1 | 2659/5000 [06:38<1:37:44, 2.51s/it, lr: 1.0e-04 loss: 4.251e-02]
lana-lora-wan2.2: 53%|###########################1 | 2660/5000 [06:39<1:37:23, 2.50s/it, lr: 1.0e-04 loss: 3.687e-02]
lana-lora-wan2.2: 53%|###########################1 | 2660/5000 [06:39<1:37:23, 2.50s/it, lr: 1.0e-04 loss: 3.687e-02]
lana-lora-wan2.2: 53%|###########################1 | 2661/5000 [06:40<1:37:01, 2.49s/it, lr: 1.0e-04 loss: 1.473e-01]
lana-lora-wan2.2: 53%|###########################1 | 2661/5000 [06:40<1:37:01, 2.49s/it, lr: 1.0e-04 loss: 1.473e-01]
lana-lora-wan2.2: 53%|###########################1 | 2662/5000 [06:42<1:36:44, 2.48s/it, lr: 1.0e-04 loss: 4.041e-02]
lana-lora-wan2.2: 53%|###########################1 | 2662/5000 [06:42<1:36:44, 2.48s/it, lr: 1.0e-04 loss: 4.041e-02]
lana-lora-wan2.2: 53%|###########################1 | 2663/5000 [06:44<1:36:37, 2.48s/it, lr: 1.0e-04 loss: 3.548e-02]
lana-lora-wan2.2: 53%|###########################1 | 2663/5000 [06:44<1:36:37, 2.48s/it, lr: 1.0e-04 loss: 3.548e-02]
lana-lora-wan2.2: 53%|###########################1 | 2664/5000 [06:48<1:36:51, 2.49s/it, lr: 1.0e-04 loss: 7.290e-02]
lana-lora-wan2.2: 53%|###########################1 | 2664/5000 [06:48<1:36:51, 2.49s/it, lr: 1.0e-04 loss: 7.290e-02]
lana-lora-wan2.2: 53%|###########################1 | 2665/5000 [06:51<1:37:05, 2.50s/it, lr: 1.0e-04 loss: 8.806e-02]
lana-lora-wan2.2: 53%|###########################1 | 2665/5000 [06:51<1:37:05, 2.50s/it, lr: 1.0e-04 loss: 8.806e-02]
lana-lora-wan2.2: 53%|###########################1 | 2666/5000 [06:53<1:36:58, 2.49s/it, lr: 1.0e-04 loss: 5.147e-02]
lana-lora-wan2.2: 53%|###########################1 | 2666/5000 [06:53<1:36:58, 2.49s/it, lr: 1.0e-04 loss: 5.147e-02]
lana-lora-wan2.2: 53%|###########################2 | 2667/5000 [06:55<1:36:37, 2.49s/it, lr: 1.0e-04 loss: 4.911e-02]
lana-lora-wan2.2: 53%|###########################2 | 2667/5000 [06:55<1:36:37, 2.49s/it, lr: 1.0e-04 loss: 4.911e-02]
lana-lora-wan2.2: 53%|###########################2 | 2668/5000 [06:56<1:36:21, 2.48s/it, lr: 1.0e-04 loss: 3.564e-02]
lana-lora-wan2.2: 53%|###########################2 | 2668/5000 [06:56<1:36:21, 2.48s/it, lr: 1.0e-04 loss: 3.564e-02]
lana-lora-wan2.2: 53%|###########################2 | 2669/5000 [07:00<1:36:35, 2.49s/it, lr: 1.0e-04 loss: 1.330e-01]
lana-lora-wan2.2: 53%|###########################2 | 2669/5000 [07:00<1:36:35, 2.49s/it, lr: 1.0e-04 loss: 1.330e-01]
lana-lora-wan2.2: 53%|###########################2 | 2670/5000 [07:03<1:36:48, 2.49s/it, lr: 1.0e-04 loss: 3.051e-02]
lana-lora-wan2.2: 53%|###########################2 | 2670/5000 [07:03<1:36:48, 2.49s/it, lr: 1.0e-04 loss: 3.051e-02]
lana-lora-wan2.2: 53%|###########################2 | 2671/5000 [07:04<1:36:28, 2.49s/it, lr: 1.0e-04 loss: 2.016e-01]
lana-lora-wan2.2: 53%|###########################2 | 2671/5000 [07:04<1:36:28, 2.49s/it, lr: 1.0e-04 loss: 2.016e-01]
lana-lora-wan2.2: 53%|###########################2 | 2672/5000 [07:07<1:36:21, 2.48s/it, lr: 1.0e-04 loss: 9.228e-02]
lana-lora-wan2.2: 53%|###########################2 | 2672/5000 [07:07<1:36:21, 2.48s/it, lr: 1.0e-04 loss: 9.228e-02]
lana-lora-wan2.2: 53%|###########################2 | 2673/5000 [07:09<1:36:18, 2.48s/it, lr: 1.0e-04 loss: 8.319e-02]
lana-lora-wan2.2: 53%|###########################2 | 2673/5000 [07:09<1:36:18, 2.48s/it, lr: 1.0e-04 loss: 8.319e-02]
lana-lora-wan2.2: 53%|###########################2 | 2674/5000 [07:10<1:35:58, 2.48s/it, lr: 1.0e-04 loss: 3.974e-02]
lana-lora-wan2.2: 53%|###########################2 | 2674/5000 [07:10<1:35:58, 2.48s/it, lr: 1.0e-04 loss: 3.974e-02]
lana-lora-wan2.2: 54%|###########################2 | 2675/5000 [07:12<1:35:52, 2.47s/it, lr: 1.0e-04 loss: 2.850e-02]
lana-lora-wan2.2: 54%|###########################2 | 2675/5000 [07:12<1:35:52, 2.47s/it, lr: 1.0e-04 loss: 2.850e-02]
lana-lora-wan2.2: 54%|###########################2 | 2676/5000 [07:14<1:35:33, 2.47s/it, lr: 1.0e-04 loss: 1.286e-01]
lana-lora-wan2.2: 54%|###########################2 | 2676/5000 [07:14<1:35:33, 2.47s/it, lr: 1.0e-04 loss: 1.286e-01]
lana-lora-wan2.2: 54%|###########################3 | 2677/5000 [07:15<1:35:13, 2.46s/it, lr: 1.0e-04 loss: 4.520e-02]
lana-lora-wan2.2: 54%|###########################3 | 2677/5000 [07:15<1:35:13, 2.46s/it, lr: 1.0e-04 loss: 4.520e-02]
lana-lora-wan2.2: 54%|###########################3 | 2678/5000 [07:17<1:35:07, 2.46s/it, lr: 1.0e-04 loss: 1.385e-01]
lana-lora-wan2.2: 54%|###########################3 | 2678/5000 [07:17<1:35:07, 2.46s/it, lr: 1.0e-04 loss: 1.385e-01]
lana-lora-wan2.2: 54%|###########################3 | 2679/5000 [07:19<1:34:52, 2.45s/it, lr: 1.0e-04 loss: 1.687e-01]
lana-lora-wan2.2: 54%|###########################3 | 2679/5000 [07:19<1:34:52, 2.45s/it, lr: 1.0e-04 loss: 1.687e-01]
lana-lora-wan2.2: 54%|###########################3 | 2680/5000 [07:20<1:34:33, 2.45s/it, lr: 1.0e-04 loss: 1.178e-01]
lana-lora-wan2.2: 54%|###########################3 | 2680/5000 [07:20<1:34:33, 2.45s/it, lr: 1.0e-04 loss: 1.178e-01]
lana-lora-wan2.2: 54%|###########################3 | 2681/5000 [07:22<1:34:27, 2.44s/it, lr: 1.0e-04 loss: 4.783e-02]
lana-lora-wan2.2: 54%|###########################3 | 2681/5000 [07:22<1:34:27, 2.44s/it, lr: 1.0e-04 loss: 4.783e-02]
lana-lora-wan2.2: 54%|###########################3 | 2682/5000 [07:23<1:34:08, 2.44s/it, lr: 1.0e-04 loss: 6.449e-02]
lana-lora-wan2.2: 54%|###########################3 | 2682/5000 [07:23<1:34:08, 2.44s/it, lr: 1.0e-04 loss: 6.449e-02]
lana-lora-wan2.2: 54%|###########################3 | 2683/5000 [07:27<1:34:21, 2.44s/it, lr: 1.0e-04 loss: 2.451e-02]
lana-lora-wan2.2: 54%|###########################3 | 2683/5000 [07:27<1:34:21, 2.44s/it, lr: 1.0e-04 loss: 2.451e-02]
lana-lora-wan2.2: 54%|###########################3 | 2684/5000 [07:30<1:34:34, 2.45s/it, lr: 1.0e-04 loss: 2.959e-02]
lana-lora-wan2.2: 54%|###########################3 | 2684/5000 [07:30<1:34:34, 2.45s/it, lr: 1.0e-04 loss: 2.959e-02]
lana-lora-wan2.2: 54%|###########################3 | 2685/5000 [07:33<1:34:32, 2.45s/it, lr: 1.0e-04 loss: 4.400e-02]
lana-lora-wan2.2: 54%|###########################3 | 2685/5000 [07:33<1:34:32, 2.45s/it, lr: 1.0e-04 loss: 4.400e-02]
lana-lora-wan2.2: 54%|###########################3 | 2686/5000 [07:34<1:34:13, 2.44s/it, lr: 1.0e-04 loss: 2.780e-01]
lana-lora-wan2.2: 54%|###########################3 | 2686/5000 [07:34<1:34:13, 2.44s/it, lr: 1.0e-04 loss: 2.780e-01]
lana-lora-wan2.2: 54%|###########################4 | 2687/5000 [07:35<1:33:55, 2.44s/it, lr: 1.0e-04 loss: 4.975e-02]
lana-lora-wan2.2: 54%|###########################4 | 2687/5000 [07:35<1:33:55, 2.44s/it, lr: 1.0e-04 loss: 4.975e-02]
lana-lora-wan2.2: 54%|###########################4 | 2688/5000 [07:36<1:33:38, 2.43s/it, lr: 1.0e-04 loss: 2.924e-02]
lana-lora-wan2.2: 54%|###########################4 | 2688/5000 [07:36<1:33:38, 2.43s/it, lr: 1.0e-04 loss: 2.924e-02]
lana-lora-wan2.2: 54%|###########################4 | 2689/5000 [07:39<1:33:32, 2.43s/it, lr: 1.0e-04 loss: 2.939e-02]
lana-lora-wan2.2: 54%|###########################4 | 2689/5000 [07:39<1:33:32, 2.43s/it, lr: 1.0e-04 loss: 2.939e-02]
lana-lora-wan2.2: 54%|###########################4 | 2690/5000 [07:41<1:33:30, 2.43s/it, lr: 1.0e-04 loss: 5.642e-02]
lana-lora-wan2.2: 54%|###########################4 | 2690/5000 [07:41<1:33:30, 2.43s/it, lr: 1.0e-04 loss: 5.642e-02]
lana-lora-wan2.2: 54%|###########################4 | 2691/5000 [07:42<1:33:13, 2.42s/it, lr: 1.0e-04 loss: 3.258e-02]
lana-lora-wan2.2: 54%|###########################4 | 2691/5000 [07:42<1:33:13, 2.42s/it, lr: 1.0e-04 loss: 3.258e-02]
lana-lora-wan2.2: 54%|###########################4 | 2692/5000 [07:44<1:33:08, 2.42s/it, lr: 1.0e-04 loss: 1.279e-01]
lana-lora-wan2.2: 54%|###########################4 | 2692/5000 [07:44<1:33:08, 2.42s/it, lr: 1.0e-04 loss: 1.279e-01]
lana-lora-wan2.2: 54%|###########################4 | 2693/5000 [07:46<1:32:50, 2.41s/it, lr: 1.0e-04 loss: 8.700e-02]
lana-lora-wan2.2: 54%|###########################4 | 2693/5000 [07:46<1:32:50, 2.41s/it, lr: 1.0e-04 loss: 8.700e-02]
lana-lora-wan2.2: 54%|###########################4 | 2694/5000 [07:49<1:33:03, 2.42s/it, lr: 1.0e-04 loss: 1.202e-01]
lana-lora-wan2.2: 54%|###########################4 | 2694/5000 [07:49<1:33:03, 2.42s/it, lr: 1.0e-04 loss: 1.202e-01]
lana-lora-wan2.2: 54%|###########################4 | 2695/5000 [07:50<1:32:46, 2.41s/it, lr: 1.0e-04 loss: 2.192e-01]
lana-lora-wan2.2: 54%|###########################4 | 2695/5000 [07:50<1:32:46, 2.41s/it, lr: 1.0e-04 loss: 2.192e-01]
lana-lora-wan2.2: 54%|###########################4 | 2696/5000 [07:53<1:32:44, 2.42s/it, lr: 1.0e-04 loss: 8.183e-02]
lana-lora-wan2.2: 54%|###########################4 | 2696/5000 [07:53<1:32:44, 2.42s/it, lr: 1.0e-04 loss: 8.183e-02]
lana-lora-wan2.2: 54%|###########################5 | 2697/5000 [07:54<1:32:27, 2.41s/it, lr: 1.0e-04 loss: 1.722e-01]
lana-lora-wan2.2: 54%|###########################5 | 2697/5000 [07:54<1:32:27, 2.41s/it, lr: 1.0e-04 loss: 1.722e-01]
lana-lora-wan2.2: 54%|###########################5 | 2698/5000 [07:56<1:32:22, 2.41s/it, lr: 1.0e-04 loss: 3.885e-02]
lana-lora-wan2.2: 54%|###########################5 | 2698/5000 [07:56<1:32:22, 2.41s/it, lr: 1.0e-04 loss: 3.885e-02]
lana-lora-wan2.2: 54%|###########################5 | 2699/5000 [07:57<1:32:06, 2.40s/it, lr: 1.0e-04 loss: 3.994e-02]
lana-lora-wan2.2: 54%|###########################5 | 2699/5000 [07:57<1:32:06, 2.40s/it, lr: 1.0e-04 loss: 3.994e-02]
lana-lora-wan2.2: 54%|###########################5 | 2700/5000 [08:00<1:32:01, 2.40s/it, lr: 1.0e-04 loss: 1.116e-01]
lana-lora-wan2.2: 54%|###########################5 | 2700/5000 [08:00<1:32:01, 2.40s/it, lr: 1.0e-04 loss: 1.116e-01]
lana-lora-wan2.2: 54%|###########################5 | 2701/5000 [08:03<1:32:13, 2.41s/it, lr: 1.0e-04 loss: 4.135e-02]
lana-lora-wan2.2: 54%|###########################5 | 2701/5000 [08:03<1:32:13, 2.41s/it, lr: 1.0e-04 loss: 4.135e-02]
lana-lora-wan2.2: 54%|###########################5 | 2702/5000 [08:07<1:32:28, 2.41s/it, lr: 1.0e-04 loss: 5.761e-02]
lana-lora-wan2.2: 54%|###########################5 | 2702/5000 [08:07<1:32:28, 2.41s/it, lr: 1.0e-04 loss: 5.761e-02]
lana-lora-wan2.2: 54%|###########################5 | 2703/5000 [08:11<1:32:39, 2.42s/it, lr: 1.0e-04 loss: 5.382e-02]
lana-lora-wan2.2: 54%|###########################5 | 2703/5000 [08:11<1:32:39, 2.42s/it, lr: 1.0e-04 loss: 5.382e-02]
lana-lora-wan2.2: 54%|###########################5 | 2704/5000 [08:15<1:32:51, 2.43s/it, lr: 1.0e-04 loss: 3.729e-02]
lana-lora-wan2.2: 54%|###########################5 | 2704/5000 [08:15<1:32:51, 2.43s/it, lr: 1.0e-04 loss: 3.729e-02]
lana-lora-wan2.2: 54%|###########################5 | 2705/5000 [08:18<1:33:02, 2.43s/it, lr: 1.0e-04 loss: 8.898e-02]
lana-lora-wan2.2: 54%|###########################5 | 2705/5000 [08:18<1:33:02, 2.43s/it, lr: 1.0e-04 loss: 8.898e-02]
lana-lora-wan2.2: 54%|###########################6 | 2706/5000 [08:19<1:32:46, 2.43s/it, lr: 1.0e-04 loss: 4.539e-02]
lana-lora-wan2.2: 54%|###########################6 | 2706/5000 [08:19<1:32:46, 2.43s/it, lr: 1.0e-04 loss: 4.539e-02]
lana-lora-wan2.2: 54%|###########################6 | 2707/5000 [08:21<1:32:29, 2.42s/it, lr: 1.0e-04 loss: 1.050e-01]
lana-lora-wan2.2: 54%|###########################6 | 2707/5000 [08:21<1:32:29, 2.42s/it, lr: 1.0e-04 loss: 1.050e-01]
lana-lora-wan2.2: 54%|###########################6 | 2708/5000 [08:23<1:32:27, 2.42s/it, lr: 1.0e-04 loss: 8.693e-02]
lana-lora-wan2.2: 54%|###########################6 | 2708/5000 [08:23<1:32:27, 2.42s/it, lr: 1.0e-04 loss: 8.693e-02]
lana-lora-wan2.2: 54%|###########################6 | 2709/5000 [08:24<1:32:11, 2.41s/it, lr: 1.0e-04 loss: 1.461e-01]
lana-lora-wan2.2: 54%|###########################6 | 2709/5000 [08:24<1:32:11, 2.41s/it, lr: 1.0e-04 loss: 1.461e-01]
lana-lora-wan2.2: 54%|###########################6 | 2710/5000 [08:28<1:32:22, 2.42s/it, lr: 1.0e-04 loss: 3.809e-02]
lana-lora-wan2.2: 54%|###########################6 | 2710/5000 [08:28<1:32:22, 2.42s/it, lr: 1.0e-04 loss: 3.809e-02]
lana-lora-wan2.2: 54%|###########################6 | 2711/5000 [08:30<1:32:17, 2.42s/it, lr: 1.0e-04 loss: 5.685e-02]
lana-lora-wan2.2: 54%|###########################6 | 2711/5000 [08:30<1:32:17, 2.42s/it, lr: 1.0e-04 loss: 5.685e-02]
lana-lora-wan2.2: 54%|###########################6 | 2712/5000 [08:34<1:32:28, 2.43s/it, lr: 1.0e-04 loss: 4.197e-02]
lana-lora-wan2.2: 54%|###########################6 | 2712/5000 [08:34<1:32:28, 2.43s/it, lr: 1.0e-04 loss: 4.197e-02]
lana-lora-wan2.2: 54%|###########################6 | 2713/5000 [08:36<1:32:23, 2.42s/it, lr: 1.0e-04 loss: 3.087e-02]
lana-lora-wan2.2: 54%|###########################6 | 2713/5000 [08:36<1:32:23, 2.42s/it, lr: 1.0e-04 loss: 3.087e-02]
lana-lora-wan2.2: 54%|###########################6 | 2714/5000 [08:38<1:32:22, 2.42s/it, lr: 1.0e-04 loss: 4.541e-02]
lana-lora-wan2.2: 54%|###########################6 | 2714/5000 [08:38<1:32:22, 2.42s/it, lr: 1.0e-04 loss: 4.541e-02]
lana-lora-wan2.2: 54%|###########################6 | 2715/5000 [08:41<1:32:23, 2.43s/it, lr: 1.0e-04 loss: 3.021e-02]
lana-lora-wan2.2: 54%|###########################6 | 2715/5000 [08:41<1:32:23, 2.43s/it, lr: 1.0e-04 loss: 3.021e-02]
lana-lora-wan2.2: 54%|###########################7 | 2716/5000 [08:42<1:32:08, 2.42s/it, lr: 1.0e-04 loss: 5.925e-02]
lana-lora-wan2.2: 54%|###########################7 | 2716/5000 [08:42<1:32:08, 2.42s/it, lr: 1.0e-04 loss: 5.925e-02]
lana-lora-wan2.2: 54%|###########################7 | 2717/5000 [08:44<1:31:53, 2.41s/it, lr: 1.0e-04 loss: 8.932e-02]
lana-lora-wan2.2: 54%|###########################7 | 2717/5000 [08:44<1:31:53, 2.41s/it, lr: 1.0e-04 loss: 8.932e-02]
lana-lora-wan2.2: 54%|###########################7 | 2718/5000 [08:46<1:31:48, 2.41s/it, lr: 1.0e-04 loss: 2.847e-02]
lana-lora-wan2.2: 54%|###########################7 | 2718/5000 [08:46<1:31:48, 2.41s/it, lr: 1.0e-04 loss: 2.847e-02]
lana-lora-wan2.2: 54%|###########################7 | 2719/5000 [08:48<1:31:43, 2.41s/it, lr: 1.0e-04 loss: 4.017e-02]
lana-lora-wan2.2: 54%|###########################7 | 2719/5000 [08:48<1:31:43, 2.41s/it, lr: 1.0e-04 loss: 4.017e-02]
lana-lora-wan2.2: 54%|###########################7 | 2720/5000 [08:51<1:31:46, 2.42s/it, lr: 1.0e-04 loss: 4.260e-02]
lana-lora-wan2.2: 54%|###########################7 | 2720/5000 [08:51<1:31:46, 2.42s/it, lr: 1.0e-04 loss: 4.260e-02]
lana-lora-wan2.2: 54%|###########################7 | 2721/5000 [08:54<1:31:56, 2.42s/it, lr: 1.0e-04 loss: 5.989e-02]
lana-lora-wan2.2: 54%|###########################7 | 2721/5000 [08:54<1:31:56, 2.42s/it, lr: 1.0e-04 loss: 5.989e-02]
lana-lora-wan2.2: 54%|###########################7 | 2722/5000 [08:56<1:31:41, 2.42s/it, lr: 1.0e-04 loss: 4.207e-02]
lana-lora-wan2.2: 54%|###########################7 | 2722/5000 [08:56<1:31:41, 2.42s/it, lr: 1.0e-04 loss: 4.207e-02]
lana-lora-wan2.2: 54%|###########################7 | 2723/5000 [08:58<1:31:36, 2.41s/it, lr: 1.0e-04 loss: 5.148e-02]
lana-lora-wan2.2: 54%|###########################7 | 2723/5000 [08:58<1:31:36, 2.41s/it, lr: 1.0e-04 loss: 5.148e-02]
lana-lora-wan2.2: 54%|###########################7 | 2724/5000 [09:00<1:31:31, 2.41s/it, lr: 1.0e-04 loss: 1.240e-01]
lana-lora-wan2.2: 54%|###########################7 | 2724/5000 [09:00<1:31:31, 2.41s/it, lr: 1.0e-04 loss: 1.240e-01]
lana-lora-wan2.2: 55%|###########################7 | 2725/5000 [09:04<1:31:45, 2.42s/it, lr: 1.0e-04 loss: 2.046e-01]
lana-lora-wan2.2: 55%|###########################7 | 2725/5000 [09:04<1:31:45, 2.42s/it, lr: 1.0e-04 loss: 2.046e-01]
lana-lora-wan2.2: 55%|###########################8 | 2726/5000 [09:08<1:31:55, 2.43s/it, lr: 1.0e-04 loss: 1.540e-01]
lana-lora-wan2.2: 55%|###########################8 | 2726/5000 [09:08<1:31:55, 2.43s/it, lr: 1.0e-04 loss: 1.540e-01]
lana-lora-wan2.2: 55%|###########################8 | 2727/5000 [09:09<1:31:40, 2.42s/it, lr: 1.0e-04 loss: 3.500e-02]
lana-lora-wan2.2: 55%|###########################8 | 2727/5000 [09:09<1:31:40, 2.42s/it, lr: 1.0e-04 loss: 3.500e-02]
lana-lora-wan2.2: 55%|###########################8 | 2728/5000 [09:10<1:31:25, 2.41s/it, lr: 1.0e-04 loss: 3.098e-02]
lana-lora-wan2.2: 55%|###########################8 | 2728/5000 [09:10<1:31:25, 2.41s/it, lr: 1.0e-04 loss: 3.098e-02]
lana-lora-wan2.2: 55%|###########################8 | 2729/5000 [09:11<1:31:10, 2.41s/it, lr: 1.0e-04 loss: 3.159e-02]
lana-lora-wan2.2: 55%|###########################8 | 2729/5000 [09:11<1:31:10, 2.41s/it, lr: 1.0e-04 loss: 3.159e-02]
lana-lora-wan2.2: 55%|###########################8 | 2730/5000 [09:15<1:31:20, 2.41s/it, lr: 1.0e-04 loss: 4.649e-02]
lana-lora-wan2.2: 55%|###########################8 | 2730/5000 [09:15<1:31:20, 2.41s/it, lr: 1.0e-04 loss: 4.649e-02]
lana-lora-wan2.2: 55%|###########################8 | 2731/5000 [09:19<1:31:33, 2.42s/it, lr: 1.0e-04 loss: 1.176e-01]
lana-lora-wan2.2: 55%|###########################8 | 2731/5000 [09:19<1:31:33, 2.42s/it, lr: 1.0e-04 loss: 1.176e-01]
lana-lora-wan2.2: 55%|###########################8 | 2732/5000 [09:22<1:31:42, 2.43s/it, lr: 1.0e-04 loss: 2.387e-02]
lana-lora-wan2.2: 55%|###########################8 | 2732/5000 [09:22<1:31:42, 2.43s/it, lr: 1.0e-04 loss: 2.387e-02]
lana-lora-wan2.2: 55%|###########################8 | 2733/5000 [09:24<1:31:28, 2.42s/it, lr: 1.0e-04 loss: 3.283e-02]
lana-lora-wan2.2: 55%|###########################8 | 2733/5000 [09:24<1:31:28, 2.42s/it, lr: 1.0e-04 loss: 3.283e-02]
lana-lora-wan2.2: 55%|###########################8 | 2734/5000 [09:27<1:31:38, 2.43s/it, lr: 1.0e-04 loss: 3.274e-02]
lana-lora-wan2.2: 55%|###########################8 | 2734/5000 [09:27<1:31:38, 2.43s/it, lr: 1.0e-04 loss: 3.274e-02]
lana-lora-wan2.2: 55%|###########################8 | 2735/5000 [09:28<1:31:23, 2.42s/it, lr: 1.0e-04 loss: 3.941e-02]
lana-lora-wan2.2: 55%|###########################8 | 2735/5000 [09:28<1:31:23, 2.42s/it, lr: 1.0e-04 loss: 3.941e-02]
lana-lora-wan2.2: 55%|###########################9 | 2736/5000 [09:32<1:31:33, 2.43s/it, lr: 1.0e-04 loss: 1.198e-01]
lana-lora-wan2.2: 55%|###########################9 | 2736/5000 [09:32<1:31:33, 2.43s/it, lr: 1.0e-04 loss: 1.198e-01]
lana-lora-wan2.2: 55%|###########################9 | 2737/5000 [09:36<1:31:45, 2.43s/it, lr: 1.0e-04 loss: 3.137e-02]
lana-lora-wan2.2: 55%|###########################9 | 2737/5000 [09:36<1:31:45, 2.43s/it, lr: 1.0e-04 loss: 3.137e-02]
lana-lora-wan2.2: 55%|###########################9 | 2738/5000 [09:38<1:31:40, 2.43s/it, lr: 1.0e-04 loss: 5.167e-02]
lana-lora-wan2.2: 55%|###########################9 | 2738/5000 [09:38<1:31:40, 2.43s/it, lr: 1.0e-04 loss: 5.167e-02]
lana-lora-wan2.2: 55%|###########################9 | 2739/5000 [09:42<1:31:49, 2.44s/it, lr: 1.0e-04 loss: 1.225e-01]
lana-lora-wan2.2: 55%|###########################9 | 2739/5000 [09:42<1:31:49, 2.44s/it, lr: 1.0e-04 loss: 1.225e-01]
lana-lora-wan2.2: 55%|###########################9 | 2740/5000 [09:46<1:31:58, 2.44s/it, lr: 1.0e-04 loss: 2.784e-02]
lana-lora-wan2.2: 55%|###########################9 | 2740/5000 [09:46<1:31:58, 2.44s/it, lr: 1.0e-04 loss: 2.784e-02]
lana-lora-wan2.2: 55%|###########################9 | 2741/5000 [09:47<1:31:44, 2.44s/it, lr: 1.0e-04 loss: 6.204e-02]
lana-lora-wan2.2: 55%|###########################9 | 2741/5000 [09:47<1:31:44, 2.44s/it, lr: 1.0e-04 loss: 6.204e-02]
lana-lora-wan2.2: 55%|###########################9 | 2742/5000 [09:48<1:31:29, 2.43s/it, lr: 1.0e-04 loss: 7.988e-02]
lana-lora-wan2.2: 55%|###########################9 | 2742/5000 [09:48<1:31:29, 2.43s/it, lr: 1.0e-04 loss: 7.988e-02]
lana-lora-wan2.2: 55%|###########################9 | 2743/5000 [09:50<1:31:28, 2.43s/it, lr: 1.0e-04 loss: 1.428e-01]
lana-lora-wan2.2: 55%|###########################9 | 2743/5000 [09:50<1:31:28, 2.43s/it, lr: 1.0e-04 loss: 1.428e-01]
lana-lora-wan2.2: 55%|###########################9 | 2744/5000 [09:52<1:31:14, 2.43s/it, lr: 1.0e-04 loss: 6.596e-02]
lana-lora-wan2.2: 55%|###########################9 | 2744/5000 [09:52<1:31:14, 2.43s/it, lr: 1.0e-04 loss: 6.596e-02]
lana-lora-wan2.2: 55%|###########################9 | 2745/5000 [09:54<1:31:09, 2.43s/it, lr: 1.0e-04 loss: 6.020e-02]
lana-lora-wan2.2: 55%|###########################9 | 2745/5000 [09:54<1:31:09, 2.43s/it, lr: 1.0e-04 loss: 6.020e-02]
lana-lora-wan2.2: 55%|############################ | 2746/5000 [09:57<1:31:18, 2.43s/it, lr: 1.0e-04 loss: 3.349e-02]
lana-lora-wan2.2: 55%|############################ | 2746/5000 [09:57<1:31:18, 2.43s/it, lr: 1.0e-04 loss: 3.349e-02]
lana-lora-wan2.2: 55%|############################ | 2747/5000 [10:00<1:31:13, 2.43s/it, lr: 1.0e-04 loss: 3.810e-02]
lana-lora-wan2.2: 55%|############################ | 2747/5000 [10:00<1:31:13, 2.43s/it, lr: 1.0e-04 loss: 3.810e-02]
lana-lora-wan2.2: 55%|############################ | 2748/5000 [10:01<1:30:59, 2.42s/it, lr: 1.0e-04 loss: 8.989e-02]
lana-lora-wan2.2: 55%|############################ | 2748/5000 [10:01<1:30:59, 2.42s/it, lr: 1.0e-04 loss: 8.989e-02]
lana-lora-wan2.2: 55%|############################ | 2749/5000 [10:05<1:31:10, 2.43s/it, lr: 1.0e-04 loss: 4.808e-02]
lana-lora-wan2.2: 55%|############################ | 2749/5000 [10:05<1:31:10, 2.43s/it, lr: 1.0e-04 loss: 4.808e-02] |
| Saving at step 2750 |
| Saved checkpoint to /root/lab/ai-toolkit/output/lana-lora-wan2.2/lana-lora-wan2.2_000002750.safetensors |
| Saved optimizer to /root/lab/ai-toolkit/output/lana-lora-wan2.2/optimizer.pt |
| Removing old save: /root/lab/ai-toolkit/output/lana-lora-wan2.2/lana-lora-wan2.2_000000750_low_noise.safetensors |
|
|
|
|
|
Generating Images: 0%| | 0/1 [00:00<?, ?it/s]
Generating Images: 0%| | 0/1 [00:00<?, ?it/s][A[A |
|
|
|
|
|
|
|
0%| | 0/12 [00:00<?, ?it/s]
0%| | 0/12 [00:00<?, ?it/s][A[A[A[A |
|
|
|
|
|
|
|
8%|########7 | 1/12 [00:00<00:07, 1.51it/s]
8%|########7 | 1/12 [00:00<00:07, 1.51it/s][A[A[A[A |
|
|
|
|
|
|
|
17%|#################5 | 2/12 [00:01<00:06, 1.51it/s]
17%|#################5 | 2/12 [00:01<00:06, 1.51it/s][A[A[A[A |
|
|
|
|
|
|
|
25%|##########################2 | 3/12 [00:02<00:06, 1.38it/s]
25%|##########################2 | 3/12 [00:02<00:06, 1.38it/s][A[A[A[A |
|
|
|
|
|
|
|
33%|################################### | 4/12 [00:02<00:05, 1.44it/s]
33%|################################### | 4/12 [00:02<00:05, 1.44it/s][A[A[A[A |
|
|
|
|
|
|
|
42%|###########################################7 | 5/12 [00:03<00:04, 1.47it/s]
42%|###########################################7 | 5/12 [00:03<00:04, 1.47it/s][A[A[A[A |
|
|
|
|
|
|
|
50%|####################################################5 | 6/12 [00:04<00:04, 1.49it/s]
50%|####################################################5 | 6/12 [00:04<00:04, 1.49it/s][A[A[A[A |
|
|
|
|
|
|
|
58%|#############################################################2 | 7/12 [00:04<00:03, 1.50it/s]
58%|#############################################################2 | 7/12 [00:04<00:03, 1.50it/s][A[A[A[A |
|
|
|
|
|
|
|
67%|###################################################################### | 8/12 [00:05<00:02, 1.51it/s]
67%|###################################################################### | 8/12 [00:05<00:02, 1.51it/s][A[A[A[A |
|
|
|
|
|
|
|
75%|##############################################################################7 | 9/12 [00:06<00:01, 1.52it/s]
75%|##############################################################################7 | 9/12 [00:06<00:01, 1.52it/s][A[A[A[A |
|
|
|
|
|
|
|
83%|######################################################################################6 | 10/12 [00:06<00:01, 1.52it/s]
83%|######################################################################################6 | 10/12 [00:06<00:01, 1.52it/s][A[A[A[A |
|
|
|
|
|
|
|
92%|###############################################################################################3 | 11/12 [00:07<00:00, 1.53it/s]
92%|###############################################################################################3 | 11/12 [00:07<00:00, 1.53it/s][A[A[A[A |
|
|
|
|
|
|
|
100%|########################################################################################################| 12/12 [00:07<00:00, 1.53it/s]
100%|########################################################################################################| 12/12 [00:07<00:00, 1.53it/s][A[A[A[A
100%|########################################################################################################| 12/12 [00:07<00:00, 1.50it/s]
100%|########################################################################################################| 12/12 [00:07<00:00, 1.50it/s] |
|
|
|
|
|
|
|
Generating Images: 100%|#######################################################################################| 1/1 [00:08<00:00, 8.79s/it]
Generating Images: 100%|#######################################################################################| 1/1 [00:08<00:00, 8.79s/it][A[A |
|
|
|
[A[A
lana-lora-wan2.2: 55%|############################ | 2750/5000 [10:07<1:31:08, 2.43s/it, lr: 1.0e-04 loss: 2.544e-02]
lana-lora-wan2.2: 55%|############################ | 2750/5000 [10:07<1:31:08, 2.43s/it, lr: 1.0e-04 loss: 2.544e-02]
lana-lora-wan2.2: 55%|############################ | 2751/5000 [10:11<1:31:16, 2.44s/it, lr: 1.0e-04 loss: 3.288e-02]
lana-lora-wan2.2: 55%|############################ | 2751/5000 [10:11<1:31:16, 2.44s/it, lr: 1.0e-04 loss: 3.288e-02]
lana-lora-wan2.2: 55%|############################ | 2752/5000 [10:12<1:31:02, 2.43s/it, lr: 1.0e-04 loss: 3.746e-02]
lana-lora-wan2.2: 55%|############################ | 2752/5000 [10:12<1:31:02, 2.43s/it, lr: 1.0e-04 loss: 3.746e-02]
lana-lora-wan2.2: 55%|############################ | 2753/5000 [10:13<1:30:49, 2.43s/it, lr: 1.0e-04 loss: 3.980e-02]
lana-lora-wan2.2: 55%|############################ | 2753/5000 [10:13<1:30:49, 2.43s/it, lr: 1.0e-04 loss: 3.980e-02]
lana-lora-wan2.2: 55%|############################ | 2754/5000 [10:14<1:30:36, 2.42s/it, lr: 1.0e-04 loss: 4.564e-02]
lana-lora-wan2.2: 55%|############################ | 2754/5000 [10:14<1:30:36, 2.42s/it, lr: 1.0e-04 loss: 4.564e-02]
lana-lora-wan2.2: 55%|############################1 | 2755/5000 [10:18<1:30:47, 2.43s/it, lr: 1.0e-04 loss: 1.241e-01]
lana-lora-wan2.2: 55%|############################1 | 2755/5000 [10:18<1:30:47, 2.43s/it, lr: 1.0e-04 loss: 1.241e-01]
lana-lora-wan2.2: 55%|############################1 | 2756/5000 [10:20<1:30:42, 2.43s/it, lr: 1.0e-04 loss: 3.301e-02]
lana-lora-wan2.2: 55%|############################1 | 2756/5000 [10:20<1:30:42, 2.43s/it, lr: 1.0e-04 loss: 3.301e-02]
lana-lora-wan2.2: 55%|############################1 | 2757/5000 [10:22<1:30:29, 2.42s/it, lr: 1.0e-04 loss: 3.188e-02]
lana-lora-wan2.2: 55%|############################1 | 2757/5000 [10:22<1:30:29, 2.42s/it, lr: 1.0e-04 loss: 3.188e-02]
lana-lora-wan2.2: 55%|############################1 | 2758/5000 [10:24<1:30:24, 2.42s/it, lr: 1.0e-04 loss: 1.960e-01]
lana-lora-wan2.2: 55%|############################1 | 2758/5000 [10:24<1:30:24, 2.42s/it, lr: 1.0e-04 loss: 1.960e-01]
lana-lora-wan2.2: 55%|############################1 | 2759/5000 [10:27<1:30:32, 2.42s/it, lr: 1.0e-04 loss: 3.730e-02]
lana-lora-wan2.2: 55%|############################1 | 2759/5000 [10:27<1:30:32, 2.42s/it, lr: 1.0e-04 loss: 3.730e-02]
lana-lora-wan2.2: 55%|############################1 | 2760/5000 [10:31<1:30:41, 2.43s/it, lr: 1.0e-04 loss: 1.279e-01]
lana-lora-wan2.2: 55%|############################1 | 2760/5000 [10:31<1:30:41, 2.43s/it, lr: 1.0e-04 loss: 1.279e-01]
lana-lora-wan2.2: 55%|############################1 | 2761/5000 [10:34<1:30:39, 2.43s/it, lr: 1.0e-04 loss: 2.951e-02]
lana-lora-wan2.2: 55%|############################1 | 2761/5000 [10:34<1:30:39, 2.43s/it, lr: 1.0e-04 loss: 2.951e-02]
lana-lora-wan2.2: 55%|############################1 | 2762/5000 [10:35<1:30:26, 2.42s/it, lr: 1.0e-04 loss: 6.357e-02]
lana-lora-wan2.2: 55%|############################1 | 2762/5000 [10:35<1:30:26, 2.42s/it, lr: 1.0e-04 loss: 6.357e-02]
lana-lora-wan2.2: 55%|############################1 | 2763/5000 [10:37<1:30:21, 2.42s/it, lr: 1.0e-04 loss: 2.899e-02]
lana-lora-wan2.2: 55%|############################1 | 2763/5000 [10:37<1:30:21, 2.42s/it, lr: 1.0e-04 loss: 2.899e-02]
lana-lora-wan2.2: 55%|############################1 | 2764/5000 [10:39<1:30:17, 2.42s/it, lr: 1.0e-04 loss: 4.318e-02]
lana-lora-wan2.2: 55%|############################1 | 2764/5000 [10:39<1:30:17, 2.42s/it, lr: 1.0e-04 loss: 4.318e-02]
lana-lora-wan2.2: 55%|############################2 | 2765/5000 [10:40<1:30:03, 2.42s/it, lr: 1.0e-04 loss: 4.238e-02]
lana-lora-wan2.2: 55%|############################2 | 2765/5000 [10:40<1:30:03, 2.42s/it, lr: 1.0e-04 loss: 4.238e-02]
lana-lora-wan2.2: 55%|############################2 | 2766/5000 [10:42<1:29:59, 2.42s/it, lr: 1.0e-04 loss: 2.921e-02]
lana-lora-wan2.2: 55%|############################2 | 2766/5000 [10:42<1:29:59, 2.42s/it, lr: 1.0e-04 loss: 2.921e-02]
lana-lora-wan2.2: 55%|############################2 | 2767/5000 [10:44<1:29:49, 2.41s/it, lr: 1.0e-04 loss: 3.933e-02]
lana-lora-wan2.2: 55%|############################2 | 2767/5000 [10:44<1:29:49, 2.41s/it, lr: 1.0e-04 loss: 3.933e-02]
lana-lora-wan2.2: 55%|############################2 | 2768/5000 [10:48<1:29:57, 2.42s/it, lr: 1.0e-04 loss: 4.733e-02]
lana-lora-wan2.2: 55%|############################2 | 2768/5000 [10:48<1:29:57, 2.42s/it, lr: 1.0e-04 loss: 4.733e-02]
lana-lora-wan2.2: 55%|############################2 | 2769/5000 [10:51<1:30:05, 2.42s/it, lr: 1.0e-04 loss: 3.485e-02]
lana-lora-wan2.2: 55%|############################2 | 2769/5000 [10:51<1:30:05, 2.42s/it, lr: 1.0e-04 loss: 3.485e-02]
lana-lora-wan2.2: 55%|############################2 | 2770/5000 [10:52<1:29:52, 2.42s/it, lr: 1.0e-04 loss: 8.755e-02]
lana-lora-wan2.2: 55%|############################2 | 2770/5000 [10:52<1:29:52, 2.42s/it, lr: 1.0e-04 loss: 8.755e-02]
lana-lora-wan2.2: 55%|############################2 | 2771/5000 [10:55<1:29:47, 2.42s/it, lr: 1.0e-04 loss: 3.445e-01]
lana-lora-wan2.2: 55%|############################2 | 2771/5000 [10:55<1:29:47, 2.42s/it, lr: 1.0e-04 loss: 3.445e-01]
lana-lora-wan2.2: 55%|############################2 | 2772/5000 [10:56<1:29:35, 2.41s/it, lr: 1.0e-04 loss: 4.986e-02]
lana-lora-wan2.2: 55%|############################2 | 2772/5000 [10:56<1:29:35, 2.41s/it, lr: 1.0e-04 loss: 4.986e-02]
lana-lora-wan2.2: 55%|############################2 | 2773/5000 [11:00<1:29:44, 2.42s/it, lr: 1.0e-04 loss: 2.795e-02]
lana-lora-wan2.2: 55%|############################2 | 2773/5000 [11:00<1:29:44, 2.42s/it, lr: 1.0e-04 loss: 2.795e-02]
lana-lora-wan2.2: 55%|############################2 | 2774/5000 [11:01<1:29:32, 2.41s/it, lr: 1.0e-04 loss: 7.015e-02]
lana-lora-wan2.2: 55%|############################2 | 2774/5000 [11:01<1:29:32, 2.41s/it, lr: 1.0e-04 loss: 7.015e-02]
lana-lora-wan2.2: 56%|############################3 | 2775/5000 [11:02<1:29:19, 2.41s/it, lr: 1.0e-04 loss: 5.374e-02]
lana-lora-wan2.2: 56%|############################3 | 2775/5000 [11:02<1:29:19, 2.41s/it, lr: 1.0e-04 loss: 5.374e-02]
lana-lora-wan2.2: 56%|############################3 | 2776/5000 [11:04<1:29:15, 2.41s/it, lr: 1.0e-04 loss: 5.361e-02]
lana-lora-wan2.2: 56%|############################3 | 2776/5000 [11:04<1:29:15, 2.41s/it, lr: 1.0e-04 loss: 5.361e-02]
lana-lora-wan2.2: 56%|############################3 | 2777/5000 [11:08<1:29:23, 2.41s/it, lr: 1.0e-04 loss: 8.096e-02]
lana-lora-wan2.2: 56%|############################3 | 2777/5000 [11:08<1:29:23, 2.41s/it, lr: 1.0e-04 loss: 8.096e-02]
lana-lora-wan2.2: 56%|############################3 | 2778/5000 [11:09<1:29:10, 2.41s/it, lr: 1.0e-04 loss: 4.459e-02]
lana-lora-wan2.2: 56%|############################3 | 2778/5000 [11:09<1:29:10, 2.41s/it, lr: 1.0e-04 loss: 4.459e-02]
lana-lora-wan2.2: 56%|############################3 | 2779/5000 [11:11<1:29:09, 2.41s/it, lr: 1.0e-04 loss: 3.183e-02]
lana-lora-wan2.2: 56%|############################3 | 2779/5000 [11:11<1:29:09, 2.41s/it, lr: 1.0e-04 loss: 3.183e-02]
lana-lora-wan2.2: 56%|############################3 | 2780/5000 [11:14<1:29:04, 2.41s/it, lr: 1.0e-04 loss: 2.959e-02]
lana-lora-wan2.2: 56%|############################3 | 2780/5000 [11:14<1:29:04, 2.41s/it, lr: 1.0e-04 loss: 2.959e-02]
lana-lora-wan2.2: 56%|############################3 | 2781/5000 [11:16<1:29:00, 2.41s/it, lr: 1.0e-04 loss: 3.799e-02]
lana-lora-wan2.2: 56%|############################3 | 2781/5000 [11:16<1:29:00, 2.41s/it, lr: 1.0e-04 loss: 3.799e-02]
lana-lora-wan2.2: 56%|############################3 | 2782/5000 [11:19<1:29:08, 2.41s/it, lr: 1.0e-04 loss: 1.046e-01]
lana-lora-wan2.2: 56%|############################3 | 2782/5000 [11:19<1:29:08, 2.41s/it, lr: 1.0e-04 loss: 1.046e-01]
lana-lora-wan2.2: 56%|############################3 | 2783/5000 [11:22<1:29:03, 2.41s/it, lr: 1.0e-04 loss: 1.343e-01]
lana-lora-wan2.2: 56%|############################3 | 2783/5000 [11:22<1:29:03, 2.41s/it, lr: 1.0e-04 loss: 1.343e-01]
lana-lora-wan2.2: 56%|############################3 | 2784/5000 [11:26<1:29:12, 2.42s/it, lr: 1.0e-04 loss: 2.893e-02]
lana-lora-wan2.2: 56%|############################3 | 2784/5000 [11:26<1:29:12, 2.42s/it, lr: 1.0e-04 loss: 2.893e-02]
lana-lora-wan2.2: 56%|############################4 | 2785/5000 [11:29<1:29:20, 2.42s/it, lr: 1.0e-04 loss: 1.109e-01]
lana-lora-wan2.2: 56%|############################4 | 2785/5000 [11:29<1:29:20, 2.42s/it, lr: 1.0e-04 loss: 1.109e-01]
lana-lora-wan2.2: 56%|############################4 | 2786/5000 [11:31<1:29:15, 2.42s/it, lr: 1.0e-04 loss: 3.265e-02]
lana-lora-wan2.2: 56%|############################4 | 2786/5000 [11:31<1:29:15, 2.42s/it, lr: 1.0e-04 loss: 3.265e-02]
lana-lora-wan2.2: 56%|############################4 | 2787/5000 [11:33<1:29:03, 2.41s/it, lr: 1.0e-04 loss: 4.293e-02]
lana-lora-wan2.2: 56%|############################4 | 2787/5000 [11:33<1:29:03, 2.41s/it, lr: 1.0e-04 loss: 4.293e-02]
lana-lora-wan2.2: 56%|############################4 | 2788/5000 [11:35<1:28:59, 2.41s/it, lr: 1.0e-04 loss: 2.602e-02]
lana-lora-wan2.2: 56%|############################4 | 2788/5000 [11:35<1:28:59, 2.41s/it, lr: 1.0e-04 loss: 2.602e-02]
lana-lora-wan2.2: 56%|############################4 | 2789/5000 [11:37<1:28:55, 2.41s/it, lr: 1.0e-04 loss: 2.903e-02]
lana-lora-wan2.2: 56%|############################4 | 2789/5000 [11:37<1:28:55, 2.41s/it, lr: 1.0e-04 loss: 2.903e-02]
lana-lora-wan2.2: 56%|############################4 | 2790/5000 [11:41<1:29:04, 2.42s/it, lr: 1.0e-04 loss: 4.442e-02]
lana-lora-wan2.2: 56%|############################4 | 2790/5000 [11:41<1:29:04, 2.42s/it, lr: 1.0e-04 loss: 4.442e-02]
lana-lora-wan2.2: 56%|############################4 | 2791/5000 [11:42<1:28:52, 2.41s/it, lr: 1.0e-04 loss: 6.012e-02]
lana-lora-wan2.2: 56%|############################4 | 2791/5000 [11:42<1:28:52, 2.41s/it, lr: 1.0e-04 loss: 6.012e-02]
lana-lora-wan2.2: 56%|############################4 | 2792/5000 [11:43<1:28:40, 2.41s/it, lr: 1.0e-04 loss: 2.112e-01]
lana-lora-wan2.2: 56%|############################4 | 2792/5000 [11:43<1:28:40, 2.41s/it, lr: 1.0e-04 loss: 2.112e-01]
lana-lora-wan2.2: 56%|############################4 | 2793/5000 [11:45<1:28:36, 2.41s/it, lr: 1.0e-04 loss: 4.156e-02]
lana-lora-wan2.2: 56%|############################4 | 2793/5000 [11:45<1:28:36, 2.41s/it, lr: 1.0e-04 loss: 4.156e-02]
lana-lora-wan2.2: 56%|############################4 | 2794/5000 [11:49<1:28:43, 2.41s/it, lr: 1.0e-04 loss: 1.183e-01]
lana-lora-wan2.2: 56%|############################4 | 2794/5000 [11:49<1:28:43, 2.41s/it, lr: 1.0e-04 loss: 1.183e-01]
lana-lora-wan2.2: 56%|############################5 | 2795/5000 [11:50<1:28:31, 2.41s/it, lr: 1.0e-04 loss: 5.492e-02]
lana-lora-wan2.2: 56%|############################5 | 2795/5000 [11:50<1:28:31, 2.41s/it, lr: 1.0e-04 loss: 5.492e-02]
lana-lora-wan2.2: 56%|############################5 | 2796/5000 [11:52<1:28:22, 2.41s/it, lr: 1.0e-04 loss: 5.022e-02]
lana-lora-wan2.2: 56%|############################5 | 2796/5000 [11:52<1:28:22, 2.41s/it, lr: 1.0e-04 loss: 5.022e-02]
lana-lora-wan2.2: 56%|############################5 | 2797/5000 [11:54<1:28:18, 2.40s/it, lr: 1.0e-04 loss: 3.371e-02]
lana-lora-wan2.2: 56%|############################5 | 2797/5000 [11:54<1:28:18, 2.40s/it, lr: 1.0e-04 loss: 3.371e-02]
lana-lora-wan2.2: 56%|############################5 | 2798/5000 [11:57<1:28:25, 2.41s/it, lr: 1.0e-04 loss: 1.048e-01]
lana-lora-wan2.2: 56%|############################5 | 2798/5000 [11:57<1:28:25, 2.41s/it, lr: 1.0e-04 loss: 1.048e-01]
lana-lora-wan2.2: 56%|############################5 | 2799/5000 [12:00<1:28:20, 2.41s/it, lr: 1.0e-04 loss: 3.017e-02]
lana-lora-wan2.2: 56%|############################5 | 2799/5000 [12:00<1:28:20, 2.41s/it, lr: 1.0e-04 loss: 3.017e-02]
lana-lora-wan2.2: 56%|############################5 | 2800/5000 [12:02<1:28:16, 2.41s/it, lr: 1.0e-04 loss: 1.158e-01]
lana-lora-wan2.2: 56%|############################5 | 2800/5000 [12:02<1:28:16, 2.41s/it, lr: 1.0e-04 loss: 1.158e-01]
lana-lora-wan2.2: 56%|############################5 | 2801/5000 [12:03<1:28:05, 2.40s/it, lr: 1.0e-04 loss: 2.668e-01]
lana-lora-wan2.2: 56%|############################5 | 2801/5000 [12:03<1:28:05, 2.40s/it, lr: 1.0e-04 loss: 2.668e-01]
lana-lora-wan2.2: 56%|############################5 | 2802/5000 [12:07<1:28:14, 2.41s/it, lr: 1.0e-04 loss: 1.514e-01]
lana-lora-wan2.2: 56%|############################5 | 2802/5000 [12:07<1:28:14, 2.41s/it, lr: 1.0e-04 loss: 1.514e-01]
lana-lora-wan2.2: 56%|############################5 | 2803/5000 [12:11<1:28:20, 2.41s/it, lr: 1.0e-04 loss: 1.228e-01]
lana-lora-wan2.2: 56%|############################5 | 2803/5000 [12:11<1:28:20, 2.41s/it, lr: 1.0e-04 loss: 1.228e-01]
lana-lora-wan2.2: 56%|############################6 | 2804/5000 [12:12<1:28:09, 2.41s/it, lr: 1.0e-04 loss: 7.462e-02]
lana-lora-wan2.2: 56%|############################6 | 2804/5000 [12:12<1:28:09, 2.41s/it, lr: 1.0e-04 loss: 7.462e-02]
lana-lora-wan2.2: 56%|############################6 | 2805/5000 [12:13<1:27:58, 2.40s/it, lr: 1.0e-04 loss: 1.121e-01]
lana-lora-wan2.2: 56%|############################6 | 2805/5000 [12:13<1:27:58, 2.40s/it, lr: 1.0e-04 loss: 1.121e-01]
lana-lora-wan2.2: 56%|############################6 | 2806/5000 [12:14<1:27:47, 2.40s/it, lr: 1.0e-04 loss: 5.349e-02]
lana-lora-wan2.2: 56%|############################6 | 2806/5000 [12:14<1:27:47, 2.40s/it, lr: 1.0e-04 loss: 5.349e-02]
lana-lora-wan2.2: 56%|############################6 | 2807/5000 [12:16<1:27:43, 2.40s/it, lr: 1.0e-04 loss: 5.872e-02]
lana-lora-wan2.2: 56%|############################6 | 2807/5000 [12:16<1:27:43, 2.40s/it, lr: 1.0e-04 loss: 5.872e-02]
lana-lora-wan2.2: 56%|############################6 | 2808/5000 [12:19<1:27:41, 2.40s/it, lr: 1.0e-04 loss: 7.834e-02]
lana-lora-wan2.2: 56%|############################6 | 2808/5000 [12:19<1:27:41, 2.40s/it, lr: 1.0e-04 loss: 7.834e-02]
lana-lora-wan2.2: 56%|############################6 | 2809/5000 [12:22<1:27:47, 2.40s/it, lr: 1.0e-04 loss: 3.690e-02]
lana-lora-wan2.2: 56%|############################6 | 2809/5000 [12:22<1:27:47, 2.40s/it, lr: 1.0e-04 loss: 3.690e-02]
lana-lora-wan2.2: 56%|############################6 | 2810/5000 [12:26<1:27:54, 2.41s/it, lr: 1.0e-04 loss: 2.315e-02]
lana-lora-wan2.2: 56%|############################6 | 2810/5000 [12:26<1:27:54, 2.41s/it, lr: 1.0e-04 loss: 2.315e-02]
lana-lora-wan2.2: 56%|############################6 | 2811/5000 [12:27<1:27:43, 2.40s/it, lr: 1.0e-04 loss: 5.370e-02]
lana-lora-wan2.2: 56%|############################6 | 2811/5000 [12:27<1:27:43, 2.40s/it, lr: 1.0e-04 loss: 5.370e-02]
lana-lora-wan2.2: 56%|############################6 | 2812/5000 [12:29<1:27:39, 2.40s/it, lr: 1.0e-04 loss: 8.005e-02]
lana-lora-wan2.2: 56%|############################6 | 2812/5000 [12:29<1:27:39, 2.40s/it, lr: 1.0e-04 loss: 8.005e-02]
lana-lora-wan2.2: 56%|############################6 | 2813/5000 [12:33<1:27:45, 2.41s/it, lr: 1.0e-04 loss: 5.837e-02]
lana-lora-wan2.2: 56%|############################6 | 2813/5000 [12:33<1:27:45, 2.41s/it, lr: 1.0e-04 loss: 5.837e-02]
lana-lora-wan2.2: 56%|############################7 | 2814/5000 [12:37<1:27:53, 2.41s/it, lr: 1.0e-04 loss: 1.218e-01]
lana-lora-wan2.2: 56%|############################7 | 2814/5000 [12:37<1:27:53, 2.41s/it, lr: 1.0e-04 loss: 1.218e-01]
lana-lora-wan2.2: 56%|############################7 | 2815/5000 [12:39<1:27:49, 2.41s/it, lr: 1.0e-04 loss: 5.378e-02]
lana-lora-wan2.2: 56%|############################7 | 2815/5000 [12:39<1:27:49, 2.41s/it, lr: 1.0e-04 loss: 5.378e-02]
lana-lora-wan2.2: 56%|############################7 | 2816/5000 [12:43<1:27:55, 2.42s/it, lr: 1.0e-04 loss: 6.856e-02]
lana-lora-wan2.2: 56%|############################7 | 2816/5000 [12:43<1:27:55, 2.42s/it, lr: 1.0e-04 loss: 6.856e-02]
lana-lora-wan2.2: 56%|############################7 | 2817/5000 [12:45<1:27:51, 2.41s/it, lr: 1.0e-04 loss: 4.508e-02]
lana-lora-wan2.2: 56%|############################7 | 2817/5000 [12:45<1:27:51, 2.41s/it, lr: 1.0e-04 loss: 4.508e-02]
lana-lora-wan2.2: 56%|############################7 | 2818/5000 [12:49<1:27:57, 2.42s/it, lr: 1.0e-04 loss: 3.834e-02]
lana-lora-wan2.2: 56%|############################7 | 2818/5000 [12:49<1:27:57, 2.42s/it, lr: 1.0e-04 loss: 3.834e-02]
lana-lora-wan2.2: 56%|############################7 | 2819/5000 [12:50<1:27:49, 2.42s/it, lr: 1.0e-04 loss: 1.997e-01]
lana-lora-wan2.2: 56%|############################7 | 2819/5000 [12:50<1:27:49, 2.42s/it, lr: 1.0e-04 loss: 1.997e-01]
lana-lora-wan2.2: 56%|############################7 | 2820/5000 [12:54<1:27:55, 2.42s/it, lr: 1.0e-04 loss: 5.155e-02]
lana-lora-wan2.2: 56%|############################7 | 2820/5000 [12:54<1:27:55, 2.42s/it, lr: 1.0e-04 loss: 5.155e-02]
lana-lora-wan2.2: 56%|############################7 | 2821/5000 [12:56<1:27:50, 2.42s/it, lr: 1.0e-04 loss: 3.103e-02]
lana-lora-wan2.2: 56%|############################7 | 2821/5000 [12:56<1:27:50, 2.42s/it, lr: 1.0e-04 loss: 3.103e-02]
lana-lora-wan2.2: 56%|############################7 | 2822/5000 [12:58<1:27:46, 2.42s/it, lr: 1.0e-04 loss: 4.287e-02]
lana-lora-wan2.2: 56%|############################7 | 2822/5000 [12:58<1:27:46, 2.42s/it, lr: 1.0e-04 loss: 4.287e-02]
lana-lora-wan2.2: 56%|############################7 | 2823/5000 [12:59<1:27:35, 2.41s/it, lr: 1.0e-04 loss: 3.398e-02]
lana-lora-wan2.2: 56%|############################7 | 2823/5000 [12:59<1:27:35, 2.41s/it, lr: 1.0e-04 loss: 3.398e-02]
lana-lora-wan2.2: 56%|############################8 | 2824/5000 [13:03<1:27:41, 2.42s/it, lr: 1.0e-04 loss: 1.556e-01]
lana-lora-wan2.2: 56%|############################8 | 2824/5000 [13:03<1:27:41, 2.42s/it, lr: 1.0e-04 loss: 1.556e-01]
lana-lora-wan2.2: 56%|############################8 | 2825/5000 [13:05<1:27:39, 2.42s/it, lr: 1.0e-04 loss: 5.822e-02]
lana-lora-wan2.2: 56%|############################8 | 2825/5000 [13:05<1:27:39, 2.42s/it, lr: 1.0e-04 loss: 5.822e-02]
lana-lora-wan2.2: 57%|############################8 | 2826/5000 [13:09<1:27:45, 2.42s/it, lr: 1.0e-04 loss: 2.913e-02]
lana-lora-wan2.2: 57%|############################8 | 2826/5000 [13:09<1:27:45, 2.42s/it, lr: 1.0e-04 loss: 2.913e-02]
lana-lora-wan2.2: 57%|############################8 | 2827/5000 [13:11<1:27:41, 2.42s/it, lr: 1.0e-04 loss: 7.447e-02]
lana-lora-wan2.2: 57%|############################8 | 2827/5000 [13:11<1:27:41, 2.42s/it, lr: 1.0e-04 loss: 7.447e-02]
lana-lora-wan2.2: 57%|############################8 | 2828/5000 [13:12<1:27:31, 2.42s/it, lr: 1.0e-04 loss: 2.710e-02]
lana-lora-wan2.2: 57%|############################8 | 2828/5000 [13:12<1:27:31, 2.42s/it, lr: 1.0e-04 loss: 2.710e-02]
lana-lora-wan2.2: 57%|############################8 | 2829/5000 [13:16<1:27:36, 2.42s/it, lr: 1.0e-04 loss: 3.506e-02]
lana-lora-wan2.2: 57%|############################8 | 2829/5000 [13:16<1:27:36, 2.42s/it, lr: 1.0e-04 loss: 3.506e-02]
lana-lora-wan2.2: 57%|############################8 | 2830/5000 [13:18<1:27:32, 2.42s/it, lr: 1.0e-04 loss: 6.973e-02]
lana-lora-wan2.2: 57%|############################8 | 2830/5000 [13:18<1:27:32, 2.42s/it, lr: 1.0e-04 loss: 6.973e-02]
lana-lora-wan2.2: 57%|############################8 | 2831/5000 [13:22<1:27:40, 2.43s/it, lr: 1.0e-04 loss: 1.669e-01]
lana-lora-wan2.2: 57%|############################8 | 2831/5000 [13:22<1:27:40, 2.43s/it, lr: 1.0e-04 loss: 1.669e-01]
lana-lora-wan2.2: 57%|############################8 | 2832/5000 [13:23<1:27:29, 2.42s/it, lr: 1.0e-04 loss: 4.517e-02]
lana-lora-wan2.2: 57%|############################8 | 2832/5000 [13:23<1:27:29, 2.42s/it, lr: 1.0e-04 loss: 4.517e-02]
lana-lora-wan2.2: 57%|############################8 | 2833/5000 [13:27<1:27:35, 2.43s/it, lr: 1.0e-04 loss: 4.658e-02]
lana-lora-wan2.2: 57%|############################8 | 2833/5000 [13:27<1:27:35, 2.43s/it, lr: 1.0e-04 loss: 4.658e-02]
lana-lora-wan2.2: 57%|############################9 | 2834/5000 [13:28<1:27:24, 2.42s/it, lr: 1.0e-04 loss: 1.416e-01]
lana-lora-wan2.2: 57%|############################9 | 2834/5000 [13:28<1:27:24, 2.42s/it, lr: 1.0e-04 loss: 1.416e-01]
lana-lora-wan2.2: 57%|############################9 | 2835/5000 [13:32<1:27:30, 2.43s/it, lr: 1.0e-04 loss: 1.610e-01]
lana-lora-wan2.2: 57%|############################9 | 2835/5000 [13:32<1:27:30, 2.43s/it, lr: 1.0e-04 loss: 1.610e-01]
lana-lora-wan2.2: 57%|############################9 | 2836/5000 [13:33<1:27:20, 2.42s/it, lr: 1.0e-04 loss: 5.201e-02]
lana-lora-wan2.2: 57%|############################9 | 2836/5000 [13:33<1:27:20, 2.42s/it, lr: 1.0e-04 loss: 5.201e-02]
lana-lora-wan2.2: 57%|############################9 | 2837/5000 [13:35<1:27:11, 2.42s/it, lr: 1.0e-04 loss: 3.746e-02]
lana-lora-wan2.2: 57%|############################9 | 2837/5000 [13:35<1:27:11, 2.42s/it, lr: 1.0e-04 loss: 3.746e-02]
lana-lora-wan2.2: 57%|############################9 | 2838/5000 [13:38<1:27:17, 2.42s/it, lr: 1.0e-04 loss: 1.665e-01]
lana-lora-wan2.2: 57%|############################9 | 2838/5000 [13:38<1:27:17, 2.42s/it, lr: 1.0e-04 loss: 1.665e-01]
lana-lora-wan2.2: 57%|############################9 | 2839/5000 [13:39<1:27:06, 2.42s/it, lr: 1.0e-04 loss: 6.071e-02]
lana-lora-wan2.2: 57%|############################9 | 2839/5000 [13:39<1:27:06, 2.42s/it, lr: 1.0e-04 loss: 6.071e-02]
lana-lora-wan2.2: 57%|############################9 | 2840/5000 [13:41<1:26:56, 2.42s/it, lr: 1.0e-04 loss: 3.845e-02]
lana-lora-wan2.2: 57%|############################9 | 2840/5000 [13:41<1:26:56, 2.42s/it, lr: 1.0e-04 loss: 3.845e-02]
lana-lora-wan2.2: 57%|############################9 | 2841/5000 [13:43<1:26:52, 2.41s/it, lr: 1.0e-04 loss: 7.922e-02]
lana-lora-wan2.2: 57%|############################9 | 2841/5000 [13:43<1:26:52, 2.41s/it, lr: 1.0e-04 loss: 7.922e-02]
lana-lora-wan2.2: 57%|############################9 | 2842/5000 [13:44<1:26:42, 2.41s/it, lr: 1.0e-04 loss: 9.120e-02]
lana-lora-wan2.2: 57%|############################9 | 2842/5000 [13:44<1:26:42, 2.41s/it, lr: 1.0e-04 loss: 9.120e-02]
lana-lora-wan2.2: 57%|############################9 | 2843/5000 [13:46<1:26:40, 2.41s/it, lr: 1.0e-04 loss: 3.395e-02]
lana-lora-wan2.2: 57%|############################9 | 2843/5000 [13:46<1:26:40, 2.41s/it, lr: 1.0e-04 loss: 3.395e-02]
lana-lora-wan2.2: 57%|############################# | 2844/5000 [13:49<1:26:36, 2.41s/it, lr: 1.0e-04 loss: 3.089e-02]
lana-lora-wan2.2: 57%|############################# | 2844/5000 [13:49<1:26:36, 2.41s/it, lr: 1.0e-04 loss: 3.089e-02]
lana-lora-wan2.2: 57%|############################# | 2845/5000 [13:50<1:26:26, 2.41s/it, lr: 1.0e-04 loss: 1.834e-01]
lana-lora-wan2.2: 57%|############################# | 2845/5000 [13:50<1:26:26, 2.41s/it, lr: 1.0e-04 loss: 1.834e-01]
lana-lora-wan2.2: 57%|############################# | 2846/5000 [13:51<1:26:16, 2.40s/it, lr: 1.0e-04 loss: 7.253e-02]
lana-lora-wan2.2: 57%|############################# | 2846/5000 [13:51<1:26:16, 2.40s/it, lr: 1.0e-04 loss: 7.253e-02]
lana-lora-wan2.2: 57%|############################# | 2847/5000 [13:52<1:26:06, 2.40s/it, lr: 1.0e-04 loss: 1.958e-01]
lana-lora-wan2.2: 57%|############################# | 2847/5000 [13:52<1:26:06, 2.40s/it, lr: 1.0e-04 loss: 1.958e-01]
lana-lora-wan2.2: 57%|############################# | 2848/5000 [13:53<1:25:56, 2.40s/it, lr: 1.0e-04 loss: 3.214e-02]
lana-lora-wan2.2: 57%|############################# | 2848/5000 [13:53<1:25:56, 2.40s/it, lr: 1.0e-04 loss: 3.214e-02]
lana-lora-wan2.2: 57%|############################# | 2849/5000 [13:56<1:25:54, 2.40s/it, lr: 1.0e-04 loss: 4.400e-02]
lana-lora-wan2.2: 57%|############################# | 2849/5000 [13:56<1:25:54, 2.40s/it, lr: 1.0e-04 loss: 4.400e-02]
lana-lora-wan2.2: 57%|############################# | 2850/5000 [13:58<1:25:50, 2.40s/it, lr: 1.0e-04 loss: 2.710e-02]
lana-lora-wan2.2: 57%|############################# | 2850/5000 [13:58<1:25:50, 2.40s/it, lr: 1.0e-04 loss: 2.710e-02]
lana-lora-wan2.2: 57%|############################# | 2851/5000 [14:02<1:25:55, 2.40s/it, lr: 1.0e-04 loss: 3.004e-02]
lana-lora-wan2.2: 57%|############################# | 2851/5000 [14:02<1:25:55, 2.40s/it, lr: 1.0e-04 loss: 3.004e-02]
lana-lora-wan2.2: 57%|############################# | 2852/5000 [14:05<1:26:00, 2.40s/it, lr: 1.0e-04 loss: 8.538e-02]
lana-lora-wan2.2: 57%|############################# | 2852/5000 [14:05<1:26:00, 2.40s/it, lr: 1.0e-04 loss: 8.538e-02]
lana-lora-wan2.2: 57%|#############################1 | 2853/5000 [14:07<1:25:57, 2.40s/it, lr: 1.0e-04 loss: 8.603e-02]
lana-lora-wan2.2: 57%|#############################1 | 2853/5000 [14:07<1:25:57, 2.40s/it, lr: 1.0e-04 loss: 8.603e-02]
lana-lora-wan2.2: 57%|#############################1 | 2854/5000 [14:11<1:26:02, 2.41s/it, lr: 1.0e-04 loss: 3.745e-02]
lana-lora-wan2.2: 57%|#############################1 | 2854/5000 [14:11<1:26:02, 2.41s/it, lr: 1.0e-04 loss: 3.745e-02]
lana-lora-wan2.2: 57%|#############################1 | 2855/5000 [14:13<1:25:54, 2.40s/it, lr: 1.0e-04 loss: 1.822e-01]
lana-lora-wan2.2: 57%|#############################1 | 2855/5000 [14:13<1:25:54, 2.40s/it, lr: 1.0e-04 loss: 1.822e-01]
lana-lora-wan2.2: 57%|#############################1 | 2856/5000 [14:15<1:25:50, 2.40s/it, lr: 1.0e-04 loss: 4.478e-02]
lana-lora-wan2.2: 57%|#############################1 | 2856/5000 [14:15<1:25:50, 2.40s/it, lr: 1.0e-04 loss: 4.478e-02]
lana-lora-wan2.2: 57%|#############################1 | 2857/5000 [14:16<1:25:40, 2.40s/it, lr: 1.0e-04 loss: 5.014e-02]
lana-lora-wan2.2: 57%|#############################1 | 2857/5000 [14:16<1:25:40, 2.40s/it, lr: 1.0e-04 loss: 5.014e-02]
lana-lora-wan2.2: 57%|#############################1 | 2858/5000 [14:20<1:25:45, 2.40s/it, lr: 1.0e-04 loss: 3.704e-02]
lana-lora-wan2.2: 57%|#############################1 | 2858/5000 [14:20<1:25:45, 2.40s/it, lr: 1.0e-04 loss: 3.704e-02]
lana-lora-wan2.2: 57%|#############################1 | 2859/5000 [14:23<1:25:50, 2.41s/it, lr: 1.0e-04 loss: 2.236e-01]
lana-lora-wan2.2: 57%|#############################1 | 2859/5000 [14:23<1:25:50, 2.41s/it, lr: 1.0e-04 loss: 2.236e-01]
lana-lora-wan2.2: 57%|#############################1 | 2860/5000 [14:27<1:25:55, 2.41s/it, lr: 1.0e-04 loss: 3.755e-02]
lana-lora-wan2.2: 57%|#############################1 | 2860/5000 [14:27<1:25:55, 2.41s/it, lr: 1.0e-04 loss: 3.755e-02]
lana-lora-wan2.2: 57%|#############################1 | 2861/5000 [14:28<1:25:48, 2.41s/it, lr: 1.0e-04 loss: 4.655e-02]
lana-lora-wan2.2: 57%|#############################1 | 2861/5000 [14:28<1:25:48, 2.41s/it, lr: 1.0e-04 loss: 4.655e-02]
lana-lora-wan2.2: 57%|#############################1 | 2862/5000 [14:31<1:25:44, 2.41s/it, lr: 1.0e-04 loss: 3.515e-02]
lana-lora-wan2.2: 57%|#############################1 | 2862/5000 [14:31<1:25:44, 2.41s/it, lr: 1.0e-04 loss: 3.515e-02]
lana-lora-wan2.2: 57%|#############################2 | 2863/5000 [14:33<1:25:40, 2.41s/it, lr: 1.0e-04 loss: 5.502e-02]
lana-lora-wan2.2: 57%|#############################2 | 2863/5000 [14:33<1:25:40, 2.41s/it, lr: 1.0e-04 loss: 5.502e-02]
lana-lora-wan2.2: 57%|#############################2 | 2864/5000 [14:36<1:25:45, 2.41s/it, lr: 1.0e-04 loss: 5.577e-02]
lana-lora-wan2.2: 57%|#############################2 | 2864/5000 [14:36<1:25:45, 2.41s/it, lr: 1.0e-04 loss: 5.577e-02]
lana-lora-wan2.2: 57%|#############################2 | 2865/5000 [14:38<1:25:36, 2.41s/it, lr: 1.0e-04 loss: 2.966e-02]
lana-lora-wan2.2: 57%|#############################2 | 2865/5000 [14:38<1:25:36, 2.41s/it, lr: 1.0e-04 loss: 2.966e-02]
lana-lora-wan2.2: 57%|#############################2 | 2866/5000 [14:39<1:25:29, 2.40s/it, lr: 1.0e-04 loss: 6.190e-02]
lana-lora-wan2.2: 57%|#############################2 | 2866/5000 [14:39<1:25:29, 2.40s/it, lr: 1.0e-04 loss: 6.190e-02]
lana-lora-wan2.2: 57%|#############################2 | 2867/5000 [14:43<1:25:33, 2.41s/it, lr: 1.0e-04 loss: 5.834e-02]
lana-lora-wan2.2: 57%|#############################2 | 2867/5000 [14:43<1:25:33, 2.41s/it, lr: 1.0e-04 loss: 5.834e-02]
lana-lora-wan2.2: 57%|#############################2 | 2868/5000 [14:45<1:25:30, 2.41s/it, lr: 1.0e-04 loss: 3.674e-01]
lana-lora-wan2.2: 57%|#############################2 | 2868/5000 [14:45<1:25:30, 2.41s/it, lr: 1.0e-04 loss: 3.674e-01]
lana-lora-wan2.2: 57%|#############################2 | 2869/5000 [14:47<1:25:26, 2.41s/it, lr: 1.0e-04 loss: 9.959e-02]
lana-lora-wan2.2: 57%|#############################2 | 2869/5000 [14:47<1:25:26, 2.41s/it, lr: 1.0e-04 loss: 9.959e-02]
lana-lora-wan2.2: 57%|#############################2 | 2870/5000 [14:49<1:25:22, 2.40s/it, lr: 1.0e-04 loss: 1.081e-01]
lana-lora-wan2.2: 57%|#############################2 | 2870/5000 [14:49<1:25:22, 2.40s/it, lr: 1.0e-04 loss: 1.081e-01]
lana-lora-wan2.2: 57%|#############################2 | 2871/5000 [14:50<1:25:12, 2.40s/it, lr: 1.0e-04 loss: 6.143e-02]
lana-lora-wan2.2: 57%|#############################2 | 2871/5000 [14:50<1:25:12, 2.40s/it, lr: 1.0e-04 loss: 6.143e-02]
lana-lora-wan2.2: 57%|#############################2 | 2872/5000 [14:53<1:25:11, 2.40s/it, lr: 1.0e-04 loss: 5.069e-02]
lana-lora-wan2.2: 57%|#############################2 | 2872/5000 [14:53<1:25:11, 2.40s/it, lr: 1.0e-04 loss: 5.069e-02]
lana-lora-wan2.2: 57%|#############################3 | 2873/5000 [14:57<1:25:16, 2.41s/it, lr: 1.0e-04 loss: 3.826e-02]
lana-lora-wan2.2: 57%|#############################3 | 2873/5000 [14:57<1:25:16, 2.41s/it, lr: 1.0e-04 loss: 3.826e-02]
lana-lora-wan2.2: 57%|#############################3 | 2874/5000 [15:00<1:25:20, 2.41s/it, lr: 1.0e-04 loss: 1.108e-01]
lana-lora-wan2.2: 57%|#############################3 | 2874/5000 [15:00<1:25:20, 2.41s/it, lr: 1.0e-04 loss: 1.108e-01]
lana-lora-wan2.2: 57%|#############################3 | 2875/5000 [15:03<1:25:17, 2.41s/it, lr: 1.0e-04 loss: 3.827e-02]
lana-lora-wan2.2: 57%|#############################3 | 2875/5000 [15:03<1:25:17, 2.41s/it, lr: 1.0e-04 loss: 3.827e-02]
lana-lora-wan2.2: 58%|#############################3 | 2876/5000 [15:05<1:25:13, 2.41s/it, lr: 1.0e-04 loss: 1.421e-01]
lana-lora-wan2.2: 58%|#############################3 | 2876/5000 [15:05<1:25:13, 2.41s/it, lr: 1.0e-04 loss: 1.421e-01]
lana-lora-wan2.2: 58%|#############################3 | 2877/5000 [15:08<1:25:17, 2.41s/it, lr: 1.0e-04 loss: 2.367e-02]
lana-lora-wan2.2: 58%|#############################3 | 2877/5000 [15:08<1:25:17, 2.41s/it, lr: 1.0e-04 loss: 2.367e-02]
lana-lora-wan2.2: 58%|#############################3 | 2878/5000 [15:10<1:25:10, 2.41s/it, lr: 1.0e-04 loss: 2.394e-02]
lana-lora-wan2.2: 58%|#############################3 | 2878/5000 [15:10<1:25:10, 2.41s/it, lr: 1.0e-04 loss: 2.394e-02]
lana-lora-wan2.2: 58%|#############################3 | 2879/5000 [15:12<1:25:06, 2.41s/it, lr: 1.0e-04 loss: 1.274e-01]
lana-lora-wan2.2: 58%|#############################3 | 2879/5000 [15:12<1:25:06, 2.41s/it, lr: 1.0e-04 loss: 1.274e-01]
lana-lora-wan2.2: 58%|#############################3 | 2880/5000 [15:13<1:24:57, 2.40s/it, lr: 1.0e-04 loss: 3.952e-02]
lana-lora-wan2.2: 58%|#############################3 | 2880/5000 [15:13<1:24:57, 2.40s/it, lr: 1.0e-04 loss: 3.952e-02]
lana-lora-wan2.2: 58%|#############################3 | 2881/5000 [15:14<1:24:48, 2.40s/it, lr: 1.0e-04 loss: 4.883e-02]
lana-lora-wan2.2: 58%|#############################3 | 2881/5000 [15:14<1:24:48, 2.40s/it, lr: 1.0e-04 loss: 4.883e-02]
lana-lora-wan2.2: 58%|#############################3 | 2882/5000 [15:18<1:24:53, 2.40s/it, lr: 1.0e-04 loss: 2.615e-02]
lana-lora-wan2.2: 58%|#############################3 | 2882/5000 [15:18<1:24:53, 2.40s/it, lr: 1.0e-04 loss: 2.615e-02]
lana-lora-wan2.2: 58%|#############################4 | 2883/5000 [15:19<1:24:43, 2.40s/it, lr: 1.0e-04 loss: 7.066e-02]
lana-lora-wan2.2: 58%|#############################4 | 2883/5000 [15:19<1:24:43, 2.40s/it, lr: 1.0e-04 loss: 7.066e-02]
lana-lora-wan2.2: 58%|#############################4 | 2884/5000 [15:23<1:24:49, 2.41s/it, lr: 1.0e-04 loss: 3.343e-02]
lana-lora-wan2.2: 58%|#############################4 | 2884/5000 [15:23<1:24:49, 2.41s/it, lr: 1.0e-04 loss: 3.343e-02]
lana-lora-wan2.2: 58%|#############################4 | 2885/5000 [15:25<1:24:46, 2.40s/it, lr: 1.0e-04 loss: 5.360e-02]
lana-lora-wan2.2: 58%|#############################4 | 2885/5000 [15:25<1:24:46, 2.40s/it, lr: 1.0e-04 loss: 5.360e-02]
lana-lora-wan2.2: 58%|#############################4 | 2886/5000 [15:29<1:24:50, 2.41s/it, lr: 1.0e-04 loss: 1.461e-01]
lana-lora-wan2.2: 58%|#############################4 | 2886/5000 [15:29<1:24:50, 2.41s/it, lr: 1.0e-04 loss: 1.461e-01]
lana-lora-wan2.2: 58%|#############################4 | 2887/5000 [15:33<1:24:54, 2.41s/it, lr: 1.0e-04 loss: 6.950e-02]
lana-lora-wan2.2: 58%|#############################4 | 2887/5000 [15:33<1:24:54, 2.41s/it, lr: 1.0e-04 loss: 6.950e-02]
lana-lora-wan2.2: 58%|#############################4 | 2888/5000 [15:35<1:24:51, 2.41s/it, lr: 1.0e-04 loss: 1.149e-01]
lana-lora-wan2.2: 58%|#############################4 | 2888/5000 [15:35<1:24:51, 2.41s/it, lr: 1.0e-04 loss: 1.149e-01]
lana-lora-wan2.2: 58%|#############################4 | 2889/5000 [15:37<1:24:47, 2.41s/it, lr: 1.0e-04 loss: 1.555e-01]
lana-lora-wan2.2: 58%|#############################4 | 2889/5000 [15:37<1:24:47, 2.41s/it, lr: 1.0e-04 loss: 1.555e-01]
lana-lora-wan2.2: 58%|#############################4 | 2890/5000 [15:39<1:24:45, 2.41s/it, lr: 1.0e-04 loss: 1.600e-01]
lana-lora-wan2.2: 58%|#############################4 | 2890/5000 [15:39<1:24:45, 2.41s/it, lr: 1.0e-04 loss: 1.600e-01]
lana-lora-wan2.2: 58%|#############################4 | 2891/5000 [15:41<1:24:36, 2.41s/it, lr: 1.0e-04 loss: 5.687e-02]
lana-lora-wan2.2: 58%|#############################4 | 2891/5000 [15:41<1:24:36, 2.41s/it, lr: 1.0e-04 loss: 5.687e-02]
lana-lora-wan2.2: 58%|#############################4 | 2892/5000 [15:44<1:24:40, 2.41s/it, lr: 1.0e-04 loss: 3.117e-02]
lana-lora-wan2.2: 58%|#############################4 | 2892/5000 [15:44<1:24:40, 2.41s/it, lr: 1.0e-04 loss: 3.117e-02]
lana-lora-wan2.2: 58%|#############################5 | 2893/5000 [15:48<1:24:44, 2.41s/it, lr: 1.0e-04 loss: 1.130e-01]
lana-lora-wan2.2: 58%|#############################5 | 2893/5000 [15:48<1:24:44, 2.41s/it, lr: 1.0e-04 loss: 1.130e-01]
lana-lora-wan2.2: 58%|#############################5 | 2894/5000 [15:49<1:24:35, 2.41s/it, lr: 1.0e-04 loss: 3.913e-02]
lana-lora-wan2.2: 58%|#############################5 | 2894/5000 [15:49<1:24:35, 2.41s/it, lr: 1.0e-04 loss: 3.913e-02]
lana-lora-wan2.2: 58%|#############################5 | 2895/5000 [15:50<1:24:26, 2.41s/it, lr: 1.0e-04 loss: 1.079e-01]
lana-lora-wan2.2: 58%|#############################5 | 2895/5000 [15:50<1:24:26, 2.41s/it, lr: 1.0e-04 loss: 1.079e-01]
lana-lora-wan2.2: 58%|#############################5 | 2896/5000 [15:54<1:24:32, 2.41s/it, lr: 1.0e-04 loss: 3.654e-02]
lana-lora-wan2.2: 58%|#############################5 | 2896/5000 [15:54<1:24:32, 2.41s/it, lr: 1.0e-04 loss: 3.654e-02]
lana-lora-wan2.2: 58%|#############################5 | 2897/5000 [15:56<1:24:28, 2.41s/it, lr: 1.0e-04 loss: 7.055e-02]
lana-lora-wan2.2: 58%|#############################5 | 2897/5000 [15:56<1:24:28, 2.41s/it, lr: 1.0e-04 loss: 7.055e-02]
lana-lora-wan2.2: 58%|#############################5 | 2898/5000 [15:59<1:24:25, 2.41s/it, lr: 1.0e-04 loss: 7.500e-02]
lana-lora-wan2.2: 58%|#############################5 | 2898/5000 [15:59<1:24:25, 2.41s/it, lr: 1.0e-04 loss: 7.500e-02]
lana-lora-wan2.2: 58%|#############################5 | 2899/5000 [16:00<1:24:16, 2.41s/it, lr: 1.0e-04 loss: 6.683e-02]
lana-lora-wan2.2: 58%|#############################5 | 2899/5000 [16:00<1:24:16, 2.41s/it, lr: 1.0e-04 loss: 6.683e-02]
lana-lora-wan2.2: 58%|#############################5 | 2900/5000 [16:01<1:24:07, 2.40s/it, lr: 1.0e-04 loss: 9.859e-02]
lana-lora-wan2.2: 58%|#############################5 | 2900/5000 [16:01<1:24:07, 2.40s/it, lr: 1.0e-04 loss: 9.859e-02]
lana-lora-wan2.2: 58%|#############################5 | 2901/5000 [16:03<1:24:05, 2.40s/it, lr: 1.0e-04 loss: 3.320e-02]
lana-lora-wan2.2: 58%|#############################5 | 2901/5000 [16:03<1:24:05, 2.40s/it, lr: 1.0e-04 loss: 3.320e-02]
lana-lora-wan2.2: 58%|#############################6 | 2902/5000 [16:07<1:24:09, 2.41s/it, lr: 1.0e-04 loss: 3.575e-01]
lana-lora-wan2.2: 58%|#############################6 | 2902/5000 [16:07<1:24:09, 2.41s/it, lr: 1.0e-04 loss: 3.575e-01]
lana-lora-wan2.2: 58%|#############################6 | 2903/5000 [16:09<1:24:05, 2.41s/it, lr: 1.0e-04 loss: 4.981e-02]
lana-lora-wan2.2: 58%|#############################6 | 2903/5000 [16:09<1:24:05, 2.41s/it, lr: 1.0e-04 loss: 4.981e-02]
lana-lora-wan2.2: 58%|#############################6 | 2904/5000 [16:10<1:23:56, 2.40s/it, lr: 1.0e-04 loss: 3.541e-02]
lana-lora-wan2.2: 58%|#############################6 | 2904/5000 [16:10<1:23:56, 2.40s/it, lr: 1.0e-04 loss: 3.541e-02]
lana-lora-wan2.2: 58%|#############################6 | 2905/5000 [16:14<1:24:00, 2.41s/it, lr: 1.0e-04 loss: 2.343e-02]
lana-lora-wan2.2: 58%|#############################6 | 2905/5000 [16:14<1:24:00, 2.41s/it, lr: 1.0e-04 loss: 2.343e-02]
lana-lora-wan2.2: 58%|#############################6 | 2906/5000 [16:18<1:24:05, 2.41s/it, lr: 1.0e-04 loss: 2.852e-01]
lana-lora-wan2.2: 58%|#############################6 | 2906/5000 [16:18<1:24:05, 2.41s/it, lr: 1.0e-04 loss: 2.852e-01]
lana-lora-wan2.2: 58%|#############################6 | 2907/5000 [16:19<1:23:57, 2.41s/it, lr: 1.0e-04 loss: 4.965e-02]
lana-lora-wan2.2: 58%|#############################6 | 2907/5000 [16:19<1:23:57, 2.41s/it, lr: 1.0e-04 loss: 4.965e-02]
lana-lora-wan2.2: 58%|#############################6 | 2908/5000 [16:23<1:24:01, 2.41s/it, lr: 1.0e-04 loss: 1.625e-02]
lana-lora-wan2.2: 58%|#############################6 | 2908/5000 [16:23<1:24:01, 2.41s/it, lr: 1.0e-04 loss: 1.625e-02]
lana-lora-wan2.2: 58%|#############################6 | 2909/5000 [16:24<1:23:53, 2.41s/it, lr: 1.0e-04 loss: 8.288e-02]
lana-lora-wan2.2: 58%|#############################6 | 2909/5000 [16:24<1:23:53, 2.41s/it, lr: 1.0e-04 loss: 8.288e-02]
lana-lora-wan2.2: 58%|#############################6 | 2910/5000 [16:25<1:23:44, 2.40s/it, lr: 1.0e-04 loss: 5.268e-02]
lana-lora-wan2.2: 58%|#############################6 | 2910/5000 [16:25<1:23:44, 2.40s/it, lr: 1.0e-04 loss: 5.268e-02]
lana-lora-wan2.2: 58%|#############################6 | 2911/5000 [16:27<1:23:40, 2.40s/it, lr: 1.0e-04 loss: 4.101e-02]
lana-lora-wan2.2: 58%|#############################6 | 2911/5000 [16:27<1:23:40, 2.40s/it, lr: 1.0e-04 loss: 4.101e-02]
lana-lora-wan2.2: 58%|#############################7 | 2912/5000 [16:31<1:23:44, 2.41s/it, lr: 1.0e-04 loss: 5.085e-02]
lana-lora-wan2.2: 58%|#############################7 | 2912/5000 [16:31<1:23:44, 2.41s/it, lr: 1.0e-04 loss: 5.085e-02]
lana-lora-wan2.2: 58%|#############################7 | 2913/5000 [16:33<1:23:37, 2.40s/it, lr: 1.0e-04 loss: 9.599e-02]
lana-lora-wan2.2: 58%|#############################7 | 2913/5000 [16:33<1:23:37, 2.40s/it, lr: 1.0e-04 loss: 9.599e-02]
lana-lora-wan2.2: 58%|#############################7 | 2914/5000 [16:36<1:23:41, 2.41s/it, lr: 1.0e-04 loss: 2.935e-01]
lana-lora-wan2.2: 58%|#############################7 | 2914/5000 [16:36<1:23:41, 2.41s/it, lr: 1.0e-04 loss: 2.935e-01]
lana-lora-wan2.2: 58%|#############################7 | 2915/5000 [16:40<1:23:45, 2.41s/it, lr: 1.0e-04 loss: 3.787e-02]
lana-lora-wan2.2: 58%|#############################7 | 2915/5000 [16:40<1:23:45, 2.41s/it, lr: 1.0e-04 loss: 3.787e-02]
lana-lora-wan2.2: 58%|#############################7 | 2916/5000 [16:41<1:23:37, 2.41s/it, lr: 1.0e-04 loss: 2.699e-01]
lana-lora-wan2.2: 58%|#############################7 | 2916/5000 [16:41<1:23:37, 2.41s/it, lr: 1.0e-04 loss: 2.699e-01]
lana-lora-wan2.2: 58%|#############################7 | 2917/5000 [16:42<1:23:28, 2.40s/it, lr: 1.0e-04 loss: 5.092e-02]
lana-lora-wan2.2: 58%|#############################7 | 2917/5000 [16:42<1:23:28, 2.40s/it, lr: 1.0e-04 loss: 5.092e-02]
lana-lora-wan2.2: 58%|#############################7 | 2918/5000 [16:44<1:23:25, 2.40s/it, lr: 1.0e-04 loss: 5.005e-02]
lana-lora-wan2.2: 58%|#############################7 | 2918/5000 [16:44<1:23:25, 2.40s/it, lr: 1.0e-04 loss: 5.005e-02]
lana-lora-wan2.2: 58%|#############################7 | 2919/5000 [16:47<1:23:23, 2.40s/it, lr: 1.0e-04 loss: 1.955e-02]
lana-lora-wan2.2: 58%|#############################7 | 2919/5000 [16:47<1:23:23, 2.40s/it, lr: 1.0e-04 loss: 1.955e-02]
lana-lora-wan2.2: 58%|#############################7 | 2920/5000 [16:51<1:23:26, 2.41s/it, lr: 1.0e-04 loss: 3.536e-02]
lana-lora-wan2.2: 58%|#############################7 | 2920/5000 [16:51<1:23:26, 2.41s/it, lr: 1.0e-04 loss: 3.536e-02]
lana-lora-wan2.2: 58%|#############################7 | 2921/5000 [16:54<1:23:30, 2.41s/it, lr: 1.0e-04 loss: 3.708e-02]
lana-lora-wan2.2: 58%|#############################7 | 2921/5000 [16:54<1:23:30, 2.41s/it, lr: 1.0e-04 loss: 3.708e-02]
lana-lora-wan2.2: 58%|#############################8 | 2922/5000 [16:56<1:23:27, 2.41s/it, lr: 1.0e-04 loss: 2.548e-01]
lana-lora-wan2.2: 58%|#############################8 | 2922/5000 [16:56<1:23:27, 2.41s/it, lr: 1.0e-04 loss: 2.548e-01]
lana-lora-wan2.2: 58%|#############################8 | 2923/5000 [16:59<1:23:23, 2.41s/it, lr: 1.0e-04 loss: 1.561e-01]
lana-lora-wan2.2: 58%|#############################8 | 2923/5000 [16:59<1:23:23, 2.41s/it, lr: 1.0e-04 loss: 1.561e-01]
lana-lora-wan2.2: 58%|#############################8 | 2924/5000 [17:00<1:23:15, 2.41s/it, lr: 1.0e-04 loss: 2.009e-01]
lana-lora-wan2.2: 58%|#############################8 | 2924/5000 [17:00<1:23:15, 2.41s/it, lr: 1.0e-04 loss: 2.009e-01]
lana-lora-wan2.2: 58%|#############################8 | 2925/5000 [17:04<1:23:19, 2.41s/it, lr: 1.0e-04 loss: 5.199e-02]
lana-lora-wan2.2: 58%|#############################8 | 2925/5000 [17:04<1:23:19, 2.41s/it, lr: 1.0e-04 loss: 5.199e-02]
lana-lora-wan2.2: 59%|#############################8 | 2926/5000 [17:06<1:23:16, 2.41s/it, lr: 1.0e-04 loss: 4.701e-02]
lana-lora-wan2.2: 59%|#############################8 | 2926/5000 [17:06<1:23:16, 2.41s/it, lr: 1.0e-04 loss: 4.701e-02]
lana-lora-wan2.2: 59%|#############################8 | 2927/5000 [17:08<1:23:12, 2.41s/it, lr: 1.0e-04 loss: 5.102e-02]
lana-lora-wan2.2: 59%|#############################8 | 2927/5000 [17:08<1:23:12, 2.41s/it, lr: 1.0e-04 loss: 5.102e-02]
lana-lora-wan2.2: 59%|#############################8 | 2928/5000 [17:09<1:23:04, 2.41s/it, lr: 1.0e-04 loss: 3.235e-02]
lana-lora-wan2.2: 59%|#############################8 | 2928/5000 [17:09<1:23:04, 2.41s/it, lr: 1.0e-04 loss: 3.235e-02]
lana-lora-wan2.2: 59%|#############################8 | 2929/5000 [17:11<1:23:00, 2.41s/it, lr: 1.0e-04 loss: 4.043e-02]
lana-lora-wan2.2: 59%|#############################8 | 2929/5000 [17:11<1:23:00, 2.41s/it, lr: 1.0e-04 loss: 4.043e-02]
lana-lora-wan2.2: 59%|#############################8 | 2930/5000 [17:15<1:23:05, 2.41s/it, lr: 1.0e-04 loss: 6.525e-02]
lana-lora-wan2.2: 59%|#############################8 | 2930/5000 [17:15<1:23:05, 2.41s/it, lr: 1.0e-04 loss: 6.525e-02]
lana-lora-wan2.2: 59%|#############################8 | 2931/5000 [17:17<1:23:01, 2.41s/it, lr: 1.0e-04 loss: 6.152e-02]
lana-lora-wan2.2: 59%|#############################8 | 2931/5000 [17:17<1:23:01, 2.41s/it, lr: 1.0e-04 loss: 6.152e-02]
lana-lora-wan2.2: 59%|#############################9 | 2932/5000 [17:18<1:22:52, 2.40s/it, lr: 1.0e-04 loss: 7.080e-02]
lana-lora-wan2.2: 59%|#############################9 | 2932/5000 [17:18<1:22:52, 2.40s/it, lr: 1.0e-04 loss: 7.080e-02]
lana-lora-wan2.2: 59%|#############################9 | 2933/5000 [17:20<1:22:44, 2.40s/it, lr: 1.0e-04 loss: 6.151e-02]
lana-lora-wan2.2: 59%|#############################9 | 2933/5000 [17:20<1:22:44, 2.40s/it, lr: 1.0e-04 loss: 6.151e-02]
lana-lora-wan2.2: 59%|#############################9 | 2934/5000 [17:22<1:22:41, 2.40s/it, lr: 1.0e-04 loss: 2.794e-01]
lana-lora-wan2.2: 59%|#############################9 | 2934/5000 [17:22<1:22:41, 2.40s/it, lr: 1.0e-04 loss: 2.794e-01]
lana-lora-wan2.2: 59%|#############################9 | 2935/5000 [17:23<1:22:32, 2.40s/it, lr: 1.0e-04 loss: 3.760e-02]
lana-lora-wan2.2: 59%|#############################9 | 2935/5000 [17:23<1:22:32, 2.40s/it, lr: 1.0e-04 loss: 3.760e-02]
lana-lora-wan2.2: 59%|#############################9 | 2936/5000 [17:25<1:22:28, 2.40s/it, lr: 1.0e-04 loss: 3.883e-01]
lana-lora-wan2.2: 59%|#############################9 | 2936/5000 [17:25<1:22:28, 2.40s/it, lr: 1.0e-04 loss: 3.883e-01]
lana-lora-wan2.2: 59%|#############################9 | 2937/5000 [17:28<1:22:31, 2.40s/it, lr: 1.0e-04 loss: 9.254e-02]
lana-lora-wan2.2: 59%|#############################9 | 2937/5000 [17:28<1:22:31, 2.40s/it, lr: 1.0e-04 loss: 9.254e-02]
lana-lora-wan2.2: 59%|#############################9 | 2938/5000 [17:30<1:22:23, 2.40s/it, lr: 1.0e-04 loss: 7.579e-02]
lana-lora-wan2.2: 59%|#############################9 | 2938/5000 [17:30<1:22:23, 2.40s/it, lr: 1.0e-04 loss: 7.579e-02]
lana-lora-wan2.2: 59%|#############################9 | 2939/5000 [17:32<1:22:20, 2.40s/it, lr: 1.0e-04 loss: 4.334e-01]
lana-lora-wan2.2: 59%|#############################9 | 2939/5000 [17:32<1:22:20, 2.40s/it, lr: 1.0e-04 loss: 4.334e-01]
lana-lora-wan2.2: 59%|#############################9 | 2940/5000 [17:35<1:22:23, 2.40s/it, lr: 1.0e-04 loss: 3.353e-01]
lana-lora-wan2.2: 59%|#############################9 | 2940/5000 [17:35<1:22:23, 2.40s/it, lr: 1.0e-04 loss: 3.353e-01]
lana-lora-wan2.2: 59%|#############################9 | 2941/5000 [17:38<1:22:20, 2.40s/it, lr: 1.0e-04 loss: 3.338e-02]
lana-lora-wan2.2: 59%|#############################9 | 2941/5000 [17:38<1:22:20, 2.40s/it, lr: 1.0e-04 loss: 3.338e-02]
lana-lora-wan2.2: 59%|############################## | 2942/5000 [17:41<1:22:24, 2.40s/it, lr: 1.0e-04 loss: 2.925e-02]
lana-lora-wan2.2: 59%|############################## | 2942/5000 [17:41<1:22:24, 2.40s/it, lr: 1.0e-04 loss: 2.925e-02]
lana-lora-wan2.2: 59%|############################## | 2943/5000 [17:45<1:22:28, 2.41s/it, lr: 1.0e-04 loss: 7.453e-02]
lana-lora-wan2.2: 59%|############################## | 2943/5000 [17:45<1:22:28, 2.41s/it, lr: 1.0e-04 loss: 7.453e-02]
lana-lora-wan2.2: 59%|############################## | 2944/5000 [17:47<1:22:24, 2.40s/it, lr: 1.0e-04 loss: 7.878e-02]
lana-lora-wan2.2: 59%|############################## | 2944/5000 [17:47<1:22:24, 2.40s/it, lr: 1.0e-04 loss: 7.878e-02]
lana-lora-wan2.2: 59%|############################## | 2945/5000 [17:49<1:22:21, 2.40s/it, lr: 1.0e-04 loss: 3.840e-02]
lana-lora-wan2.2: 59%|############################## | 2945/5000 [17:49<1:22:21, 2.40s/it, lr: 1.0e-04 loss: 3.840e-02]
lana-lora-wan2.2: 59%|############################## | 2946/5000 [17:51<1:22:13, 2.40s/it, lr: 1.0e-04 loss: 4.101e-02]
lana-lora-wan2.2: 59%|############################## | 2946/5000 [17:51<1:22:13, 2.40s/it, lr: 1.0e-04 loss: 4.101e-02]
lana-lora-wan2.2: 59%|############################## | 2947/5000 [17:52<1:22:05, 2.40s/it, lr: 1.0e-04 loss: 2.401e-01]
lana-lora-wan2.2: 59%|############################## | 2947/5000 [17:52<1:22:05, 2.40s/it, lr: 1.0e-04 loss: 2.401e-01]
lana-lora-wan2.2: 59%|############################## | 2948/5000 [17:54<1:22:02, 2.40s/it, lr: 1.0e-04 loss: 1.740e-02]
lana-lora-wan2.2: 59%|############################## | 2948/5000 [17:54<1:22:02, 2.40s/it, lr: 1.0e-04 loss: 1.740e-02]
lana-lora-wan2.2: 59%|############################## | 2949/5000 [17:58<1:22:06, 2.40s/it, lr: 1.0e-04 loss: 2.712e-02]
lana-lora-wan2.2: 59%|############################## | 2949/5000 [17:58<1:22:06, 2.40s/it, lr: 1.0e-04 loss: 2.712e-02]
lana-lora-wan2.2: 59%|############################## | 2950/5000 [17:59<1:21:58, 2.40s/it, lr: 1.0e-04 loss: 6.262e-02]
lana-lora-wan2.2: 59%|############################## | 2950/5000 [17:59<1:21:58, 2.40s/it, lr: 1.0e-04 loss: 6.262e-02]
lana-lora-wan2.2: 59%|##############################1 | 2951/5000 [18:01<1:21:54, 2.40s/it, lr: 1.0e-04 loss: 2.697e-02]
lana-lora-wan2.2: 59%|##############################1 | 2951/5000 [18:01<1:21:54, 2.40s/it, lr: 1.0e-04 loss: 2.697e-02]
lana-lora-wan2.2: 59%|##############################1 | 2952/5000 [18:05<1:21:58, 2.40s/it, lr: 1.0e-04 loss: 3.245e-02]
lana-lora-wan2.2: 59%|##############################1 | 2952/5000 [18:05<1:21:58, 2.40s/it, lr: 1.0e-04 loss: 3.245e-02]
lana-lora-wan2.2: 59%|##############################1 | 2953/5000 [18:06<1:21:50, 2.40s/it, lr: 1.0e-04 loss: 5.965e-02]
lana-lora-wan2.2: 59%|##############################1 | 2953/5000 [18:06<1:21:50, 2.40s/it, lr: 1.0e-04 loss: 5.965e-02]
lana-lora-wan2.2: 59%|##############################1 | 2954/5000 [18:08<1:21:43, 2.40s/it, lr: 1.0e-04 loss: 2.673e-01]
lana-lora-wan2.2: 59%|##############################1 | 2954/5000 [18:08<1:21:43, 2.40s/it, lr: 1.0e-04 loss: 2.673e-01]
lana-lora-wan2.2: 59%|##############################1 | 2955/5000 [18:10<1:21:40, 2.40s/it, lr: 1.0e-04 loss: 5.356e-02]
lana-lora-wan2.2: 59%|##############################1 | 2955/5000 [18:10<1:21:40, 2.40s/it, lr: 1.0e-04 loss: 5.356e-02]
lana-lora-wan2.2: 59%|##############################1 | 2956/5000 [18:11<1:21:32, 2.39s/it, lr: 1.0e-04 loss: 3.911e-02]
lana-lora-wan2.2: 59%|##############################1 | 2956/5000 [18:11<1:21:32, 2.39s/it, lr: 1.0e-04 loss: 3.911e-02]
lana-lora-wan2.2: 59%|##############################1 | 2957/5000 [18:12<1:21:24, 2.39s/it, lr: 1.0e-04 loss: 3.610e-02]
lana-lora-wan2.2: 59%|##############################1 | 2957/5000 [18:12<1:21:24, 2.39s/it, lr: 1.0e-04 loss: 3.610e-02]Error running job: element 0 of tensors does not require grad and does not have a grad_fn |
|
|
| ======================================== |
| Result: |
| - 0 completed jobs |
| - 1 failure |
| ======================================== |
| Traceback (most recent call last): |
| Traceback (most recent call last): |
| File "/root/lab/ai-toolkit/run.py", line 120, in <module> |
| File "/root/lab/ai-toolkit/run.py", line 120, in <module> |
| main()main() |
|
|
| File "/root/lab/ai-toolkit/run.py", line 108, in main |
| File "/root/lab/ai-toolkit/run.py", line 108, in main |
| raise eraise e |
|
|
| File "/root/lab/ai-toolkit/run.py", line 96, in main |
| File "/root/lab/ai-toolkit/run.py", line 96, in main |
| job.run()job.run() |
|
|
| File "/root/lab/ai-toolkit/jobs/ExtensionJob.py", line 22, in run |
| File "/root/lab/ai-toolkit/jobs/ExtensionJob.py", line 22, in run |
| process.run()process.run() |
|
|
| File "/root/lab/ai-toolkit/jobs/process/BaseSDTrainProcess.py", line 2187, in run |
| File "/root/lab/ai-toolkit/jobs/process/BaseSDTrainProcess.py", line 2187, in run |
| loss_dict = self.hook_train_loop(batch_list)loss_dict = self.hook_train_loop(batch_list) |
|
|
| ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ |
|
|
| File "/root/lab/ai-toolkit/extensions_built_in/sd_trainer/SDTrainer.py", line 2061, in hook_train_loop |
| File "/root/lab/ai-toolkit/extensions_built_in/sd_trainer/SDTrainer.py", line 2061, in hook_train_loop |
| loss = self.train_single_accumulation(batch)loss = self.train_single_accumulation(batch) |
|
|
| ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ |
|
|
| File "/root/lab/ai-toolkit/extensions_built_in/sd_trainer/SDTrainer.py", line 1989, in train_single_accumulation |
| File "/root/lab/ai-toolkit/extensions_built_in/sd_trainer/SDTrainer.py", line 1989, in train_single_accumulation |
| self.accelerator.backward(loss)self.accelerator.backward(loss) |
|
|
| File "/usr/local/lib/python3.11/site-packages/accelerate/accelerator.py", line 2852, in backward |
| File "/usr/local/lib/python3.11/site-packages/accelerate/accelerator.py", line 2852, in backward |
| loss.backward(**kwargs)loss.backward(**kwargs) |
|
|
| File "/usr/local/lib/python3.11/site-packages/torch/_tensor.py", line 648, in backward |
| File "/usr/local/lib/python3.11/site-packages/torch/_tensor.py", line 648, in backward |
| torch.autograd.backward(torch.autograd.backward( |
|
|
| File "/usr/local/lib/python3.11/site-packages/torch/autograd/__init__.py", line 353, in backward |
| File "/usr/local/lib/python3.11/site-packages/torch/autograd/__init__.py", line 353, in backward |
| _engine_run_backward(_engine_run_backward( |
|
|
| File "/usr/local/lib/python3.11/site-packages/torch/autograd/graph.py", line 824, in _engine_run_backward |
| File "/usr/local/lib/python3.11/site-packages/torch/autograd/graph.py", line 824, in _engine_run_backward |
| return Variable._execution_engine.run_backward( # Calls into the C++ engine to run the backward passreturn Variable._execution_engine.run_backward( # Calls into the C++ engine to run the backward pass |
|
|
| ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ |
|
|
| RuntimeErrorRuntimeError: : element 0 of tensors does not require grad and does not have a grad_fnelement 0 of tensors does not require grad and does not have a grad_fn |
|
|
|
lana-lora-wan2.2: 59%|##############################1 | 2958/5000 [18:15<1:21:22, 2.39s/it, lr: 1.0e-04 loss: 3.610e-02]
lana-lora-wan2.2: 59%|##############################1 | 2958/5000 [18:15<1:21:22, 2.39s/it, lr: 1.0e-04 loss: 3.610e-02] |
|
|
|
|