Upload checkpoints epoch_0004_step_00080000

Automatic checkpoint upload from train.py.

Report stem: epoch_0004_step_00080000
Epoch: 4
Global step: 80000

.hf_upload_sync/validation_epoch_0003.done

@@ -0,0 +1 @@
+1776438842.5521402

.hf_upload_sync/validation_epoch_0004_step_00080000.started

@@ -0,0 +1 @@
+1776440780.5114055

checkpoint_step_last.json

@@ -116,126 +116,126 @@
     "feature_dim": 160,
     "padding_value": 1.0
   },
-  "epoch": 3,
-  "global_step": 70000,
+  "epoch": 4,
+  "global_step": 80000,
   "best_val_wer": 0.2002018694869882,
   "metrics": {
-    "epoch": 3,
-    "global_step": 70000,
-    "train_loss": 0.5679515531171964,
-    "train_main_ctc_loss": 0.5679515531171964,
+    "epoch": 4,
+    "global_step": 80000,
+    "train_loss": 0.5720258672326572,
+    "train_main_ctc_loss": 0.5720258672326572,
     "train_aed_loss": 0.0,
     "train_liberta_distill_loss": 0.0,
     "train_audio_teacher_loss": 0.0,
-    "val_loss": 0.3990042791440246,
-    "val_cer": 0.05228705349927267,
-    "val_wer": 0.24808004564005792,
-    "val_forward_seconds": 311.10390449501574,
+    "val_loss": 0.36097462281870185,
+    "val_cer": 0.045040676687678464,
+    "val_wer": 0.2181506999605038,
+    "val_forward_seconds": 301.635894693085,
     "val_teacher_seconds": 0.0,
-    "val_decode_seconds": 0.9831855085212737,
-    "val_gather_seconds": 0.0206975219771266,
+    "val_decode_seconds": 0.9517203441355377,
+    "val_gather_seconds": 5.703901747940108,
     "val_model_source": "raw",
-    "val_main_ctc_loss": 0.3990042791440246,
+    "val_main_ctc_loss": 0.36097462281870185,
     "val_aed_loss": 0.0,
     "val_liberta_distill_loss": 0.0,
     "val_audio_teacher_loss": 0.0,
-    "val_avg_blank_probability": 0.7959586015027048,
-    "val_argmax_blank_fraction": 0.8018901517703331,
-    "val_avg_top_nonblank_probability": 0.19443671218755104,
+    "val_avg_blank_probability": 0.794819268942859,
+    "val_argmax_blank_fraction": 0.800636626983745,
+    "val_avg_top_nonblank_probability": 0.19556051142716604,
     "val_avg_output_frames": 129.72159800249688,
     "val_avg_target_tokens": 24.885455680399502,
     "val_target_tokens_per_frame": 0.1918374123013849,
     "val_impossible_sample_fraction": 0.0,
     "val_tight_sample_fraction": 0.0,
     "val_samples_short": 1183.0,
-    "val_wer_short": 0.2962796952039444,
-    "val_cer_short": 0.06460594952770336,
+    "val_wer_short": 0.26064545047064097,
+    "val_cer_short": 0.0564993655716904,
     "val_samples_medium": 2021.0,
-    "val_wer_medium": 0.236343792633015,
-    "val_cer_medium": 0.049377268640314366,
+    "val_wer_medium": 0.20780354706684856,
+    "val_cer_medium": 0.042334077058843116,
     "val_samples_long": 0.0,
     "val_decoded_empty_fraction": 0.0,
-    "val_decoded_avg_char_length": 45.887016229712856,
-    "val_decoded_avg_word_length": 7.069288389513108,
+    "val_decoded_avg_char_length": 46.24032459425718,
+    "val_decoded_avg_word_length": 7.117353308364544,
     "val_speaker_count": 0.0,
     "val_speaker_macro_wer": 0.0,
     "val_speaker_id_available": 0.0,
     "val_missing_speaker_id_samples": 3204.0,
-    "val_hardest_example_0_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/3201.wav",
+    "val_hardest_example_0_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/1317.wav",
     "val_hardest_example_0_speaker": "",
-    "val_hardest_example_0_ref": "То й що?",
-    "val_hardest_example_0_hyp": "— То що?",
-    "val_hardest_example_1_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/2465.wav",
+    "val_hardest_example_0_ref": "Чому я так кажу?",
+    "val_hardest_example_0_hyp": "Чому я это кажу?",
+    "val_hardest_example_1_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/1920.wav",
     "val_hardest_example_1_speaker": "",
-    "val_hardest_example_1_ref": "Але ви?",
-    "val_hardest_example_1_hyp": "Але ви.",
-    "val_hardest_example_2_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/3561.wav",
+    "val_hardest_example_1_ref": "Дякую.",
+    "val_hardest_example_1_hyp": "Дякую!",
+    "val_hardest_example_2_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/721.wav",
     "val_hardest_example_2_speaker": "",
-    "val_hardest_example_2_ref": "Двадцять три?",
-    "val_hardest_example_2_hyp": "Двадцять три.",
-    "val_hardest_example_3_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/3394.wav",
+    "val_hardest_example_2_ref": "Нульових.",
+    "val_hardest_example_2_hyp": "нуульових",
+    "val_hardest_example_3_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/3426.wav",
     "val_hardest_example_3_speaker": "",
-    "val_hardest_example_3_ref": "Ще раз?",
-    "val_hardest_example_3_hyp": "Ще раз.",
-    "val_hardest_example_4_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/2306.wav",
+    "val_hardest_example_3_ref": "Украли щось?",
+    "val_hardest_example_3_hyp": "Украли щось.",
+    "val_hardest_example_4_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/662.wav",
     "val_hardest_example_4_speaker": "",
-    "val_hardest_example_4_ref": "Попросіть.",
-    "val_hardest_example_4_hyp": "Попрошіть.",
-    "val_random_example_0_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/710.wav",
+    "val_hardest_example_4_ref": "Тире?",
+    "val_hardest_example_4_hyp": "Тира.",
+    "val_random_example_0_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/3097.wav",
     "val_random_example_0_speaker": "",
-    "val_random_example_0_ref": "Зраду брата і брехливі доноси на ближнього сини перейняли у Невського.",
-    "val_random_example_0_hyp": "Зраду брата і брехливі доносина ближнього сини перейняли у Невсьського.",
-    "val_random_example_1_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/2469.wav",
+    "val_random_example_0_ref": "Ніхто про це нині не хоче думати.",
+    "val_random_example_0_hyp": "Ніхто про це нині не хоче думати.",
+    "val_random_example_1_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/953.wav",
     "val_random_example_1_speaker": "",
-    "val_random_example_1_ref": "Щоб довго не базікав тут.",
-    "val_random_example_1_hyp": "Щоб довго не ба зікав тут.",
-    "val_random_example_2_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/3281.wav",
+    "val_random_example_1_ref": "А що сталося, Андрію?",
+    "val_random_example_1_hyp": "А що сталося, Андрію?",
+    "val_random_example_2_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/1073.wav",
     "val_random_example_2_speaker": "",
-    "val_random_example_2_ref": "Дехто їде возами за Гать.",
-    "val_random_example_2_hyp": "Дехто їде возами загать?",
+    "val_random_example_2_ref": "Так, як і була.",
+    "val_random_example_2_hyp": "Так, як і була.",
     "val_random_example_3_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/3112.wav",
     "val_random_example_3_speaker": "",
     "val_random_example_3_ref": "Застосування мов в Україні гарантується Конституцією України та визначається законом.",
-    "val_random_example_3_hyp": "Застосування мов враїні гарантується Конституцію Україниї та визначається законом",
-    "val_random_example_4_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/2744.wav",
+    "val_random_example_3_hyp": "Застосування мов в Україні гарантується Конституцією України та визначається законо",
+    "val_random_example_4_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/182.wav",
     "val_random_example_4_speaker": "",
-    "val_random_example_4_ref": "Кожен має право на тупість, але дехто цим правом зловживає.",
-    "val_random_example_4_hyp": "Кожен має право на тупість, але дехто цим правом зловживе.",
-    "val/loss": 0.3990042791440246,
-    "val/cer": 0.05228705349927267,
-    "val/wer": 0.24808004564005792,
-    "val/main_ctc_loss": 0.3990042791440246,
+    "val_random_example_4_ref": "Один одного хваліте, тоді й Бог вас похвалить.",
+    "val_random_example_4_hyp": "Один одного хваліти, тоді Бог вас похвалить.",
+    "val/loss": 0.36097462281870185,
+    "val/cer": 0.045040676687678464,
+    "val/wer": 0.2181506999605038,
+    "val/main_ctc_loss": 0.36097462281870185,
     "val/aed_loss": 0.0,
     "val/liberta_distill_loss": 0.0,
     "val/audio_teacher_loss": 0.0,
-    "val/avg_blank_probability": 0.7959586015027048,
-    "val/argmax_blank_fraction": 0.8018901517703331,
-    "val/avg_top_nonblank_probability": 0.19443671218755104,
+    "val/avg_blank_probability": 0.794819268942859,
+    "val/argmax_blank_fraction": 0.800636626983745,
+    "val/avg_top_nonblank_probability": 0.19556051142716604,
     "val/avg_output_frames": 129.72159800249688,
     "val/avg_target_tokens": 24.885455680399502,
     "val/target_tokens_per_frame": 0.1918374123013849,
     "val/impossible_sample_fraction": 0.0,
     "val/tight_sample_fraction": 0.0,
     "val/samples_short": 1183.0,
-    "val/wer_short": 0.2962796952039444,
-    "val/cer_short": 0.06460594952770336,
+    "val/wer_short": 0.26064545047064097,
+    "val/cer_short": 0.0564993655716904,
     "val/samples_medium": 2021.0,
-    "val/wer_medium": 0.236343792633015,
-    "val/cer_medium": 0.049377268640314366,
+    "val/wer_medium": 0.20780354706684856,
+    "val/cer_medium": 0.042334077058843116,
     "val/samples_long": 0.0,
     "val/decoded_empty_fraction": 0.0,
-    "val/decoded_avg_char_length": 45.887016229712856,
-    "val/decoded_avg_word_length": 7.069288389513108,
+    "val/decoded_avg_char_length": 46.24032459425718,
+    "val/decoded_avg_word_length": 7.117353308364544,
     "val/speaker_count": 0.0,
     "val/speaker_macro_wer": 0.0,
     "val/speaker_id_available": 0.0,
     "val/missing_speaker_id_samples": 3204.0,
-    "val/forward_seconds": 311.10390449501574,
+    "val/forward_seconds": 301.635894693085,
     "val/teacher_seconds": 0.0,
-    "val/decode_seconds": 0.9831855085212737,
-    "val/gather_seconds": 0.0206975219771266,
-    "train/loss": 0.5679515531171964,
-    "train/main_ctc_loss": 0.5679515531171964,
+    "val/decode_seconds": 0.9517203441355377,
+    "val/gather_seconds": 5.703901747940108,
+    "train/loss": 0.5720258672326572,
+    "train/main_ctc_loss": 0.5720258672326572,
     "train/aed_loss": 0.0,
     "train/liberta_distill_loss": 0.0,
     "train/audio_teacher_loss": 0.0

checkpoint_step_last.safetensors

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:2077a53612ec551c754db2426a335571fbb7d93e511454ca0832beff8fddcd35
+oid sha256:b044c369a25bcfb22956e76b8b7e334cdaab4f376a8db9570f5209b9937c9303
 size 2424913224

checkpoint_topk_avg.json

@@ -431,6 +431,12 @@
       "val_wer": 0.20322991179181113,
       "path": "checkpoint_epoch=0003_step=00050000_valwer=0.203230.pt"
     },
+    {
+      "epoch": 4,
+      "global_step": 80000,
+      "val_wer": 0.2181506999605038,
+      "path": "checkpoint_epoch=0004_step=00080000_valwer=0.218151.pt"
+    },
     {
       "epoch": 3,
       "global_step": 20000,
@@ -442,12 +448,6 @@
       "global_step": 30000,
       "val_wer": 0.22912186773160134,
       "path": "checkpoint_epoch=0003_step=00030000_valwer=0.229122.pt"
-    },
-    {
-      "epoch": 3,
-      "global_step": 70000,
-      "val_wer": 0.24808004564005792,
-      "path": "checkpoint_epoch=0003_step=00070000_valwer=0.248080.pt"
     }
   ]
 }

checkpoint_topk_avg.safetensors

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:9f9e194cf05eb11d05f787490c93137a82202f63a45da86d1bd6ddd0fd2f90b1
+oid sha256:a4eaf31f0a125e71d4cc060537a534c339d3aceab71ade0da0f55c591771049f
 size 2424913224

checkpoints_topk/metadata.json

@@ -13,6 +13,12 @@
       "val_wer": 0.20322991179181113,
       "path": "checkpoint_epoch=0003_step=00050000_valwer=0.203230.pt"
     },
+    {
+      "epoch": 4,
+      "global_step": 80000,
+      "val_wer": 0.2181506999605038,
+      "path": "checkpoint_epoch=0004_step=00080000_valwer=0.218151.pt"
+    },
     {
       "epoch": 3,
       "global_step": 20000,
@@ -24,12 +30,6 @@
       "global_step": 30000,
       "val_wer": 0.22912186773160134,
       "path": "checkpoint_epoch=0003_step=00030000_valwer=0.229122.pt"
-    },
-    {
-      "epoch": 3,
-      "global_step": 70000,
-      "val_wer": 0.24808004564005792,
-      "path": "checkpoint_epoch=0003_step=00070000_valwer=0.248080.pt"
     }
   ]
 }

eval_reports/epoch_0004_step_00080000.json

@@ -0,0 +1,133 @@
+{
+  "epoch": 4,
+  "global_step": 80000,
+  "model_source": "raw",
+  "metrics": {
+    "loss": 0.36097462281870185,
+    "main_ctc_loss": 0.36097462281870185,
+    "aed_loss": 0.0,
+    "liberta_distill_loss": 0.0,
+    "audio_teacher_loss": 0.0,
+    "cer": 0.045040676687678464,
+    "wer": 0.2181506999605038,
+    "avg_blank_probability": 0.794819268942859,
+    "argmax_blank_fraction": 0.800636626983745,
+    "avg_top_nonblank_probability": 0.19556051142716604,
+    "avg_output_frames": 129.72159800249688,
+    "avg_target_tokens": 24.885455680399502,
+    "target_tokens_per_frame": 0.1918374123013849,
+    "impossible_sample_fraction": 0.0,
+    "tight_sample_fraction": 0.0,
+    "samples_short": 1183.0,
+    "wer_short": 0.26064545047064097,
+    "cer_short": 0.0564993655716904,
+    "samples_medium": 2021.0,
+    "wer_medium": 0.20780354706684856,
+    "cer_medium": 0.042334077058843116,
+    "samples_long": 0.0,
+    "decoded_empty_fraction": 0.0,
+    "decoded_avg_char_length": 46.24032459425718,
+    "decoded_avg_word_length": 7.117353308364544,
+    "speaker_count": 0.0,
+    "speaker_macro_wer": 0.0,
+    "speaker_id_available": 0.0,
+    "missing_speaker_id_samples": 3204.0
+  },
+  "hardest_examples": [
+    {
+      "utterance_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/1317.wav",
+      "speaker_id": "",
+      "reference": "Чому я так кажу?",
+      "hypothesis": "Чому я это кажу?"
+    },
+    {
+      "utterance_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/1920.wav",
+      "speaker_id": "",
+      "reference": "Дякую.",
+      "hypothesis": "Дякую!"
+    },
+    {
+      "utterance_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/721.wav",
+      "speaker_id": "",
+      "reference": "Нульових.",
+      "hypothesis": "нуульових"
+    },
+    {
+      "utterance_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/3426.wav",
+      "speaker_id": "",
+      "reference": "Украли щось?",
+      "hypothesis": "Украли щось."
+    },
+    {
+      "utterance_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/662.wav",
+      "speaker_id": "",
+      "reference": "Тире?",
+      "hypothesis": "Тира."
+    }
+  ],
+  "random_examples": [
+    {
+      "utterance_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/3097.wav",
+      "speaker_id": "",
+      "reference": "Ніхто про це нині не хоче думати.",
+      "hypothesis": "Ніхто про це нині не хоче думати."
+    },
+    {
+      "utterance_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/953.wav",
+      "speaker_id": "",
+      "reference": "А що сталося, Андрію?",
+      "hypothesis": "А що сталося, Андрію?"
+    },
+    {
+      "utterance_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/1073.wav",
+      "speaker_id": "",
+      "reference": "Так, як і була.",
+      "hypothesis": "Так, як і була."
+    },
+    {
+      "utterance_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/3112.wav",
+      "speaker_id": "",
+      "reference": "Застосування мов в Україні гарантується Конституцією України та визначається законом.",
+      "hypothesis": "Застосування мов в Україні гарантується Конституцією України та визначається законо"
+    },
+    {
+      "utterance_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/182.wav",
+      "speaker_id": "",
+      "reference": "Один одного хваліте, тоді й Бог вас похвалить.",
+      "hypothesis": "Один одного хваліти, тоді Бог вас похвалить."
+    }
+  ],
+  "speaker_metrics": {
+    "speaker_count": 0,
+    "speaker_macro_wer": 0.0,
+    "speaker_id_available": false,
+    "missing_speaker_id_samples": 3204,
+    "per_speaker": {}
+  },
+  "split_audit": {
+    "counts": {
+      "train": {
+        "samples": 648240,
+        "speakers": 0,
+        "records_with_speaker_id": 0,
+        "hours": 1264.353836267957
+      },
+      "validation": {
+        "samples": 3204,
+        "speakers": 0,
+        "records_with_speaker_id": 0,
+        "hours": 4.629311440972232
+      }
+    },
+    "hours": {
+      "train": 1264.353836267957,
+      "validation": 4.629311440972232
+    },
+    "total_hours": 1268.9831477089292,
+    "speaker_overlaps": {
+      "train_vs_validation": 0
+    },
+    "speaker_balance_ratio": 1.0,
+    "speaker_id_available": false
+  }
+}

training_20260415_090229.log

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:8dbe3e09d7d120ef4658b1312f7c994a7b19b4e07eb63b4675592fb9a04eac87
-size 11070395
+oid sha256:440777b8f5e9a4a846cbc5230579b8b6819704b6e9a1a92020075828a00287d3
+size 11168674