chore(api): add fast-levenshtein for Whisper WER calibration benchmark

apps/api/data/calibration_stats.json

@@ -1,14 +1,17 @@
 {
-  "totalProcessed": 24,
-  "averageConfidence": 33,
+  "totalProcessed": 25,
+  "averageConfidence": 39,
+  "averageRawWER": 1.0500360995315416,
+  "averageNormalizedWER": 1.0483959196214965,
+  "dictionaryEfficiency": 0.1562022401684011,
   "distribution": {
     "red": {
       "count": 23,
-      "percentage": 96
+      "percentage": 92
     },
     "orange": {
-      "count": 1,
-      "percentage": 4
+      "count": 2,
+      "percentage": 8
     },
     "green": {
       "count": 0,
@@ -23,6 +26,8 @@
       "transcribedText": "Groyeslande, Bariwul, Woon, Wai, Dek, Sitarikh, Skandinav, Nyongi, Wahni, Erik, Lerouj, Danjukur, Tokholsi, Island, Ngir, Fat, Bakan, Bimuytuki, Ziswau, Silegis, Groyelande, Daldikotude, Groyelande.",
       "normalizedText": "Groyeslande, Bariwul, Woon, Wai, Dek, Sitarikh, Skandinav, Nyongi, Wahni, Erik, Lerouj, Danjukur, Tokholsi, Island, Ngir, Fat, Bakan, Bimuytuki, Ziswau, Silegis, Groyelande, Daldikotude, Groyelande.",
       "confidenceScore": 48,
+      "rawWER": 0.90625,
+      "normalizedWER": 0.90625,
       "status": "RED"
     },
     {
@@ -32,6 +37,8 @@
       "transcribedText": "Si vous avez des questions sur ce bâtiment, vous pouvez m'envoyer un message en disant que je suis là pour vous aider pour qu'on puisse en savoir plus sur ce bâtiment.",
       "normalizedText": "Ci vous avez des questions sur ce bâtiment, vous pouvez m'envoyer un message en disant que je suis là pour vous aider pour qu'on puisse en savoir plus sur ce bâtiment.",
       "confidenceScore": 42,
+      "rawWER": 1.1923076923076923,
+      "normalizedWER": 1.1923076923076923,
       "status": "RED"
     },
     {
@@ -41,15 +48,19 @@
       "transcribedText": "Sous-titres réalisés para la communauté d'Amara.org",
       "normalizedText": "Sous-titres réalisés para la communauté d'Amara.org",
       "confidenceScore": 72,
+      "rawWER": 1,
+      "normalizedWER": 1,
       "status": "ORANGE"
     },
     {
       "source": "FLEURS",
       "index": 3,
       "hfOriginalText": "am na nit ñu yaakaar ne waxoon na dëgg wante nit ñu bare yaakaaru ñu loolu; muy jànt bi dafay wë suuf ci; boole ci jant bi ak yeneen bideew yi",
-      "transcribedText": "Il y a des gens qui pensent que c'est vrai, mais il y a beaucoup d'autres qui ne pensent pas comme ça. C'est ce que j'ai essayé d'expliquer dans cette vidéo.",
-      "normalizedText": "Il y a des gens qui pensent que c'est vrai, mais il y a beaucoup d'autres qui ne pensent pas comme ça. C'est ce que j'ai essayé d'expliquer dans cette vidéo.",
-      "confidenceScore": 43,
+      "transcribedText": "Il y a des gens qui pensent que c'est vrai, mais il y en a d'autres qui ne pensent pas comme ça. C'est ce que je veux vous montrer dans cette vidéo.",
+      "normalizedText": "Il y a des gens qui pensent que c'est vrai, mais il y en a d'autres qui ne pensent pas comme ça. C'est ce que je veux vous montrer dans cette vidéo.",
+      "confidenceScore": 42,
+      "rawWER": 1.032258064516129,
+      "normalizedWER": 1.032258064516129,
       "status": "RED"
     },
     {
@@ -59,43 +70,53 @@
       "transcribedText": "Si bien qu'il n'y a pas de spectre, nous devons l'éliminer pour qu'une personne puisse nous dire qu'elle doit l'éliminer pour que l'équipe puisse s'en sortir.",
       "normalizedText": "Ci bien qu'il n'y a pas de spectre, nous devons l'éliminer pour qu'une personne puisse nous dire qu'elle doit l'éliminer pour que l'équipe puisse s'en sortir.",
       "confidenceScore": 43,
+      "rawWER": 1,
+      "normalizedWER": 0.9655172413793104,
       "status": "RED"
     },
     {
       "source": "FLEURS",
       "index": 5,
       "hfOriginalText": "séni doxalin nirowul ak binék ci suuf biy yamalé tangay bi waye amna doolé ak kamb yu xoot yi ci suuf si  glen cushing bu united states geological survey usgs kurelu astrogeology ak northern arizona university nékoon ci flagstaff arizona mooko wax",
-      "transcribedText": "D'autres proches, une notion au nom d'une partie de ces industries c'est, les Thangais, qui ont quand même créé ces ouves pratiques. Glenn), le Produit de la Prachinath anschiné, Un collage géologique USGS et l'Astrologie du Corail à l'Université d'Arizona, Flashtaff, Arizona",
-      "normalizedText": "D'autres proches, une notion au nom d'une partie de ces industries c'est, les Thangais, qui ont quand même créé ces ouves pratiques. Glenn), le Produit de la Prachinath anschiné, Un collage géologique USGS et l'Astrologie du Corail à l'Université d'Arizona, Flashtaff, Arizona",
-      "confidenceScore": 7,
+      "transcribedText": "Dans cette première page, notamment à l'arrivée d'un extraordinaire tremblement sec, le temps n'irait pas ce seul et nous annonçons les premières informations. Geological Survey, ESGS, Courriel Astrology at Northern Arizona University, Néconci Flash Staff, Arizona, Montcoir.",
+      "normalizedText": "Dans cette première page, notamment à l'arrivée d'un extraordinaire tremblement sec, le temps n'irait pas ce seul et nous annonçons les premières informations. Geological Survey, ESGS, Courriel Astrology at Northern Arizona University, Néconci Flash Staff, Arizona, Montcoir.",
+      "confidenceScore": 17,
+      "rawWER": 0.8571428571428571,
+      "normalizedWER": 0.8571428571428571,
       "status": "RED"
     },
     {
       "source": "FLEURS",
       "index": 6,
       "hfOriginalText": "polotiku fomb bi dafay wuute waaye bi weeru màrs di waaja jeex polotiku fomb ndax coronavirus weesuwul suwe 2020 biñu jappee beneen dat ngir olympik yi",
-      "transcribedText": "Pour le monde, la politique est majeure, mais l'accent sur son finans à la politique s'est fait avec le coronavirus et les grosses entreprises qui nous ont poussé au spectacle est difficile.",
-      "normalizedText": "Pour le monde, la politique est majeure, mais l'accent sur son finans à la politique s'est fait avec le coronavirus et les grosses entreprises qui nous ont poussé au spectacle est difficile.",
-      "confidenceScore": 6,
+      "transcribedText": "Le public pour le fait de ce cas espérons qu'il regarde profondément ensemble à la société politique.",
+      "normalizedText": "Le public pour le fait de ce cas espérons qu'il regarde profondément ensemble à la société politique.",
+      "confidenceScore": 7,
+      "rawWER": 1,
+      "normalizedWER": 1,
       "status": "RED"
     },
     {
       "source": "FLEURS",
       "index": 7,
       "hfOriginalText": "ci atum 1990 yokkoon nañu limu barab yu woorandi yi addina bi am ndax daŋkaafu suufu dezeer bi",
-      "transcribedText": "rencies milieux sont États-Unis, Mexico, Syrie, Hamoum, Burma, Algérie, Tata guide des batailles d'ondes. Qu'est-ce qu'ils ont fait ?",
-      "normalizedText": "Rencies milieux sont États-Unis, Mexico, Syrie, Hamoum, Burma, Algérie, Tata guide des batailles d'ondes. Qu'est-ce qu'ils ont fait ?",
-      "confidenceScore": 5,
+      "transcribedText": "C'est à tout 1.190.000, ce qu'on a fait pour nous, ce qu'on a fait pour nous, pour nous, pour nous, parce qu'on a fait de la paix, de la paix, de la liberté.",
+      "normalizedText": "C'est à tout 1.190.000, ce qu'on a fait pour nous, ce qu'on a fait pour nous, pour nous, pour nous, parce qu'on a fait de la paix, de la paix, de la liberté.",
+      "confidenceScore": 37,
+      "rawWER": 1.8333333333333333,
+      "normalizedWER": 1.8333333333333333,
       "status": "RED"
     },
     {
       "source": "FLEURS",
       "index": 8,
       "hfOriginalText": "ñim dem tukki ci dëkk yu bari payum taks mën nañu fa sakkanalee xaalis ci beneen anam ndax sàngara si ak sigaret si fala gëna yombee",
-      "transcribedText": "J'ai des images allant de l'espace tel qu'on en a temporairement sur les images là-bas.",
-      "normalizedText": "J'ai des images allant de l'espace tel qu'on en a temporairement sur les images là-bas.",
-      "confidenceScore": 5,
-      "status": "RED"
+      "transcribedText": "Sous-titres réalisés para la communauté d'Amara.org",
+      "normalizedText": "Sous-titres réalisés para la communauté d'Amara.org",
+      "confidenceScore": 68,
+      "rawWER": 1,
+      "normalizedWER": 1,
+      "status": "ORANGE"
     },
     {
       "source": "FLEURS",
@@ -104,15 +125,30 @@
       "transcribedText": "A Pia, la capitale de Samoa, il y a des réunions à l'occasion de l'anniversaire de l'anniversaire de Paul.",
       "normalizedText": "A Pia, la capitale de Samoa, il y a des réunions à l'occasion de l'anniversaire de l'anniversaire de Paul.",
       "confidenceScore": 37,
+      "rawWER": 1,
+      "normalizedWER": 1,
       "status": "RED"
     },
     {
       "source": "FLEURS",
       "index": 10,
       "hfOriginalText": "ci mbenuum weer beneen fafalnaaw genn na yoonam ca mashhad te mëkk benn miir rey fukki nit ak juróom ñaar",
-      "transcribedText": "Si tu veux voir une autre vidéo, abonne-toi à ma chaîne et n'oublies pas de t'abonner à ma chaîne pour ne manquer aucune de mes nouvelles vidéos.",
-      "normalizedText": "Ci tu veux voir une autre vidéo, abonne-toi à ma chaîne et n'oublies pas de t'abonner à ma chaîne pour ne manquer aucune de mes nouvelles vidéos.",
-      "confidenceScore": 42,
+      "transcribedText": "Si vous voulez voir d'autres vidéos, n'hésitez pas à vous abonner à ma chaîne.",
+      "normalizedText": "Ci vous voulez voir d'autres vidéos, n'hésitez pas à vous abonner à ma chaîne.",
+      "confidenceScore": 38,
+      "rawWER": 1,
+      "normalizedWER": 0.95,
+      "status": "RED"
+    },
+    {
+      "source": "FLEURS",
+      "index": 11,
+      "hfOriginalText": "jarul wax so mënee ab làkkbu waa rom dina gëna yomb ci yaw ngir jàng làkku purtugées",
+      "transcribedText": "J'ai l'impression qu'il n'y a pas beaucoup de gens qui parlent portugais.",
+      "normalizedText": "J'ai l'impression qu'il n'y a pas beaucoup de gens qui parlent portugais.",
+      "confidenceScore": 43,
+      "rawWER": 1,
+      "normalizedWER": 1,
       "status": "RED"
     },
     {
@@ -122,24 +158,30 @@
       "transcribedText": "S'il n'y a pas de graffitis, il n'a pas d'intérêt.",
       "normalizedText": "S'il n'y a pas de graffitis, il n'a pas d'intérêt.",
       "confidenceScore": 39,
+      "rawWER": 0.9375,
+      "normalizedWER": 0.9375,
       "status": "RED"
     },
     {
       "source": "FLEURS",
       "index": 13,
       "hfOriginalText": "gox bi moo nekkoon itam fiñu daan sukkandiku ngir yeek ci wolkan bu nyiragongo ak yenn ci montaañi gorilla yu gëna yomb yuñuy topp afrik",
-      "transcribedText": "maintenant nous allons voir la soleil c'est le deuxième jour où il y a plein de soleil dans cette montagne fette. De plus il ne GOIT pas",
-      "normalizedText": "Maintenant nous allons voir la soleil c'est le deuxième jour où il y a plein de soleil dans cette montagne fette. De plus il ne GOIT pas",
-      "confidenceScore": 6,
+      "transcribedText": "Les meunes de wellbeing sont travelers en France, en Great-Britannique, en Jumanie, en Espagne et en Afrique Opticienne",
+      "normalizedText": "Les meunes de wellbeing sont travelers en France, en Great-Britannique, en Jumanie, en Espagne et en Afrique Opticienne",
+      "confidenceScore": 5,
+      "rawWER": 1,
+      "normalizedWER": 1,
       "status": "RED"
     },
     {
       "source": "FLEURS",
       "index": 14,
       "hfOriginalText": "aristotle bénn xalaat kat nééna lép lo giss amna bénn wala lu epp gnenti yééf yugnuko défaré suuf l ndox ak safara",
-      "transcribedText": "Aristote Behn a calculé que tout ce qui n'existe pas dans le monde ou vivant d'hier n'est qu'une queue sur terre dans l'univers. Sauf le ciel et le chemin.",
-      "normalizedText": "Aristote Behn a calculé que tout ce qui n'existe pas dans le monde ou vivant d'hier n'est qu'une queue sur terre dans l'univers. Sauf le ciel et le chemin.",
-      "confidenceScore": 10,
+      "transcribedText": "Aristote bena Khalat katnena lep lo gis amna bena wala lo epu nyeti yef yu nyuko defare souf ndokh ak safara",
+      "normalizedText": "Aristote bena Khalat katnena lep lo gis amna bena wala lo epu nyeti yef yu nyuko defare souf ndokh ak safara",
+      "confidenceScore": 42,
+      "rawWER": 0.7727272727272727,
+      "normalizedWER": 0.7727272727272727,
       "status": "RED"
     },
     {
@@ -149,42 +191,52 @@
       "transcribedText": "Gymnastique de l'Amérique et de l'Ouest, c'est ce que nous faisons. Nous faisons de la gymnastique et d'autres activités pour que les jeunes et les adultes puissent s'entraîner bien et bien.",
       "normalizedText": "Gymnastique de l'Amérique et de l'Ouest, c'est ce que nous faisons. Nous faisons de la gymnastique et d'autres activités pour que les jeunes et les adultes puissent s'entraîner bien et bien.",
       "confidenceScore": 40,
+      "rawWER": 1.0333333333333334,
+      "normalizedWER": 1.0333333333333334,
       "status": "RED"
     },
     {
       "source": "FLEURS",
       "index": 16,
       "hfOriginalText": "ndéem ak parku nasiyonal yu afrig du sud yepp am na ay waxtaan bés bu né ak fay ngir dug ci bërëb bi",
-      "transcribedText": "N'est pas parcours national de l'Afrique du Sud, il y a des choses que je voudrais divulguer et dóler ces raisons-là.",
-      "normalizedText": "N'est pas parcours national de l'Afrique du Sud, il y a des choses que je voudrais divulguer et dóler ces raisons-là.",
-      "confidenceScore": 15,
+      "transcribedText": "Ndeem ac parkou, nasional you afric du sud yep, amna ay wakhtan bes boune ak fay ngir lugusi berebi.",
+      "normalizedText": "Ndeem ac parkou, nasional you afric du sud yep, amna ay wakhtan bes boune ak fey ngir lugusi berebi.",
+      "confidenceScore": 37,
+      "rawWER": 0.7391304347826086,
+      "normalizedWER": 0.782608695652174,
       "status": "RED"
     },
     {
       "source": "FLEURS",
       "index": 17,
       "hfOriginalText": "njiitu poliis bi chandra shekhar solanki wax na ni kiñu tuumal dafa ñëw ci tirbinaal bi ak kanam guñu nëbb",
-      "transcribedText": "La police de Giotou, Chandra Shekta Solanky, a dit qu'elle n'est pas sûre de son arrivée au tribunal et qu'elle ne veut pas qu'on l'appelle.",
-      "normalizedText": "La police de Giotou, Chandra Shekta Solanky, a dit qu'elle n'est pas sûre de son arrivée au tribunal et qu'elle ne veut pas qu'on l'appelle.",
-      "confidenceScore": 43,
+      "transcribedText": "La police de Guéthoube, Chandra Chekta Solanky, a dit qu'elle n'est pas sûre de son arrivée au tribunal et qu'elle n'a pas d'information.",
+      "normalizedText": "La police de Guéthoube, Chandra Chekta Solanky, a dit qu'elle n'est pas sûre de son arrivée au tribunal et qu'elle n'a pas d'information.",
+      "confidenceScore": 44,
+      "rawWER": 1.1,
+      "normalizedWER": 1.1,
       "status": "RED"
     },
     {
       "source": "FLEURS",
       "index": 18,
       "hfOriginalText": "ba tey ci bëj-gannar dem leen xooli sanktiyeer bu mag bi ci notre-dame de fatima sanktiyeer barab bu bu keemane bu mariyaama feeñ te ñu xam ko ci addina bi yépp",
-      "transcribedText": "Bataille de Bach-Gadnard, allez voir Sanky-Thier-Bou-Mac dans Notre-Dame-de-Fatima. Sanky-Thier-Barabou-Kemane-Bou-Maria-Mafégne, nous le connaissons tous.",
-      "normalizedText": "Bataille de Bach-Gadnard, allez voir Sanky-Thier-Bou-Mac dans Notre-Dame-de-Fatima. Sanky-Thier-Barabou-Kemane-Bou-Maria-Mafégne, nous le connaissons tous.",
-      "confidenceScore": 47,
+      "transcribedText": "Bataille de Bette Garnard, allez voir Sankitierre Bumac, la ville de Notre-Dame de Fatima. Sankitierre, c'est là qu'est Maria Maffeigne et nous le connaissons tous.",
+      "normalizedText": "Bataille de Bette Garnard, allez voir Sankitierre Bumac, la ville de Notre-Dame de Fatima. Sankitierre, c'est là qu'est Maria Maffeigne et nous le connaissons tous.",
+      "confidenceScore": 43,
+      "rawWER": 0.9032258064516129,
+      "normalizedWER": 0.9032258064516129,
       "status": "RED"
     },
     {
       "source": "FLEURS",
       "index": 19,
       "hfOriginalText": "situ xibaar ak begal xol bu tmz bu waxna ni photographe bi moo taxawal otoom ci beneen wetu yoon wu mag wii di sepulveda ba noppi bëggoon koo foto ci barab bi polisié yi di taxaw laata muy jeggi tali bi ba noppi dem yoonam loolu moo waral polisié bu californie bi taxawal auto yi ñaari yoon ngir may ko mu jeggi dem dellusi",
-      "transcribedText": "C'est ce que j'ai appris à l'université de Témzé, c'est qu'il y avait une photo d'un homme en voiture, dans un autre endroit, à l'endroit où il se trouvait. Ils voulaient qu'il y ait une photo avec les policiers pour qu'ils puissent voir l'homme et qu'ils puissent y aller. C'est ce que j'ai appris. Les policiers de Californie ont donné 2 millions d'euros à Michael Mujégidem Delussi.",
-      "normalizedText": "C'est ce que j'ai appris à l'université de Témzé, c'est qu'il y avait une photo d'un homme en voiture, dans un autre endroit, à l'endroit où il se trouvait. Ils voulaient qu'il y ait une photo avec les policiers pour qu'ils puissent voir l'homme et qu'ils puissent y aller. C'est ce que j'ai appris. Les policiers de Californie ont donné 2 millions d'euros à Michael Mujégidem Delussi.",
-      "confidenceScore": 43,
+      "transcribedText": "C'est ce que j'ai appris à l'université de Témzé, c'est qu'il y avait une photo d'un homme en voiture, dans un autre endroit, et qu'il se trouvait là-bas. Ils voulaient qu'il y ait une photo avec les policiers pour qu'ils puissent voir l'homme et qu'ils puissent y aller. C'est ce que j'ai appris. Les policiers de Californie se sont retrouvés là-bas, avec deux hommes, dans un autre endroit. C'est ce que j'ai appris à l'université de Témzé.",
+      "normalizedText": "C'est ce que j'ai appris à l'université de Témzé, c'est qu'il y avait une photo d'un homme en voiture, dans un autre endroit, et qu'il se trouvait là-bas. Ils voulaient qu'il y ait une photo avec les policiers pour qu'ils puissent voir l'homme et qu'ils puissent y aller. C'est ce que j'ai appris. Les policiers de Californie se sont retrouvés là-bas, avec deux hommes, dans un autre endroit. C'est ce que j'ai appris à l'université de Témzé.",
+      "confidenceScore": 46,
+      "rawWER": 1.1875,
+      "normalizedWER": 1.1875,
       "status": "RED"
     },
     {
@@ -194,6 +246,8 @@
       "transcribedText": "Comme nous l'avons dit il y a quelques années, dans le domaine de la science-fiction, il y a eu beaucoup d'événements informatiques qui ont fait que les gens ont commencé à s'intégrer et à s'adapter à la science-fiction.",
       "normalizedText": "Comme nous l'avons dit il y a quelques années, dans le domaine de la science-fiction, il y a eu beaucoup d'événements informatiques qui ont fait que les gens ont commencé à s'intégrer et à s'adapter à la science-fiction.",
       "confidenceScore": 41,
+      "rawWER": 1.027027027027027,
+      "normalizedWER": 1.027027027027027,
       "status": "RED"
     },
     {
@@ -203,6 +257,8 @@
       "transcribedText": "Ce qui s'est passé à l'intérieur de l'Amérique, c'est ce que Donald Trump a dit à la secrétaire de l'Assemblée des Nations Unies. Il a dit qu'il allait sortir de l'Amérique et qu'il allait sortir de Syrie.",
       "normalizedText": "Ce qui s'est passé à l'intérieur de l'Amérique, c'est ce que Donald Trump a dit à la secrétaire de l'Assemblée des Nations Unies. Il a dit qu'il allait sortir de l'Amérique et qu'il allait sortir de Syrie.",
       "confidenceScore": 48,
+      "rawWER": 1.0625,
+      "normalizedWER": 1.0625,
       "status": "RED"
     },
     {
@@ -212,15 +268,19 @@
       "transcribedText": "Il y a des atomes qui savent qu'il n'y a pas d'échec dans l'atmosphère. S'il y a de l'eau dans l'atmosphère, ou si il n'y a pas d'eau dans l'atmosphère, il n'y a pas d'échec.",
       "normalizedText": "Il y a des atomes qui savent qu'il n'y a pas d'échec dans l'atmosphère. S'il y a de l'eau dans l'atmosphère, ou ci il n'y a pas d'eau dans l'atmosphère, il n'y a pas d'échec.",
       "confidenceScore": 47,
+      "rawWER": 1.6666666666666667,
+      "normalizedWER": 1.6666666666666667,
       "status": "RED"
     },
     {
       "source": "FLEURS",
       "index": 23,
       "hfOriginalText": "kaaraange bu andak yaar xarañ ci baal ak mboolo bu mën liggéey taxna ñu genn ak te leerna modoonon mboolo buñu wara daan",
-      "transcribedText": "Si on entre en objectif, il est impossible de ne pas s'occupier de l'argent et la métier de voyageur à la destination.",
-      "normalizedText": "Ci on entre en objectif, il est impossible de ne pas s'occupier de l'argent et la métier de voyageur à la destination.",
-      "confidenceScore": 5,
+      "transcribedText": "Qu'ils prennent c'est encourager et la conduire located à la véritable onde de cette zone.",
+      "normalizedText": "Qu'ils prennent c'est encourager et la conduire located à la véritable onde de cette zone.",
+      "confidenceScore": 4,
+      "rawWER": 1,
+      "normalizedWER": 1,
       "status": "RED"
     },
     {
@@ -230,8 +290,10 @@
       "transcribedText": "J'espère que vous avez apprécié cette vidéo, si c'est le cas n'hésitez pas à vous abonner à ma chaine pour d'autres vidéos.",
       "normalizedText": "J'espère que vous avez apprécié cette vidéo, ci c'est le cas n'hésitez pas à vous abonner à ma chaine pour d'autres vidéos.",
       "confidenceScore": 47,
+      "rawWER": 1,
+      "normalizedWER": 1,
       "status": "RED"
     }
   ],
-  "updatedAt": "2026-03-07T01:05:05.141Z"
+  "updatedAt": "2026-03-07T01:14:15.768Z"
 }

apps/api/package.json

@@ -17,6 +17,7 @@
         "axios": "^1.13.5",
         "bullmq": "^5.1.0",
         "dotenv": "^16.4.7",
+        "fast-levenshtein": "^3.0.0",
         "fastify": "^4.0.0",
         "fastify-plugin": "^4.5.1",
         "ioredis": "^5.9.3",
@@ -29,6 +30,7 @@
     "devDependencies": {
         "@repo/tsconfig": "workspace:*",
         "@types/dotenv": "^8.2.3",
+        "@types/fast-levenshtein": "^0.0.4",
         "@types/node": "^20.0.0",
         "tsx": "^3.0.0",
         "typescript": "^5.0.0"

apps/api/src/scripts/calibrate-whisper.ts

@@ -2,6 +2,7 @@ import 'dotenv/config';
 import fs from 'fs';
 import path from 'path';
 import { execSync } from 'child_process';
+import levenshtein from 'fast-levenshtein';
 import { aiService } from '../services/ai';
 import { normalizeWolof } from './normalizeWolof';
 
@@ -10,6 +11,34 @@ const STATS_PATH = path.join(DATA_DIR, 'calibration_stats.json');
 const HF_SAMPLES_PATH = path.join(DATA_DIR, 'hf_samples.json');
 const PY_SCRIPT = path.join(__dirname, 'fetch_hf_audio.py');
 
+/**
+ * Computes Word Error Rate (WER) using Levenshtein distance on words.
+ * WER = (Substitutions + Deletions + Insertions) / Total Reference Words
+ */
+function calculateWER(reference: string, hypothesis: string): number {
+    const refWords = reference.toLowerCase().replace(/[.,/#!$%^&*;:{}=\-_`~()]/g, "").split(/\s+/).filter(w => w);
+    const hypWords = hypothesis.toLowerCase().replace(/[.,/#!$%^&*;:{}=\-_`~()]/g, "").split(/\s+/).filter(w => w);
+
+    if (refWords.length === 0) return 0;
+
+    // Map words to unique characters to use fast-levenshtein (which expects strings)
+    const wordMap = new Map<string, string>();
+    let charCode = 0xE000; // Use Private Use Area characters
+
+    const getChar = (word: string) => {
+        if (!wordMap.has(word)) {
+            wordMap.set(word, String.fromCharCode(charCode++));
+        }
+        return wordMap.get(word)!;
+    };
+
+    const refChars = refWords.map(getChar).join('');
+    const hypChars = hypWords.map(getChar).join('');
+
+    const distance = levenshtein.get(refChars, hypChars);
+    return distance / refWords.length;
+}
+
 export async function runCalibration() {
     console.log("🚀 Starting Whisper Confidence Calibration Stress-Test...");
 
@@ -43,6 +72,8 @@ export async function runCalibration() {
     let orangeCount = 0;
     let greenCount = 0;
     let totalConfidence = 0;
+    let totalRawWER = 0;
+    let totalNormWER = 0;
 
     let totalProcessed = 0;
 
@@ -58,7 +89,13 @@ export async function runCalibration() {
             // Normalize
             const normResult = normalizeWolof(text);
 
+            // Compute WER
+            const rawWER = calculateWER(sample.original_text, text);
+            const normWER = calculateWER(sample.original_text, normResult.normalizedText);
+
             totalConfidence += confidence;
+            totalRawWER += rawWER;
+            totalNormWER += normWER;
             totalProcessed++;
 
             if (confidence <= 50) redCount++;
@@ -72,6 +109,8 @@ export async function runCalibration() {
                 transcribedText: text,
                 normalizedText: normResult.normalizedText,
                 confidenceScore: confidence,
+                rawWER,
+                normalizedWER: normWER,
                 status: confidence <= 50 ? 'RED' : confidence <= 80 ? 'ORANGE' : 'GREEN'
             });
 
@@ -81,10 +120,22 @@ export async function runCalibration() {
     }
 
     const averageConfidence = totalProcessed > 0 ? Math.round(totalConfidence / totalProcessed) : 0;
+    const averageRawWER = totalProcessed > 0 ? totalRawWER / totalProcessed : 0;
+    const averageNormalizedWER = totalProcessed > 0 ? totalNormWER / totalProcessed : 0;
+
+    // Calculate Dictionary Efficiency (Improvement in WER relative to Raw WER)
+    let dictionaryEfficiency = 0;
+    if (averageRawWER > 0) {
+        // If WER goes down, efficiency is positive.
+        dictionaryEfficiency = ((averageRawWER - averageNormalizedWER) / averageRawWER) * 100;
+    }
 
     const stats = {
         totalProcessed,
         averageConfidence,
+        averageRawWER,
+        averageNormalizedWER,
+        dictionaryEfficiency,
         distribution: {
             red: { count: redCount, percentage: totalProcessed ? Math.round((redCount / totalProcessed) * 100) : 0 },
             orange: { count: orangeCount, percentage: totalProcessed ? Math.round((orangeCount / totalProcessed) * 100) : 0 },
@@ -97,6 +148,8 @@ export async function runCalibration() {
     fs.writeFileSync(STATS_PATH, JSON.stringify(stats, null, 2));
     console.log(`\n✅ Calibration finished! Stats saved to ${STATS_PATH}`);
     console.log(`Average Confidence: ${averageConfidence}%`);
+    console.log(`Raw WER: ${(averageRawWER * 100).toFixed(2)}% | Normalized WER: ${(averageNormalizedWER * 100).toFixed(2)}%`);
+    console.log(`Dictionary Efficiency Gain: ${dictionaryEfficiency.toFixed(2)}%`);
     console.log(`Red (<=50%): ${redCount} | Orange (51-80%): ${orangeCount} | Green (>80%): ${greenCount}`);
 }
 

pnpm-lock.yaml

@@ -93,6 +93,9 @@ importers:
       dotenv:
         specifier: ^16.4.7
         version: 16.6.1
+      fast-levenshtein:
+        specifier: ^3.0.0
+        version: 3.0.0
       fastify:
         specifier: ^4.0.0
         version: 4.29.1
@@ -124,6 +127,9 @@ importers:
       '@types/dotenv':
         specifier: ^8.2.3
         version: 8.2.3
+      '@types/fast-levenshtein':
+        specifier: ^0.0.4
+        version: 0.0.4
       '@types/node':
         specifier: ^20.0.0
         version: 20.19.33
@@ -1405,6 +1411,9 @@ packages:
   '@types/estree@1.0.8':
     resolution: {integrity: sha512-dWHzHa2WqEXI/O1E9OjrocMTKJl2mSrEolh1Iomrv6U+JuNwaHXsXx9bLu5gG7BUWFIN0skIQJQ/L1rIex4X6w==}
 
+  '@types/fast-levenshtein@0.0.4':
+    resolution: {integrity: sha512-tkDveuitddQCxut1Db8eEFfMahTjOumTJGPHmT9E7KUH+DkVq9WTpVvlfenf3S+uCBeu8j5FP2xik/KfxOEjeA==}
+
   '@types/node-cron@3.0.11':
     resolution: {integrity: sha512-0ikrnug3/IyneSHqCBeslAhlK2aBfYek1fGo4bP4QnZPmiqSGRK+Oy7ZMisLWkesffJvQ1cqAcBnJC+8+nxIAg==}
 
@@ -1833,6 +1842,9 @@ packages:
   fast-json-stringify@5.16.1:
     resolution: {integrity: sha512-KAdnLvy1yu/XrRtP+LJnxbBGrhN+xXu+gt3EUvZhYGKCr3lFHq/7UFJHHFgmJKoqlh6B40bZLEv7w46B0mqn1g==}
 
+  fast-levenshtein@3.0.0:
+    resolution: {integrity: sha512-hKKNajm46uNmTlhHSyZkmToAc56uZJwYq7yrciZjqOxnlfQwERDQJmHPUp7m1m9wx8vgOe8IaCKZ5Kv2k1DdCQ==}
+
   fast-querystring@1.1.2:
     resolution: {integrity: sha512-g6KuKWmFXc0fID8WWH0jit4g0AGBoJhCkJMb1RmbsSEUNvQ+ZC8D6CUZ+GtF8nMzSPXnhiePyyqqipzNNEnHjg==}
 
@@ -1846,6 +1858,10 @@ packages:
     resolution: {integrity: sha512-QNI3sAvSvaOiaMl8FYU4trnEzCwiRr8XMWgAHzlrWpTSj+QaCSvOf1h82OEP1s4hiAXhnbXSyFWCf4ldZzZRVA==}
     hasBin: true
 
+  fastest-levenshtein@1.0.16:
+    resolution: {integrity: sha512-eRnCtTTtGZFpQCwhJiUOuxPQWRXVKYDn0b2PeHfXL6/Zi53SLAzAHfVhVWK2AryC/WH05kGfxhFIPvTF0SXQzg==}
+    engines: {node: '>= 4.9.1'}
+
   fastify-plugin@4.5.1:
     resolution: {integrity: sha512-stRHYGeuqpEZTL1Ef0Ovr2ltazUT9g844X5z/zEBFLG8RYlpDiOCIG+ATvYEp+/zmc7sN29mcIMp8gvYplYPIQ==}
 
@@ -4214,6 +4230,8 @@ snapshots:
 
   '@types/estree@1.0.8': {}
 
+  '@types/fast-levenshtein@0.0.4': {}
+
   '@types/node-cron@3.0.11': {}
 
   '@types/node-fetch@2.6.13':
@@ -4684,6 +4702,10 @@ snapshots:
       json-schema-ref-resolver: 1.0.1
       rfdc: 1.4.1
 
+  fast-levenshtein@3.0.0:
+    dependencies:
+      fastest-levenshtein: 1.0.16
+
   fast-querystring@1.1.2:
     dependencies:
       fast-decode-uri-component: 1.0.1
@@ -4696,6 +4718,8 @@ snapshots:
     dependencies:
       strnum: 2.1.2
 
+  fastest-levenshtein@1.0.16: {}
+
   fastify-plugin@4.5.1: {}
 
   fastify@4.29.1: