chore: test API distribution

apps/api/data/calibration_stats.json

@@ -0,0 +1,237 @@
+{
+  "totalProcessed": 24,
+  "averageConfidence": 33,
+  "distribution": {
+    "red": {
+      "count": 23,
+      "percentage": 96
+    },
+    "orange": {
+      "count": 1,
+      "percentage": 4
+    },
+    "green": {
+      "count": 0,
+      "percentage": 0
+    }
+  },
+  "samples": [
+    {
+      "source": "FLEURS",
+      "index": 0,
+      "hfOriginalText": "groenlaand bariwul won way-dëkk ca tariix scandinaves ñoo ngii waxni erik le rouge dañuko toxal ci islaand ngir faat bàkkan bimuy tukki ci sowwu ci la gis groenlaand dal diko tudde groenlaand",
+      "transcribedText": "Groyeslande, Bariwul, Woon, Wai, Dek, Sitarikh, Skandinav, Nyongi, Wahni, Erik, Lerouj, Danjukur, Tokholsi, Island, Ngir, Fat, Bakan, Bimuytuki, Ziswau, Silegis, Groyelande, Daldikotude, Groyelande.",
+      "normalizedText": "Groyeslande, Bariwul, Woon, Wai, Dek, Sitarikh, Skandinav, Nyongi, Wahni, Erik, Lerouj, Danjukur, Tokholsi, Island, Ngir, Fat, Bakan, Bimuytuki, Ziswau, Silegis, Groyelande, Daldikotude, Groyelande.",
+      "confidenceScore": 48,
+      "status": "RED"
+    },
+    {
+      "source": "FLEURS",
+      "index": 1,
+      "hfOriginalText": "yenn pàcc yu bari ci batimaa bii dañu leen tabaxaat ngir may ñi fiy ñëw di siyaare ñu gën a mën a xam liy seen cosaan",
+      "transcribedText": "Si vous avez des questions sur ce bâtiment, vous pouvez m'envoyer un message en disant que je suis là pour vous aider pour qu'on puisse en savoir plus sur ce bâtiment.",
+      "normalizedText": "Ci vous avez des questions sur ce bâtiment, vous pouvez m'envoyer un message en disant que je suis là pour vous aider pour qu'on puisse en savoir plus sur ce bâtiment.",
+      "confidenceScore": 42,
+      "status": "RED"
+    },
+    {
+      "source": "FLEURS",
+      "index": 2,
+      "hfOriginalText": "yeneen tomb yu nekk ci porogaraam bi ci bali bokk na ci àar àll yi des ci addina bi te séddale xarala yi ngir réew yu nekk ci yoonu yokkute magg ci anam bu bariwul",
+      "transcribedText": "Sous-titres réalisés para la communauté d'Amara.org",
+      "normalizedText": "Sous-titres réalisés para la communauté d'Amara.org",
+      "confidenceScore": 72,
+      "status": "ORANGE"
+    },
+    {
+      "source": "FLEURS",
+      "index": 3,
+      "hfOriginalText": "am na nit ñu yaakaar ne waxoon na dëgg wante nit ñu bare yaakaaru ñu loolu; muy jànt bi dafay wë suuf ci; boole ci jant bi ak yeneen bideew yi",
+      "transcribedText": "Il y a des gens qui pensent que c'est vrai, mais il y a beaucoup d'autres qui ne pensent pas comme ça. C'est ce que j'ai essayé d'expliquer dans cette vidéo.",
+      "normalizedText": "Il y a des gens qui pensent que c'est vrai, mais il y a beaucoup d'autres qui ne pensent pas comme ça. C'est ce que j'ai essayé d'expliquer dans cette vidéo.",
+      "confidenceScore": 43,
+      "status": "RED"
+    },
+    {
+      "source": "FLEURS",
+      "index": 4,
+      "hfOriginalText": "ci beneen xatu spectre bi dañuy soppeeku doon nit kuñu mënul xammee buy yëg ni moom dafa wara sopi lépp lu ékip bi def te def ko yëfu boppam",
+      "transcribedText": "Si bien qu'il n'y a pas de spectre, nous devons l'éliminer pour qu'une personne puisse nous dire qu'elle doit l'éliminer pour que l'équipe puisse s'en sortir.",
+      "normalizedText": "Ci bien qu'il n'y a pas de spectre, nous devons l'éliminer pour qu'une personne puisse nous dire qu'elle doit l'éliminer pour que l'équipe puisse s'en sortir.",
+      "confidenceScore": 43,
+      "status": "RED"
+    },
+    {
+      "source": "FLEURS",
+      "index": 5,
+      "hfOriginalText": "séni doxalin nirowul ak binék ci suuf biy yamalé tangay bi waye amna doolé ak kamb yu xoot yi ci suuf si  glen cushing bu united states geological survey usgs kurelu astrogeology ak northern arizona university nékoon ci flagstaff arizona mooko wax",
+      "transcribedText": "D'autres proches, une notion au nom d'une partie de ces industries c'est, les Thangais, qui ont quand même créé ces ouves pratiques. Glenn), le Produit de la Prachinath anschiné, Un collage géologique USGS et l'Astrologie du Corail à l'Université d'Arizona, Flashtaff, Arizona",
+      "normalizedText": "D'autres proches, une notion au nom d'une partie de ces industries c'est, les Thangais, qui ont quand même créé ces ouves pratiques. Glenn), le Produit de la Prachinath anschiné, Un collage géologique USGS et l'Astrologie du Corail à l'Université d'Arizona, Flashtaff, Arizona",
+      "confidenceScore": 7,
+      "status": "RED"
+    },
+    {
+      "source": "FLEURS",
+      "index": 6,
+      "hfOriginalText": "polotiku fomb bi dafay wuute waaye bi weeru màrs di waaja jeex polotiku fomb ndax coronavirus weesuwul suwe 2020 biñu jappee beneen dat ngir olympik yi",
+      "transcribedText": "Pour le monde, la politique est majeure, mais l'accent sur son finans à la politique s'est fait avec le coronavirus et les grosses entreprises qui nous ont poussé au spectacle est difficile.",
+      "normalizedText": "Pour le monde, la politique est majeure, mais l'accent sur son finans à la politique s'est fait avec le coronavirus et les grosses entreprises qui nous ont poussé au spectacle est difficile.",
+      "confidenceScore": 6,
+      "status": "RED"
+    },
+    {
+      "source": "FLEURS",
+      "index": 7,
+      "hfOriginalText": "ci atum 1990 yokkoon nañu limu barab yu woorandi yi addina bi am ndax daŋkaafu suufu dezeer bi",
+      "transcribedText": "rencies milieux sont États-Unis, Mexico, Syrie, Hamoum, Burma, Algérie, Tata guide des batailles d'ondes. Qu'est-ce qu'ils ont fait ?",
+      "normalizedText": "Rencies milieux sont États-Unis, Mexico, Syrie, Hamoum, Burma, Algérie, Tata guide des batailles d'ondes. Qu'est-ce qu'ils ont fait ?",
+      "confidenceScore": 5,
+      "status": "RED"
+    },
+    {
+      "source": "FLEURS",
+      "index": 8,
+      "hfOriginalText": "ñim dem tukki ci dëkk yu bari payum taks mën nañu fa sakkanalee xaalis ci beneen anam ndax sàngara si ak sigaret si fala gëna yombee",
+      "transcribedText": "J'ai des images allant de l'espace tel qu'on en a temporairement sur les images là-bas.",
+      "normalizedText": "J'ai des images allant de l'espace tel qu'on en a temporairement sur les images là-bas.",
+      "confidenceScore": 5,
+      "status": "RED"
+    },
+    {
+      "source": "FLEURS",
+      "index": 9,
+      "hfOriginalText": "aapia mooy kapitalu samoa dëkk bi dafa nekk ci dun bu upolu te am ay nit yu neew 40.000",
+      "transcribedText": "A Pia, la capitale de Samoa, il y a des réunions à l'occasion de l'anniversaire de l'anniversaire de Paul.",
+      "normalizedText": "A Pia, la capitale de Samoa, il y a des réunions à l'occasion de l'anniversaire de l'anniversaire de Paul.",
+      "confidenceScore": 37,
+      "status": "RED"
+    },
+    {
+      "source": "FLEURS",
+      "index": 10,
+      "hfOriginalText": "ci mbenuum weer beneen fafalnaaw genn na yoonam ca mashhad te mëkk benn miir rey fukki nit ak juróom ñaar",
+      "transcribedText": "Si tu veux voir une autre vidéo, abonne-toi à ma chaîne et n'oublies pas de t'abonner à ma chaîne pour ne manquer aucune de mes nouvelles vidéos.",
+      "normalizedText": "Ci tu veux voir une autre vidéo, abonne-toi à ma chaîne et n'oublies pas de t'abonner à ma chaîne pour ne manquer aucune de mes nouvelles vidéos.",
+      "confidenceScore": 42,
+      "status": "RED"
+    },
+    {
+      "source": "FLEURS",
+      "index": 12,
+      "hfOriginalText": "sàmm leen barab bii bu fi kenn bind ay graffitis wala mu am lumu fiy xaatim",
+      "transcribedText": "S'il n'y a pas de graffitis, il n'a pas d'intérêt.",
+      "normalizedText": "S'il n'y a pas de graffitis, il n'a pas d'intérêt.",
+      "confidenceScore": 39,
+      "status": "RED"
+    },
+    {
+      "source": "FLEURS",
+      "index": 13,
+      "hfOriginalText": "gox bi moo nekkoon itam fiñu daan sukkandiku ngir yeek ci wolkan bu nyiragongo ak yenn ci montaañi gorilla yu gëna yomb yuñuy topp afrik",
+      "transcribedText": "maintenant nous allons voir la soleil c'est le deuxième jour où il y a plein de soleil dans cette montagne fette. De plus il ne GOIT pas",
+      "normalizedText": "Maintenant nous allons voir la soleil c'est le deuxième jour où il y a plein de soleil dans cette montagne fette. De plus il ne GOIT pas",
+      "confidenceScore": 6,
+      "status": "RED"
+    },
+    {
+      "source": "FLEURS",
+      "index": 14,
+      "hfOriginalText": "aristotle bénn xalaat kat nééna lép lo giss amna bénn wala lu epp gnenti yééf yugnuko défaré suuf l ndox ak safara",
+      "transcribedText": "Aristote Behn a calculé que tout ce qui n'existe pas dans le monde ou vivant d'hier n'est qu'une queue sur terre dans l'univers. Sauf le ciel et le chemin.",
+      "normalizedText": "Aristote Behn a calculé que tout ce qui n'existe pas dans le monde ou vivant d'hier n'est qu'une queue sur terre dans l'univers. Sauf le ciel et le chemin.",
+      "confidenceScore": 10,
+      "status": "RED"
+    },
+    {
+      "source": "FLEURS",
+      "index": 15,
+      "hfOriginalText": "gimnastik bu amerig ak usoc ñoo bokk jubluwaay fexe ba gimnastik ak yeneen xeeti tàggat yaram wóor ngir jongantekat yi topp seeni mbëbët ci nekkin bu baax te am doole",
+      "transcribedText": "Gymnastique de l'Amérique et de l'Ouest, c'est ce que nous faisons. Nous faisons de la gymnastique et d'autres activités pour que les jeunes et les adultes puissent s'entraîner bien et bien.",
+      "normalizedText": "Gymnastique de l'Amérique et de l'Ouest, c'est ce que nous faisons. Nous faisons de la gymnastique et d'autres activités pour que les jeunes et les adultes puissent s'entraîner bien et bien.",
+      "confidenceScore": 40,
+      "status": "RED"
+    },
+    {
+      "source": "FLEURS",
+      "index": 16,
+      "hfOriginalText": "ndéem ak parku nasiyonal yu afrig du sud yepp am na ay waxtaan bés bu né ak fay ngir dug ci bërëb bi",
+      "transcribedText": "N'est pas parcours national de l'Afrique du Sud, il y a des choses que je voudrais divulguer et dóler ces raisons-là.",
+      "normalizedText": "N'est pas parcours national de l'Afrique du Sud, il y a des choses que je voudrais divulguer et dóler ces raisons-là.",
+      "confidenceScore": 15,
+      "status": "RED"
+    },
+    {
+      "source": "FLEURS",
+      "index": 17,
+      "hfOriginalText": "njiitu poliis bi chandra shekhar solanki wax na ni kiñu tuumal dafa ñëw ci tirbinaal bi ak kanam guñu nëbb",
+      "transcribedText": "La police de Giotou, Chandra Shekta Solanky, a dit qu'elle n'est pas sûre de son arrivée au tribunal et qu'elle ne veut pas qu'on l'appelle.",
+      "normalizedText": "La police de Giotou, Chandra Shekta Solanky, a dit qu'elle n'est pas sûre de son arrivée au tribunal et qu'elle ne veut pas qu'on l'appelle.",
+      "confidenceScore": 43,
+      "status": "RED"
+    },
+    {
+      "source": "FLEURS",
+      "index": 18,
+      "hfOriginalText": "ba tey ci bëj-gannar dem leen xooli sanktiyeer bu mag bi ci notre-dame de fatima sanktiyeer barab bu bu keemane bu mariyaama feeñ te ñu xam ko ci addina bi yépp",
+      "transcribedText": "Bataille de Bach-Gadnard, allez voir Sanky-Thier-Bou-Mac dans Notre-Dame-de-Fatima. Sanky-Thier-Barabou-Kemane-Bou-Maria-Mafégne, nous le connaissons tous.",
+      "normalizedText": "Bataille de Bach-Gadnard, allez voir Sanky-Thier-Bou-Mac dans Notre-Dame-de-Fatima. Sanky-Thier-Barabou-Kemane-Bou-Maria-Mafégne, nous le connaissons tous.",
+      "confidenceScore": 47,
+      "status": "RED"
+    },
+    {
+      "source": "FLEURS",
+      "index": 19,
+      "hfOriginalText": "situ xibaar ak begal xol bu tmz bu waxna ni photographe bi moo taxawal otoom ci beneen wetu yoon wu mag wii di sepulveda ba noppi bëggoon koo foto ci barab bi polisié yi di taxaw laata muy jeggi tali bi ba noppi dem yoonam loolu moo waral polisié bu californie bi taxawal auto yi ñaari yoon ngir may ko mu jeggi dem dellusi",
+      "transcribedText": "C'est ce que j'ai appris à l'université de Témzé, c'est qu'il y avait une photo d'un homme en voiture, dans un autre endroit, à l'endroit où il se trouvait. Ils voulaient qu'il y ait une photo avec les policiers pour qu'ils puissent voir l'homme et qu'ils puissent y aller. C'est ce que j'ai appris. Les policiers de Californie ont donné 2 millions d'euros à Michael Mujégidem Delussi.",
+      "normalizedText": "C'est ce que j'ai appris à l'université de Témzé, c'est qu'il y avait une photo d'un homme en voiture, dans un autre endroit, à l'endroit où il se trouvait. Ils voulaient qu'il y ait une photo avec les policiers pour qu'ils puissent voir l'homme et qu'ils puissent y aller. C'est ce que j'ai appris. Les policiers de Californie ont donné 2 millions d'euros à Michael Mujégidem Delussi.",
+      "confidenceScore": 43,
+      "status": "RED"
+    },
+    {
+      "source": "FLEURS",
+      "index": 20,
+      "hfOriginalText": "naam suñu waxee ia xel dem ci vscience-fiction ia nekkna bànxaas bu am solo ci wàllu ci informatique ndax mooy jàngat ni machine bi di doxalee ni muy xalaate ak ni muy adapter ci mbir mu bees",
+      "transcribedText": "Comme nous l'avons dit il y a quelques années, dans le domaine de la science-fiction, il y a eu beaucoup d'événements informatiques qui ont fait que les gens ont commencé à s'intégrer et à s'adapter à la science-fiction.",
+      "normalizedText": "Comme nous l'avons dit il y a quelques années, dans le domaine de la science-fiction, il y a eu beaucoup d'événements informatiques qui ont fait que les gens ont commencé à s'intégrer et à s'adapter à la science-fiction.",
+      "confidenceScore": 41,
+      "status": "RED"
+    },
+    {
+      "source": "FLEURS",
+      "index": 21,
+      "hfOriginalText": "lu yeex ci gaaawu njiitu réewu amerig donald trump ci ab wax bu mu wax jaaree ko ci sekereteeru tasskatu xibaar bi yëgle na takk deru waa amerig yi dinanu genn syrie",
+      "transcribedText": "Ce qui s'est passé à l'intérieur de l'Amérique, c'est ce que Donald Trump a dit à la secrétaire de l'Assemblée des Nations Unies. Il a dit qu'il allait sortir de l'Amérique et qu'il allait sortir de Syrie.",
+      "normalizedText": "Ce qui s'est passé à l'intérieur de l'Amérique, c'est ce que Donald Trump a dit à la secrétaire de l'Assemblée des Nations Unies. Il a dit qu'il allait sortir de l'Amérique et qu'il allait sortir de Syrie.",
+      "confidenceScore": 48,
+      "status": "RED"
+    },
+    {
+      "source": "FLEURS",
+      "index": 22,
+      "hfOriginalText": "amna atom yoo xamni seeni noyóo duñu taxaw benn barab soo leen laalee tuuti wala nga bañ leen laal ñu tàqaloo",
+      "transcribedText": "Il y a des atomes qui savent qu'il n'y a pas d'échec dans l'atmosphère. S'il y a de l'eau dans l'atmosphère, ou si il n'y a pas d'eau dans l'atmosphère, il n'y a pas d'échec.",
+      "normalizedText": "Il y a des atomes qui savent qu'il n'y a pas d'échec dans l'atmosphère. S'il y a de l'eau dans l'atmosphère, ou ci il n'y a pas d'eau dans l'atmosphère, il n'y a pas d'échec.",
+      "confidenceScore": 47,
+      "status": "RED"
+    },
+    {
+      "source": "FLEURS",
+      "index": 23,
+      "hfOriginalText": "kaaraange bu andak yaar xarañ ci baal ak mboolo bu mën liggéey taxna ñu genn ak te leerna modoonon mboolo buñu wara daan",
+      "transcribedText": "Si on entre en objectif, il est impossible de ne pas s'occupier de l'argent et la métier de voyageur à la destination.",
+      "normalizedText": "Ci on entre en objectif, il est impossible de ne pas s'occupier de l'argent et la métier de voyageur à la destination.",
+      "confidenceScore": 5,
+      "status": "RED"
+    },
+    {
+      "source": "FLEURS",
+      "index": 24,
+      "hfOriginalText": "jëfandikoo ay gaal ngir yóbbu ay marsandiss mooy anam bi gëna baax ngir jàllale nit ñu bare ak marsandiis yu bare ci géej yi",
+      "transcribedText": "J'espère que vous avez apprécié cette vidéo, si c'est le cas n'hésitez pas à vous abonner à ma chaine pour d'autres vidéos.",
+      "normalizedText": "J'espère que vous avez apprécié cette vidéo, ci c'est le cas n'hésitez pas à vous abonner à ma chaine pour d'autres vidéos.",
+      "confidenceScore": 47,
+      "status": "RED"
+    }
+  ],
+  "updatedAt": "2026-03-07T01:05:05.141Z"
+}

apps/api/src/scripts/calibrate-whisper.ts

@@ -1,95 +1,82 @@
+import 'dotenv/config';
 import fs from 'fs';
 import path from 'path';
+import { execSync } from 'child_process';
 import { aiService } from '../services/ai';
 import { normalizeWolof } from './normalizeWolof';
 
-const STATS_PATH = path.join(__dirname, '../../data/calibration_stats.json');
-
-async function downloadAudioBuffer(url: string): Promise<Buffer> {
-    const res = await fetch(url);
-    if (!res.ok) throw new Error(`Failed to fetch audio from ${url}`);
-    const arrayBuffer = await res.arrayBuffer();
-    return Buffer.from(arrayBuffer);
-}
-
-async function fetchHuggingFaceRows(dataset: string, config: string, split: string, limit: number) {
-    const url = `https://datasets-server.huggingface.co/rows?dataset=${encodeURIComponent(dataset)}&config=${encodeURIComponent(config)}&split=${encodeURIComponent(split)}&offset=0&length=${limit}`;
-    const res = await fetch(url);
-    if (!res.ok) throw new Error(`Failed to fetch dataset rows from ${url}`);
-    const data = await res.json() as any;
-    return data.rows;
-}
+const DATA_DIR = path.join(__dirname, '../../data');
+const STATS_PATH = path.join(DATA_DIR, 'calibration_stats.json');
+const HF_SAMPLES_PATH = path.join(DATA_DIR, 'hf_samples.json');
+const PY_SCRIPT = path.join(__dirname, 'fetch_hf_audio.py');
 
 export async function runCalibration() {
     console.log("🚀 Starting Whisper Confidence Calibration Stress-Test...");
 
+    // Ensure data dir exists
+    if (!fs.existsSync(DATA_DIR)) {
+        fs.mkdirSync(DATA_DIR, { recursive: true });
+    }
+
+    // Run Python fetching script if samples not already present
+    if (!fs.existsSync(HF_SAMPLES_PATH)) {
+        console.log("📥 Calling Python datasets library to download Hugging Face audio...");
+        try {
+            execSync(`python3 ${PY_SCRIPT} --output ${DATA_DIR}`, { stdio: 'inherit' });
+        } catch (e) {
+            console.error("❌ Python script failed to fetch samples. Please check HF_TOKEN or network.");
+        }
+    } else {
+        console.log("♻️ Using cached Hugging Face samples...");
+    }
+
+    if (!fs.existsSync(HF_SAMPLES_PATH)) {
+        console.error("❌ No samples mapped. Exiting calibration.");
+        return;
+    }
+
+    const samples = JSON.parse(fs.readFileSync(HF_SAMPLES_PATH, 'utf-8'));
+    console.log(`\n🎧 Processing ${samples.length} samples through Whisper STT...`);
+
     const results = [];
     let redCount = 0;
     let orangeCount = 0;
     let greenCount = 0;
     let totalConfidence = 0;
 
-    const sources = [
-        { dataset: 'mozilla-foundation/common_voice_17_0', config: 'wo', name: 'CommonVoice' },
-        { dataset: 'google/fleurs', config: 'wo_sn', name: 'FLEURS' }
-    ];
-
     let totalProcessed = 0;
 
-    for (const source of sources) {
-        console.log(`\nFetching 25 samples from ${source.name}...`);
+    for (let i = 0; i < samples.length; i++) {
+        const sample = samples[i];
+        console.log(`[${sample.source} ${i + 1}/${samples.length}] Transcribing...`);
+
         try {
-            const rows = await fetchHuggingFaceRows(source.dataset, source.config, 'test', 25);
-
-            for (let i = 0; i < rows.length; i++) {
-                const row = rows[i].row;
-                // Field names might vary, usually it's 'audio' which is an object containing 'src' (array) or just an object
-                const audioData = row.audio || row.audio_data || Object.values(row).find((v: any) => v && v[0]?.src);
-
-                let audioUrl = '';
-                if (Array.isArray(audioData) && audioData[0]?.src) {
-                    audioUrl = audioData[0].src;
-                } else if (audioData?.src) {
-                    audioUrl = audioData.src; // sometimes a direct object
-                }
-
-                if (!audioUrl) {
-                    console.warn(`[SKIP] No audio URL found for row ${i} in ${source.name}`);
-                    continue;
-                }
-
-                console.log(`[${source.name} ${i + 1}/${rows.length}] Transcribing...`);
-
-                try {
-                    const audioBuffer = await downloadAudioBuffer(audioUrl);
-                    // Pass to Whisper
-                    const { text, confidence } = await aiService.transcribeAudio(audioBuffer, `sample_${i}.mp3`, 'WOLOF');
-
-                    // Normalize
-                    const normResult = normalizeWolof(text);
-
-                    totalConfidence += confidence;
-                    totalProcessed++;
-
-                    if (confidence <= 50) redCount++;
-                    else if (confidence <= 80) orangeCount++;
-                    else greenCount++;
-
-                    results.push({
-                        source: source.name,
-                        index: i,
-                        originalText: text,
-                        normalizedText: normResult.normalizedText,
-                        confidenceScore: confidence,
-                        status: confidence <= 50 ? 'RED' : confidence <= 80 ? 'ORANGE' : 'GREEN'
-                    });
-
-                } catch (err: any) {
-                    console.error(`Error processing sample ${i} from ${source.name}: ${err.message}`);
-                }
-            }
+            const audioBuffer = Buffer.from(sample.audio_base64, 'base64');
+            // Pass to Whisper
+            const { text, confidence } = await aiService.transcribeAudio(audioBuffer, `sample_${i}.wav`, 'WOLOF');
+
+            // Normalize
+            const normResult = normalizeWolof(text);
+
+            totalConfidence += confidence;
+            totalProcessed++;
+
+            if (confidence <= 50) redCount++;
+            else if (confidence <= 80) orangeCount++;
+            else greenCount++;
+
+            results.push({
+                source: sample.source,
+                index: i,
+                hfOriginalText: sample.original_text,
+                transcribedText: text,
+                normalizedText: normResult.normalizedText,
+                confidenceScore: confidence,
+                status: confidence <= 50 ? 'RED' : confidence <= 80 ? 'ORANGE' : 'GREEN'
+            });
+
         } catch (err: any) {
-            console.error(`Failed to fetch or process ${source.name}: ${err.message}`);
+            console.error(`Error processing sample ${i} from ${sample.source}: ${err.message}`);
         }
     }
 
@@ -107,12 +94,6 @@ export async function runCalibration() {
         updatedAt: new Date().toISOString()
     };
 
-    // Ensure data dir exists
-    const dataDir = path.dirname(STATS_PATH);
-    if (!fs.existsSync(dataDir)) {
-        fs.mkdirSync(dataDir, { recursive: true });
-    }
-
     fs.writeFileSync(STATS_PATH, JSON.stringify(stats, null, 2));
     console.log(`\n✅ Calibration finished! Stats saved to ${STATS_PATH}`);
     console.log(`Average Confidence: ${averageConfidence}%`);
@@ -120,9 +101,7 @@ export async function runCalibration() {
 }
 
 // Allow running directly from command line
-if (require.main === module) {
-    runCalibration().then(() => process.exit(0)).catch(err => {
-        console.error(err);
-        process.exit(1);
-    });
-}
+runCalibration().then(() => process.exit(0)).catch(err => {
+    console.error(err);
+    process.exit(1);
+});

apps/api/src/scripts/fetch_hf_audio.py

@@ -0,0 +1,97 @@
+import os
+import json
+import base64
+import argparse
+from pathlib import Path
+try:
+    from datasets import load_dataset
+except ImportError:
+    import subprocess
+    import sys
+    subprocess.check_call([sys.executable, "-m", "pip", "install", "datasets==2.19.1", "soundfile", "librosa", "huggingface_hub"])
+    from datasets import load_dataset
+
+def main():
+    parser = argparse.ArgumentParser()
+    parser.add_argument("--output", required=True)
+    args = parser.parse_args()
+
+    # Create output directory
+    out_dir = Path(args.output)
+    out_dir.mkdir(parents=True, exist_ok=True)
+    
+    results = []
+    
+    # Check for token
+    token = os.environ.get("HF_TOKEN")
+    if not token:
+        print("⚠️ Warning: No HF_TOKEN found in environment. Common Voice 17.0 might fail because it is gated.", flush=True)
+
+    sources = [
+        {"name": "CommonVoice", "path": "mozilla-foundation/common_voice_17_0", "config": "wo", "split": "test", "limit": 25},
+        {"name": "FLEURS", "path": "google/fleurs", "config": "wo_sn", "split": "test", "limit": 25}
+    ]
+
+    for source in sources:
+        print(f"\n=> Loading {source['name']} ({source['path']} - {source['config']}) limit {source['limit']}...", flush=True)
+        try:
+            # We use streaming to avoid downloading the entire massive dataset
+            ds = load_dataset(source["path"], source["config"], split=source["split"], streaming=True, token=token, trust_remote_code=True)
+            
+            count = 0
+            for row in ds:
+                if count >= source["limit"]:
+                    break
+                
+                # Different dataset structures
+                audio_array = None
+                sampling_rate = None
+                original_text = ""
+                
+                if "audio" in row and row["audio"] is not None:
+                    audio_dict = row["audio"]
+                    if "array" in audio_dict:
+                        audio_array = audio_dict["array"]
+                        sampling_rate = audio_dict.get("sampling_rate", 16000)
+                
+                if "sentence" in row:
+                    original_text = row["sentence"]
+                elif "transcription" in row:
+                    original_text = row["transcription"]
+                elif "text" in row:
+                    original_text = row["text"]
+                elif "raw_transcription" in row:
+                    original_text = row["raw_transcription"]
+
+                if audio_array is not None:
+                    import soundfile as sf
+                    from io import BytesIO
+                    
+                    buf = BytesIO()
+                    sf.write(buf, audio_array, sampling_rate, format='WAV')
+                    wav_data = buf.getvalue()
+                    b64_audio = base64.b64encode(wav_data).decode('utf-8')
+                    
+                    results.append({
+                        "source": source["name"],
+                        "original_text": original_text,
+                        "audio_base64": b64_audio
+                    })
+                    count += 1
+                    if count % 5 == 0:
+                        print(f"Downloaded {count}/{source['limit']} from {source['name']}", flush=True)
+            
+            print(f"✅ Success for {source['name']}: {count} samples.", flush=True)
+            
+        except Exception as e:
+            print(f"❌ Failed to load {source['name']}: {str(e)}", flush=True)
+
+    # Save to JSON
+    out_file = out_dir / "hf_samples.json"
+    with open(out_file, "w") as f:
+        json.dump(results, f)
+    
+    print(f"\n🎉 Finished fetching. Saved {len(results)} total samples to {out_file}", flush=True)
+
+if __name__ == "__main__":
+    main()