Deploy from Achraf-cyber/hackton-locallang@e4d010ee5e0113719a38ea25d4ff0cc64b06b224

Dockerfile

@@ -8,12 +8,19 @@ WORKDIR /app
 COPY requirements.txt .
 RUN pip install --no-cache-dir -r requirements.txt
 
+# TTS_BACKEND_DYU=omnivoice : test de k2-fsa/OmniVoice pour le dioula (Qwen3
+# backbone + audio_tokenizer separe, pas de dependance fairseq2/omnilingual-asr
+# contrairement a l'ASR -- safe a installer meme dans ce Space translation-only.
+RUN pip install --no-cache-dir retrying xxhash omnivoice
+
 COPY . .
 
-# Space dedie a la traduction (facebook/nllb-200-3.3B, ~13 Go) : l'ASR/TTS
-# lourds (omnilingual-asr, omnivoice) sont geres dans un Space separe, voir
-# le prompt de migration. ASR_BACKEND/TTS_BACKEND_DYU restent sur leurs
-# defauts legers (Settings.local / mms).
+ENV TTS_BACKEND_DYU=omnivoice
+
+# Space dedie a la traduction (facebook/nllb-200-3.3B, ~13 Go) + test TTS
+# OmniVoice dyu. L'ASR lourd (omnilingual-asr/fairseq2) est gere dans un
+# Space separe, voir le prompt de migration. ASR_BACKEND reste sur son
+# defaut leger (Settings.local).
 
 EXPOSE 7860
 

Dockerfile.asr

@@ -0,0 +1,33 @@
+FROM python:3.11-slim
+
+RUN apt-get update && apt-get install -y --no-install-recommends ffmpeg \
+    && rm -rf /var/lib/apt/lists/*
+
+WORKDIR /app
+
+COPY requirements.txt .
+RUN pip install --no-cache-dir -r requirements.txt
+
+# ASR_BACKEND=omnilingual_llm (omniASR-LLM-7B, ~29 Go) : Linux uniquement
+# (fairseq2n n'a aucun wheel Windows, d'ou l'absence de ces paquets dans
+# requirements.txt) -- safe a installer ici car ce Space (dedie a l'ASR)
+# tourne toujours sous Linux, et n'a plus a partager sa RAM avec NLLB/TTS
+# (voir model-service/Dockerfile, le Space traduction separe).
+# torch/torchaudio doivent matcher EXACTEMENT le wheel fairseq2 prebuild
+# (voir requirements-omnilingual.txt) ; --no-deps evite que omnilingual-asr
+# ne re-resolve torch en variante CUDA par dessus.
+RUN pip install --no-cache-dir "torch==2.9.1" "torchaudio==2.9.1" \
+        --index-url https://download.pytorch.org/whl/cpu \
+    && pip install --no-cache-dir "fairseq2" \
+        --extra-index-url https://fair.pkg.atmeta.com/fairseq2/whl/pt2.9.1/cpu \
+        --trusted-host fair.pkg.atmeta.com \
+    && pip install --no-cache-dir omnilingual-asr --no-deps \
+    && pip install --no-cache-dir retrying xxhash
+
+COPY . .
+
+ENV ASR_BACKEND=omnilingual_llm
+
+EXPOSE 7860
+
+CMD ["uvicorn", "app.main_asr:app", "--host", "0.0.0.0", "--port", "7860"]

README.md

@@ -37,8 +37,21 @@ uvicorn app.main:app --reload --port 8000
 
 ## Deploiement sur Hugging Face Spaces
 
-Ce dossier est deploye comme un Space Docker (header YAML ci-dessus :
-`sdk: docker`, `app_port: 7860`), automatiquement a chaque push sur `main`
-via le workflow `.github/workflows/deploy-model-service.yml` (voir la racine
-du monorepo). Le Space lit `ALLOWED_ORIGINS` et `HF_TOKEN` depuis ses propres
-"Secrets" (Settings > Variables and secrets du Space), pas depuis ce repo.
+Ce dossier alimente DEUX Spaces Docker separes (16 Go de RAM chacun),
+synchronises automatiquement a chaque push sur `main` :
+
+- **Traduction + TTS** (`AchrafCyber/model-service`, header YAML ci-dessus :
+  `sdk: docker`, `app_port: 7860`, `Dockerfile`) : NLLB-200-3.3B + TTS
+  dyu/mos. Workflow : `.github/workflows/deploy-model-service.yml`.
+- **ASR** (`AchrafCyber/asr-service`, `Dockerfile.asr`, point d'entree
+  `app/main_asr.py`) : omniASR-LLM-7B (Meta Omnilingual ASR). Workflow :
+  `.github/workflows/deploy-asr-service.yml`, qui renomme `Dockerfile.asr`
+  en `Dockerfile` dans le Space cible (HF Spaces exige ce nom exact).
+
+Les deux workflows partagent le meme dossier source (`model-service/`) mais
+poussent vers deux repos Space distincts avec un `Dockerfile` different.
+Chaque Space lit ses propres "Secrets" (Settings > Variables and secrets du
+Space : `ALLOWED_ORIGINS`, `HF_TOKEN`), pas ce repo. Cote backend, l'URL du
+Space ASR se configure via `ASR_SERVICE_URL` (voir `backend/lib/env.ts`) ;
+si absente, `/transcribe` retombe sur `MODEL_SERVICE_URL` (mode "un seul
+Space", utile en local).

app/main_asr.py

@@ -0,0 +1,123 @@
+"""model-service-asr - FastAPI app dediee a l'ASR (Space separe du service de
+traduction/TTS, voir model-service/Dockerfile.asr).
+
+Lancement local :
+    uvicorn app.main_asr:app --reload --port 8001
+"""
+
+import logging
+import time
+import uuid
+from pathlib import Path
+from typing import Literal
+
+from fastapi import FastAPI, File, Form, UploadFile
+from fastapi.middleware.cors import CORSMiddleware
+from fastapi.responses import HTMLResponse
+from pydantic import BaseModel
+
+from app.deps import get_settings
+from app.services.asr import (
+    HF_API_MODEL_NAME,
+    MODEL_NAME as ASR_LOCAL_MODEL_NAME,
+    OMNILINGUAL_CTC_MODEL_CARD,
+    OMNILINGUAL_LLM_MODEL_CARD,
+    OMNILINGUAL_MODEL_CARD,
+    ASR,
+)
+
+logging.basicConfig(level=logging.INFO)
+logger = logging.getLogger("model-service-asr")
+
+settings = get_settings()
+
+MEDIA_DIR = Path(__file__).resolve().parent.parent / "media"
+MEDIA_DIR.mkdir(parents=True, exist_ok=True)
+
+app = FastAPI(
+    title="model-service-asr",
+    description="Expose l'ASR (dyu/mos/fra) - Space separe de la traduction/TTS.",
+)
+
+app.add_middleware(
+    CORSMiddleware,
+    allow_origins=settings.ALLOWED_ORIGINS,
+    allow_credentials=True,
+    allow_methods=["*"],
+    allow_headers=["*"],
+)
+
+
+class TranscribeResponse(BaseModel):
+    text: str
+
+
+_ASR_MODEL_NAMES = {
+    "local": ASR_LOCAL_MODEL_NAME,
+    "hf_api": HF_API_MODEL_NAME,
+    "omnilingual": f"facebook/{OMNILINGUAL_MODEL_CARD}",
+    "omnilingual_ctc": f"facebook/{OMNILINGUAL_CTC_MODEL_CARD}",
+    "omnilingual_llm": f"facebook/{OMNILINGUAL_LLM_MODEL_CARD}",
+}
+
+
+@app.get("/", response_class=HTMLResponse)
+def dashboard() -> str:
+    asr_loaded = "chargé" if ASR._instance is not None else "pas encore chargé (lazy)"
+    model_name = _ASR_MODEL_NAMES.get(settings.ASR_BACKEND, settings.ASR_BACKEND)
+    return f"""<!DOCTYPE html>
+<html lang="fr">
+<head>
+<meta charset="utf-8">
+<title>model-service-asr — état</title>
+<style>
+  body {{ font-family: system-ui, sans-serif; background: #0f172a; color: #e2e8f0; padding: 2rem; }}
+  h1 {{ font-size: 1.25rem; }}
+  table {{ border-collapse: collapse; width: 100%; max-width: 720px; margin-top: 1rem; }}
+  td {{ padding: 0.5rem 0.75rem; border-bottom: 1px solid #334155; }}
+  td:first-child {{ color: #94a3b8; white-space: nowrap; }}
+  code {{ color: #7dd3fc; }}
+  .ok {{ color: #4ade80; }}
+</style>
+</head>
+<body>
+  <h1>🩺 model-service-asr — <span class="ok">en ligne</span></h1>
+  <table>
+    <tr><td>Composant</td><td>Modèle actif</td><td>État</td></tr>
+    <tr><td>ASR (dyu/mos/fra)</td><td><code>{model_name}</code></td><td>{asr_loaded}</td></tr>
+  </table>
+  <p style="color:#64748b; margin-top:1.5rem;">
+    Config via la variable d'env ASR_BACKEND. Le modèle est chargé au premier appel
+    (singleton paresseux), donc "pas encore chargé" juste après un redémarrage est normal.
+  </p>
+</body>
+</html>"""
+
+
+@app.get("/health")
+def health() -> dict[str, str]:
+    return {"status": "ok"}
+
+
+@app.post("/transcribe", response_model=TranscribeResponse)
+async def transcribe(
+    file: UploadFile = File(...),
+    lang: Literal["dyu", "mos", "fra"] = Form(...),
+) -> TranscribeResponse:
+    start = time.perf_counter()
+
+    suffix = Path(file.filename or "audio").suffix or ".wav"
+    tmp_path = MEDIA_DIR / f"{uuid.uuid4()}{suffix}"
+    contents = await file.read()
+    tmp_path.write_bytes(contents)
+
+    try:
+        asr = ASR.get_instance()
+        text = asr.transcribe(str(tmp_path), lang)
+    finally:
+        tmp_path.unlink(missing_ok=True)
+
+    elapsed = time.perf_counter() - start
+    logger.info("POST /transcribe lang=%s duration=%.3fs", lang, elapsed)
+
+    return TranscribeResponse(text=text)

app/services/tts.py

@@ -40,6 +40,19 @@ _ACCENT_TRANSLATION = str.maketrans(
 _CONSONANT_FALLBACK = {"c": "k", "h": "", "j": "z", "q": "k", "x": "ks"}
 _CH_DIGRAPH_RE = re.compile(r"ch", re.IGNORECASE)
 
+# Convention administrative francophone : NOM en majuscules, Prenom en casse
+# normale (ex. "SIMBRE Achraf"). VITS (mms-tts) traite un mot tout en
+# majuscules comme une unite a part (sigle/acronyme) et marque une coupure
+# audible avant le mot suivant -- un nom de famille se retrouve alors detache
+# du prenom au lieu d'etre prononce comme un seul groupe. Les vrais sigles
+# sont deja proscrits en amont (MT_FRIENDLY_RULE, backend/lib/llm.ts) donc on
+# neutralise sans risque la casse de tout mot entierement en majuscules.
+_ALLCAPS_WORD_RE = re.compile(r"\b[A-ZÀ-Ö]{2,}\b")
+
+
+def _normalize_allcaps_names(text: str) -> str:
+    return _ALLCAPS_WORD_RE.sub(lambda m: m.group(0).capitalize(), text)
+
 
 class TTS:
     _instance = None
@@ -189,6 +202,7 @@ class TTS:
 
     def speak(self, text: str, lang: str, output_path: str) -> str:
         settings = get_settings()
+        text = _normalize_allcaps_names(text)
         if lang == "dyu" and settings.TTS_BACKEND_DYU == "omnivoice":
             try:
                 model = self._get_omnivoice_model()