Deploy from Achraf-cyber/hackton-locallang@79675fbb76599f38a4324ccb7534683839d2b910

Dockerfile

@@ -8,8 +8,27 @@ WORKDIR /app
 COPY requirements.txt .
 RUN pip install --no-cache-dir -r requirements.txt
 
+# ASR_BACKEND=omnilingual_llm (omniASR-LLM-7B) + TTS_BACKEND_DYU=omnivoice :
+# Linux uniquement (fairseq2n n'a aucun wheel Windows, d'ou l'absence de ces
+# paquets dans requirements.txt, installe aussi en local sous Windows) --
+# safe a installer ici car le Space tourne toujours sous Linux.
+# torch/torchaudio doivent matcher EXACTEMENT le wheel fairseq2 prebuild
+# (voir requirements-omnilingual.txt) ; --no-deps evite que omnilingual-asr
+# ne re-resolve torch en variante CUDA par dessus.
+RUN pip install --no-cache-dir "torch==2.9.1" "torchaudio==2.9.1" \
+        --index-url https://download.pytorch.org/whl/cpu \
+    && pip install --no-cache-dir "fairseq2" \
+        --extra-index-url https://fair.pkg.atmeta.com/fairseq2/whl/pt2.9.1/cpu \
+        --trusted-host fair.pkg.atmeta.com \
+    && pip install --no-cache-dir omnilingual-asr --no-deps \
+    && pip install --no-cache-dir retrying xxhash omnivoice
+
 COPY . .
 
+ENV ASR_BACKEND=omnilingual_llm
+ENV TRANSLATION_BACKEND=afrimt5
+ENV TTS_BACKEND_DYU=omnivoice
+
 EXPOSE 7860
 
 CMD ["uvicorn", "app.main:app", "--host", "0.0.0.0", "--port", "7860"]

app/deps.py

@@ -10,7 +10,7 @@ class Settings(BaseSettings):
     ALLOWED_ORIGINS: list[str] = ["*"]
 
     # Voir app/services/asr.py pour le detail des backends.
-    ASR_BACKEND: Literal["local", "hf_api", "omnilingual", "omnilingual_ctc"] = "local"
+    ASR_BACKEND: Literal["local", "hf_api", "omnilingual", "omnilingual_ctc", "omnilingual_llm"] = "local"
     TRANSLATION_BACKEND: Literal["nllb", "afrimt5"] = "nllb"
     TTS_BACKEND_DYU: Literal["mms", "omnivoice"] = "mms"
     HF_TOKEN: str | None = None

app/services/asr.py

@@ -10,12 +10,15 @@ Trois backends, choisis par Settings.ASR_BACKEND :
   utilise donc openai/whisper-large-v3 a la place, qui NE supporte PAS
   officiellement le Dioula ni le Moore (~99 langues entrainees, dyu/mos
   absentes) : fiable seulement pour lang="fra", best-effort pour dyu/mos.
-- "omnilingual" : Meta Omnilingual ASR (2025), couvre nativement dyu/mos
-  (verifie via lang_ids.py du modele). Necessite le paquet omnilingual-asr
-  (fairseq2 + fairseq2n), qui n'a AUCUN wheel Windows -- fonctionne
-  uniquement sous Linux/WSL. L'import est fait en lazy pour ne pas casser
-  les backends "local"/"hf_api" sur une machine Windows sans ce paquet.
-Le contrat de transcribe(audio_path, lang) est identique dans les trois cas.
+- "omnilingual" / "omnilingual_ctc" / "omnilingual_llm" : Meta Omnilingual ASR
+  (2025), couvre nativement dyu/mos (verifie via lang_ids.py du modele) --
+  respectivement omniASR_CTC_300M_v2, omniASR_CTC_1B, omniASR_LLM_7B (le plus
+  gros et le plus precis, utilise en prod -- voir model-service/Dockerfile).
+  Necessite le paquet omnilingual-asr (fairseq2 + fairseq2n), qui n'a AUCUN
+  wheel Windows -- fonctionne uniquement sous Linux/WSL. L'import est fait en
+  lazy pour ne pas casser les backends "local"/"hf_api" sur une machine
+  Windows sans ce paquet.
+Le contrat de transcribe(audio_path, lang) est identique dans tous les cas.
 """
 
 import logging
@@ -41,6 +44,7 @@ MMS_LANG_CODES = {
 
 OMNILINGUAL_MODEL_CARD = "omniASR_CTC_300M_v2"
 OMNILINGUAL_CTC_MODEL_CARD = "omniASR_CTC_1B"
+OMNILINGUAL_LLM_MODEL_CARD = "omniASR_LLM_7B"
 OMNILINGUAL_LANG_CODES = {
     "dyu": "dyu_Latn",
     "mos": "mos_Latn",
@@ -63,10 +67,14 @@ class ASR:
             self._client = InferenceClient(model=HF_API_MODEL_NAME, token=settings.HF_TOKEN)
             return
 
-        if self.backend in ("omnilingual", "omnilingual_ctc"):
+        if self.backend in ("omnilingual", "omnilingual_ctc", "omnilingual_llm"):
             from omnilingual_asr.models.inference.pipeline import ASRInferencePipeline
 
-            model_card = OMNILINGUAL_CTC_MODEL_CARD if self.backend == "omnilingual_ctc" else OMNILINGUAL_MODEL_CARD
+            model_card = {
+                "omnilingual": OMNILINGUAL_MODEL_CARD,
+                "omnilingual_ctc": OMNILINGUAL_CTC_MODEL_CARD,
+                "omnilingual_llm": OMNILINGUAL_LLM_MODEL_CARD,
+            }[self.backend]
             self._omni_pipeline = ASRInferencePipeline(model_card=model_card)
             return
 
@@ -133,7 +141,7 @@ class ASR:
         if self.backend == "hf_api":
             return self._transcribe_hf_api(audio_path, lang)
 
-        if self.backend in ("omnilingual", "omnilingual_ctc"):
+        if self.backend in ("omnilingual", "omnilingual_ctc", "omnilingual_llm"):
             return self._transcribe_omnilingual(audio_path, lang)
 
         self._set_lang(lang)