HF endpoints dokumentation

README.md

@@ -60,4 +60,11 @@ For at teste hastighed, er der kørt på følgende længder lyd, hvor CER og WER
 - 10 minutter
 - 30 minutter
 
-![Hastighed](./duration_plot.png)
+![Hastighed](./duration_plot.png)
+
+
+## Deployment
+
+Hviske-tiske kan deployes som andre faster-whisper modeller, men en hurtig måde at komme i luften på er at lave et lille Hugging Face Inference Endpoint med en lille GPU T4 instans og pege den denne model.
+
+Se hvordan her: [huggingface_endpoint.md](huggingface_endpoint.md)

huggingface_endpoint.md

@@ -0,0 +1,117 @@
+# Deploy til Hugging Face Inference Endpoints
+
+For at deploye til Huggingface [Inference Endpoints](https://endpoints.huggingface.co/) er der lavet en `handler.py` der kalder ned i modellen.
+
+Den er skræddersyet til at håndtere et subset af Faster Whisper parametre, der føres videre ned i modellens `transcribe()` funktion.
+
+## Tilføj Environment variable
+
+For at de installerede `ctranslate2` og `faster-whisper` moduler kan resolve de rigtige NVidia CUBLASS og CUDNN libraries, skal man på sit inference endpoint justere en path:
+
+**`LD_LIBRARY_PATH`** skal pege på den rigtige placering af cudnn og cublass pakkerne, ellers får man underlige fejl
+
+**`CUDA_VISIBLE_DEVICES`** skal pege på GPUens device id, pt `0`
+
+**`LOG_DIAGNOSTICS`** hvis man gerne vil have dumpet sine environment diagnostics
+
+I handlerens `init()` logges der således installerede pip-pakker og environmentvariable i containeren, som man kan bruge til at fejlfinde, hvis der sker ændringer til Huggingface inference endpoint containers, der får ting til at gå i stykker.
+
+I env format:
+
+```env file=.env
+LD_LIBRARY_PATH=/usr/local/lib/python3.11/dist-packages/nvidia/cublas/lib:/usr/local/lib/python3.11/dist-packages/nvidia/cudnn/lib
+CUDA_VISIBLE_DEVICES=0
+LOG_DIAGNOSTICS=true
+```
+
+## Test mod deployet endpoint
+
+Der er et par test scripts man kan bruge til hurtigt at teste sit endpoint med.
+
+Du skal bruge
+
+- Et hugging face access token med read access til dine ressourcer (put det i `HF_TOKEN` environment variabel)
+- En endpoint url (put den i `HF_ENDPOINT` environment variabel)
+
+### `hf_endpoint_client.py` (Python)
+
+Du kan teste mod det deployede endpoint ved at bruge `hf_endpoint_client.py` scriptet i `/tests/` folderen.
+
+Kopier `.env.example` til `.env` og juster hf endpoint og token.
+
+Placer en 16kz mono wav fil i folderen.
+
+Så kan du køre den.
+
+```bash
+python -m venv venv
+
+# hvis windows
+./venv/scripts/activate
+# ellers
+source ./venv/scripts/activate.sh
+
+
+pip install -r requirements.
+
+# hvis du ikkke er i 16000 hz
+python hf_endpoint_client.py convert ./myfile.wav
+
+# transcribe
+python hf_endpoint_client.py transcribe ./my16khzfile.wav
+
+```
+
+### `hf_endpoint_client.js` (Javascript/Node)
+
+Ovenstående er også konverteret til et javacript script, der har den fordel at du kun skal have NodeJS installeret.
+
+Hvis du har dine environment variable på plads kan du køre
+
+```bash
+node.exe .\hf_endpoint_client.js transcribe .\graakrkagen_16k.wav
+```
+
+Og få et resultat i stil med
+
+```text
+Også indbyrdes forskelle mellem gråkravers og sortkravers stemmer blev registreret i den italienske overgangszone.
+```
+
+Og desuden et logdump til en txt-fil der indeholder noget i stil med dette:
+
+```text
+----- PARAMETERS -----
+{
+  "word_timestamps": false,
+  "temperature": [
+    0,
+    0.1,
+    0.3,
+    0.5,
+    0.7,
+    0.9,
+    1
+  ],
+  "repetition_penalty": 1.2,
+  "log_prob_threshold": -1
+}
+----- RESULT -----
+{
+  "text": " Også indbyrdes forskelle mellem gråkravers og sortkravers stemmer blev registreret i den italienske overgangszone.",
+  "segments": [
+    {
+      "id": 1,
+      "text": " Også indbyrdes forskelle mellem gråkravers og sortkravers stemmer blev registreret i den italienske overgangszone.",
+      "start": 0,
+      "end": 9.56,
+      "temperature": 0,
+      "avg_logprob": -0.11523437630385161,
+      "compression_ratio": 1.1717171717171717,
+      "no_speech_prob": 0.0006575584411621094
+    }
+  ],
+  "language": "da",
+  "language_probability": 1
+}
+```