Upload folder using huggingface_hub

README.md

@@ -10,7 +10,7 @@ pipeline_tag: automatic-speech-recognition
 
 ### Описание
 
-**Borealis** - это наша первая ASR модель для русского языка
+**Borealis** - это наша первая ASR модель для русского языка. В этом репозитории представлен чекопинт, который видел примерно `7000` часов аудио на русском языке. Важным отличием от других моделей является то, что тут есть поддержка пунктуации в распознанных аудио. Арихитектура во много вдохновлена [Voxtral](https://mistral.ai/news/voxtral), но отличается в некоторых моментах
 
 
 
@@ -21,7 +21,7 @@ pipeline_tag: automatic-speech-recognition
 ```python
 from transformers import AutoModelForCausalLM, AutoTokenizer, AutoFeatureExtractor
 import torch
-
+import librosa
 
 model = AutoModelForCausalLM.from_pretrained("Vikhrmodels/Borealis", trust_remote_code=True)
 tokenizer = AutoTokenizer.from_pretrained("Vikhrmodels/Borealis")
@@ -55,4 +55,21 @@ with torch.inference_mode():
     transcript = model.generate(mel=mel, att_mask=att_mask, **generation_params)
 
 print(transcript)
-```
+```
+
+### Метрики модели 
+
+Ниже представлены замеры `Borealis` на фоне остальных открытых моделей, который поддерживают русский язык. Бенчмарк мы скоро выложим в открытый доступ
+
+
+| Модель | Средний WER | Средний CER | RuLS | CV 22.0 | Books | Speak | Sova |
+|---|---:|---:|---:|---:|---:|---:|---:|
+| Borealis | 6.95% | **2.44% 🏆** | 6.30% | 3.02% | **6.41% 🏆** | **1.98% 🏆** | 17.04% |
+| openai/whisper-large-v3 | 10.74% | — | 11.62% | 7.51% | 12.19% | 2.74% | 19.65% |
+| bond005/whisper-podlodka-turbo | 9.38% | — | 11.91% | 6.36% | 8.96% | 3.14% | 16.55% |
+| openai/whisper-large-v3-turbo | 11.30% | — | 11.88% | 8.17% | 13.29% | 2.80% | 20.37% |
+| bond005/whisper-large-v3-ru-podlodka | 10.76% | — | 10.24% | 7.80% | 10.31% | 3.23% | 22.21% |
+| nvidia/canary-1b-v2 | 13.52% | — | 20.16% | 9.12% | 11.45% | 4.97% | 21.89% |
+| VOSK-model-ru-0.42 | 11.30% | — | 12.06% | 11.87% | 10.80% | 2.61% | 19.15% |
+| GigaAM-ASR-V2-RNNT | **5.85% 🏆** | — | **5.24% 🏆** | **2.85% 🏆** | 8.06% | 3.08% | **10.01% 🏆** |
+| GigaAM-ASR-V2-CTC | 6.45% | — | 5.26% | 3.42% | 7.72% | 3.01% | 12.86% |

modeling_borealis.py

@@ -37,10 +37,6 @@ class BorealisForConditionalGeneration(PreTrainedModel, PyTorchModelHubMixin):
         self.llm = language_model
         self.tokenizer = tokenizer
         self.llm.resize_token_embeddings(len(tokenizer))
-        print("Pad token:", self.llm.config.pad_token_id)
-        print("EOS token:", self.llm.config.eos_token_id)
-        print("Tokenizer EOS token ID:", tokenizer.eos_token_id)
-        print("Tokenizer PAD token ID:", tokenizer.pad_token_id)
         self.downsample_factor = config.downsample_factor
         self.adapter = AudioLanguageAdapter(
             hidden_size=self.encoder.config.d_model * self.downsample_factor,
@@ -148,6 +144,11 @@ class BorealisForConditionalGeneration(PreTrainedModel, PyTorchModelHubMixin):
             return_dict=True,
         )
         return out.loss, out.logits
+    
+    def extract_assistant_content(text: str) -> str:
+        if "assistant\n" in text:
+            return text.split("assistant\n")[-1].strip()
+        return text.strip()
 
     @torch.no_grad()
     def generate(
@@ -233,6 +234,9 @@ class BorealisForConditionalGeneration(PreTrainedModel, PyTorchModelHubMixin):
             return gen_ids[0] if single else gen_ids
         else:
             txt = self.tokenizer.batch_decode(gen_ids, skip_special_tokens=True)
+
+            txt = [self.extract_assistant_content(t) for t in txt]
+
             return txt[0] if single else txt
 
     def save_pretrained(self, save_directory, **kwargs):