Update modeling_whisper.py

modeling_whisper.py

@@ -831,6 +831,61 @@ class WhisperSSLEnsemble(PreTrainedModel):  # type: ignore
             logger.warning("         Text processing will be disabled due to load failure.")
 
         # В классе WhisperSSLEnsemble
+    # def _load_ssl_ensemble_if_needed(self):
+    #     # Если модель уже загружена или не нужна, выходим
+    #     if self.ssl_ensemble_model is not None or not self.predict_mode:
+    #         return
+    
+    #     logger.info("Lazily loading SSL Ensemble model...")
+    #     ssl_ensemble_config = self.config.ssl_ensemble_config
+    #     try:
+    #         # ШАГ 1: НАЙТИ ДИРЕКТОРИЮ, ГДЕ ЛЕЖАТ ВСЕ ФАЙЛЫ МОДЕЛИ
+    #         # Это самый важный и правильный шаг.
+    #         # __file__ - это путь к текущему файлу (modeling_whisper.py)
+    #         # os.path.dirname() получает директорию из этого пути.
+    #         model_dir = os.path.dirname(__file__)
+    
+    #         # ШАГ 2: ПОСТРОИТЬ АБСОЛЮТНЫЕ ПУТИ К ФАЙЛАМ ВЕСОВ
+    #         weak_learners_filename = ssl_ensemble_config["weak_learners_path"]
+    #         weak_learners_path = os.path.join(model_dir, weak_learners_filename)
+    
+    #         meta_learner_filename = ssl_ensemble_config["meta_learner_path"]
+    #         meta_learner_path = os.path.join(model_dir, meta_learner_filename)
+            
+    #         logger.info(f"Attempting to load weak learners from: {weak_learners_path}")
+    #         logger.info(f"Attempting to load meta learner from: {meta_learner_path}")
+    
+    #         # ШАГ 3: ЗАГРУЗИТЬ МОДЕЛИ ПО АБСОЛЮТНЫМ ПУТЯМ
+    #         weak_learners = WeakLearners(
+    #             audio_dim=ssl_ensemble_config["audio_dim"],
+    #             text_dim=ssl_ensemble_config["text_dim"],
+    #             device=self._target_device.type
+    #         )
+    #         if not weak_learners.load_fitted(weak_learners_path):
+    #              raise RuntimeError(f"Failed to load weak learners from {weak_learners_path}")
+    
+    #         meta_learner = StackingMetaLearner(
+    #             weak_output_dim=len(weak_learners.models),
+    #             hidden_dim=ssl_ensemble_config["hidden_dim"]
+    #         )
+    #         meta_learner.load_state_dict_from_file(meta_learner_path, device=self._target_device)
+    
+    #         # СОЗДАНИЕ ИТОГОВОЙ МОДЕЛИ АНСАМБЛЯ
+    #         self.ssl_ensemble_model = SSLEnsembleModel(
+    #             weak_learners=weak_learners,
+    #             stacking_meta_learner=meta_learner
+    #         )
+    #         self.ssl_ensemble_model.eval()
+            
+    #         logger.info(f"SSL Ensemble loaded successfully onto device {self._target_device}.")
+    
+    #     except Exception as e:
+    #         logger.error(f"Failed to lazily load SSL Ensemble model: {e}", exc_info=True)
+    #         self.predict_mode = False
+    #         logger.warning("         Prediction with SSL Ensemble will be disabled.")
+
+
+    # В классе WhisperSSLEnsemble
     def _load_ssl_ensemble_if_needed(self):
         # Если модель уже загружена или не нужна, выходим
         if self.ssl_ensemble_model is not None or not self.predict_mode:
@@ -838,31 +893,46 @@ class WhisperSSLEnsemble(PreTrainedModel):  # type: ignore
     
         logger.info("Lazily loading SSL Ensemble model...")
         ssl_ensemble_config = self.config.ssl_ensemble_config
-        try:
-            # ШАГ 1: НАЙТИ ДИРЕКТОРИЮ, ГДЕ ЛЕЖАТ ВСЕ ФАЙЛЫ МОДЕЛИ
-            # Это самый важный и правильный шаг.
-            # __file__ - это путь к текущему файлу (modeling_whisper.py)
-            # os.path.dirname() получает директорию из этого пути.
-            model_dir = os.path.dirname(__file__)
+        
+        # Получаем директорию, где лежат все файлы модели
+        model_dir = os.path.dirname(__file__)
+        
+        # Строим абсолютные пути к файлам, которые мы ищем
+        weak_learners_filename = ssl_ensemble_config["weak_learners_path"]
+        weak_learners_path = os.path.join(model_dir, weak_learners_filename)
     
-            # ШАГ 2: ПОСТРОИТЬ АБСОЛЮТНЫЕ ПУТИ К ФАЙЛАМ ВЕСОВ
-            weak_learners_filename = ssl_ensemble_config["weak_learners_path"]
-            weak_learners_path = os.path.join(model_dir, weak_learners_filename)
+        meta_learner_filename = ssl_ensemble_config["meta_learner_path"]
+        meta_learner_path = os.path.join(model_dir, meta_learner_filename)
+        
+        try:
+            # Улучшенная проверка на наличие файлов с отладкой
+            if not os.path.exists(weak_learners_path):
+                # Получаем список всех файлов в директории для отладки
+                files_in_dir = os.listdir(model_dir)
+                error_message = (
+                    f"Weak learners file not found at the expected path: {weak_learners_path}\n"
+                    f"Expected filename from config: '{weak_learners_filename}'\n"
+                    f"Files found in the model directory ('{model_dir}'):\n{files_in_dir}"
+                )
+                raise FileNotFoundError(error_message)
     
-            meta_learner_filename = ssl_ensemble_config["meta_learner_path"]
-            meta_learner_path = os.path.join(model_dir, meta_learner_filename)
-            
-            logger.info(f"Attempting to load weak learners from: {weak_learners_path}")
-            logger.info(f"Attempting to load meta learner from: {meta_learner_path}")
+            if not os.path.exists(meta_learner_path):
+                files_in_dir = os.listdir(model_dir)
+                error_message = (
+                    f"Meta learner file not found at the expected path: {meta_learner_path}\n"
+                    f"Expected filename from config: '{meta_learner_filename}'\n"
+                    f"Files found in the model directory ('{model_dir}'):\n{files_in_dir}"
+                )
+                raise FileNotFoundError(error_message)
     
-            # ШАГ 3: ЗАГРУЗИТЬ МОДЕЛИ ПО АБСОЛЮТНЫМ ПУТЯМ
+            # Если все проверки пройдены, загружаем модели
             weak_learners = WeakLearners(
                 audio_dim=ssl_ensemble_config["audio_dim"],
                 text_dim=ssl_ensemble_config["text_dim"],
                 device=self._target_device.type
             )
-            if not weak_learners.load_fitted(weak_learners_path):
-                 raise RuntimeError(f"Failed to load weak learners from {weak_learners_path}")
+            # load_fitted уже внутри себя печатает ошибку, но мы можем быть уверены, что файл есть
+            weak_learners.load_fitted(weak_learners_path)
     
             meta_learner = StackingMetaLearner(
                 weak_output_dim=len(weak_learners.models),
@@ -870,7 +940,7 @@ class WhisperSSLEnsemble(PreTrainedModel):  # type: ignore
             )
             meta_learner.load_state_dict_from_file(meta_learner_path, device=self._target_device)
     
-            # СОЗДАНИЕ ИТОГОВОЙ МОДЕЛИ АНСАМБЛЯ
+            # Создание итоговой модели ансамбля
             self.ssl_ensemble_model = SSLEnsembleModel(
                 weak_learners=weak_learners,
                 stacking_meta_learner=meta_learner
@@ -880,6 +950,7 @@ class WhisperSSLEnsemble(PreTrainedModel):  # type: ignore
             logger.info(f"SSL Ensemble loaded successfully onto device {self._target_device}.")
     
         except Exception as e:
+            # Этот блок теперь будет ловить наши детальные ошибки FileNotFoundError
             logger.error(f"Failed to lazily load SSL Ensemble model: {e}", exc_info=True)
             self.predict_mode = False
             logger.warning("         Prediction with SSL Ensemble will be disabled.")