Update app.py

app.py

@@ -20,6 +20,9 @@ from transformers import BertTokenizer, BertModel
 import warnings
 warnings.filterwarnings('ignore')
 
+# ============================================================
+# Устанавливаем setuptools для pkg_resources
+# ============================================================
 try:
     import pkg_resources
     print("✅ pkg_resources уже установлен")
@@ -30,15 +33,6 @@ except ImportError:
     import pkg_resources
     print("✅ pkg_resources установлен")
 
-# Сохраняем ссылку на класс в глобальной области видимости
-_global_ontology_class = None
-
-def _register_ontology_class(cls):
-    """Регистрирует класс OntologyEmotionModel для pickle"""
-    import __main__
-    __main__.OntologyEmotionModel = cls
-    print(f"✅ Класс {cls.__name__} зарегистрирован в __main__")
-
 # Определяем устройство
 device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
 print(f"Используется устройство: {device}")
@@ -105,7 +99,6 @@ class EmotionBERT(nn.Module):
     def __init__(self, bert_model_name, num_classes, dropout=0.3):
         super().__init__()
         self.bert = BertModel.from_pretrained(bert_model_name)
-        # Замораживаем все слои кроме последних
         for p in list(self.bert.parameters())[:-50]:
             p.requires_grad = False
         hidden = self.bert.config.hidden_size
@@ -240,13 +233,11 @@ class OntologyEmotionModel:
         adj = rule_analysis['adjustments']
         rules = rule_analysis['rules_applied']
         
-        # Базовая корректировка
         conf_mult = 1.0 + adj['arousal'] * 0.2
         conf_mult = np.clip(conf_mult, 0.5, 1.5)
         new_confidence = original_confidence * conf_mult
         new_emotion = original_emotion
         
-        # Специальные правила
         for rule in rules:
             if rule.startswith("отрицания:"):
                 new_confidence *= 0.8
@@ -260,7 +251,6 @@ class OntologyEmotionModel:
     def get_ontology_analysis(self, text: str, model_prediction: Dict) -> Dict:
         rule_analysis = self.apply_linguistic_rules(text)
         adjusted = self.adjust_prediction_with_rules(model_prediction, rule_analysis)
-        
         return {
             'rule_analysis': rule_analysis,
             'adjusted_prediction': adjusted
@@ -321,7 +311,6 @@ class CascadeEmotionClassifier:
             'probabilities': lstm_probs[0].cpu().numpy().tolist()
         }
         
-        # Применяем онтологию к LSTM предсказанию
         lstm_onto = self.ontology_model.get_ontology_analysis(text_clean, lstm_pred_dict)
         lstm_adjusted = lstm_onto['adjusted_prediction']
         
@@ -330,7 +319,6 @@ class CascadeEmotionClassifier:
             final = lstm_adjusted
             used_model = "LSTM с онтологией"
         else:
-            # BERT prediction
             self.stats['bert'] += 1
             enc = self.tokenizer(
                 text_clean,
@@ -356,14 +344,12 @@ class CascadeEmotionClassifier:
                 'probabilities': bert_probs[0].cpu().numpy().tolist()
             }
             
-            # Применяем онтологию к BERT предсказанию
             bert_onto = self.ontology_model.get_ontology_analysis(text_clean, bert_pred_dict)
             bert_adjusted = bert_onto['adjusted_prediction']
             final = bert_adjusted
             used_model = "BERT с онтологией"
-            lstm_onto = bert_onto  # для единообразия
+            lstm_onto = bert_onto
         
-        # Формируем результат
         result = {
             'text': text,
             'text_clean': text_clean,
@@ -380,47 +366,41 @@ class CascadeEmotionClassifier:
             'lstm_confidence': float(lstm_conf.item()),
             'was_corrected': len(lstm_onto['rule_analysis']['rules_applied']) > 0
         }
-        
         return result
 
 # ============================================================
-# ⚠️ РЕГИСТРИРУЕМ КЛАСС ДЛЯ PICKLE ПОСЛЕ ЕГО ОПРЕДЕЛЕНИЯ
-# ============================================================
-_register_ontology_class(OntologyEmotionModel)
-
-# ============================================================
-# ЗАГРУЗКА МОДЕЛИ (исправленная версия)
+# ЗАГРУЗКА МОДЕЛИ
 # ============================================================
-# ===== ИСПРАВЛЕНО: загрузка онтологии с предварительной инициализацией pymorphy3 =====
-print("📂 Загрузка сохранённой онтологии...")
-try:
-    # Предварительно инициализируем pymorphy3, чтобы словари загрузились
-    test_morph = pymorphy3.MorphAnalyzer()
-    test_word = test_morph.parse('тест')[0]
-    print("✅ pymorphy3 инициализирован")
+def load_model():
+    print("Загрузка модели...")
+    model_dir = 'model'
     
-    # Убеждаемся, что класс доступен
-    import __main__
-    __main__.OntologyEmotionModel = OntologyEmotionModel
+    # Загружаем информацию о модели
+    with open(f'{model_dir}/model_info.json', 'r', encoding='utf-8') as f:
+        model_info = json.load(f)
     
-    # Загружаем онтологию
-    with open(f'{model_dir}/ontology_model.pkl', 'rb') as f:
-        ontology_model = pickle.load(f)
-    print("✅ Сохранённая онтология успешно загружена!")
+    # Загружаем vocab
+    with open(f'{model_dir}/vocab.json', 'r', encoding='utf-8') as f:
+        vocab = json.load(f)
     
-    # Проверяем статистику
-    if hasattr(ontology_model, 'get_statistics'):
-        stats = ontology_model.get_statistics()
-        print(f"📊 Статистика онтологии: узлов={stats.get('ontology_nodes', 0)}")
+    # Загружаем label encoder
+    with open(f'{model_dir}/label_encoder.pkl', 'rb') as f:
+        label_encoder = pickle.load(f)
+    
+    # Загружаем онтологию
+    print("📂 Загрузка сохранённой онтологии...")
+    try:
+        # Убеждаемся, что класс доступен
+        import __main__
+        __main__.OntologyEmotionModel = OntologyEmotionModel
         
-except Exception as e:
-    print(f"❌ Ошибка загрузки онтологии: {e}")
-    print("🔍 Подробности ошибки:")
-    import traceback
-    traceback.print_exc()
-    raise RuntimeError("Не удалось загрузить онтологию") from e
-# ============================================================
-    # ============================================================
+        # Загружаем онтологию
+        with open(f'{model_dir}/ontology_model.pkl', 'rb') as f:
+            ontology_model = pickle.load(f)
+        print("✅ Сохранённая онтология успешно загружена!")
+    except Exception as e:
+        print(f"❌ Ошибка загрузки онтологии: {e}")
+        raise RuntimeError("Не удалось загрузить онтологию") from e
     
     # Создаем и загружаем LSTM
     print("📂 Загрузка LSTM модели...")
@@ -474,11 +454,8 @@ except Exception as e:
 # FASTAPI ПРИЛОЖЕНИЕ
 # ============================================================
 app = FastAPI(title="Emotion Analysis with BERT and Ontology")
-
-# Настраиваем шаблоны
 templates = Jinja2Templates(directory="templates")
 
-# Глобальная переменная для модели
 classifier = None
 model_info = None
 
@@ -510,16 +487,14 @@ async def predict(text: str = Form(...)):
     try:
         result = classifier.predict(text)
         
-        # Форматируем правила для отображения
         rules_display = []
-        for rule in result['rules_applied'][:10]:  # Показываем не больше 10 правил
+        for rule in result['rules_applied'][:10]:
             if ':' in rule:
                 cat, val = rule.split(':', 1)
                 rules_display.append(f"<span class='rule-tag rule-{cat.strip()}'>{cat}: {val.strip()}</span>")
             else:
                 rules_display.append(f"<span class='rule-tag'>{rule}</span>")
         
-        # Форматируем вероятности
         probs_display = []
         for emotion, prob in result['class_probabilities'].items():
             percentage = prob * 100