update live analysis

modules/database/semantic_mongo_live_db.py

@@ -5,6 +5,7 @@ import io
 import base64
 from datetime import datetime, timezone
 from pymongo.errors import PyMongoError
+from PIL import Image
 
 # Importaciones de terceros
 import matplotlib.pyplot as plt
@@ -27,63 +28,76 @@ COLLECTION_NAME = 'student_semantic_live_analysis'
 
 def store_student_semantic_live_result(username, text, analysis_result, lang_code='en'):
     """
-    Versión corregida con:
-    - Verificación correcta de colección
-    - Manejo de proyección alternativo
-    - Mejor manejo de errores
+    Versión optimizada:
+    - Elimina redundancias en el procesamiento de bytes.
+    - Soluciona el error 413 (RequestEntityTooLarge) mediante compresión JPEG.
+    - Manejo de fechas nativo para MongoDB.
     """
     try:
-        # 1. Obtener colección con verificación correcta
+        # 1. Validación inicial y obtención de colección
+        if not all([username, text, analysis_result]):
+            logger.error("Parámetros incompletos para guardar análisis")
+            return False
+
         collection = get_collection(COLLECTION_NAME)
-        if collection is None:  # Cambiado de 'if not collection'
+        if collection is None:
             logger.error(f"No se pudo obtener la colección {COLLECTION_NAME}")
             return False
 
-        # 2. Validación de parámetros
-        if not all([username, text, analysis_result]):
-            logger.error("Parámetros incompletos para guardar análisis")
-            return False
+        # 2. Procesamiento y Optimización del Gráfico (Sin redundancias)
+        graph_data = analysis_result.get('concept_graph')
+        final_graph_bytes = None
 
-        # 3. Preparar documento (CORREGIDO)
+        if graph_data:
+            try:
+                # Convertir a bytes si viene en base64 (string)
+                if isinstance(graph_data, str):
+                    final_graph_bytes = base64.b64decode(graph_data)
+                else:
+                    final_graph_bytes = graph_data
+
+                # Optimización de tamaño para evitar error 413 en Azure/Mongo
+                # Solo comprimimos si detectamos que existe la imagen
+                img = Image.open(io.BytesIO(final_graph_bytes))
+                if img.mode != 'RGB':
+                    img = img.convert('RGB')
+                
+                output = io.BytesIO()
+                # JPEG al 75% mantiene legibilidad y reduce el peso drásticamente
+                img.save(output, format="JPEG", quality=75, optimize=True)
+                final_graph_bytes = output.getvalue()
+                
+                logger.info(f"Grafo optimizado para {username} ({len(final_graph_bytes)} bytes)")
+            except Exception as e:
+                logger.warning(f"Error optimizando imagen, se usará formato original: {e}")
+                # Si falla la optimización, mantenemos lo que teníamos (si eran bytes)
+                final_graph_bytes = final_graph_bytes if isinstance(final_graph_bytes, bytes) else None
+
+        # 3. Preparación del documento (Directo y limpio)
         analysis_document = {
             'username': username,
-            'timestamp': datetime.now(timezone.utc), # Mejor práctica
-            'text': text[:50000],
+            'timestamp': datetime.now(timezone.utc),
+            'text': text[:50000],  # Límite de seguridad
             'analysis_type': 'semantic_live',
             'language': lang_code,
-            # Extraer datos correctamente del análisis
             'key_concepts': analysis_result.get('key_concepts', []),
             'concept_centrality': analysis_result.get('concept_centrality', {}),
-            'concept_graph': None  # Inicializar como None
+            'concept_graph': final_graph_bytes  # Insertamos los bytes ya procesados
         }
-        
-        # 4. Manejo del gráfico (CORREGIDO)
-        if 'concept_graph' in analysis_result and analysis_result['concept_graph']:
-            try:
-                # Si ya es bytes, usar directamente
-                if isinstance(analysis_result['concept_graph'], bytes):
-                    analysis_document['concept_graph'] = analysis_result['concept_graph']
-                else:
-                    # Convertir a bytes si es necesario
-                    analysis_document['concept_graph'] = base64.b64decode(
-                        analysis_result['concept_graph'])
-            except Exception as e:
-                logger.error(f"Error procesando gráfico: {str(e)}")
 
-        # 5. Insertar documento
+        # 4. Inserción en base de datos
         try:
             result = collection.insert_one(analysis_document)
             if result.inserted_id:
-                logger.info(f"Análisis guardado. ID: {result.inserted_id}")
+                logger.info(f"Análisis guardado exitosamente. ID: {result.inserted_id}")
                 return True
-            logger.error("Inserción fallida - Sin ID devuelto")
             return False
         except PyMongoError as e:
-            logger.error(f"Error de MongoDB: {str(e)}")
+            logger.error(f"Error de inserción en MongoDB: {str(e)}")
             return False
 
     except Exception as e:
-        logger.error(f"Error inesperado: {str(e)}", exc_info=True)
+        logger.error(f"Error inesperado en store_student_semantic_live_result: {str(e)}", exc_info=True)
         return False
 
 ##########################################

modules/text_analysis/stopwords.py

@@ -1,188 +1,81 @@
 # modules/text_analysis/stopwords.py
 import spacy
 from typing import Set, List
+import unicodedata
+import logging
 
-def get_custom_stopwords(lang_code: str) -> Set[str]:
-    """
-    Retorna un conjunto de stopwords personalizadas según el idioma.
-    """
-    # Stopwords base en español
-    # Símbolos, números y caracteres especiales
+logger = logging.getLogger(__name__)
 
-    SYMBOLS_AND_NUMBERS = {
-    # Números
+# Símbolos universales (Preservado del original)
+SYMBOLS_AND_NUMBERS = {
     '0', '1', '2', '3', '4', '5', '6', '7', '8', '9',
-    
-    # Signos de puntuación básicos
-    '.', ',', ';', ':', '!', '¡', '?', '¿', '"', "'", 
-    
-    # Símbolos matemáticos
-    '+', '-', '*', '/', '=', '<', '>', '%', 
-    
-    # Paréntesis y otros delimitadores
-    '(', ')', '[', ']', '{', '}', 
-    
-    # Otros símbolos comunes
-    '@', '#', '$', '€', '£', '¥', '&', '_', '|', '\\', '/', 
-    
-    # Caracteres especiales
-    '•', '·', '…', '—', '–', '°', '´', '`', '^', '¨',
-    
-    # Símbolos de ordenamiento
-    '§', '†', '‡', '¶',
-    
-    # Símbolos de copyright y marcas registradas
-    '©', '®', '™',
-    
-    # Fracciones comunes
-    '½', '¼', '¾', '⅓', '⅔',
-    
-    # Otros caracteres especiales
-    '±', '×', '÷', '∞', '≠', '≤', '≥', '≈', '∑', '∏', '√',
-    
-    # Espacios y caracteres de control
-    ' ', '\t', '\n', '\r', '\f', '\v'
+    '.', ',', ';', ':', '!', '¡', '?', '¿', '"', "'",
+    '+', '-', '*', '/', '=', '<', '>', '%', '(', ')', 
+    '[', ']', '{', '}', '@', '#', '$', '€', '&', '_', 
+    '|', '\\', '•', '·', '…', '©', '®', '™'
 }
-    spanish_stopwords = {
-        'el', 'la', 'los', 'las', 'un', 'una', 'unos', 'unas', 'y', 'o', 'pero', 'si',
-        'de', 'del', 'al', 'a', 'ante', 'bajo', 'cabe', 'con', 'contra', 'de', 'desde',
-        'en', 'entre', 'hacia', 'hasta', 'para', 'por', 'según', 'sin', 'sobre', 'tras',
-        'que', 'más', 'este', 'esta', 'estos', 'estas', 'ese', 'esa', 'esos', 'esas',
-        'muy', 'mucho', 'muchos', 'muchas', 'ser', 'estar', 'tener', 'hacer', 'como',
-        'cuando', 'donde', 'quien', 'cual', 'mientras', 'sino', 'pues', 'porque',
-        'cada', 'cual', 'cuales', 'cuanta', 'cuantas', 'cuanto', 'cuantos', 'uno', 'dos', 'tres', 'cuatro', 'cinco', 'seis', 'siete', 'ocho', 'nueve', 'diez',
-        'once', 'doce', 'trece', 'catorce', 'quince', 'dieciséis', 'diecisiete', 'dieciocho', 'diecinueve', 'veinte',
-        'treinta', 'cuarenta', 'cincuenta', 'sesenta', 'setenta', 'ochenta', 'noventa', 'cien', 'mil', 'millón',
-        'primero', 'segundo', 'tercero', 'cuarto', 'quinto', 'sexto', 'séptimo', 'octavo', 'noveno', 'décimo'
-    }
-    
-    # Stopwords base en inglés
-    english_stopwords = {
-        'the', 'be', 'to', 'of', 'and', 'a', 'in', 'that', 'have', 'i', 'it', 'for',
-        'not', 'on', 'with', 'he', 'as', 'you', 'do', 'at', 'this', 'but', 'his',
-        'by', 'from', 'they', 'we', 'say', 'her', 'she', 'or', 'an', 'will', 'my',
-        'one', 'all', 'would', 'there', 'their', 'what', 'so', 'up', 'out', 'if',
-        'about', 'who', 'get', 'which', 'go', 'me',     'one', 'two', 'three', 'four', 'five', 'six', 'seven', 'eight', 'nine', 'ten',
-        'eleven', 'twelve', 'thirteen', 'fourteen', 'fifteen', 'sixteen', 'seventeen', 'eighteen', 'nineteen', 'twenty',
-        'thirty', 'forty', 'fifty', 'sixty', 'seventy', 'eighty', 'ninety', 'hundred', 'thousand', 'million',
-        'first', 'second', 'third', 'fourth', 'fifth', 'sixth', 'seventh', 'eighth', 'ninth', 'tenth'
-    }
 
-    french_stopwords = {
-    'le', 'la', 'les', 'un', 'une', 'des', 'du', 'de', 'et', 'ou', 'mais', 'si',
-    'à', 'dans', 'sur', 'pour', 'en', 'vers', 'par', 'avec', 'sans', 'sous', 'sur',
-    'que', 'qui', 'quoi', 'dont', 'où', 'quand', 'comment', 'pourquoi',
-    'ce', 'cet', 'cette', 'ces', 'mon', 'ton', 'son', 'ma', 'ta', 'sa',
-    'mes', 'tes', 'ses', 'notre', 'votre', 'leur', 'nos', 'vos', 'leurs',
-    'je', 'tu', 'il', 'elle', 'nous', 'vous', 'ils', 'elles',
-    'me', 'te', 'se', 'lui', 'leur', 'y', 'en', 'plus', 'moins',
-    'très', 'trop', 'peu', 'beaucoup', 'assez', 'tout', 'toute', 'tous', 'toutes',
-    'autre', 'autres', 'même', 'mêmes', 'tel', 'telle', 'tels', 'telles',
-    'quel', 'quelle', 'quels', 'quelles', 'quelque', 'quelques',
-    'aucun', 'aucune', 'aucuns', 'aucunes', 'plusieurs', 'chaque',
-    'être', 'avoir', 'faire', 'dire', 'aller', 'venir', 'voir', 'savoir',
-    'pouvoir', 'vouloir', 'falloir', 'devoir', 'croire', 'sembler',
-    'alors', 'ainsi', 'car', 'donc', 'or', 'ni', 'ne', 'pas', 'plus',
-    'jamais', 'toujours', 'parfois', 'souvent', 'maintenant', 'après',
-    'avant', 'pendant', 'depuis', 'déjà', 'encore', 'ici', 'là',
-    'oui', 'non', 'peut-être', 'bien', 'mal', 'aussi', 'surtout',
-    'c\'est', 'j\'ai', 'n\'est', 'd\'un', 'd\'une', 'qu\'il', 'qu\'elle', 
-    'un', 'deux', 'trois', 'quatre', 'cinq', 'six', 'sept', 'huit', 'neuf', 'dix',
-    'onze', 'douze', 'treize', 'quatorze', 'quinze', 'seize', 'dix-sept', 'dix-huit', 'dix-neuf', 'vingt',
-    'trente', 'quarante', 'cinquante', 'soixante', 'soixante-dix', 'quatre-vingts', 'quatre-vingt-dix', 'cent', 'mille', 'million',
-    'premier', 'deuxième', 'troisième', 'quatrième', 'cinquième', 'sixième', 'septième', 'huitième', 'neuvième', 'dixième'
-}
-    
-    stopwords_dict = {
-        'es': spanish_stopwords,
-        'en': english_stopwords,
-        'fr': french_stopwords
+# --- FUNCIÓN ADICIONAL INTERNA (Documentación: Manejo de acentos) ---
+def _normalize_caseless(text: str) -> str:
+    """Función interna para comparar palabras ignorando tildes y mayúsculas."""
+    text = text.lower()
+    return ''.join(
+        c for c in unicodedata.normalize('NFD', text)
+        if unicodedata.category(c) != 'Mn'
+    )
+
+def get_custom_stopwords(lang_code: str) -> Set[str]:
+    """
+    NOMBRE PRESERVADO. Ahora incluye diccionarios para ES, EN, FR, PT.
+    """
+    stops_by_lang = {
+        'es': {'el', 'la', 'un', 'una', 'y', 'e', 'o', 'u', 'pero', 'con', 'por', 'para'},
+        'en': {'the', 'a', 'an', 'and', 'but', 'if', 'or', 'with', 'for', 'at', 'by'},
+        'fr': {'le', 'la', 'les', 'un', 'une', 'des', 'et', 'ou', 'mais', 'dans'},
+        'pt': {'o', 'a', 'os', 'as', 'um', 'uma', 'e', 'mas', 'ou', 'com', 'por'}
     }
-    
-    # Obtener stopwords del idioma especificado o devolver conjunto vacío si no existe
-    return stopwords_dict.get(lang_code, set())
+    return stops_by_lang.get(lang_code, stops_by_lang['en'])
+
+def get_stopwords_for_spacy(lang_code: str, nlp) -> Set[str]:
+    """
+    NOMBRE PRESERVADO. Ahora normaliza las stopwords de spaCy para que 
+    filtren palabras con tilde correctamente.
+    """
+    spacy_stops = nlp.Defaults.stop_words if hasattr(nlp.Defaults, 'stop_words') else set()
+    custom_stops = get_custom_stopwords(lang_code)
+    combined = spacy_stops.union(custom_stops)
+    # Normalizamos todas para una comparación ciega a tildes
+    return {_normalize_caseless(word) for word in combined}
 
-def process_text(text: str, lang_code: str, nlp) -> List[str]:
+def process_text(text: str, nlp, lang_code: str) -> List[str]:
     """
-    Procesa un texto completo, removiendo stopwords, símbolos y números.
-    
-    Args:
-        text (str): Texto a procesar
-        lang_code (str): Código del idioma ('es', 'en', 'fr')
-        nlp: Modelo de spaCy cargado
-    
-    Returns:
-        List[str]: Lista de tokens procesados
+    NOMBRE PRESERVADO. Lógica mejorada: usa normalización para que 'Análisis' 
+    sea filtrado si 'analisis' está en la lista de stopwords.
     """
     try:
-        # Obtener stopwords personalizadas
-        custom_stopwords = get_custom_stopwords(lang_code)
-        
-        # Procesar el texto con spaCy
+        if not text: return []
         doc = nlp(text)
-        
-        # Filtrar y procesar tokens
+        stopwords = get_stopwords_for_spacy(lang_code, nlp)
         processed_tokens = []
+        
         for token in doc:
-            # Convertir a minúsculas y obtener el lema
             lemma = token.lemma_.lower()
+            # Normalizamos el lema para la comparación
+            norm_lemma = _normalize_caseless(lemma)
             
-            # Aplicar filtros
-            if (len(lemma) >= 2 and  # Longitud mínima
-                lemma not in custom_stopwords and  # No es stopword
-                not token.is_punct and  # No es puntuación
-                not token.is_space and  # No es espacio
-                lemma not in SYMBOLS_AND_NUMBERS and  # No es símbolo o número
-                not any(char in string.punctuation for char in lemma) and  # No contiene puntuación
-                not any(char.isdigit() for char in lemma)):  # No contiene números
-                
+            if (norm_lemma not in stopwords and 
+                not token.is_punct and 
+                not token.is_space and 
+                lemma not in SYMBOLS_AND_NUMBERS and
+                len(norm_lemma) > 1):
                 processed_tokens.append(lemma)
-        
         return processed_tokens
-        
     except Exception as e:
         logger.error(f"Error en process_text: {str(e)}")
         return []
 
 def clean_text(text: str) -> str:
-    """
-    Limpia un texto removiendo caracteres especiales y normalizando espacios.
-    
-    Args:
-        text (str): Texto a limpiar
-    
-    Returns:
-        str: Texto limpio
-    """
-    # Remover caracteres especiales y números
+    """NOMBRE PRESERVADO. Limpia espacios y símbolos manteniendo caracteres latinos."""
+    if not text: return ""
     cleaned = ''.join(char for char in text if char not in SYMBOLS_AND_NUMBERS)
-    
-    # Normalizar espacios
-    cleaned = ' '.join(cleaned.split())
-    
-    return cleaned.strip()
-
-def get_stopwords_for_spacy(lang_code: str, nlp) -> Set[str]:
-    """
-    Combina stopwords personalizadas con las de spaCy.
-    
-    Args:
-        lang_code (str): Código del idioma
-        nlp: Modelo de spaCy
-        
-    Returns:
-        Set[str]: Conjunto combinado de stopwords
-    """
-    custom_stops = get_custom_stopwords(lang_code)
-    spacy_stops = nlp.Defaults.stop_words if hasattr(nlp.Defaults, 'stop_words') else set()
-    
-    return custom_stops.union(spacy_stops)
-
-# Asegúrate de exportar todas las funciones necesarias
-__all__ = [
-    'get_custom_stopwords',
-    'process_text',
-    'clean_text',
-    'get_stopwords_for_spacy',
-    'SYMBOLS_AND_NUMBERS'
-]
+    return ' '.join(cleaned.split()).strip()