Update modules/database.py

modules/database.py

@@ -8,7 +8,7 @@ Banco de dados SQLite para Akira IA - COMPLETAMENTE ATUALIZADO
 ✅ Memória emocional BERT GoEmotions
 ✅ Backup e otimização automática
 ✅ ADAPTADO ao payload do index.js
-✅ NOVAS TABELAS: audio_transcricoes, grupo_contexto
+✅ NOVAS TABELAS: audio_transcricoes, grupo_contexto, embeddings
 ✅ NOVAS COLUNAS: tipo_mensagem, reply_info_json
 """
 import sqlite3
@@ -145,6 +145,7 @@ class Database:
                 except sqlite3.OperationalError:
                     pass  # Coluna já existe
 
+                # ÍNDICES (ATUALIZADO COM NOVA TABELA EMBEDDINGS)
                 indexes = [
                     "CREATE INDEX IF NOT EXISTS idx_mensagens_numero ON mensagens(numero, deletado)",
                     "CREATE INDEX IF NOT EXISTS idx_mensagens_contexto ON mensagens(contexto_id)",
@@ -160,7 +161,8 @@ class Database:
                     "CREATE INDEX IF NOT EXISTS idx_comandos_numero ON comandos_executados(numero, timestamp)",
                     "CREATE INDEX IF NOT EXISTS idx_reset_numero ON reset_log(numero, timestamp)",
                     "CREATE INDEX IF NOT EXISTS idx_audio_usuario ON audio_transcricoes(numero_usuario, sucesso)",
-                    "CREATE INDEX IF NOT EXISTS idx_grupo_contexto_id ON grupo_contexto(grupo_id, contexto_id)"
+                    "CREATE INDEX IF NOT EXISTS idx_grupo_contexto_id ON grupo_contexto(grupo_id, contexto_id)",
+                    "CREATE INDEX IF NOT EXISTS idx_embeddings_numero ON embeddings(numero, timestamp)"
                 ]
               
                 for idx_query in indexes:
@@ -361,6 +363,19 @@ class Database:
                     )
                 ''')
               
+                # NOVA TABELA: EMBEDDINGS (PARA BUSCA SEMÂNTICA)
+                c.execute('''
+                    CREATE TABLE IF NOT EXISTS embeddings (
+                        id INTEGER PRIMARY KEY AUTOINCREMENT,
+                        numero TEXT NOT NULL,
+                        texto TEXT NOT NULL,
+                        embedding BLOB NOT NULL,
+                        modelo TEXT DEFAULT 'MiniLM-L12-v2',
+                        hash_texto TEXT,
+                        timestamp DATETIME DEFAULT CURRENT_TIMESTAMP
+                    )
+                ''')
+              
                 conn.commit()
               
             logger.info("✅ Todas as tabelas criadas/verificadas (ADAPTADO)")
@@ -600,7 +615,7 @@ class Database:
                 "mensagens", "contexto", "transicoes_humor",
                 "girias_aprendidas", "training_examples",
                 "comandos_executados", "reset_log",
-                "audio_transcricoes", "grupo_contexto"
+                "audio_transcricoes", "grupo_contexto", "embeddings"
             ]
           
             for tabela in tabelas_para_resetar:
@@ -1147,6 +1162,107 @@ class Database:
             logger.error(f"Erro ao recuperar histórico de áudio: {e}")
             return []
 
+    # ================================================================
+    # NOVO MÉTODO: SALVAR EMBEDDINGS (RESOLVE O ERRO)
+    # ================================================================
+    def salvar_embedding(self, numero: str, texto: str, embedding: bytes) -> bool:
+        """
+        Salva embedding para busca semântica.
+        """
+        try:
+            if not embedding or len(embedding) == 0:
+                logger.warning(f"Embedding vazio para {numero}")
+                return False
+                
+            if len(embedding) > 1000000:  # Limite de 1MB
+                logger.warning(f"Embedding muito grande: {len(embedding)} bytes, truncando")
+                embedding = embedding[:1000000]
+            
+            # Cria hash do texto para evitar duplicatas
+            hash_texto = hashlib.md5(texto.encode()).hexdigest()
+            
+            # Verifica se já existe
+            result = self._execute_with_retry(
+                "SELECT 1 FROM embeddings WHERE numero = ? AND hash_texto = ?",
+                (str(numero).strip(), hash_texto),
+                fetch=True
+            )
+            
+            if result:
+                # Atualiza existente
+                self._execute_with_retry(
+                    """
+                    UPDATE embeddings 
+                    SET embedding = ?, timestamp = CURRENT_TIMESTAMP
+                    WHERE numero = ? AND hash_texto = ?
+                    """,
+                    (embedding, str(numero).strip(), hash_texto),
+                    commit=True,
+                    fetch=False
+                )
+                logger.debug(f"✅ Embedding atualizado: {numero}, texto: {texto[:50]}...")
+            else:
+                # Insere novo
+                self._execute_with_retry(
+                    """
+                    INSERT INTO embeddings
+                    (numero, texto, embedding, modelo, hash_texto)
+                    VALUES (?, ?, ?, ?, ?)
+                    """,
+                    (
+                        str(numero).strip(),
+                        texto[:1000],
+                        embedding,
+                        'MiniLM-L12-v2',
+                        hash_texto
+                    ),
+                    commit=True,
+                    fetch=False
+                )
+                logger.debug(f"✅ Embedding salvo: {numero}, tamanho: {len(embedding)} bytes, texto: {texto[:50]}...")
+            
+            return True
+            
+        except Exception as e:
+            logger.error(f"❌ Erro ao salvar embedding: {e}")
+            return False
+
+    # ================================================================
+    # MÉTODO PARA RECUPERAR EMBEDDINGS
+    # ================================================================
+    def recuperar_embeddings(self, numero: str, limite: int = 20) -> List[Dict]:
+        """Recupera embeddings do usuário"""
+        try:
+            results = self._execute_with_retry(
+                """
+                SELECT texto, embedding, modelo, timestamp
+                FROM embeddings
+                WHERE numero = ?
+                ORDER BY timestamp DESC
+                LIMIT ?
+                """,
+                (str(numero).strip(), limite),
+                fetch=True
+            )
+            
+            embeddings = []
+            for r in results:
+                try:
+                    embeddings.append({
+                        "texto": r[0],
+                        "embedding": r[1],  # bytes
+                        "modelo": r[2],
+                        "timestamp": r[3]
+                    })
+                except:
+                    continue
+            
+            return embeddings
+            
+        except Exception as e:
+            logger.error(f"Erro ao recuperar embeddings: {e}")
+            return []
+
     # ================================================================
     # MÉTODOS FALTANTES ADICIONADOS (RESOLVEM OS ERROS)
     # ================================================================
@@ -1317,11 +1433,20 @@ class Database:
             )
             girias_aprendidas = result[0][0] if result else 0
             
+            # Embeddings salvos
+            result = self._execute_with_retry(
+                "SELECT COUNT(*) FROM embeddings WHERE numero = ?",
+                (str(numero).strip(),),
+                fetch=True
+            )
+            embeddings_salvos = result[0][0] if result else 0
+            
             return {
                 "total_mensagens": total_mensagens,
                 "ultima_atividade": ultima_atividade,
                 "transicoes_humor": transicoes_humor,
                 "girias_aprendidas": girias_aprendidas,
+                "embeddings_salvos": embeddings_salvos,
                 "privilegiado": self.is_usuario_privilegiado(numero)
             }
             
@@ -1332,6 +1457,7 @@ class Database:
                 "ultima_atividade": None,
                 "transicoes_humor": 0,
                 "girias_aprendidas": 0,
+                "embeddings_salvos": 0,
                 "privilegiado": False
             }
     
@@ -1354,6 +1480,27 @@ class Database:
             logger.error(f"Erro ao limpar mensagens antigas: {e}")
             return 0
 
+    # ================================================================
+    # MÉTODO PARA LIMPAR EMBEDDINGS ANTIGOS
+    # ================================================================
+    def limpar_embeddings_antigos(self, dias: int = 90) -> int:
+        """Limpa embeddings antigos"""
+        try:
+            result = self._execute_with_retry(
+                """
+                DELETE FROM embeddings 
+                WHERE timestamp < datetime('now', ?)
+                """,
+                (f'-{dias} days',),
+                commit=True,
+                fetch=False
+            )
+            logger.info(f"🧹 Embeddings antigos ({dias} dias) limpos: {result} registros")
+            return result
+        except Exception as e:
+            logger.error(f"Erro ao limpar embeddings antigos: {e}")
+            return 0
+
     # ================================================================
     # FECHAMENTO SEGURO DA CONEXÃO
     # ================================================================