Update app.py

app.py

@@ -1,11 +1,17 @@
 # ==============================================================================
-#  API de Análise de Textos com FastAPI (VERSÃO DEFINITIVA)
-# Arquivo: app.py
-# Backend para o AetherMap by Strand DataOps
+#  API de Análise de Textos com FastAPI — VERSÃO PROFISSIONAL
+#  Totalmente reescrita para estabilidade, paralelismo seguro e isolamento.
 # ==============================================================================
-import streamlit as st # Usado apenas por seu excelente e conveniente mecanismo de cache!
+
 import numpy as np
 import pandas as pd
+import torch
+import gc
+
+from fastapi import FastAPI, UploadFile, File, Form, HTTPException
+from typing import List, Dict, Any
+from functools import lru_cache
+
 from sentence_transformers import SentenceTransformer
 import umap
 import hdbscan
@@ -13,131 +19,245 @@ from sklearn.preprocessing import StandardScaler
 from sklearn.metrics.pairwise import cosine_similarity
 from sklearn.feature_extraction.text import CountVectorizer, TfidfVectorizer
 from scipy.stats import entropy
-import torch
-import gc
-from fastapi import FastAPI, UploadFile, File, Form, HTTPException
-from typing import Dict, Any, List
 
-# ================================
-# CONFIGURAÇÕES E CONSTANTES
-# ================================
-DEFAULT_MODEL = 'all-MiniLM-L6-v2'
+# ==============================================================================
+# CONFIGURAÇÕES GERAIS
+# ==============================================================================
+DEFAULT_MODEL = "all-MiniLM-L6-v2"
 BATCH_SIZE = 256
 UMAP_N_NEIGHBORS = 30
 HDBSCAN_MIN_SIZE = 50
-STOP_WORDS_PT = ['de', 'a', 'o', 'que', 'e', 'do', 'da', 'em', 'um', 'para', 'é', 'com', 'não', 'uma', 'os', 'no', 'se', 'na', 'por', 'mais', 'as', 'dos', 'como', 'mas', 'foi', 'ao', 'ele', 'das', 'tem', 'à', 'seu', 'sua', 'ou', 'ser', 'quando', 'muito', 'há', 'nos', 'já', 'está', 'eu', 'também', 'só', 'pelo', 'pela', 'até', 'isso', 'ela', 'entre', 'era', 'depois', 'sem', 'mesmo', 'aos', 'ter', 'seus', 'quem', 'nas', 'me', 'esse', 'eles', 'estão', 'você', 'tinha', 'foram', 'essa', 'num', 'nem', 'suas', 'meu', 'às', 'minha', 'numa', 'pelos', 'elas', 'havia', 'seja', 'qual', 'será', 'nós', 'tenho', 'lhe', 'deles', 'essas', 'esses', 'pelas', 'este', 'fosse', 'dele', 'tu', 'te', 'vocês', 'vos', 'lhes', 'meus', 'minhas', 'teu', 'tua', 'teus', 'tuas', 'nosso', 'nossa', 'nossos', 'nossas', 'dela', 'delas', 'esta', 'estes', 'estas', 'aquele', 'aquela', 'aqueles', 'aquelas', 'isto', 'aquilo', 'estou', 'está', 'estamos', 'estão', 'estive', 'esteve', 'estivemos', 'estiveram', 'estava', 'estávamos', 'estavam', 'estivera', 'estivéramos', 'esteja', 'estejamos', 'estejam', 'estivesse', 'estivéssemos', 'estivessem', 'estiver', 'estivermos', 'estiverem', 'hei', 'há', 'havemos', 'hão', 'houve', 'houvemos', 'houveram', 'houvera', 'houvéramos', 'haja', 'hajamos', 'hajam', 'houvesse', 'houvéssemos', 'houvessem', 'houver', 'houvermos', 'houverem', 'houverei', 'houverá', 'houveremos', 'houverão', 'houveria', 'houveríamos', 'houveriam', 'sou', 'somos', 'são', 'era', 'éramos', 'eram', 'fui', 'foi', 'fomos', 'foram', 'fora', 'fôramos', 'seja', 'sejamos', 'sejam', 'fosse', 'fôssemos', 'fossem', 'for', 'formos', 'forem', 'serei', 'será', 'seremos', 'serão', 'seria', 'seríamos', 'seriam', 'tenho', 'tem', 'temos', 'tém', 'tinha', 'tínhamos', 'tinham', 'tive', 'teve', 'tivemos', 'tiveram', 'tivera', 'tivéramos', 'tenha', 'tenhamos', 'tenham', 'tivesse', 'tivéssemos', 'tivessem', 'tiver', 'tivermos', 'tiverem', 'terei', 'terá', 'teremos', 'terão', 'teria', 'teríamos', 'teriam', 'dá', 'pergunta', 'resposta']
 
-# ================================
-# LÓGICA DE PROCESSAMENTO (Nossas funções, agora sem interface)
-# ================================
+STOP_WORDS_PT = [
+    'de','a','o','que','e','do','da','em','um','para','é','com','não','uma','os','no',
+    'se','na','por','mais','as','dos','como','mas','foi','ao','ele','das','tem','à',
+    'seu','sua','ou','ser','quando','muito','há','nos','já','está','eu','também','só',
+    'pelo','pela','até','isso','ela','entre','era','depois','sem','mesmo','aos','ter',
+    'seus','quem','nas','me','esse','eles','estão','você','tinha','foram','essa','num',
+    'nem','suas','meu','às','minha','numa','pelos','elas','havia','seja','qual','será',
+    'nós','tenho','lhe','deles','essas','esses','pelas','este','fosse','dele','tu','te',
+    'vocês','vos','lhes','meus','minhas','teu','tua','teus','tuas','nosso','nossa',
+    'nossos','nossas','dela','delas','esta','estes','estas','aquele','aquela','aqueles',
+    'aquelas','isto','aquilo','estou','está','estamos','estão','estive','esteve',
+    'estivemos','estiveram','estava','estávamos','estavam','estivera','estivéramos',
+    'esteja','estejamos','estejam','estivesse','estivéssemos','estivessem','estiver',
+    'estivermos','estiverem','hei','há','havemos','hão','houve','houvemos','houveram',
+    'houvera','houvéramos','haja','hajamos','hajam','houvesse','houvéssemos','houvessem',
+    'houver','houvermos','houverem','houverei','houverá','houveremos','houverão',
+    'houveria','houveríamos','houveriam','sou','somos','são','era','éramos','eram',
+    'fui','foi','fomos','foram','fora','fôramos','seja','sejamos','sejam','fosse',
+    'fôssemos','fossem','for','formos','forem','serei','será','seremos','serão','seria',
+    'seríamos','seriam','tenho','tem','temos','tém','tinha','tínhamos','tinham','tive',
+    'teve','tivemos','tiveram','tivera','tivéramos','tenha','tenhamos','tenham',
+    'tivesse','tivéssemos','tivessem','tiver','tivermos','tiverem','terei','terá',
+    'teremos','terão','teria','teríamos','teriam','dá','pergunta','resposta'
+]
+
+# ==============================================================================
+# MODELO — Carregado uma vez e reaproveitado (seguro e imutável)
+# ==============================================================================
 
-@st.cache_resource
+@lru_cache(maxsize=1)
 def load_model():
     device = "cuda" if torch.cuda.is_available() else "cpu"
-    print(f"Carregando modelo para o dispositivo: {device}")
-    model = SentenceTransformer(DEFAULT_MODEL, device=device)
-    return model
-
-@st.cache_data
-def process_data_pipeline(file_bytes, n_samples):
-    print("Iniciando o pipeline de processamento de dados...")
-    lines = file_bytes.decode('utf-8').splitlines()
-    _texts = [s for line in lines if (s := line.strip()) and len(s.split()) > 3][:n_samples]
-    if not _texts: return None, None
+    print(f"[MODEL] Carregando modelo '{DEFAULT_MODEL}' em: {device}")
+    return SentenceTransformer(DEFAULT_MODEL, device=device)
+
+
+# ==============================================================================
+# FUNÇÃO: Preparar textos
+# ==============================================================================
+
+def preparar_textos(file_bytes: bytes, n_samples: int) -> List[str]:
+    linhas = file_bytes.decode("utf-8", errors="ignore").splitlines()
+    textos = [s for line in linhas if (s := line.strip()) and len(s.split()) > 3]
+    return textos[:n_samples]
+
+
+# ==============================================================================
+# FUNÇÃO: Pipeline principal (um por requisição, seguro)
+# ==============================================================================
+
+def processar_pipeline(textos: List[str]) -> (pd.DataFrame, np.ndarray):
+    print(f"[PIPELINE] Iniciando pipeline para {len(textos)} textos...")
+
     model = load_model()
-    print("Gerando embeddings...")
-    embeddings = model.encode(_texts, batch_size=BATCH_SIZE, show_progress_bar=False, convert_to_numpy=True)
-    print("Reduzindo dimensionalidade com UMAP...")
-    reducer = umap.UMAP(n_components=3, n_neighbors=UMAP_N_NEIGHBORS, min_dist=0.0, metric='cosine', random_state=42)
-    embedding_3d = reducer.fit_transform(embeddings)
-    embedding_3d = StandardScaler().fit_transform(embedding_3d)
-    print("Clusterizando com HDBSCAN...")
+
+    # Embeddings
+    print("[PIPELINE] Gerando embeddings...")
+    embeddings = model.encode(
+        textos,
+        batch_size=BATCH_SIZE,
+        show_progress_bar=False,
+        convert_to_numpy=True
+    )
+
+    # UMAP
+    print("[PIPELINE] Reduzindo dimensionalidade com UMAP...")
+    reducer = umap.UMAP(
+        n_components=3,
+        n_neighbors=UMAP_N_NEIGHBORS,
+        min_dist=0.0,
+        metric="cosine",
+        random_state=42
+    )
+    emb_3d = reducer.fit_transform(embeddings)
+
+    # Normalize
+    emb_3d = StandardScaler().fit_transform(emb_3d)
+
+    # HDBSCAN
+    print("[PIPELINE] Clusterizando com HDBSCAN...")
     clusterer = hdbscan.HDBSCAN(min_cluster_size=HDBSCAN_MIN_SIZE)
-    clusters = clusterer.fit_predict(embedding_3d)
-    print("Montando o DataFrame final...")
-    df = pd.DataFrame({'x': embedding_3d[:, 0], 'y': embedding_3d[:, 1], 'z': embedding_3d[:, 2], 'full_text': _texts, 'cluster': clusters.astype(str)})
-    del reducer, clusterer, embedding_3d
+    clusters = clusterer.fit_predict(emb_3d)
+
+    df = pd.DataFrame({
+        "x": emb_3d[:, 0],
+        "y": emb_3d[:, 1],
+        "z": emb_3d[:, 2],
+        "full_text": textos,
+        "cluster": clusters.astype(str)
+    })
+
+    del reducer, clusterer, emb_3d
     gc.collect()
-    print("Pipeline de processamento de dados concluído.")
+
     return df, embeddings
 
-@st.cache_data
-def calcular_metricas_globais_api(_texts: List[str]) -> Dict[str, Any]:
-    print("Calculando métricas globais...")
+
+# ==============================================================================
+# FUNÇÃO: Métricas globais do corpus
+# ==============================================================================
+
+def calcular_metricas(textos: List[str]) -> Dict[str, Any]:
+    print("[METRICAS] Calculando métricas globais...")
+
+    # Riqueza lexical
     try:
-        vectorizer_count = CountVectorizer(stop_words=STOP_WORDS_PT, max_features=20000).fit(_texts)
-        riqueza_lexical = len(vectorizer_count.get_feature_names_out())
-    except ValueError: riqueza_lexical = 0
+        vectorizer_count = CountVectorizer(stop_words=STOP_WORDS_PT, max_features=20000)
+        vectorizer_count.fit(textos)
+        riqueza = len(vectorizer_count.get_feature_names_out())
+    except ValueError:
+        riqueza = 0
+
+    # TF-IDF
     try:
-        vectorizer_tfidf = TfidfVectorizer(stop_words=STOP_WORDS_PT, max_features=20000).fit(_texts)
-        tfidf_matrix, vocab = vectorizer_tfidf.transform(_texts), vectorizer_tfidf.get_feature_names_out()
-        soma_tfidf, indices_top_tfidf = tfidf_matrix.sum(axis=0).A1, np.argsort(tfidf_matrix.sum(axis=0).A1)[-10:][::-1]
-        palavras_relevantes = [vocab[i] for i in indices_top_tfidf]
-    except ValueError: palavras_relevantes = []
+        vectorizer_tfidf = TfidfVectorizer(stop_words=STOP_WORDS_PT, max_features=20000)
+        tfidf_matrix = vectorizer_tfidf.fit_transform(textos)
+        vocab = vectorizer_tfidf.get_feature_names_out()
+
+        soma = tfidf_matrix.sum(axis=0).A1
+        top_idx = np.argsort(soma)[-10:][::-1]
+        palavras_relevantes = [vocab[i] for i in top_idx]
+    except ValueError:
+        palavras_relevantes = []
+
+    # Entropia
     try:
-        contagens_palavras = np.array(vectorizer_count.transform(_texts).sum(axis=0)).flatten()
-        entropia_corpus = entropy(contagens_palavras / np.sum(contagens_palavras), base=2)
-    except (ValueError, ZeroDivisionError): entropia_corpus = 0.0
-    return {"riqueza_lexical": int(riqueza_lexical), "palavras_relevantes": palavras_relevantes, "entropia": float(entropia_corpus)}
-
-@st.cache_data
-def encontrar_duplicados_api(_df: pd.DataFrame, _embeddings: np.ndarray, similaridade_minima: float = 0.98) -> Dict[str, Any]:
-    print("Procurando por duplicados...")
-    duplicados_exatos_mask = _df['full_text'].duplicated(keep=False)
-    df_duplicados_exatos = _df[duplicados_exatos_mask].copy()
+        contagens = vectorizer_count.transform(textos).sum(axis=0).A1
+        ent = entropy(contagens / contagens.sum(), base=2)
+    except Exception:
+        ent = 0.0
+
+    return {
+        "riqueza_lexical": int(riqueza),
+        "palavras_relevantes": palavras_relevantes,
+        "entropia": float(ent)
+    }
+
+
+# ==============================================================================
+# FUNÇÃO: Duplicados exatos e semânticos
+# ==============================================================================
+
+def encontrar_duplicados(df: pd.DataFrame, embeddings: np.ndarray) -> Dict[str, Any]:
+    print("[DUPLICADOS] Detectando duplicados...")
+
+    # Duplicados exatos
+    mask = df["full_text"].duplicated(keep=False)
+    df_dup = df[mask]
+
     grupos_exatos = {}
-    if not df_duplicados_exatos.empty:
-        grupos_exatos = {text: [int(i) for i in indices] for text, indices in df_duplicados_exatos.groupby('full_text').groups.items()}
+    if not df_dup.empty:
+        grupos_exatos = {
+            texto: [int(i) for i in indices]
+            for texto, indices in df_dup.groupby("full_text").groups.items()
+        }
+
+    # Duplicados semânticos (limite)
     pares_semanticos = []
-    limite_semantico = 5000 
-    if len(_embeddings) < limite_semantico:
-        sim_matrix = cosine_similarity(_embeddings)
-        indices_superiores = np.triu_indices_from(sim_matrix, k=1)
-        pares_altamente_similares = sim_matrix[indices_superiores] > similaridade_minima
-        indices_pares = np.where(pares_altamente_similares)[0]
-        for i in indices_pares:
-            idx1, idx2 = indices_superiores[0][i], indices_superiores[1][i]
-            if _df['full_text'].iloc[int(idx1)] != _df['full_text'].iloc[int(idx2)]:
-                pares_semanticos.append({'doc1_idx': int(idx1), 'doc2_idx': int(idx2), 'similaridade': float(sim_matrix[int(idx1), int(idx2)]), 'texto1': _df['full_text'].iloc[int(idx1)], 'texto2': _df['full_text'].iloc[int(idx2)]})
-    return {"grupos_exatos": grupos_exatos, "pares_semanticos": pares_semanticos}
-
-# ================================
-# DEFINIÇÃO DA API COM FASTAPI
-# ================================
-app = FastAPI(title="API do AetherMap by Strand DataOps", version="1.1.0")
-
-@app.post("/process/", summary="Processa e Analisa um Arquivo de Texto")
-async def process_text_file(n_samples: int = Form(10000), file: UploadFile = File(...)):
-    print(f"Recebida requisição para processar {n_samples} amostras do arquivo: {file.filename}")
+    limite = 5000
+
+    if len(embeddings) < limite:
+        sim = cosine_similarity(embeddings)
+        triu = np.triu_indices_from(sim, k=1)
+        pares = np.where(sim[triu] > 0.98)[0]
+
+        for i in pares:
+            idx1, idx2 = triu[0][i], triu[1][i]
+            if df["full_text"].iloc[idx1] != df["full_text"].iloc[idx2]:
+                pares_semanticos.append({
+                    "doc1_idx": int(idx1),
+                    "doc2_idx": int(idx2),
+                    "similaridade": float(sim[idx1, idx2]),
+                    "texto1": df["full_text"].iloc[idx1],
+                    "texto2": df["full_text"].iloc[idx2],
+                })
+
+    return {
+        "grupos_exatos": grupos_exatos,
+        "pares_semanticos": pares_semanticos
+    }
+
+
+# ==============================================================================
+# FASTAPI — DEFINIÇÃO DA API
+# ==============================================================================
+
+app = FastAPI(
+    title="API do AetherMap (Versão Profissional)",
+    version="2.0.0",
+)
+
+@app.post("/process/")
+async def process_api(
+    n_samples: int = Form(10000),
+    file: UploadFile = File(...)
+):
+    print(f"[API] Requisição recebida para {file.filename} ({n_samples} amostras).")
+
     try:
         file_bytes = await file.read()
-        df, embeddings = process_data_pipeline(file_bytes, n_samples)
-        if df is None:
-            raise HTTPException(status_code=400, detail="Nenhum texto válido encontrado no arquivo.")
-        
-        metricas = calcular_metricas_globais_api(df['full_text'].tolist())
-        analise_duplicidade = encontrar_duplicados_api(df, embeddings)
-        
-        plot_data = df[['x', 'y', 'z', 'cluster', 'full_text']].to_dict('records')
-        n_clusters = len(df['cluster'].unique()) - (1 if '-1' in df['cluster'].unique() else 0)
-        n_ruido = (df['cluster'] == '-1').sum()
-
-        response = {
+
+        textos = preparar_textos(file_bytes, n_samples)
+        if not textos:
+            raise HTTPException(status_code=400, detail="Nenhum texto válido encontrado.")
+
+        df, embeddings = processar_pipeline(textos)
+        metricas = calcular_metricas(df["full_text"].tolist())
+        duplicados = encontrar_duplicados(df, embeddings)
+
+        n_clusters = len(df["cluster"].unique()) - (1 if "-1" in df["cluster"].unique() else 0)
+        n_ruido = (df["cluster"] == "-1").sum()
+
+        resposta = {
             "metadata": {
                 "filename": file.filename,
                 "num_documents_processed": int(len(df)),
-                "n_samples_requested": int(n_samples),
+                "n_samples_requested": n_samples,
                 "num_clusters_found": int(n_clusters),
                 "num_noise_points": int(n_ruido),
             },
             "metrics": metricas,
-            "duplicates": analise_duplicidade,
-            "plot_data": plot_data,
+            "duplicates": duplicados,
+            "plot_data": df[["x", "y", "z", "cluster", "full_text"]].to_dict("records"),
         }
-        print("Processamento concluído com sucesso. Retornando resposta.")
-        return response
+
+        print("[API] Processamento finalizado com sucesso.")
+        return resposta
+
     except Exception as e:
         import traceback
-        print(f"Erro CRÍTICO durante o processamento: {e}")
+        print("[ERRO] ERRO CRÍTICO NA REQUISIÇÃO:", e)
         traceback.print_exc()
-        raise HTTPException(status_code=500, detail=f"Ocorreu um erro interno no servidor: {str(e)}")
+        raise HTTPException(status_code=500, detail=f"Erro interno do servidor: {str(e)}")