Upload 3 files

Dockerfile

@@ -0,0 +1,17 @@
+# Passo 1: A Fundação
+FROM python:3.10-slim
+
+# Passo 2: O Local de Trabalho
+WORKDIR /code
+
+# Passo 3: Preparando o Terreno (Otimização de Cache)
+COPY ./requirements.txt /code/requirements.txt
+
+# Passo 4: As Ferramentas
+RUN pip install --no-cache-dir --upgrade -r /code/requirements.txt
+
+# Passo 5: O Projeto
+COPY ./app.py /code/app.py
+
+# Passo 6: A Ignição!
+CMD ["uvicorn", "app:app", "--host", "0.0.0.0", "--port", "7860"]

app.py

@@ -0,0 +1,143 @@
+# ==============================================================================
+#  API de Análise de Textos com FastAPI (VERSÃO DEFINITIVA)
+# Arquivo: app.py
+# Backend para o AetherMap by Strand DataOps
+# ==============================================================================
+import streamlit as st # Usado apenas por seu excelente e conveniente mecanismo de cache!
+import numpy as np
+import pandas as pd
+from sentence_transformers import SentenceTransformer
+import umap
+import hdbscan
+from sklearn.preprocessing import StandardScaler
+from sklearn.metrics.pairwise import cosine_similarity
+from sklearn.feature_extraction.text import CountVectorizer, TfidfVectorizer
+from scipy.stats import entropy
+import torch
+import gc
+from fastapi import FastAPI, UploadFile, File, Form, HTTPException
+from typing import Dict, Any, List
+
+# ================================
+# CONFIGURAÇÕES E CONSTANTES
+# ================================
+DEFAULT_MODEL = 'all-MiniLM-L6-v2'
+BATCH_SIZE = 256
+UMAP_N_NEIGHBORS = 30
+HDBSCAN_MIN_SIZE = 50
+STOP_WORDS_PT = ['de', 'a', 'o', 'que', 'e', 'do', 'da', 'em', 'um', 'para', 'é', 'com', 'não', 'uma', 'os', 'no', 'se', 'na', 'por', 'mais', 'as', 'dos', 'como', 'mas', 'foi', 'ao', 'ele', 'das', 'tem', 'à', 'seu', 'sua', 'ou', 'ser', 'quando', 'muito', 'há', 'nos', 'já', 'está', 'eu', 'também', 'só', 'pelo', 'pela', 'até', 'isso', 'ela', 'entre', 'era', 'depois', 'sem', 'mesmo', 'aos', 'ter', 'seus', 'quem', 'nas', 'me', 'esse', 'eles', 'estão', 'você', 'tinha', 'foram', 'essa', 'num', 'nem', 'suas', 'meu', 'às', 'minha', 'numa', 'pelos', 'elas', 'havia', 'seja', 'qual', 'será', 'nós', 'tenho', 'lhe', 'deles', 'essas', 'esses', 'pelas', 'este', 'fosse', 'dele', 'tu', 'te', 'vocês', 'vos', 'lhes', 'meus', 'minhas', 'teu', 'tua', 'teus', 'tuas', 'nosso', 'nossa', 'nossos', 'nossas', 'dela', 'delas', 'esta', 'estes', 'estas', 'aquele', 'aquela', 'aqueles', 'aquelas', 'isto', 'aquilo', 'estou', 'está', 'estamos', 'estão', 'estive', 'esteve', 'estivemos', 'estiveram', 'estava', 'estávamos', 'estavam', 'estivera', 'estivéramos', 'esteja', 'estejamos', 'estejam', 'estivesse', 'estivéssemos', 'estivessem', 'estiver', 'estivermos', 'estiverem', 'hei', 'há', 'havemos', 'hão', 'houve', 'houvemos', 'houveram', 'houvera', 'houvéramos', 'haja', 'hajamos', 'hajam', 'houvesse', 'houvéssemos', 'houvessem', 'houver', 'houvermos', 'houverem', 'houverei', 'houverá', 'houveremos', 'houverão', 'houveria', 'houveríamos', 'houveriam', 'sou', 'somos', 'são', 'era', 'éramos', 'eram', 'fui', 'foi', 'fomos', 'foram', 'fora', 'fôramos', 'seja', 'sejamos', 'sejam', 'fosse', 'fôssemos', 'fossem', 'for', 'formos', 'forem', 'serei', 'será', 'seremos', 'serão', 'seria', 'seríamos', 'seriam', 'tenho', 'tem', 'temos', 'tém', 'tinha', 'tínhamos', 'tinham', 'tive', 'teve', 'tivemos', 'tiveram', 'tivera', 'tivéramos', 'tenha', 'tenhamos', 'tenham', 'tivesse', 'tivéssemos', 'tivessem', 'tiver', 'tivermos', 'tiverem', 'terei', 'terá', 'teremos', 'terão', 'teria', 'teríamos', 'teriam', 'dá', 'pergunta', 'resposta']
+
+# ================================
+# LÓGICA DE PROCESSAMENTO (Nossas funções, agora sem interface)
+# ================================
+
+@st.cache_resource
+def load_model():
+    device = "cuda" if torch.cuda.is_available() else "cpu"
+    print(f"Carregando modelo para o dispositivo: {device}")
+    model = SentenceTransformer(DEFAULT_MODEL, device=device)
+    return model
+
+@st.cache_data
+def process_data_pipeline(file_bytes, n_samples):
+    print("Iniciando o pipeline de processamento de dados...")
+    lines = file_bytes.decode('utf-8').splitlines()
+    _texts = [s for line in lines if (s := line.strip()) and len(s.split()) > 3][:n_samples]
+    if not _texts: return None, None
+    model = load_model()
+    print("Gerando embeddings...")
+    embeddings = model.encode(_texts, batch_size=BATCH_SIZE, show_progress_bar=False, convert_to_numpy=True)
+    print("Reduzindo dimensionalidade com UMAP...")
+    reducer = umap.UMAP(n_components=3, n_neighbors=UMAP_N_NEIGHBORS, min_dist=0.0, metric='cosine', random_state=42)
+    embedding_3d = reducer.fit_transform(embeddings)
+    embedding_3d = StandardScaler().fit_transform(embedding_3d)
+    print("Clusterizando com HDBSCAN...")
+    clusterer = hdbscan.HDBSCAN(min_cluster_size=HDBSCAN_MIN_SIZE)
+    clusters = clusterer.fit_predict(embedding_3d)
+    print("Montando o DataFrame final...")
+    df = pd.DataFrame({'x': embedding_3d[:, 0], 'y': embedding_3d[:, 1], 'z': embedding_3d[:, 2], 'full_text': _texts, 'cluster': clusters.astype(str)})
+    del reducer, clusterer, embedding_3d
+    gc.collect()
+    print("Pipeline de processamento de dados concluído.")
+    return df, embeddings
+
+@st.cache_data
+def calcular_metricas_globais_api(_texts: List[str]) -> Dict[str, Any]:
+    print("Calculando métricas globais...")
+    try:
+        vectorizer_count = CountVectorizer(stop_words=STOP_WORDS_PT, max_features=20000).fit(_texts)
+        riqueza_lexical = len(vectorizer_count.get_feature_names_out())
+    except ValueError: riqueza_lexical = 0
+    try:
+        vectorizer_tfidf = TfidfVectorizer(stop_words=STOP_WORDS_PT, max_features=20000).fit(_texts)
+        tfidf_matrix, vocab = vectorizer_tfidf.transform(_texts), vectorizer_tfidf.get_feature_names_out()
+        soma_tfidf, indices_top_tfidf = tfidf_matrix.sum(axis=0).A1, np.argsort(tfidf_matrix.sum(axis=0).A1)[-10:][::-1]
+        palavras_relevantes = [vocab[i] for i in indices_top_tfidf]
+    except ValueError: palavras_relevantes = []
+    try:
+        contagens_palavras = np.array(vectorizer_count.transform(_texts).sum(axis=0)).flatten()
+        entropia_corpus = entropy(contagens_palavras / np.sum(contagens_palavras), base=2)
+    except (ValueError, ZeroDivisionError): entropia_corpus = 0.0
+    return {"riqueza_lexical": int(riqueza_lexical), "palavras_relevantes": palavras_relevantes, "entropia": float(entropia_corpus)}
+
+@st.cache_data
+def encontrar_duplicados_api(_df: pd.DataFrame, _embeddings: np.ndarray, similaridade_minima: float = 0.98) -> Dict[str, Any]:
+    print("Procurando por duplicados...")
+    duplicados_exatos_mask = _df['full_text'].duplicated(keep=False)
+    df_duplicados_exatos = _df[duplicados_exatos_mask].copy()
+    grupos_exatos = {}
+    if not df_duplicados_exatos.empty:
+        grupos_exatos = {text: [int(i) for i in indices] for text, indices in df_duplicados_exatos.groupby('full_text').groups.items()}
+    pares_semanticos = []
+    limite_semantico = 5000 
+    if len(_embeddings) < limite_semantico:
+        sim_matrix = cosine_similarity(_embeddings)
+        indices_superiores = np.triu_indices_from(sim_matrix, k=1)
+        pares_altamente_similares = sim_matrix[indices_superiores] > similaridade_minima
+        indices_pares = np.where(pares_altamente_similares)[0]
+        for i in indices_pares:
+            idx1, idx2 = indices_superiores[0][i], indices_superiores[1][i]
+            if _df['full_text'].iloc[int(idx1)] != _df['full_text'].iloc[int(idx2)]:
+                pares_semanticos.append({'doc1_idx': int(idx1), 'doc2_idx': int(idx2), 'similaridade': float(sim_matrix[int(idx1), int(idx2)]), 'texto1': _df['full_text'].iloc[int(idx1)], 'texto2': _df['full_text'].iloc[int(idx2)]})
+    return {"grupos_exatos": grupos_exatos, "pares_semanticos": pares_semanticos}
+
+# ================================
+# DEFINIÇÃO DA API COM FASTAPI
+# ================================
+app = FastAPI(title="API do AetherMap by Strand DataOps", version="1.1.0")
+
+@app.post("/process/", summary="Processa e Analisa um Arquivo de Texto")
+async def process_text_file(n_samples: int = Form(10000), file: UploadFile = File(...)):
+    print(f"Recebida requisição para processar {n_samples} amostras do arquivo: {file.filename}")
+    try:
+        file_bytes = await file.read()
+        df, embeddings = process_data_pipeline(file_bytes, n_samples)
+        if df is None:
+            raise HTTPException(status_code=400, detail="Nenhum texto válido encontrado no arquivo.")
+        
+        metricas = calcular_metricas_globais_api(df['full_text'].tolist())
+        analise_duplicidade = encontrar_duplicados_api(df, embeddings)
+        
+        plot_data = df[['x', 'y', 'z', 'cluster', 'full_text']].to_dict('records')
+        n_clusters = len(df['cluster'].unique()) - (1 if '-1' in df['cluster'].unique() else 0)
+        n_ruido = (df['cluster'] == '-1').sum()
+
+        response = {
+            "metadata": {
+                "filename": file.filename,
+                "num_documents_processed": int(len(df)),
+                "n_samples_requested": int(n_samples),
+                "num_clusters_found": int(n_clusters),
+                "num_noise_points": int(n_ruido),
+            },
+            "metrics": metricas,
+            "duplicates": analise_duplicidade,
+            "plot_data": plot_data,
+        }
+        print("Processamento concluído com sucesso. Retornando resposta.")
+        return response
+    except Exception as e:
+        import traceback
+        print(f"Erro CRÍTICO durante o processamento: {e}")
+        traceback.print_exc()
+        raise HTTPException(status_code=500, detail=f"Ocorreu um erro interno no servidor: {str(e)}")

requirements.txt

@@ -0,0 +1,15 @@
+# FastAPI e Servidor Web
+fastapi
+uvicorn[standard]
+python-multipart
+
+# Machine Learning e Processamento de Dados
+streamlit
+numpy
+pandas
+sentence-transformers
+umap-learn
+hdbscan
+scikit-learn
+torch
+scipy