Update ingest.py

ingest.py

@@ -1,40 +1,65 @@
-import os
-import pickle
-import faiss
+import requests
+from bs4 import BeautifulSoup
 from sentence_transformers import SentenceTransformer
+import faiss
+import pickle
+import os
 
-# Inicializar modelo de embeddings
-embed_model = SentenceTransformer("all-MiniLM-L6-v2")
+# Modelo de embeddings
+EMBED_MODEL = "sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2"
 
-# Lista de documentos para indexação
-documents = [
-    "Documento 1: Conteúdo do documento 1.",
-    "Documento 2: Conteúdo do documento 2.",
-    "Documento 3: Conteúdo do documento 3."
-    # Adicione mais documentos conforme necessário
+# URLs a serem indexadas
+URLS = [
+    "https://labnoticias.jor.br/",
+    # você pode adicionar aqui manualmente outras URLs de artigos específicos
 ]
 
-# Gerar embeddings para os documentos
-doc_embeddings = embed_model.encode(documents)
+# Header para burlar o bloqueio 406
+HEADERS = {
+    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64)"
+}
+
+def fetch_text(url):
+    resp = requests.get(url, headers=HEADERS)
+    resp.raise_for_status()
+    soup = BeautifulSoup(resp.text, "html.parser")
+    container = soup.select_one("div.post-content") or soup.body
+    return container.get_text(separator=" ", strip=True)
+
+def main():
+    os.makedirs("data", exist_ok=True)
+    texts = []
+    for url in URLS:
+        try:
+            txt = fetch_text(url)
+            texts.append(txt)
+            print(f"✔️  Coletado: {url}")
+        except Exception as e:
+            print(f"❌ Erro em {url}: {e}")
+
+    if not texts:
+        raise RuntimeError("Nenhum texto foi coletado. Verifique as URLs ou o seletor CSS.")
 
-# Verificar se os embeddings foram gerados corretamente
-if doc_embeddings is None or len(doc_embeddings.shape) != 2:
-    raise ValueError("Erro na geração de embeddings dos documentos.")
+    # Gera embeddings
+    model = SentenceTransformer(EMBED_MODEL)
+    embeddings = model.encode(texts, show_progress_bar=True)
 
-# Criar índice FAISS
-dimension = doc_embeddings.shape[1]
-index = faiss.IndexFlatL2(dimension)
-index.add(doc_embeddings)
+    # Verifica formato
+    if embeddings.ndim != 2:
+        raise RuntimeError(f"Formato inesperado de embeddings: {embeddings.shape}")
 
-# Salvar índice FAISS
-with open("faiss_index.pkl", "wb") as f:
-    pickle.dump(index, f)
+    # Constrói índice FAISS
+    dim = embeddings.shape[1]
+    index = faiss.IndexFlatL2(dim)
+    index.add(embeddings)
 
-# Criar mapeamento de documentos
-doc_map = {i: doc for i, doc in enumerate(documents)}
+    # Salva arquivos
+    with open("data/index.faiss", "wb") as f:
+        pickle.dump(index, f)
+    with open("data/texts.pkl", "wb") as f:
+        pickle.dump(texts, f)
 
-# Salvar mapeamento de documentos
-with open("doc_map.pkl", "wb") as f:
-    pickle.dump(doc_map, f)
+    print("✅ Ingestão e indexação concluídas.")
 
-print("Indexação concluída com sucesso.")
+if __name__ == "__main__":
+    main()