Upload 6 files

QUICKSTART.txt

@@ -1,5 +1,6 @@
 ╔══════════════════════════════════════════════════════════════════════════════╗
 ║                    PARA.AI RAG CLUSTER - QUICKSTART                          ║
+║                      (COM ANTI-TIMEOUT HF SPACES)                            ║
 ╚══════════════════════════════════════════════════════════════════════════════╝
 
 🎯 DEPLOY EM 5 MINUTOS:
@@ -24,14 +25,28 @@
    $ git commit -m "Initial deployment"
    $ git push origin main
 
-4. Aguardar ~15min (build + data loading)
+4. Monitorar progresso:
 
-5. Testar:
+   # Space fica online em ~3s (FastAPI responde)
+   $ curl https://SEU-USUARIO-para-ai-rag-0301.hf.space/health
+
+   # Ver progresso do setup (~15min)
+   $ curl https://SEU-USUARIO-para-ai-rag-0301.hf.space/setup/status
+
+5. Quando setup completo (progress: 100):
 
    $ curl https://SEU-USUARIO-para-ai-rag-0301.hf.space/cluster/info
 
 ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
 
+🔥 ARQUITETURA ANTI-TIMEOUT:
+
+entrypoint.sh
+    ├─ python3 -u setup.py &     ← Background (15min)
+    └─ uvicorn app:app           ← Foreground (3s) ✅ HF não fecha!
+
+━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
+
 📖 LEIA: INSTRUCTIONS.md para guia completo
 
-✅ PRONTO! Seu RAG está online!
+✅ PRONTO! Seu RAG está online (setup em background)!

README.md

@@ -6,269 +6,84 @@ colorTo: purple
 sdk: docker
 pinned: false
 license: agpl-3.0
-tags:
-  - legal-ai
-  - rag
-  - jurisprudence
-  - brazilian-law
-  - chromadb
 ---
 
-# ⚖️ Para.AI RAG Cluster 0301
+# ⚖️ Para.AI RAG Cluster
 
-## 🎯 Sobre
+Micro-cluster RAG para jurisprudências do TJPR usando Hugging Face Spaces (free tier).
 
-Este é um **micro-cluster RAG** (Retrieval-Augmented Generation) dedicado a **jurisprudências do Tribunal de Justiça do Paraná (TJPR)**. Faz parte do ecossistema **Para.AI**, um projeto open-source para democratizar o acesso à justiça no Paraná.
+## 🚀 Como Funciona
 
-Este cluster específico é responsável por:
-- **Chunks:** 301-600 (~300 mil registros jurídicos)
-- **Campos indexados:** `id`, `ementa`
-- **Tecnologia:** ChromaDB + Sentence Transformers
-- **Embedding Model:** `paraphrase-multilingual-MiniLM-L12-v2`
+**Arquitetura anti-timeout:**
+1. FastAPI inicia **imediatamente** (<3s)
+2. Setup roda em **background** (~15min)
+3. HF Spaces **não fecha** por timeout
+4. Você acompanha progresso via `/setup/status`
 
----
-
-## 🚀 Status
-
-![Status](https://img.shields.io/badge/status-online-success)
-![Registros](https://img.shields.io/badge/registros-~300k-blue)
-![Modelo](https://img.shields.io/badge/embedding-multilingual--MiniLM-orange)
-
-**🔗 API Base URL:** `https://huggingface.co/spaces/seu-usuario/para-ai-rag-0301`
-
----
-
-## 📡 Endpoints Disponíveis
-
-### 1. Busca por Similaridade Semântica
+## 📡 Endpoints
 
-**Endpoint:** `POST /search/embedding`
+### Durante Setup (primeiros 15min)
 
-Busca jurisprudências similares à query usando embeddings vetoriais.
-
-**Request:**
-```json
-{
-  "query": "despejo por falta de pagamento de aluguel",
-  "top_k": 10,
-  "return_embeddings": false
-}
-```
+```bash
+# Ver progresso
+curl https://SEU-USUARIO-para-ai-rag-0301.hf.space/setup/status
 
-**Response:**
-```json
+# Resposta:
 {
-  "cluster_id": "RAG-0301",
-  "chunk_range": [301, 600],
-  "results": [
-    {
-      "id": "1234567",
-      "ementa": "AÇÃO DE DESPEJO. FALTA DE PAGAMENTO. PROCEDÊNCIA...",
-      "distance": 0.23,
-      "score": 0.77
-    }
-  ],
-  "total_found": 10,
-  "query_time_ms": 45
+  "status": "building",
+  "message": "Construindo ChromaDB com embeddings",
+  "progress": 70,
+  "timestamp": "2026-02-10T20:15:00"
 }
 ```
 
----
-
-### 2. Busca por Termos-Chave
-
-**Endpoint:** `POST /search/keywords`
-
-Busca por palavras-chave específicas (full-text search).
-
-**Request:**
-```json
-{
-  "keywords": ["despejo", "falta de pagamento"],
-  "operator": "AND",
-  "top_k": 20
-}
-```
-
-**Response:**
-```json
-{
-  "cluster_id": "RAG-0301",
-  "results": [
-    {
-      "id": "1234567",
-      "ementa": "AÇÃO DE DESPEJO. FALTA DE PAGAMENTO...",
-      "matched_keywords": ["despejo", "falta de pagamento"]
-    }
-  ],
-  "total_found": 20,
-  "query_time_ms": 32
-}
-```
-
----
-
-### 3. Busca por ID
-
-**Endpoint:** `POST /search/by_id`
-
-Busca direta por IDs de acórdãos.
-
-**Request:**
-```json
-{
-  "ids": ["1234567", "7654321"],
-  "return_embeddings": true
-}
-```
-
-**Response:**
-```json
-{
-  "cluster_id": "RAG-0301",
-  "results": [
-    {
-      "id": "1234567",
-      "ementa": "...",
-      "embedding": [0.12, -0.34, ...]
-    }
-  ],
-  "not_found": ["7654321"],
-  "total_found": 1,
-  "query_time_ms": 15
-}
-```
-
----
-
-### 4. Informações do Cluster
-
-**Endpoint:** `GET /cluster/info`
-
-Retorna informações sobre o cluster.
-
-**Response:**
-```json
-{
-  "cluster_id": "RAG-0301",
-  "chunk_range": [301, 600],
-  "total_records": 295432,
-  "embedding_model": "sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2",
-  "embedding_dim": 384,
-  "campos_disponiveis": ["id", "ementa"],
-  "db_size_mb": 1456,
-  "status": "ready",
-  "uptime_seconds": 3600
-}
-```
+### Após Setup Completo
 
----
+- `POST /search/embedding` - Busca semântica
+- `POST /search/keywords` - Busca por termos
+- `POST /search/by_id` - Busca por ID
+- `GET /cluster/info` - Info do cluster
 
-## 🔧 Uso com Python
+## 🔧 Deploy
 
-```python
-import requests
+1. **Editar `config.yaml`:**
+   ```yaml
+   cluster_id: "RAG-0301"
+   chunk_start: 301
+   chunk_end: 600
+   github_repo: "https://github.com/SEU-USUARIO/para-ai-data.git"
+   ```
 
-# Base URL do Space
-BASE_URL = "https://seu-usuario-para-ai-rag-0301.hf.space"
+2. **Criar Space:**
+   ```bash
+   huggingface-cli repo create para-ai-rag-0301 --type space --space_sdk docker
+   ```
 
-# Busca semântica
-response = requests.post(
-    f"{BASE_URL}/search/embedding",
-    json={
-        "query": "danos morais acidente de trânsito",
-        "top_k": 5
-    }
-)
-results = response.json()
+3. **Upload:**
+   ```bash
+   git init
+   git remote add origin https://huggingface.co/spaces/SEU-USUARIO/para-ai-rag-0301
+   git add .
+   git commit -m "Deploy"
+   git push origin main
+   ```
 
-for result in results['results']:
-    print(f"ID: {result['id']}")
-    print(f"Score: {result['score']:.2f}")
-    print(f"Ementa: {result['ementa'][:200]}...")
-    print("-" * 80)
-```
+4. **Monitorar:** 
+   Space fica online em ~3s, RAG pronto em ~15min
 
----
+## 📊 Monitoramento
 
-## 🏗️ Arquitetura
+```bash
+# Status atual
+curl https://SEU-USUARIO-para-ai-rag-0301.hf.space/
 
+# Logs do setup
+# (via interface HF Spaces)
 ```
-GitHub (chunks 301-600)
-         │
-         ▼
-    Git Sparse Checkout (~600MB)
-         │
-         ▼
-    Descompactar .tar.gz
-         │
-         ▼
-    Filtrar campos (id + ementa)
-         │
-         ▼
-    Gerar Embeddings (MiniLM)
-         │
-         ▼
-    ChromaDB (1.5GB)
-         │
-         ▼
-    FastAPI (7860)
-```
-
-**Recursos utilizados:**
-- 💾 RAM: ~2GB / 16GB disponíveis
-- 💿 Disco: ~2.6GB / 50GB disponíveis
-- ⚡ CPU: 1 vCPU / 2 disponíveis
-
----
-
-## 📊 Dataset Fonte
-
-Os dados vêm do **Para.AI Dataset**, um conjunto de ~4.5 milhões de acórdãos do TJPR, disponível publicamente no GitHub.
-
-**Repositório:** [github.com/caarleexx/para-ai-data](https://github.com/caarleexx/para-ai-data)
-
----
-
-## 🤝 Projeto Para.AI
 
-Este cluster faz parte do **Para.AI**, uma iniciativa para democratizar o acesso à justiça no Paraná usando IA.
+## 📚 Documentação
 
-### Outros Clusters
-
-- [Para.AI RAG 0001](https://huggingface.co/spaces/seu-usuario/para-ai-rag-0001) - Chunks 1-300
-- [Para.AI RAG 0301](https://huggingface.co/spaces/seu-usuario/para-ai-rag-0301) - Chunks 301-600 (este)
-- [Para.AI RAG 0601](https://huggingface.co/spaces/seu-usuario/para-ai-rag-0601) - Chunks 601-900
-- ... (15 clusters no total)
-
-### Gateway Agregador
-
-Para buscar em **todos os clusters** simultaneamente, use o gateway:
-- [Para.AI Gateway](https://huggingface.co/spaces/seu-usuario/para-ai-gateway)
-
----
-
-## 📝 Licença
-
-**AGPL-3.0** - Este projeto é open-source e gratuito para uso pessoal, acadêmico e não-comercial.
-
-Para uso comercial, consulte a licença completa.
-
----
-
-## 🐝 Legado
-
-> *"Este projeto nasceu de uma indignação e de um sonho. É a transformação da frustração em uma ferramenta de poder para todos."*
-
-**Para.AI** não é apenas código. É um movimento para dar voz aos silenciados e clareza aos deixados no escuro.
-
----
-
-## 📧 Contato
-
-- **Projeto:** [github.com/caarleexx/para-ai](https://github.com/caarleexx/para-ai)
-- **Issues:** [github.com/caarleexx/para-ai/issues](https://github.com/caarleexx/para-ai/issues)
-
----
+- `QUICKSTART.txt` - Deploy em 5 minutos
+- `INSTRUCTIONS.md` - Guia completo
 
-**⚖️ InJustiça não para o Paraná!**
+⚖️ **InJustiça não para o Paraná!** 🐝

app.py

@@ -1,27 +1,82 @@
 #!/usr/bin/env python3
 """
 Para.AI RAG Cluster - FastAPI Application
-Expõe endpoints de busca para ChromaDB fragmentado
+Inicia IMEDIATAMENTE (antes do setup terminar) para evitar timeout HF
 """
 
 from fastapi import FastAPI, HTTPException
+from fastapi.responses import JSONResponse
 from pydantic import BaseModel
 from typing import List, Optional
 import logging
 import time
-from query_engine import QueryEngine
+import json
+from pathlib import Path
 
 logging.basicConfig(level=logging.INFO)
 logger = logging.getLogger(__name__)
 
-# Inicializar QueryEngine (carrega ChromaDB)
-logger.info("Inicializando QueryEngine...")
-query_engine = QueryEngine()
+# ============================================================================
+# VERIFICAÇÃO DE STATUS DO SETUP
+# ============================================================================
+
+STATUS_FILE = Path('/tmp/setup_status.json')
+READY_FLAG = Path('/tmp/chromadb_ready')
+
+def get_setup_status():
+    """Lê status do setup em background"""
+    if not STATUS_FILE.exists():
+        return {
+            'status': 'initializing',
+            'message': 'Setup ainda não iniciado',
+            'progress': 0
+        }
+
+    try:
+        with open(STATUS_FILE) as f:
+            return json.load(f)
+    except:
+        return {
+            'status': 'unknown',
+            'message': 'Erro ao ler status',
+            'progress': 0
+        }
+
+def is_ready():
+    """Verifica se ChromaDB está pronto"""
+    return READY_FLAG.exists()
+
+# ============================================================================
+# LAZY LOADING DO QUERY ENGINE
+# ============================================================================
+
+query_engine = None
+
+def get_query_engine():
+    """Carrega QueryEngine apenas quando ChromaDB estiver pronto"""
+    global query_engine
+
+    if query_engine is None:
+        if not is_ready():
+            raise HTTPException(
+                status_code=503, 
+                detail="RAG ainda em construção. Tente novamente em alguns minutos."
+            )
+
+        logger.info("Carregando QueryEngine...")
+        from query_engine import QueryEngine
+        query_engine = QueryEngine()
+        logger.info("✅ QueryEngine carregado!")
+
+    return query_engine
+
+# ============================================================================
+# FASTAPI APP
+# ============================================================================
 
-# FastAPI App
 app = FastAPI(
     title="Para.AI RAG Cluster",
-    description=f"Cluster {query_engine.config['cluster_id']} - Chunks {query_engine.config['chunk_start']}-{query_engine.config['chunk_end']}",
+    description="Micro-cluster RAG para jurisprudências do TJPR",
     version="1.0.0"
 )
 
@@ -36,7 +91,7 @@ class EmbeddingSearchRequest(BaseModel):
 
 class KeywordSearchRequest(BaseModel):
     keywords: List[str]
-    operator: str = "AND"  # AND ou OR
+    operator: str = "AND"
     top_k: int = 20
 
 class IDSearchRequest(BaseModel):
@@ -49,28 +104,50 @@ class IDSearchRequest(BaseModel):
 
 @app.get("/")
 async def root():
-    """Health check + info básica"""
-    return {
+    """Health check - SEMPRE responde (mesmo durante setup)"""
+    setup_status = get_setup_status()
+    ready = is_ready()
+
+    response = {
         "status": "online",
-        "cluster_id": query_engine.config['cluster_id'],
-        "chunk_range": [
+        "rag_ready": ready,
+        "setup": setup_status
+    }
+
+    if ready and query_engine:
+        response["cluster_id"] = query_engine.config['cluster_id']
+        response["chunk_range"] = [
             query_engine.config['chunk_start'],
             query_engine.config['chunk_end']
-        ],
-        "endpoints": [
+        ]
+        response["endpoints"] = [
             "/search/embedding",
             "/search/keywords",
             "/search/by_id",
-            "/cluster/info"
+            "/cluster/info",
+            "/setup/status"
         ]
-    }
+
+    return response
+
+@app.get("/setup/status")
+async def setup_status():
+    """Retorna status detalhado do setup"""
+    return get_setup_status()
+
+@app.get("/health")
+async def health():
+    """Health check simples para HF Spaces"""
+    return {"status": "ok", "timestamp": time.time()}
 
 @app.post("/search/embedding")
 async def search_embedding(request: EmbeddingSearchRequest):
     """Busca por similaridade semântica (embeddings)"""
+    engine = get_query_engine()  # Lança 503 se não estiver pronto
+
     try:
         start = time.time()
-        results = query_engine.search_by_embedding(
+        results = engine.search_by_embedding(
             query=request.query,
             top_k=request.top_k,
             return_embeddings=request.return_embeddings
@@ -84,9 +161,11 @@ async def search_embedding(request: EmbeddingSearchRequest):
 @app.post("/search/keywords")
 async def search_keywords(request: KeywordSearchRequest):
     """Busca por termos-chave (full-text search)"""
+    engine = get_query_engine()
+
     try:
         start = time.time()
-        results = query_engine.search_by_keywords(
+        results = engine.search_by_keywords(
             keywords=request.keywords,
             operator=request.operator,
             top_k=request.top_k
@@ -100,9 +179,11 @@ async def search_keywords(request: KeywordSearchRequest):
 @app.post("/search/by_id")
 async def search_by_id(request: IDSearchRequest):
     """Busca direta por ID(s)"""
+    engine = get_query_engine()
+
     try:
         start = time.time()
-        results = query_engine.search_by_ids(
+        results = engine.search_by_ids(
             ids=request.ids,
             return_embeddings=request.return_embeddings
         )
@@ -115,8 +196,10 @@ async def search_by_id(request: IDSearchRequest):
 @app.get("/cluster/info")
 async def cluster_info():
     """Informações detalhadas do cluster"""
+    engine = get_query_engine()
+
     try:
-        info = query_engine.get_cluster_info()
+        info = engine.get_cluster_info()
         info['uptime_seconds'] = round(time.time() - app.state.start_time, 2)
         return info
     except Exception as e:
@@ -125,12 +208,11 @@ async def cluster_info():
 
 @app.on_event("startup")
 async def startup_event():
-    """Evento de startup"""
+    """Evento de startup - RÁPIDO (não aguarda setup)"""
     app.state.start_time = time.time()
     logger.info("="*80)
-    logger.info(f"🚀 Para.AI RAG Cluster {query_engine.config['cluster_id']} ONLINE")
-    logger.info(f"📦 Chunks: {query_engine.config['chunk_start']}-{query_engine.config['chunk_end']}")
-    logger.info(f"📊 Registros: {query_engine.collection.count():,}")
+    logger.info("🚀 Para.AI RAG Cluster FastAPI ONLINE")
+    logger.info("Setup em background: verificar /setup/status")
     logger.info("="*80)
 
 if __name__ == "__main__":

entrypoint.sh

@@ -5,78 +5,38 @@ echo "=================================="
 echo "🚀 Para.AI RAG Cluster Startup"
 echo "=================================="
 
-# Carregar configuração
-CHUNK_START=$(python3 -c "import yaml; print(yaml.safe_load(open('config.yaml'))['chunk_start'])")
-CHUNK_END=$(python3 -c "import yaml; print(yaml.safe_load(open('config.yaml'))['chunk_end'])")
-CLUSTER_ID=$(python3 -c "import yaml; print(yaml.safe_load(open('config.yaml'))['cluster_id'])")
-GITHUB_REPO=$(python3 -c "import yaml; print(yaml.safe_load(open('config.yaml'))['github_repo'])")
-
-echo "📊 Cluster ID: $CLUSTER_ID"
-echo "📦 Chunks: $CHUNK_START - $CHUNK_END"
-echo ""
-
-# Verificar se ChromaDB já existe (persistência entre restarts se HF Space tiver)
-if [ -d "/app/chromadb" ] && [ "$(ls -A /app/chromadb)" ]; then
-    echo "✅ ChromaDB já existe! Pulando build..."
-else
-    echo "🔧 Construindo RAG pela primeira vez..."
-
-    # 1. Git sparse checkout
-    echo ""
-    echo "1️⃣ Clonando chunks do GitHub (sparse checkout)..."
-    mkdir -p /tmp/repo
-    cd /tmp/repo
-
-    git clone --filter=blob:none --sparse "$GITHUB_REPO" .
-    git sparse-checkout init --cone
-
-    # Gerar pattern para chunks
-    PATTERN=""
-    for i in $(seq -f "%04g" $CHUNK_START $CHUNK_END); do
-        PATTERN="$PATTERN chunks_dados/chunk_dados_$i.tar.gz"
-    done
-
-    git sparse-checkout set $PATTERN
-
-    echo "✅ $(find chunks_dados -name '*.tar.gz' | wc -l) chunks clonados"
+# Ir para diretório da aplicação
+cd /home/user/app
 
-    # 2. Descompactar
-    echo ""
-    echo "2️⃣ Descompactando chunks..."
-    mkdir -p /tmp/extracted
-    find chunks_dados -name "*.tar.gz" -exec tar -xzf {} -C /tmp/extracted \;
-    echo "✅ Chunks descompactados"
+# ESTRATÉGIA: Iniciar setup em background PRIMEIRO, depois FastAPI
+# Isso evita timeout de inicialização do HF Spaces
 
-    # 3. Concatenar JSONL
-    echo ""
-    echo "3️⃣ Concatenando jurisprudencias.jsonl..."
-    find /tmp/extracted -name "jurisprudencias.jsonl" -exec cat {} \; > /tmp/all_records.jsonl
-    TOTAL_RECORDS=$(wc -l < /tmp/all_records.jsonl)
-    echo "✅ $TOTAL_RECORDS registros concatenados"
+echo ""
+echo "1️⃣ Iniciando setup em background..."
+echo "━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━"
 
-    # 4. Filtrar campos
-    echo ""
-    echo "4️⃣ Filtrando campos (mantendo apenas id + ementa)..."
-    python3 filter_fields.py --input /tmp/all_records.jsonl --output /tmp/filtered.jsonl
-    echo "✅ Campos filtrados"
+# Iniciar setup.py em background com output unbuffered (-u)
+# Redirecionar output para arquivo + tela
+python3 -u setup.py > /tmp/setup_output.log 2>&1 &
+SETUP_PID=$!
 
-    # 5. Build ChromaDB
-    echo ""
-    echo "5️⃣ Construindo ChromaDB com embeddings..."
-    python3 rag_builder.py --input /tmp/filtered.jsonl
-    echo "✅ ChromaDB pronto!"
+echo "✅ Setup iniciado em background (PID: $SETUP_PID)"
+echo "📋 Logs em: /tmp/setup_output.log"
+echo "📊 Status em: /tmp/setup_status.json"
+echo ""
 
-    # Limpar temporários
-    echo ""
-    echo "🧹 Limpando arquivos temporários..."
-    rm -rf /tmp/repo /tmp/extracted /tmp/all_records.jsonl /tmp/filtered.jsonl
-    echo "✅ Limpeza concluída"
-fi
+# Esperar 2 segundos para setup criar arquivo de status
+sleep 2
 
-# 6. Iniciar FastAPI
+echo "2️⃣ Iniciando FastAPI..."
+echo "━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━"
+echo "🎯 FastAPI estará online IMEDIATAMENTE"
+echo "🔧 RAG estará disponível quando setup terminar (~10-15 min)"
+echo "📡 Acompanhe em: /setup/status"
 echo ""
 echo "=================================="
-echo "🎯 Iniciando API REST..."
+echo "🚀 Iniciando API REST..."
 echo "=================================="
-cd /home/user/app
+
+# Iniciar FastAPI (bloqueia aqui)
 exec uvicorn app:app --host 0.0.0.0 --port 7860 --workers 1

monitor_setup.sh

@@ -0,0 +1,68 @@
+#!/bin/bash
+# monitor_setup.sh - Monitora progresso do setup em tempo real
+
+SPACE_URL="$1"
+
+if [ -z "$SPACE_URL" ]; then
+  echo "Uso: $0 <SPACE_URL>"
+  echo "Exemplo: $0 https://seu-usuario-para-ai-rag-0301.hf.space"
+  exit 1
+fi
+
+echo "Monitorando setup de: $SPACE_URL"
+echo ""
+
+while true; do
+  # Limpar tela
+  clear
+
+  echo "╔══════════════════════════════════════════════════════════════════════╗"
+  echo "║              PARA.AI RAG - MONITOR DE SETUP                          ║"
+  echo "╚══════════════════════════════════════════════════════════════════════╝"
+  echo ""
+
+  # Fazer request
+  RESPONSE=$(curl -s "$SPACE_URL/setup/status")
+
+  # Extrair campos
+  STATUS=$(echo $RESPONSE | jq -r '.status')
+  MESSAGE=$(echo $RESPONSE | jq -r '.message')
+  PROGRESS=$(echo $RESPONSE | jq -r '.progress')
+  TIMESTAMP=$(echo $RESPONSE | jq -r '.timestamp')
+
+  # Mostrar info
+  echo "Status: $STATUS"
+  echo "Progresso: $PROGRESS%"
+  echo "Mensagem: $MESSAGE"
+  echo "Timestamp: $TIMESTAMP"
+  echo ""
+
+  # Barra de progresso
+  BAR_WIDTH=50
+  FILLED=$((PROGRESS * BAR_WIDTH / 100))
+  EMPTY=$((BAR_WIDTH - FILLED))
+
+  printf "["
+  printf "%${FILLED}s" | tr ' ' '█'
+  printf "%${EMPTY}s" | tr ' ' '░'
+  printf "] %d%%
+" $PROGRESS
+  echo ""
+
+  # Se completo, parar
+  if [ "$STATUS" = "ready" ]; then
+    echo "✅ SETUP COMPLETO!"
+    echo ""
+    echo "Testando cluster info..."
+    curl -s "$SPACE_URL/cluster/info" | jq
+    break
+  fi
+
+  if [ "$STATUS" = "error" ]; then
+    echo "❌ ERRO NO SETUP!"
+    break
+  fi
+
+  echo "Atualizando em 10 segundos..."
+  sleep 10
+done

setup.py

@@ -0,0 +1,200 @@
+#!/usr/bin/env python3
+"""
+Setup em background - Clona dados, constrói ChromaDB
+Executa enquanto FastAPI já está respondendo (evita timeout HF)
+"""
+import os
+import sys
+import yaml
+import json
+import subprocess
+import logging
+from pathlib import Path
+from datetime import datetime
+
+# Setup logging com flush imediato
+logging.basicConfig(
+    level=logging.INFO,
+    format='%(asctime)s - %(levelname)s - %(message)s',
+    handlers=[
+        logging.StreamHandler(sys.stdout),
+        logging.FileHandler('/tmp/setup.log')
+    ]
+)
+logger = logging.getLogger(__name__)
+
+# Forçar flush imediato
+for handler in logger.handlers:
+    handler.flush = lambda: None
+
+STATUS_FILE = Path('/tmp/setup_status.json')
+READY_FLAG = Path('/tmp/chromadb_ready')
+
+def update_status(status: str, message: str, progress: int = 0):
+    """Atualiza arquivo de status para app.py ler"""
+    data = {
+        'status': status,
+        'message': message,
+        'progress': progress,
+        'timestamp': datetime.now().isoformat()
+    }
+    with open(STATUS_FILE, 'w') as f:
+        json.dump(data, f)
+    logger.info(f"[{progress}%] {status}: {message}")
+    sys.stdout.flush()
+
+def run_command(cmd: str, description: str):
+    """Executa comando shell com logging"""
+    logger.info(f"Executando: {description}")
+    logger.info(f"Comando: {cmd}")
+
+    result = subprocess.run(
+        cmd, 
+        shell=True, 
+        capture_output=True, 
+        text=True
+    )
+
+    if result.returncode != 0:
+        logger.error(f"ERRO: {result.stderr}")
+        raise Exception(f"{description} falhou: {result.stderr}")
+
+    logger.info(f"✅ {description} completo")
+    return result.stdout
+
+def main():
+    """Setup completo em background"""
+    try:
+        logger.info("="*80)
+        logger.info("🚀 PARA.AI RAG CLUSTER - SETUP EM BACKGROUND")
+        logger.info("="*80)
+
+        # Carregar configuração
+        update_status('loading', 'Carregando configuração', 0)
+        with open('config.yaml') as f:
+            config = yaml.safe_load(f)
+
+        cluster_id = config['cluster_id']
+        chunk_start = config['chunk_start']
+        chunk_end = config['chunk_end']
+        github_repo = config['github_repo']
+
+        logger.info(f"Cluster: {cluster_id}")
+        logger.info(f"Chunks: {chunk_start} - {chunk_end}")
+        logger.info("")
+
+        # Verificar se ChromaDB já existe
+        if READY_FLAG.exists():
+            logger.info("✅ ChromaDB já pronto! Pulando setup...")
+            update_status('ready', 'ChromaDB já existe', 100)
+            return
+
+        # ETAPA 1: Git Sparse Checkout
+        update_status('cloning', 'Clonando chunks do GitHub (sparse checkout)', 10)
+
+        os.makedirs('/tmp/repo', exist_ok=True)
+        os.chdir('/tmp/repo')
+
+        # Clone inicial
+        run_command(
+            f"git clone --filter=blob:none --sparse {github_repo} .",
+            "Git clone inicial"
+        )
+
+        run_command(
+            "git sparse-checkout init --cone",
+            "Sparse checkout init"
+        )
+
+        # Gerar pattern de chunks
+        logger.info(f"Gerando pattern para chunks {chunk_start}-{chunk_end}...")
+        pattern_parts = []
+        for i in range(chunk_start, chunk_end + 1):
+            pattern_parts.append(f"chunks_dados/chunk_dados_{i:04d}.tar.gz")
+
+        # Set sparse checkout (em batches para evitar arg list too long)
+        batch_size = 50
+        for i in range(0, len(pattern_parts), batch_size):
+            batch = pattern_parts[i:i+batch_size]
+            pattern = ' '.join(batch)
+            run_command(
+                f"git sparse-checkout add {pattern}",
+                f"Sparse checkout batch {i//batch_size + 1}"
+            )
+
+        # Contar chunks clonados
+        result = run_command(
+            "find chunks_dados -name '*.tar.gz' 2>/dev/null | wc -l",
+            "Contar chunks"
+        )
+        chunks_count = int(result.strip())
+        logger.info(f"✅ {chunks_count} chunks clonados")
+
+        # ETAPA 2: Descompactar
+        update_status('extracting', f'Descompactando {chunks_count} chunks', 30)
+
+        os.makedirs('/tmp/extracted', exist_ok=True)
+
+        run_command(
+            "find chunks_dados -name '*.tar.gz' -exec tar -xzf {} -C /tmp/extracted \; 2>/dev/null || true",
+            "Descompactar chunks"
+        )
+
+        # ETAPA 3: Concatenar JSONL
+        update_status('concatenating', 'Concatenando jurisprudencias.jsonl', 50)
+
+        run_command(
+            "find /tmp/extracted -name 'jurisprudencias.jsonl' -exec cat {} \; > /tmp/all_records.jsonl 2>/dev/null || true",
+            "Concatenar JSONL"
+        )
+
+        # Contar registros
+        result = run_command(
+            "wc -l < /tmp/all_records.jsonl 2>/dev/null || echo '0'",
+            "Contar registros"
+        )
+        total_records = int(result.strip())
+        logger.info(f"✅ {total_records:,} registros concatenados")
+
+        # ETAPA 4: Filtrar campos
+        update_status('filtering', 'Filtrando campos (id + ementa)', 60)
+
+        os.chdir('/home/user/app')
+        run_command(
+            "python3 filter_fields.py --input /tmp/all_records.jsonl --output /tmp/filtered.jsonl",
+            "Filtrar campos"
+        )
+
+        # ETAPA 5: Build ChromaDB
+        update_status('building', 'Construindo ChromaDB com embeddings (pode demorar)', 70)
+
+        run_command(
+            "python3 rag_builder.py --input /tmp/filtered.jsonl",
+            "Build ChromaDB"
+        )
+
+        # ETAPA 6: Limpar temporários
+        update_status('cleaning', 'Limpando arquivos temporários', 95)
+
+        run_command(
+            "rm -rf /tmp/repo /tmp/extracted /tmp/all_records.jsonl /tmp/filtered.jsonl",
+            "Limpar temporários"
+        )
+
+        # ETAPA 7: Marcar como pronto
+        update_status('ready', f'ChromaDB pronto com {total_records:,} registros!', 100)
+        READY_FLAG.touch()
+
+        logger.info("="*80)
+        logger.info("✅ SETUP COMPLETO - RAG PRONTO PARA USO!")
+        logger.info("="*80)
+
+    except Exception as e:
+        logger.error("="*80)
+        logger.error(f"❌ ERRO NO SETUP: {e}")
+        logger.error("="*80)
+        update_status('error', str(e), 0)
+        sys.exit(1)
+
+if __name__ == "__main__":
+    main()