Upload entrypoint (1).sh

entrypoint (1).sh

@@ -0,0 +1,359 @@
+#!/usr/bin/env bash
+
+set -e
+
+echo "╔════════════════════════════════════════════════════════════════════╗"
+echo "║ ParaAi v5.0 - Sistema Híbrido (Flex/Batch/Gemini/OpenRouter)      ║"
+echo "╚════════════════════════════════════════════════════════════════════╝"
+echo "[$(date '+%Y-%m-%d %H:%M:%S')] 🚀 Iniciando ParaAi v5.0..."
+echo ""
+
+# ============================================================================
+# VALIDAÇÃO DE AMBIENTE
+# ============================================================================
+
+echo "[$(date '+%Y-%m-%d %H:%M:%S')] 🔍 Validando ambiente..."
+
+# GIT_TOKEN obrigatório
+if [[ -z "${GIT_TOKEN}" ]]; then
+    echo "❌ GIT_TOKEN não definido"
+    exit 1
+fi
+
+# PROCESSING_MODE (padrão: flex)
+export PROCESSING_MODE="${PROCESSING_MODE:-flex}"
+
+# Valida modo
+if [[ ! "$PROCESSING_MODE" =~ ^(flex|batch|gemini|openrouter)$ ]]; then
+    echo "❌ PROCESSING_MODE inválido: $PROCESSING_MODE"
+    echo "   Valores aceitos: flex, batch, gemini, openrouter"
+    exit 1
+fi
+
+# Valida API Keys por modo
+if [[ "$PROCESSING_MODE" == "gemini" ]]; then
+    if [[ -z "${GEMINI_API_KEY}" ]]; then
+        echo "❌ GEMINI_API_KEY não definida (modo: gemini)"
+        exit 1
+    fi
+
+elif [[ "$PROCESSING_MODE" == "flex" ]] || [[ "$PROCESSING_MODE" == "batch" ]]; then
+    if [[ -z "${GROQ_API_KEY}" ]]; then
+        echo "❌ GROQ_API_KEY não definida (modo: $PROCESSING_MODE)"
+        exit 1
+    fi
+
+elif [[ "$PROCESSING_MODE" == "openrouter" ]]; then
+    if [[ -z "${OPENROUTER_API_KEY}" ]]; then
+        echo "❌ OPENROUTER_API_KEY não definida (modo: openrouter)"
+        exit 1
+    fi
+fi
+
+echo "[$(date '+%Y-%m-%d %H:%M:%S')] ✅ Validações concluídas"
+echo ""
+
+# ============================================================================
+# CONFIGURAÇÃO GIT
+# ============================================================================
+
+echo "[$(date '+%Y-%m-%d %H:%M:%S')] 🔧 Configurando Git..."
+
+git config --global user.email "paraai-worker@bot.com"
+git config --global user.name "ParaAi Worker v5.0"
+git config --global pull.rebase true
+
+echo "[$(date '+%Y-%m-%d %H:%M:%S')] ✅ Git configurado"
+
+# ============================================================================
+# CRIAÇÃO DE DIRETÓRIOS
+# ============================================================================
+
+echo "[$(date '+%Y-%m-%d %H:%M:%S')] 📁 Criando diretórios..."
+
+mkdir -p trabalho/dados_llm
+mkdir -p trabalho/batches_temp
+mkdir -p repo_git_temp
+
+# Garante permissões
+chmod -R 755 trabalho/ 2>/dev/null || true
+chmod -R 755 repo_git_temp/ 2>/dev/null || true
+
+# Limpa repo_git_temp se não for repo válido
+if [ -d "repo_git_temp" ] && [ "$(ls -A repo_git_temp)" ]; then
+    if [ ! -d "repo_git_temp/.git" ]; then
+        echo "[$(date '+%Y-%m-%d %H:%M:%S')] ⚠️  repo_git_temp não é repo válido, limpando..."
+        rm -rf repo_git_temp/* 2>/dev/null || true
+        rm -rf repo_git_temp/.* 2>/dev/null || true
+    fi
+fi
+
+echo "[$(date '+%Y-%m-%d %H:%M:%S')] ✅ Diretórios criados"
+echo ""
+
+# ============================================================================
+# INFORMAÇÕES DA CONFIGURAÇÃO
+# ============================================================================
+
+echo "[$(date '+%Y-%m-%d %H:%M:%S')] ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━"
+echo "[$(date '+%Y-%m-%d %H:%M:%S')] 📊 CONFIGURAÇÃO DO SISTEMA"
+echo "[$(date '+%Y-%m-%d %H:%M:%S')] ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━"
+
+# Repositório
+export GITHUB_REPO="${GITHUB_REPO:-carlex22/ParaAi}"
+export GITHUB_BRANCH="${GITHUB_BRANCH:-main}"
+
+echo "[$(date '+%Y-%m-%d %H:%M:%S')] 📦 Repositório: $GITHUB_REPO"
+echo "[$(date '+%Y-%m-%d %H:%M:%S')] 🌿 Branch: $GITHUB_BRANCH"
+
+# Modo de processamento
+echo ""
+
+if [[ "$PROCESSING_MODE" == "flex" ]]; then
+    echo "[$(date '+%Y-%m-%d %H:%M:%S')] ⚡ MODO: FLEX Processing"
+    echo "[$(date '+%Y-%m-%d %H:%M:%S')]    • Tipo: Síncrono"
+    echo "[$(date '+%Y-%m-%d %H:%M:%S')]    • Rate Limit: 500 req/min (10x on-demand)"
+    echo "[$(date '+%Y-%m-%d %H:%M:%S')]    • Preço: Pay-as-you-go"
+    echo "[$(date '+%Y-%m-%d %H:%M:%S')]    • Workers: ${NUM_WORKERS:-30}"
+    echo "[$(date '+%Y-%m-%d %H:%M:%S')]    • Ideal para: Produção rápida"
+
+elif [[ "$PROCESSING_MODE" == "batch" ]]; then
+    echo "[$(date '+%Y-%m-%d %H:%M:%S')] 📦 MODO: BATCH API"
+    echo "[$(date '+%Y-%m-%d %H:%M:%S')]    • Tipo: Assíncrono"
+    echo "[$(date '+%Y-%m-%d %H:%M:%S')]    • Rate Limit: Sem limite"
+    echo "[$(date '+%Y-%m-%d %H:%M:%S')]    • Preço: 50% desconto 💰"
+    echo "[$(date '+%Y-%m-%d %H:%M:%S')]    • Completion Window: ${BATCH_COMPLETION_WINDOW:-24h}"
+    echo "[$(date '+%Y-%m-%d %H:%M:%S')]    • Poll Interval: ${BATCH_POLL_INTERVAL:-30}s"
+    echo "[$(date '+%Y-%m-%d %H:%M:%S')]    • Ideal para: Volume grande (>100k reqs)"
+
+elif [[ "$PROCESSING_MODE" == "gemini" ]]; then
+    echo "[$(date '+%Y-%m-%d %H:%M:%S')] 🤖 MODO: GEMINI"
+    echo "[$(date '+%Y-%m-%d %H:%M:%S')]    • Tipo: Síncrono"
+    echo "[$(date '+%Y-%m-%d %H:%M:%S')]    • Rate Limit: 15 req/min"
+    echo "[$(date '+%Y-%m-%d %H:%M:%S')]    • Preço: Grátis (free tier)"
+    echo "[$(date '+%Y-%m-%d %H:%M:%S')]    • Workers: ${NUM_WORKERS:-10}"
+    echo "[$(date '+%Y-%m-%d %H:%M:%S')]    • 🔥 Resiliência: RetryDelay automático"
+    echo "[$(date '+%Y-%m-%d %H:%M:%S')]    • Ideal para: Teste/desenvolvimento"
+
+elif [[ "$PROCESSING_MODE" == "openrouter" ]]; then
+    echo "[$(date '+%Y-%m-%d %H:%M:%S')] 🌐 MODO: OPENROUTER"
+    echo "[$(date '+%Y-%m-%d %H:%M:%S')]    • Tipo: Síncrono"
+    echo "[$(date '+%Y-%m-%d %H:%M:%S')]    • Rate Limit: 200 req/min (adaptativo)"
+    echo "[$(date '+%Y-%m-%d %H:%M:%S')]    • Preço: Varia por modelo"
+    echo "[$(date '+%Y-%m-%d %H:%M:%S')]    • Workers: ${NUM_WORKERS:-20}"
+    echo "[$(date '+%Y-%m-%d %H:%M:%S')]    • Modelos: 200+ disponíveis"
+    echo "[$(date '+%Y-%m-%d %H:%M:%S')]    • Ideal para: Qualidade e variedade"
+fi
+
+# Modelos
+echo ""
+
+if [[ "$PROCESSING_MODE" == "gemini" ]]; then
+    export GEMINI_MODEL="${GEMINI_MODEL:-gemini-2.0-flash-exp}"
+    echo "[$(date '+%Y-%m-%d %H:%M:%S')] 🎯 Modelo: $GEMINI_MODEL"
+
+elif [[ "$PROCESSING_MODE" == "openrouter" ]]; then
+    export OPENROUTER_MODEL="${OPENROUTER_MODEL:-openai/gpt-4o-mini}"
+    echo "[$(date '+%Y-%m-%d %H:%M:%S')] 🎯 Modelo: $OPENROUTER_MODEL"
+    export OPENROUTER_SITE_URL="${OPENROUTER_SITE_URL:-https://github.com/caarleexx/ParaAi}"
+    export OPENROUTER_SITE_NAME="${OPENROUTER_SITE_NAME:-ParaAi}"
+    echo "[$(date '+%Y-%m-%d %H:%M:%S')]    • Site: $OPENROUTER_SITE_NAME"
+
+else
+    export GROQ_MODEL="${GROQ_MODEL:-llama-3.3-70b-versatile}"
+    echo "[$(date '+%Y-%m-%d %H:%M:%S')] 🎯 Modelo: $GROQ_MODEL"
+fi
+
+# Chunks
+echo ""
+export REGISTROS_POR_CHUNK="${REGISTROS_POR_CHUNK:-100}"
+echo "[$(date '+%Y-%m-%d %H:%M:%S')] 📦 Registros por chunk: $REGISTROS_POR_CHUNK"
+
+# Retry (apenas para modos síncronos)
+if [[ "$PROCESSING_MODE" != "batch" ]]; then
+    export MAX_RETRIES="${MAX_RETRIES:-500000}"
+    export REQUEST_TIMEOUT="${REQUEST_TIMEOUT:-30000}"
+    echo "[$(date '+%Y-%m-%d %H:%M:%S')] 🔄 Max retries: $MAX_RETRIES"
+    echo "[$(date '+%Y-%m-%d %H:%M:%S')] ⏱️  Timeout: ${REQUEST_TIMEOUT}s"
+fi
+
+# Batch específico
+if [[ "$PROCESSING_MODE" == "batch" ]]; then
+    export MAX_BATCH_SIZE="${MAX_BATCH_SIZE:-1000}"
+    echo "[$(date '+%Y-%m-%d %H:%M:%S')] 📦 Max batch size: $MAX_BATCH_SIZE registros"
+fi
+
+# Estatísticas rastreadas
+echo ""
+echo "[$(date '+%Y-%m-%d %H:%M:%S')] 📊 Estatísticas rastreadas:"
+echo "[$(date '+%Y-%m-%d %H:%M:%S')]    • Registros processados"
+echo "[$(date '+%Y-%m-%d %H:%M:%S')]    • Tokens consumidos"
+echo "[$(date '+%Y-%m-%d %H:%M:%S')]    • Retries 429 (Rate Limit)"
+echo "[$(date '+%Y-%m-%d %H:%M:%S')]    • Retries 498 (Capacity)"
+echo "[$(date '+%Y-%m-%d %H:%M:%S')]    • Retries 503 (Service Unavailable) 🆕"
+
+if [[ "$PROCESSING_MODE" == "gemini" ]]; then
+    echo "[$(date '+%Y-%m-%d %H:%M:%S')]    • Retries Quota (Gemini RetryDelay) 🆕"
+fi
+
+echo "[$(date '+%Y-%m-%d %H:%M:%S')] ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━"
+echo ""
+
+# ============================================================================
+# VALIDAÇÃO DE ARQUIVOS
+# ============================================================================
+
+echo "[$(date '+%Y-%m-%d %H:%M:%S')] 🔎 Verificando arquivos necessários..."
+
+REQUIRED_FILES=(
+    "config.py"
+    "worker_orquestrador_hybrid.py"
+    "llm_worker_hybrid.py"
+    "batch_client.py"
+    "queue_manager.py"
+    "git_manager.py"
+    "result_collector.py"
+    "app.py"
+)
+
+MISSING_FILES=()
+for file in "${REQUIRED_FILES[@]}"; do
+    if [ ! -f "$file" ]; then
+        MISSING_FILES+=("$file")
+    fi
+done
+
+if [ ${#MISSING_FILES[@]} -gt 0 ]; then
+    echo "❌ Arquivos ausentes:"
+    for file in "${MISSING_FILES[@]}"; do
+        echo "   - $file"
+    done
+    exit 1
+fi
+
+echo "[$(date '+%Y-%m-%d %H:%M:%S')] ✅ Todos os arquivos necessários presentes"
+echo ""
+
+# ============================================================================
+# TESTE DE IMPORTAÇÕES
+# ============================================================================
+
+echo "[$(date '+%Y-%m-%d %H:%M:%S')] 🧪 Testando importações Python..."
+
+python3 << 'PYEOF'
+import sys
+
+try:
+    from config import PROCESSING_MODE, validate_config
+    print(f"   ✅ config.py OK")
+
+    validate_config()
+    print(f"   ✅ Configuração validada")
+    print(f"   ℹ️  Modo: {PROCESSING_MODE.value}")
+
+except Exception as e:
+    print(f"   ❌ Erro: {e}")
+    sys.exit(1)
+PYEOF
+
+if [ $? -ne 0 ]; then
+    echo "[$(date '+%Y-%m-%d %H:%M:%S')] ❌ Falha na validação de configuração"
+    exit 1
+fi
+
+echo "[$(date '+%Y-%m-%d %H:%M:%S')] ✅ Importações OK"
+echo ""
+
+# ============================================================================
+# MENSAGEM DE BOAS-VINDAS v5.0
+# ============================================================================
+
+echo "[$(date '+%Y-%m-%d %H:%M:%S')] ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━"
+echo "[$(date '+%Y-%m-%d %H:%M:%S')] 🎉 NOVIDADES v5.0"
+echo "[$(date '+%Y-%m-%d %H:%M:%S')] ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━"
+echo "[$(date '+%Y-%m-%d %H:%M:%S')] ✨ OpenRouter - 200+ modelos LLM"
+echo "[$(date '+%Y-%m-%d %H:%M:%S')] 🔥 Resiliência Gemini com RetryDelay"
+echo "[$(date '+%Y-%m-%d %H:%M:%S')] 🛡️  Retry inteligente por tipo de erro"
+echo "[$(date '+%Y-%m-%d %H:%M:%S')] 📊 Estatísticas aprimoradas"
+echo "[$(date '+%Y-%m-%d %H:%M:%S')] ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━"
+echo ""
+
+# ============================================================================
+# INICIAR WORKER ORQUESTRADOR
+# ============================================================================
+
+echo "[$(date '+%Y-%m-%d %H:%M:%S')] 🤖 Iniciando Worker Orquestrador..."
+echo "[$(date '+%Y-%m-%d %H:%M:%S')] ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━"
+echo ""
+
+# Função para iniciar worker com retry
+start_worker() {
+    local max_retries=3
+    local retry=0
+
+    while [ $retry -lt $max_retries ]; do
+        echo "[$(date '+%Y-%m-%d %H:%M:%S')] 🔄 Tentativa $((retry + 1))/$max_retries de iniciar worker..."
+
+        python3 -u worker_orquestrador_hybrid.py &
+        WORKER_PID=$!
+
+        echo "[$(date '+%Y-%m-%d %H:%M:%S')] ℹ️  Worker PID: $WORKER_PID"
+
+        # Aguarda 10s para verificar se iniciou
+        sleep 10
+
+        if kill -0 $WORKER_PID 2>/dev/null; then
+            echo "[$(date '+%Y-%m-%d %H:%M:%S')] ✅ Worker iniciado com sucesso!"
+            echo "[$(date '+%Y-%m-%d %H:%M:%S')] 📊 Monitorando PID: $WORKER_PID"
+            return 0
+        else
+            echo "[$(date '+%Y-%m-%d %H:%M:%S')] ⚠️  Worker falhou ao iniciar"
+            retry=$((retry + 1))
+
+            if [ $retry -lt $max_retries ]; then
+                echo "[$(date '+%Y-%m-%d %H:%M:%S')] 🗑️  Limpando estado..."
+
+                # Reseta repo git
+                if [ -d "repo_git_temp/.git" ]; then
+                    echo "[$(date '+%Y-%m-%d %H:%M:%S')] 🔄 Resetando repo Git..."
+                    (cd repo_git_temp && git reset --hard HEAD 2>/dev/null) || true
+                else
+                    rm -rf repo_git_temp/* 2>/dev/null || true
+                    rm -rf repo_git_temp/.* 2>/dev/null || true
+                fi
+
+                sleep 3
+            fi
+        fi
+    done
+
+    echo "[$(date '+%Y-%m-%d %H:%M:%S')] ❌ Worker não iniciou após $max_retries tentativas"
+    echo "[$(date '+%Y-%m-%d %H:%M:%S')] ℹ️  Dashboard continuará disponível (modo read-only)"
+    return 1
+}
+
+start_worker
+sleep 3
+echo ""
+
+# ============================================================================
+# INICIAR DASHBOARD
+# ============================================================================
+
+echo "[$(date '+%Y-%m-%d %H:%M:%S')] 🌐 Iniciando Dashboard FastAPI..."
+echo "[$(date '+%Y-%m-%d %H:%M:%S')] ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━"
+echo ""
+echo "[$(date '+%Y-%m-%d %H:%M:%S')] 📊 Dashboard: http://0.0.0.0:7860"
+echo "[$(date '+%Y-%m-%d %H:%M:%S')] 📈 API Stats: http://0.0.0.0:7860/api/stats"
+echo "[$(date '+%Y-%m-%d %H:%M:%S')] 💚 Health Check: http://0.0.0.0:7860/health"
+echo ""
+echo "[$(date '+%Y-%m-%d %H:%M:%S')] ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━"
+echo ""
+echo "[$(date '+%Y-%m-%d %H:%M:%S')] ✅ Sistema v5.0 inicializado!"
+echo ""
+
+# ============================================================================
+# EXEC UVICORN
+# ============================================================================
+
+exec uvicorn app:app --host 0.0.0.0 --port 7860 --log-level info