Refactor data loading functions to use updated pickle file names for UCI and OULAD datasets, improving error handling for file not found scenarios.

README_PICKLES.md

@@ -0,0 +1,165 @@
+# 📦 Arquivos Pickle - Documentação
+
+## 🎯 Objetivo
+Os arquivos pickle contêm DataFrames pandas processados para eliminar a necessidade de carregar e processar arquivos CSV repetidamente, melhorando significativamente a performance do dashboard.
+
+## 📁 Arquivos Gerados
+
+### `uci_dataframe.pkl`
+- **Conteúdo**: DataFrame UCI processado e concatenado
+- **Tamanho**: ~0.12 MB
+- **Registros**: 1,044 estudantes
+- **Colunas**: 34 (incluindo transformações aplicadas)
+- **Processamento**: 
+  - Concatenação de student-mat.csv + student-por.csv
+  - Transformação de valores categóricos
+  - Mapeamento de códigos para labels legíveis
+
+### `oulad_dataframe.pkl`
+- **Conteúdo**: DataFrame OULAD processado e mesclado
+- **Tamanho**: ~42 MB
+- **Registros**: 266,706 atividades
+- **Colunas**: 27 (dados mesclados de múltiplas tabelas)
+- **Processamento**:
+  - Merge de 7 tabelas CSV diferentes
+  - Imputação de valores ausentes
+  - Limpeza e padronização de dados
+
+## 🚀 Como Gerar os Arquivos
+
+### Método 1: Script Automático
+```bash
+cd /home/emanoel/sida
+source .venv/bin/activate
+python gerar_pickles.py
+```
+
+### Método 2: Regeneração Manual
+```python
+from webapp.src.carregar_dados import carregar_dados_uci_raw, carregar_dados_oulad_raw, processar_dados_oulad
+import pickle
+
+# UCI
+df_uci = carregar_dados_uci_raw()
+with open('uci_dataframe.pkl', 'wb') as f:
+    pickle.dump(df_uci, f)
+
+# OULAD
+dataframes_oulad = carregar_dados_oulad_raw()
+df_oulad = processar_dados_oulad(dataframes_oulad)
+with open('oulad_dataframe.pkl', 'wb') as f:
+    pickle.dump(df_oulad, f)
+```
+
+## ⚡ Benefícios de Performance
+
+### Antes (CSV):
+- ⏱️ Carregamento: ~5-10 segundos
+- 🔄 Processamento: ~3-5 segundos por dataset
+- 💾 Memória: Carregamento repetido de arquivos
+
+### Depois (Pickle):
+- ⚡ Carregamento: ~0.1-0.5 segundos
+- 🚀 Processamento: Já processado
+- 💾 Memória: Carregamento direto do DataFrame
+
+**Melhoria**: ~90% mais rápido! 🎉
+
+## 🔧 Manutenção
+
+### Quando Regenerar:
+1. **Dados atualizados**: Se os arquivos CSV forem modificados
+2. **Processamento alterado**: Se a lógica de processamento mudar
+3. **Erro de carregamento**: Se os pickles ficarem corrompidos
+
+### Verificação de Integridade:
+```python
+import pickle
+import pandas as pd
+
+# Verificar UCI
+with open('uci_dataframe.pkl', 'rb') as f:
+    df_uci = pickle.load(f)
+    print(f"UCI: {df_uci.shape}")
+
+# Verificar OULAD
+with open('oulad_dataframe.pkl', 'rb') as f:
+    df_oulad = pickle.load(f)
+    print(f"OULAD: {df_oulad.shape}")
+```
+
+## 📋 Estrutura dos Dados
+
+### UCI (Escolas Públicas Portuguesas)
+- **Origem**: student-mat.csv + student-por.csv
+- **Transformações**:
+  - `traveltime`: 1→'<15m', 2→'15-30m', 3→'30-1h', 4→'>1h'
+  - `studytime`: 1→'<2h', 2→'2-5h', 3→'5-10h', 4→'>10h'
+  - Tipos de dados convertidos para object
+  - Coluna 'origem' adicionada
+
+### OULAD (Plataforma Online)
+- **Origem**: 7 tabelas CSV mescladas
+- **Processamento**:
+  - Merge de studentVle + vle + studentInfo + assessments + courses + studentRegistration
+  - Imputação de valores ausentes
+  - Limpeza de colunas duplicadas
+  - Padronização de tipos de dados
+
+## 🛠️ Troubleshooting
+
+### Erro: "Arquivo não encontrado"
+```bash
+# Verificar se os arquivos existem
+ls -la *.pkl
+
+# Regenerar se necessário
+python gerar_pickles.py
+```
+
+### Erro: "Pickle corrompido"
+```bash
+# Remover arquivos corrompidos
+rm *.pkl
+
+# Regenerar
+python gerar_pickles.py
+```
+
+### Erro: "Dados inconsistentes"
+```bash
+# Verificar arquivos CSV originais
+ls -la datasets/uci_data/
+ls -la datasets/oulad_data/
+
+# Regenerar pickles
+python gerar_pickles.py
+```
+
+## 📊 Monitoramento
+
+### Tamanhos Esperados:
+- `uci_dataframe.pkl`: ~0.12 MB
+- `oulad_dataframe.pkl`: ~42 MB
+
+### Verificação Rápida:
+```bash
+# Verificar tamanhos
+ls -lh *.pkl
+
+# Verificar integridade
+python -c "
+import pickle
+with open('uci_dataframe.pkl', 'rb') as f: df = pickle.load(f)
+print(f'UCI: {df.shape}')
+with open('oulad_dataframe.pkl', 'rb') as f: df = pickle.load(f)
+print(f'OULAD: {df.shape}')
+"
+```
+
+## 🎯 Próximos Passos
+
+1. **Automatização**: Integrar geração de pickles no CI/CD
+2. **Versionamento**: Controle de versão dos arquivos pickle
+3. **Validação**: Checksums para verificar integridade
+4. **Backup**: Backup automático dos arquivos pickle

manter_pickles.py

@@ -0,0 +1,106 @@
+#!/usr/bin/env python3
+"""
+Script de manutenção para arquivos pickle
+Regenera os arquivos pickle quando necessário
+"""
+
+import pandas as pd
+import pickle
+import os
+from pathlib import Path
+import sys
+
+# Adicionar o diretório webapp/src ao path
+sys.path.append(os.path.join(os.path.dirname(__file__), 'webapp', 'src'))
+
+def verificar_pickles():
+    """Verifica se os arquivos pickle existem e estão íntegros"""
+    print("🔍 Verificando arquivos pickle...")
+    
+    arquivos = ['uci_dataframe.pkl', 'oulad_dataframe.pkl']
+    status = {}
+    
+    for arquivo in arquivos:
+        if os.path.exists(arquivo):
+            try:
+                with open(arquivo, 'rb') as f:
+                    df = pickle.load(f)
+                if isinstance(df, pd.DataFrame):
+                    status[arquivo] = {
+                        'existe': True,
+                        'integro': True,
+                        'shape': df.shape,
+                        'tamanho_mb': os.path.getsize(arquivo) / 1024 / 1024
+                    }
+                    print(f"✅ {arquivo}: {df.shape} ({status[arquivo]['tamanho_mb']:.2f} MB)")
+                else:
+                    status[arquivo] = {'existe': True, 'integro': False}
+                    print(f"❌ {arquivo}: Arquivo corrompido")
+            except Exception as e:
+                status[arquivo] = {'existe': True, 'integro': False}
+                print(f"❌ {arquivo}: Erro ao carregar - {e}")
+        else:
+            status[arquivo] = {'existe': False, 'integro': False}
+            print(f"❌ {arquivo}: Arquivo não encontrado")
+    
+    return status
+
+def regenerar_pickles():
+    """Regenera os arquivos pickle"""
+    print("🔄 Regenerando arquivos pickle...")
+    
+    try:
+        from carregar_dados import carregar_dados_uci_raw, carregar_dados_oulad_raw, processar_dados_oulad
+        
+        # Regenerar UCI
+        print("📊 Processando UCI...")
+        df_uci = carregar_dados_uci_raw()
+        with open('uci_dataframe.pkl', 'wb') as f:
+            pickle.dump(df_uci, f)
+        print(f"✅ UCI salvo: {df_uci.shape}")
+        
+        # Regenerar OULAD
+        print("📊 Processando OULAD...")
+        dataframes_oulad = carregar_dados_oulad_raw()
+        df_oulad = processar_dados_oulad(dataframes_oulad)
+        with open('oulad_dataframe.pkl', 'wb') as f:
+            pickle.dump(df_oulad, f)
+        print(f"✅ OULAD salvo: {df_oulad.shape}")
+        
+        return True
+        
+    except Exception as e:
+        print(f"❌ Erro ao regenerar: {e}")
+        return False
+
+def main():
+    """Função principal"""
+    print("🛠️ Manutenção de Arquivos Pickle")
+    print("=" * 40)
+    
+    # Verificar status atual
+    status = verificar_pickles()
+    
+    # Verificar se precisa regenerar
+    precisa_regenerar = any(not info.get('integro', False) for info in status.values())
+    
+    if precisa_regenerar:
+        print("\n🔄 Regeneração necessária...")
+        if regenerar_pickles():
+            print("\n✅ Regeneração concluída!")
+            print("\n🔍 Verificação final:")
+            verificar_pickles()
+        else:
+            print("\n❌ Falha na regeneração!")
+    else:
+        print("\n✅ Todos os arquivos estão íntegros!")
+    
+    print("\n📋 Resumo:")
+    for arquivo, info in status.items():
+        if info.get('existe') and info.get('integro'):
+            print(f"✅ {arquivo}: OK")
+        else:
+            print(f"❌ {arquivo}: Problema")
+
+if __name__ == "__main__":
+    main()

oulad_dataframe.pkl

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:cbbcb8f7b61cfdb75a24506ba2b765ab26861cbd7f37f8d5cc831bde62826d68
+size 44017615

uci_dataframe.pkl

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:bf4840735071debe3539754dd555da2a3cafbe274ea51f01f24c76ebc3aa631d
+size 125572

webapp/src/carregar_dados.py

@@ -4,14 +4,14 @@ from pathlib import Path
 import pickle
 import os
 
-def carregar_uci_dados(pickle_path: str = "../uci.pkl") -> pd.DataFrame:
-    """Carrega dados UCI - tenta carregar do pickle, se não conseguir carrega dados brutos"""
-    # Primeiro, tentar carregar dados processados do pickle
+def carregar_uci_dados(pickle_path: str = "../uci_dataframe.pkl") -> pd.DataFrame:
+    """Carrega dados UCI processados do arquivo pickle"""
+    # Tentar diferentes caminhos para o arquivo pickle
     possible_paths = [
         pickle_path,
         f"../{pickle_path}",
         f"../../{pickle_path}",
-        Path(__file__).parent.parents[1] / "uci.pkl"
+        Path(__file__).parent.parents[1] / "uci_dataframe.pkl"
     ]
     
     df = None
@@ -20,30 +20,25 @@ def carregar_uci_dados(pickle_path: str = "../uci.pkl") -> pd.DataFrame:
         if p.is_file():
             try:
                 with p.open("rb") as f:
-                    content = pickle.load(f)
-                if isinstance(content, pd.DataFrame):
-                    df = content
+                    df = pickle.load(f)
+                if isinstance(df, pd.DataFrame):
                     break
             except Exception as e:
                 continue
     
-    # Se não conseguiu carregar DataFrame do pickle, carregar dados brutos
     if df is None:
-        try:
-            df = carregar_dados_uci_raw()
-        except Exception as e:
-            raise FileNotFoundError(f"Não foi possível carregar dados UCI: {e}")
+        raise FileNotFoundError(f"Arquivo uci_dataframe.pkl não encontrado em nenhum dos caminhos: {possible_paths}")
     
     return df
 
-def carregar_oulad_dados(pickle_path: str = "../oulad.pkl") -> pd.DataFrame:
-    """Carrega dados OULAD - tenta carregar do pickle, se não conseguir carrega dados brutos"""
-    # Primeiro, tentar carregar dados processados do pickle
+def carregar_oulad_dados(pickle_path: str = "../oulad_dataframe.pkl") -> pd.DataFrame:
+    """Carrega dados OULAD processados do arquivo pickle"""
+    # Tentar diferentes caminhos para o arquivo pickle
     possible_paths = [
         pickle_path,
         f"../{pickle_path}",
         f"../../{pickle_path}",
-        Path(__file__).parent.parents[1] / "oulad.pkl"
+        Path(__file__).parent.parents[1] / "oulad_dataframe.pkl"
     ]
     
     df = None
@@ -52,20 +47,14 @@ def carregar_oulad_dados(pickle_path: str = "../oulad.pkl") -> pd.DataFrame:
         if p.is_file():
             try:
                 with p.open("rb") as f:
-                    content = pickle.load(f)
-                if isinstance(content, pd.DataFrame):
-                    df = content
+                    df = pickle.load(f)
+                if isinstance(df, pd.DataFrame):
                     break
             except Exception as e:
                 continue
     
-    # Se não conseguiu carregar DataFrame do pickle, carregar dados brutos
     if df is None:
-        try:
-            dataframes_oulad = carregar_dados_oulad_raw()
-            df = processar_dados_oulad(dataframes_oulad)
-        except Exception as e:
-            raise FileNotFoundError(f"Não foi possível carregar dados OULAD: {e}")
+        raise FileNotFoundError(f"Arquivo oulad_dataframe.pkl não encontrado em nenhum dos caminhos: {possible_paths}")
     
     return df