Pytest e estrutura do projeto

.vscode/extensions.json

@@ -0,0 +1,5 @@
+{
+    "recommendations": [
+        "10nates.ollama-autocoder"
+    ]
+}

.vscode/settings.json

@@ -1,3 +1,4 @@
 {
-    "continue.remoteConfigServerUrl": ""
+    "continue.remoteConfigServerUrl": "",
+    "CodeGPT.apiKey": "Huggingface"
 }

oulad.pkl

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:4601482a182ed9a7adaf0e93e3b2d4732e4efbb4d081000003cc0d090990ab0b
-size 143341
+oid sha256:d330dea5d2d2d47f67b787298e45bc817a047c6488c2654388ccd7d2f15dec9a
+size 143349

requirements.txt

@@ -1,5 +1,3 @@
-ansible==7.7.0
-ansible-core==2.14.18
 anyio==3.6.2
 apsw==3.40.0.0
 apt-xapian-index==0.49

sida.sh

@@ -1,4 +1,6 @@
 #!/bin/bash
 
 source ./venv/bin/activate
-streamlit run webapp/home.py
+streamlit run webapp/home.py
+
+ 

uci.pkl

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:26d42b46a275f435d279686c4ceb62a6c41f36e4012c6c70e15c3d45f422504c
-size 3176806
+oid sha256:ff57645cb7ed1d00c72be46f40dd51cd4f7beeef976675b7aa2254cf1d6e3b61
+size 3176814

webapp/home.py

@@ -2,6 +2,10 @@ import streamlit as st
 import pandas as pd
 import seaborn as sns
 import matplotlib.pyplot as plt
+from pathlib import Path
+import os
+import pickle
+import webapp.src.utilidades as utilidades
 
 st.set_page_config(page_title="Dashboard Educacional", layout="wide")
 

webapp/home_1.py

@@ -0,0 +1,104 @@
+import streamlit as st
+import pandas as pd
+import seaborn as sns
+import matplotlib.pyplot as plt
+from pathlib import Path
+import pickle
+
+# Configuração da página Streamlit
+st.set_page_config(page_title="Dashboard Educacional", layout="wide")
+
+# Funções para carregar dados
+@st.cache_data(show_spinner=False)
+def load_uci_data(pickle_path: str = "uci.pkl") -> pd.DataFrame:
+    """Carrega o arquivo pickle com os dados do banco UCI."""
+    p = Path(pickle_path)
+    if not p.is_file():
+        st.warning(f"Arquivo {p} não encontrado.")
+        return pd.DataFrame()
+    
+    try:
+        with p.open("rb") as f:
+            df = pickle.load(f)
+    except Exception as e:
+        st.error(f"Falha ao ler {p}: {e}")
+        return pd.DataFrame()
+    
+    if not isinstance(df, pd.DataFrame):
+        st.error(f"O conteúdo de {p} não é um DataFrame.")
+        return pd.DataFrame()
+    
+    return df
+
+@st.cache_data(show_spinner=False)
+def load_oulad_data(pickle_path: str = "oulad.pkl") -> pd.DataFrame:
+    """Carrega o arquivo pickle com os dados do banco OULAD."""
+    p = Path(pickle_path)
+    if not p.is_file():
+        st.warning(f"Arquivo {p} não encontrado.")
+        return pd.DataFrame()
+    
+    try:
+        with p.open("rb") as f:
+            df = pickle.load(f)
+    except Exception as e:
+        st.error(f"Falha ao ler {p}: {e}")
+        return pd.DataFrame()
+    
+    if not isinstance(df, pd.DataFrame):
+        st.error(f"O conteúdo de {p} não é um DataFrame.")
+        return pd.DataFrame()
+    
+    return df
+
+# Carregar dados no estado da sessão ou do usuário
+if "df_uci" not in st.session_state:
+    st.session_state.df_uci = load_uci_data("uci.pkl")
+
+if "df_oulad" not in st.session_state:
+    st.session_state.df_oulad = load_oulad_data("oulad.pkl")
+
+# Exibir dados carregados
+st.write("Dados da UCI:")
+st.dataframe(st.session_state.df_uci)
+
+st.write("Dados do OULAD:")
+st.dataframe(st.session_state.df_oulad)
+
+# Título do dashboard
+st.title("Dashboard de Desempenho Educacional")
+
+# Visão geral das métricas
+col1, col2, col3, col4 = st.columns(4)
+col1.metric("Alunos ativos", "1,200")
+col2.metric("Média de notas", "78,5")
+col3.metric("Taxa de abandono", "3,2 %")
+col4.metric("Engajamento médio", "2,3 cliques/dia")
+
+# Contexto do dashboard
+st.markdown("""
+Esta página mostra uma visão consolidada dos dados de duas bases públicas:
+- **UCI**: informações de escolas públicas.
+- **OULAD**: plataforma de aprendizado online.
+Essas análises ajudam gestores e professores a identificar áreas de melhoria e a planejar intervenções.
+""")
+
+# Distribuição de notas (UCI)
+fig, ax = plt.subplots(figsize=(6,4))
+sns.histplot(st.session_state.df_uci['G3'], bins=20, kde=True, ax=ax)
+ax.set_title("Distribuição de Notas (UCI)")
+st.pyplot(fig)
+
+# Distribuição de Cliques (OULAD)
+fig, ax = plt.subplots(figsize=(6,4))
+sns.histplot(st.session_state.df_oulad['clicks'], bins=20, kde=True, ax=ax)
+ax.set_title("Distribuição de Cliques (OULAD)")
+st.pyplot(fig)
+
+# Filtros
+periodo = st.selectbox("Período", ["2021", "2022", "2023"])
+genero = st.multiselect("Gênero", ["Masculino", "Feminino", "Outro"])
+
+# Tabela de correlação
+corr = st.session_state.df_uci.corr()
+st.dataframe(corr.style.background_gradient(cmap="coolwarm"))

webapp/pages/1_uci.py

@@ -62,7 +62,12 @@ with st.sidebar:
         "Tipo de Visualização",
         ["Box Plot", "Histograma", "Violin Plot"]
     )
-
+    st.markdown("---")
+    st.markdown("### Experimente")
+    analyzer = st.selectbox(
+        "Analisador",
+        ["UCI EDA", "OULAD EDA"]
+    ) 
     st.markdown("---")
     st.markdown("## Informações")
     st.write(f"**Número de Instâncias:** {df.shape[0]}")
@@ -305,7 +310,9 @@ plt.clf()
 O gráfico indica uma ligeira tendência de queda na nota final conforme o número de faltas aumenta, especialmente a partir da faixa de 11-15 faltas. Estudantes que apresentam menos de 10 faltas alcançam notas máximas e concentram-se entre 10 e 14 pontos. As notas medianas e máximas observadas demonstram uma redução significativa quando superior a 16 faltas.
 '''
 
-st.markdown("## Entendendo as relações das classes utilizando Aprendizado de Máquina")
+"""
+## Importância das classes em relação ao resultado final\
+"""
 
 st.markdown("Preparação dos dados para modelos de ML...")
 Y = df['G3']
@@ -365,11 +372,6 @@ st.markdown(f"Mean Absolute Error (MAE): {mae:.2f}")
 st.markdown(f"Root Mean Squared Error (RMSE): {rmse:.2f}")
 st.markdown(f"R-squared (R2): {r2:.2f}")
 
-
-"""
-## Importância das classes em relação ao resultado final\
-"""
-
 from sklearn.inspection import permutation_importance
 
 result = permutation_importance(model, X_test, y_test, n_repeats=10, random_state=42, n_jobs=2)
@@ -395,3 +397,16 @@ A análise dos dados mostra que a maioria dos estudantes tem entre 15 e 19 anos,
 with open('uci.pkl', 'wb') as f:
     pickle.dump(model, f)
     f.close()
+
+# PyGWalker
+
+import pygwalker as pyg
+from pygwalker.api.streamlit import StreamlitRenderer
+
+if "df_uci" in st.session_state:
+    df = st.session_state['df_uci']
+    walker = pyg.walk(df)
+else:
+    st.write("Nenhum dado disponível. Por favor, navegue para a página UCI primeiro.")
+
+    

webapp/pages/2_oulad.py

@@ -289,7 +289,7 @@ plt.clf()
 a grande maioria dos estudantes obteve o resultado "Pass" (Aprovado), superando vastamente as outras categorias. Os resultados de "Distinction" (Aprovação com mérito), "Withdrawn" (Desistente) e "Fail" (Reprovado) representam uma proporção muito menor do total de alunos, indicando uma alta taxa de sucesso geral.
 '''
 
-st.markdown("## Entendendo as relações das classes utilizando Aprendizado de Máquina")
+st.markdown('## Analisando  a importância das classes (feature importance)')
 
 st.markdown("Preparação dos dados para modelos de ML...")
 Y = merged_df['final_result']
@@ -349,8 +349,6 @@ from sklearn.metrics import confusion_matrix, classification_report
 # st.write(classification_report(y_test, predictions, zero_division=0))
 # st.write(confusion_matrix(y_test, predictions))
 
-st.markdown('## Analisando  a importância das classes (feature importance)')
-
 from sklearn.inspection import permutation_importance
 import pandas as pd
 

webapp/src/__init__.py

@@ -0,0 +1,2 @@
+# src/__init__.py
+from .carregar_dados import carregar_uci_dados, carregar_oulad_dados

webapp/src/carregar_dados.py

@@ -0,0 +1,36 @@
+# src/carregar_dados.py
+import pandas as pd
+from pathlib import Path
+import pickle
+
+def carregar_uci_dados(pickle_path: str = "datasets/uci.pkl") -> pd.DataFrame:
+    p = Path(pickle_path)
+    if not p.is_file():
+        raise FileNotFoundError(f"Arquivo {p} não encontrado.")
+    
+    try:
+        with p.open("rb") as f:
+            df = pickle.load(f)
+    except Exception as e:
+        raise ValueError(f"Erro ao ler o arquivo {pickle_path}: {e}")
+    
+    if not isinstance(df, pd.DataFrame):
+        raise TypeError("O conteúdo do arquivo não é um DataFrame.")
+    
+    return df
+
+def carregar_oulad_dados(pickle_path: str = "datasets/oulad.pkl") -> pd.DataFrame:
+    p = Path(pickle_path)
+    if not p.is_file():
+        raise FileNotFoundError(f"Arquivo {p} não encontrado.")
+    
+    try:
+        with p.open("rb") as f:
+            df = pickle.load(f)
+    except Exception as e:
+        raise ValueError(f"Erro ao ler o arquivo {pickle_path}: {e}")
+    
+    if not isinstance(df, pd.DataFrame):
+        raise TypeError("O conteúdo do arquivo não é um DataFrame.")
+    
+    return df

webapp/{utilidades.py → src/utilidades.py}

@@ -1,9 +1,26 @@
 from pathlib import Path
 import streamlit as st
 import pandas as pd
-import os
-import pickle
 
 def leitura_oulad_data():
     datasets_path = Path(__file__).parent.parents / 'datasets' / 'oulad_data'
     st.write(f"Path dos datasets: {datasets_path}")
+
+
+# Create visualization selection in sidebar
+with st.sidebar:
+    st.markdown("### Escolha o dataset ")
+    eda_dataset = st.selectbox(
+        "Analise",
+        ["UCI EDA", "OULAD EDA"]
+    ) 
+           
+    ### footer
+    st.markdown("Mestrado em Tecnologia Educacional - UFC")
+
+
+
+if eda_dataset is 'UCI EDA':
+    st.write("UCI EDA")
+else
+    st.write("OULAD EDA")

webapp/tests/test_carregar_dados.py

@@ -0,0 +1,13 @@
+# tests/test_carregar_dados.py
+import pytest
+from webapp/src.carregar_dados import carregar_uci_dados, carregar_oulad_dados
+
+def test_carregar_uci_dados():
+    df = carregar_uci_dados()
+    assert isinstance(df, pd.DataFrame), "O retorno não é um DataFrame"
+    # Adicione mais asserções conforme necessário para validar o conteúdo do DataFrame
+
+def test_carregar_oulad_dados():
+    df = carregar_oulad_dados()
+    assert isinstance(df, pd.DataFrame), "O retorno não é um DataFrame"
+    # Adicione mais asserções conforme necessário para validar o conteúdo do DataFrame