First commit

app.py

@@ -0,0 +1,134 @@
+
+import pandas as pd
+import numpy as np
+import streamlit as st
+import tensorflow as tf
+from sklearn.preprocessing import LabelEncoder, StandardScaler
+from sklearn.model_selection import train_test_split
+from tensorflow.keras.layers import Input, Embedding, Flatten, Concatenate, Dense, BatchNormalization, Dropout
+from tensorflow.keras.models import Model
+import matplotlib.pyplot as plt
+
+# Título
+st.title("Provisionamento de Indenizações - Modelo de Deep Learning")
+
+# Upload de Dados
+st.sidebar.header("Upload de Dados")
+uploaded_file = st.sidebar.file_uploader("Envie seu arquivo Excel", type=["xlsx"])
+
+if uploaded_file:
+    # Carregar os dados
+    base_final = pd.read_excel(uploaded_file)
+    
+    # Preprocessamento
+    st.sidebar.subheader("Configurações de Pré-processamento")
+    date_columns = st.sidebar.multiselect("Colunas de Data a Remover", options=base_final.columns, default=['data', 'data_presumida'])
+    base_final = base_final.drop(columns=date_columns, errors='ignore')
+    
+    base_final['indenizacao'] = base_final['indenizacao'].replace('Valor Não Previsto/Mencionado', np.nan).astype(float)
+    base_final['remuneracao_magistrado'] = base_final['remuneracao_magistrado'].fillna(base_final['remuneracao_magistrado'].mean())
+    base_final['entrancia'] = base_final['entrancia'].fillna('Desconhecido')
+    base_final['latitude'] = base_final['latitude'].fillna(base_final['latitude'].mean())
+    base_final['longitude'] = base_final['longitude'].fillna(base_final['longitude'].mean())
+    base_final['count'] = base_final['count'].fillna(base_final['count'].mean())
+    base_final['tempo_por_comarca'] = base_final['tempo_meses'] * base_final['count']
+    base_final['tempo_por_comarca'] = base_final['tempo_por_comarca'].fillna(0)
+
+    base_final = base_final[base_final['indenizacao'].notna()]
+    
+    # Separar variáveis categóricas, numéricas e alvo
+    categorical_columns = ['classe', 'assunto', 'magistrado', 'comarca', 'foro', 'vara', 'decisao', 'resultado', 'danos', 'entrancia']
+    numerical_columns = ['ano_processo', 'tempo_meses', 'remuneracao_magistrado', 'latitude', 'longitude', 'count']
+    target = 'indenizacao'
+    
+    label_encoders = {}
+    for col in categorical_columns:
+        le = LabelEncoder()
+        base_final[col] = le.fit_transform(base_final[col])
+        label_encoders[col] = le
+    
+    scaler = StandardScaler()
+    base_final[numerical_columns + ['tempo_por_comarca']] = scaler.fit_transform(base_final[numerical_columns + ['tempo_por_comarca']])
+    
+    X = base_final[categorical_columns + numerical_columns + ['tempo_por_comarca']]
+    y = base_final[target].values
+    X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
+    
+    # Construção do Modelo
+    inputs = []
+    encoded_layers = []
+    
+    for col in categorical_columns:
+        input_cat = Input(shape=(1,), name=f"input_{col}")
+        inputs.append(input_cat)
+        num_unique_vals = base_final[col].nunique()
+        embedding_dim = min(50, num_unique_vals // 2)
+        embedding = Embedding(input_dim=num_unique_vals + 1, output_dim=embedding_dim, name=f"embedding_{col}")(input_cat)
+        flatten = Flatten()(embedding)
+        encoded_layers.append(flatten)
+    
+    tempo_por_comarca_input = Input(shape=(1,), name="tempo_por_comarca_input")
+    inputs.append(tempo_por_comarca_input)
+    encoded_layers.append(tempo_por_comarca_input)
+    
+    input_num = Input(shape=(len(numerical_columns),), name="input_numerical")
+    inputs.append(input_num)
+    encoded_layers.append(input_num)
+    
+    concat = Concatenate()(encoded_layers)
+    x = Dense(128, activation="relu")(concat)
+    x = BatchNormalization()(x)
+    x = Dropout(0.3)(x)
+    x = Dense(64, activation="relu")(x)
+    x = BatchNormalization()(x)
+    x = Dropout(0.3)(x)
+    output = Dense(1, activation="linear", name="output")(x)
+    
+    model = Model(inputs=inputs, outputs=output)
+    model.compile(optimizer="adam", loss="mse", metrics=["mae"])
+    
+    # Preparar os dados para o modelo
+    input_data = [X_train[col].values.reshape(-1, 1) for col in categorical_columns]
+    input_data.append(X_train['tempo_por_comarca'].values.reshape(-1, 1))
+    input_data.append(X_train[numerical_columns].values)
+    
+    val_data = (
+        [X_test[col].values.reshape(-1, 1) for col in categorical_columns]
+        + [X_test['tempo_por_comarca'].values.reshape(-1, 1)]
+        + [X_test[numerical_columns].values],
+        y_test
+    )
+    
+    # Treinamento
+    st.sidebar.subheader("Treinamento")
+    epochs = st.sidebar.slider("Épocas", min_value=10, max_value=100, value=50, step=10)
+    batch_size = st.sidebar.slider("Tamanho do Batch", min_value=16, max_value=128, value=32, step=16)
+    
+    with st.spinner("Treinando o modelo..."):
+        history = model.fit(
+            input_data[:12],
+            y_train,
+            validation_data=(val_data[0][:12], val_data[1]),
+            epochs=epochs,
+            batch_size=batch_size,
+            callbacks=[tf.keras.callbacks.EarlyStopping(monitor="val_loss", patience=5, restore_best_weights=True)],
+            verbose=0
+        )
+    
+    st.success("Modelo treinado com sucesso!")
+    
+    # Avaliação
+    st.subheader("Resultados do Modelo")
+    results = model.evaluate([val_data[0][i] for i in range(12)], val_data[1], verbose=0)
+    st.write(f"Loss (MSE): {results[0]:.4f}")
+    st.write(f"MAE: {results[1]:.4f}")
+    
+    # Gráfico de Treinamento
+    st.subheader("Curva de Treinamento")
+    plt.figure(figsize=(10, 6))
+    plt.plot(history.history['loss'], label='Loss de Treinamento')
+    plt.plot(history.history['val_loss'], label='Loss de Validação')
+    plt.xlabel('Épocas')
+    plt.ylabel('Loss')
+    plt.legend()
+    st.pyplot(plt.gcf())

requirements.txt

@@ -0,0 +1,16 @@
+openpyxl
+matplotlib
+scikit-learn
+pydantic==1.10.13
+tiktoken
+tensorflow
+pandas
+uvicorn
+sse_starlette
+hypercorn
+apscheduler
+python-jose
+python-multipart
+bcrypt
+passlib
+pyjwt