importar_excel.py

import streamlit as st
import pandas as pd
from io import BytesIO
from datetime import datetime, date

from banco import SessionLocal
from models import Equipamento
from utils_auditoria import registrar_log


# =====================================================
# FUNÇÕES AUXILIARES
# =====================================================
def to_date(value):
    """
    Converte pandas.Timestamp ou datetime para datetime.date
    Necessário para compatibilidade com SQLite
    """
    if value is None or pd.isna(value):
        return None
    if isinstance(value, pd.Timestamp):
        return value.date()
    if isinstance(value, datetime):
        return value.date()
    if isinstance(value, date):
        return value
    return None


def safe_value(value):
    """
    Retorna 0 se o valor for vazio/NaN, senão retorna o próprio valor.
    Usado para campos obrigatórios.
    """
    if value is None or pd.isna(value):
        return 0
    return value


# =====================================================
# MÓDULO PRINCIPAL
# =====================================================
def main():
    st.title("📥 Importação de Dados via Excel")

    st.markdown(
        """
        Este módulo permite:
        - 📄 Baixar um **modelo Excel padrão**
        - ✍️ Preencher os dados offline
        - 🔍 Validar antes da gravação
        - 💾 Importar os registros para o banco
        """
    )

    # =====================================================
    # 1️⃣ GERAR MODELO EXCEL
    # =====================================================
    st.subheader("📄 Baixar modelo Excel")

    colunas = [
        "fpso1", "fpso", "data_coleta", "especialista", "conferente", "osm", "modal",
        "quant_equip", "mrob", "linhas_osm", "linhas_mrob", "linhas_erros",
        "erro_storekeeper", "erro_operacao", "erro_especialista", "erro_outros",
        "inclusao_exclusao", "po", "part_number", "material", "solicitante", "motivo",
        "requisitante", "nota_fiscal", "impacto", "dimensao", "observacoes", "dia_inclusao",
    ]

    modelo_df = pd.DataFrame(columns=colunas)

    buffer = BytesIO()
    with pd.ExcelWriter(buffer, engine="openpyxl") as writer:
        modelo_df.to_excel(writer, index=False, sheet_name="MODELO")

    buffer.seek(0)

    st.download_button(
        label="⬇️ Baixar modelo Excel",
        data=buffer,
        file_name="modelo_importacao_load.xlsx",
        mime="application/vnd.openxmlformats-officedocument.spreadsheetml.sheet",
    )

    st.divider()

    # =====================================================
    # 2️⃣ UPLOAD DO ARQUIVO
    # =====================================================
    st.subheader("📤 Importar arquivo preenchido")

    arquivo = st.file_uploader(
        "Selecione o arquivo Excel",
        type=["xlsx"]
    )

    if not arquivo:
        st.info("📌 Faça o upload de um arquivo para continuar.")
        return

    try:
        df = pd.read_excel(arquivo)
    except Exception as e:
        st.error(f"❌ Erro ao ler o arquivo: {e}")
        return

    # Garante um identificador estável para cada linha durante as edições
    if "_row_id" not in df.columns:
        df["_row_id"] = range(len(df))

    # Salva o DF bruto na sessão para persistência entre reruns
    st.session_state["df_raw"] = df.copy()

    st.success("✅ Arquivo carregado com sucesso!")

    # =====================================================
    # 3️⃣ PRÉVIA DOS DADOS
    # =====================================================
    st.subheader("🔍 Prévia dos dados")
    st.dataframe(df, use_container_width=True)

    # =====================================================
    # 4️⃣ VERIFICAÇÃO DE DUPLICIDADE (com seleção de linhas a excluir)
    # =====================================================
    st.subheader("🧪 Verificação de duplicidade")

    st.caption("Escolha as colunas que definem a duplicidade. Em seguida, marque o checkbox **_excluir** nas linhas que **não** deseja importar.")

    # Sugerimos um conjunto padrão de chaves, mas só usamos as que existem no arquivo
    sugestao_chaves = [c for c in ["fpso", "osm", "po", "part_number", "nota_fiscal", "data_coleta"] if c in df.columns]

    chaves = st.multiselect(
        "📌 Colunas para verificação de duplicidade:",
        options=list(df.columns),
        default=sugestao_chaves if len(sugestao_chaves) > 0 else []
    )

    # Prepara um DF de trabalho com colunas auxiliares
    work_df = df.copy()
    work_df["_duplicado"] = False
    work_df["_excluir"] = False  # será editado pelo usuário

    if len(chaves) == 0:
        st.info("Selecione ao menos **uma** coluna para verificar duplicidade.")
        # Mesmo sem duplicidade definida, permitimos marcar exclusões manuais, se quiser:
        with st.expander("🔧 (Opcional) Excluir linhas manualmente mesmo sem duplicidade"):
            manual_view = work_df.set_index("_row_id")[
                [c for c in work_df.columns if c not in ["_duplicado"]] + ["_excluir"]
            ]
            edited_manual = st.data_editor(
                manual_view,
                use_container_width=True,
                num_rows="fixed",
                column_config={
                    "_excluir": st.column_config.CheckboxColumn("Excluir da importação")
                }
            )
            # Aplica exclusões manuais
            work_df = work_df.set_index("_row_id")
            work_df["_excluir"] = edited_manual["_excluir"].reindex(work_df.index).fillna(False).astype(bool)
            work_df = work_df.reset_index()

    else:
        # Marca duplicadas com base nas chaves selecionadas
        mask_dup_any = work_df.duplicated(subset=chaves, keep=False)
        work_df["_duplicado"] = mask_dup_any

        # Sugerimos exclusão automática das ocorrências não-primárias (o usuário pode alterar)
        mask_dup_not_first = work_df.duplicated(subset=chaves, keep="first")
        work_df.loc[mask_dup_not_first, "_excluir"] = True

        if mask_dup_any.any():
            st.warning("⚠️ Foram encontradas linhas duplicadas com base nas chaves selecionadas:")
            # Mostrar somente as duplicadas para facilitar a decisão
            cols_para_mostrar = chaves + [c for c in ["_duplicado", "_excluir"] if c not in chaves]
            # Evita colunas repetidas mantendo ordem
            seen = set()
            cols_para_mostrar = [c for c in cols_para_mostrar if not (c in seen or seen.add(c))]

            dup_view = work_df.loc[mask_dup_any].set_index("_row_id")[cols_para_mostrar]
            edited_dup = st.data_editor(
                dup_view,
                use_container_width=True,
                num_rows="fixed",
                column_config={
                    "_excluir": st.column_config.CheckboxColumn("Excluir da importação"),
                    "_duplicado": st.column_config.CheckboxColumn("Duplicado", disabled=True)
                }
            )

            # Mescla de volta as escolhas do usuário
            work_df = work_df.set_index("_row_id")
            if "_excluir" in edited_dup.columns:
                work_df.loc[edited_dup.index, "_excluir"] = (
                    edited_dup["_excluir"].reindex(work_df.index).fillna(work_df["_excluir"]).astype(bool)
                )
            work_df = work_df.reset_index()

            st.info(
                f"📊 Totais — Linhas: {len(work_df)} | Duplicadas: {mask_dup_any.sum()} | "
                f"Marcadas para excluir: {int(work_df['_excluir'].sum())}"
            )
        else:
            st.success("✅ Nenhuma duplicidade encontrada com as chaves selecionadas.")

    st.divider()

    # =====================================================
    # 4.1️⃣ Prévia final do que será importado + download
    # =====================================================
    df_para_importar = work_df[~work_df["_excluir"]].drop(columns=["_duplicado", "_excluir"], errors="ignore")
    st.session_state["df_para_importar"] = df_para_importar.copy()

    st.subheader("🧾 Prévia do que será importado")
    st.caption("A prévia abaixo desconsidera as linhas marcadas como **_excluir**.")
    st.dataframe(df_para_importar.drop(columns=["_row_id"], errors="ignore"), use_container_width=True)

    # Download da prévia para conferência
    buf_prev = BytesIO()
    with pd.ExcelWriter(buf_prev, engine="openpyxl") as writer:
        df_para_importar.drop(columns=["_row_id"], errors="ignore").to_excel(writer, index=False, sheet_name="A_IMPORTAR")
    buf_prev.seek(0)
    st.download_button(
        "⬇️ Baixar prévia (Excel)",
        data=buf_prev,
        file_name="previa_a_importar.xlsx",
        mime="application/vnd.openxmlformats-officedocument.spreadsheetml.sheet",
        help="Baixe a prévia do conjunto que será gravado."
    )

    # =====================================================
    # 5️⃣ GRAVAÇÃO NO BANCO (usa o DataFrame filtrado)
    # =====================================================
    st.subheader("💾 Gravar dados no banco")

    col1, col2 = st.columns(2)

    if col1.button("💾 Salvar registros importados"):
        df_import = st.session_state.get("df_para_importar", df)

        if df_import.empty:
            st.error("Não há registros para importar. Revise as exclusões.")
            return

        with SessionLocal() as db:
            try:
                for _, row in df_import.iterrows():
                    registro = Equipamento(
                        fpso1=safe_value(row.get("fpso1")),
                        fpso=safe_value(row.get("fpso")),
                        data_coleta=to_date(row.get("data_coleta")),
                        especialista=safe_value(row.get("especialista")),
                        conferente=safe_value(row.get("conferente")),
                        osm=safe_value(row.get("osm")),
                        modal=safe_value(row.get("modal")),
                        quant_equip=int(row["quant_equip"]) if not pd.isna(row.get("quant_equip")) else 0,
                        mrob=safe_value(row.get("mrob")),
                        linhas_osm=int(row["linhas_osm"]) if not pd.isna(row.get("linhas_osm")) else 0,
                        linhas_mrob=int(row["linhas_mrob"]) if not pd.isna(row.get("linhas_mrob")) else 0,
                        linhas_erros=int(row["linhas_erros"]) if not pd.isna(row.get("linhas_erros")) else 0,
                        erro_storekeeper=safe_value(row.get("erro_storekeeper")),
                        erro_operacao=safe_value(row.get("erro_operacao")),
                        erro_especialista=safe_value(row.get("erro_especialista")),
                        erro_outros=safe_value(row.get("erro_outros")),
                        inclusao_exclusao=safe_value(row.get("inclusao_exclusao")),
                        po=safe_value(row.get("po")),
                        part_number=safe_value(row.get("part_number")),
                        material=safe_value(row.get("material")),
                        solicitante=safe_value(row.get("solicitante")),
                        motivo=safe_value(row.get("motivo")),
                        requisitante=safe_value(row.get("requisitante")),
                        nota_fiscal=safe_value(row.get("nota_fiscal")),
                        impacto=safe_value(row.get("impacto")),
                        dimensao=safe_value(row.get("dimensao")),
                        observacoes=safe_value(row.get("observacoes")),
                        dia_inclusao=safe_value(row.get("dia_inclusao")),
                    )
                    db.add(registro)

                db.commit()

                registrar_log(
                    usuario=st.session_state.get("usuario"),
                    acao=f"IMPORTAÇÃO EXCEL ({len(df_import)} registros) - com filtro de duplicidade",
                    tabela="equipamentos",
                    registro_id=None
                )

                st.success(f"🎉 Importação concluída com sucesso! {len(df_import)} registros gravados.")

            except Exception as e:
                db.rollback()
                st.error(f"❌ Erro ao gravar no banco: {e}")

    if col2.button("❌ Cancelar importação"):
        st.warning("Importação cancelada pelo usuário.")


if __name__ == "__main__":
    main()