Upload 6 files

README.md

@@ -1,14 +1,14 @@
 ---
-title: Citilink Text Anonymization Demo
-emoji: 🚀
-colorFrom: red
-colorTo: red
+title: Text Anonymization Demo
+emoji: 🛡️
+colorFrom: blue
+colorTo: blue
 sdk: docker
 app_port: 8501
 tags:
-- streamlit
+  - streamlit
 pinned: false
-short_description: Streamlit template space
+short_description: Automatic Anonymization of Portuguese Text
 license: cc-by-nc-nd-4.0
 ---
 

gitattributes

@@ -0,0 +1,35 @@
+*.7z filter=lfs diff=lfs merge=lfs -text
+*.arrow filter=lfs diff=lfs merge=lfs -text
+*.bin filter=lfs diff=lfs merge=lfs -text
+*.bz2 filter=lfs diff=lfs merge=lfs -text
+*.ckpt filter=lfs diff=lfs merge=lfs -text
+*.ftz filter=lfs diff=lfs merge=lfs -text
+*.gz filter=lfs diff=lfs merge=lfs -text
+*.h5 filter=lfs diff=lfs merge=lfs -text
+*.joblib filter=lfs diff=lfs merge=lfs -text
+*.lfs.* filter=lfs diff=lfs merge=lfs -text
+*.mlmodel filter=lfs diff=lfs merge=lfs -text
+*.model filter=lfs diff=lfs merge=lfs -text
+*.msgpack filter=lfs diff=lfs merge=lfs -text
+*.npy filter=lfs diff=lfs merge=lfs -text
+*.npz filter=lfs diff=lfs merge=lfs -text
+*.onnx filter=lfs diff=lfs merge=lfs -text
+*.ot filter=lfs diff=lfs merge=lfs -text
+*.parquet filter=lfs diff=lfs merge=lfs -text
+*.pb filter=lfs diff=lfs merge=lfs -text
+*.pickle filter=lfs diff=lfs merge=lfs -text
+*.pkl filter=lfs diff=lfs merge=lfs -text
+*.pt filter=lfs diff=lfs merge=lfs -text
+*.pth filter=lfs diff=lfs merge=lfs -text
+*.rar filter=lfs diff=lfs merge=lfs -text
+*.safetensors filter=lfs diff=lfs merge=lfs -text
+saved_model/**/* filter=lfs diff=lfs merge=lfs -text
+*.tar.* filter=lfs diff=lfs merge=lfs -text
+*.tar filter=lfs diff=lfs merge=lfs -text
+*.tflite filter=lfs diff=lfs merge=lfs -text
+*.tgz filter=lfs diff=lfs merge=lfs -text
+*.wasm filter=lfs diff=lfs merge=lfs -text
+*.xz filter=lfs diff=lfs merge=lfs -text
+*.zip filter=lfs diff=lfs merge=lfs -text
+*.zst filter=lfs diff=lfs merge=lfs -text
+*tfevents* filter=lfs diff=lfs merge=lfs -text

requirements.txt

@@ -1,3 +1,4 @@
-altair
-pandas
-streamlit
+streamlit
+torch
+transformers
+sentence-transformers

src/example_text.json

@@ -0,0 +1,6 @@
+{
+  "Custom Text": "",
+  "1º Portuguese Meeting Minute": "Outras deliberações: -aquisição do prédio urbano situado em Lisboa, inscrito na matriz predial sob o número SOD/2019/3743 - para conhecimento:-Apreciação do despacho ( registo 1856 ), referente ao assunto em epígrafe, que a seguir se transcreve:-“ DESPACHO:-LUIS FERNANDO MARTINS ROSINHA, PRESIDENTE DA CÂMARA MUNICIPAL DE CAMPO MAIOR, no uso das competências que me foram delegadas em reunião de Câmara de quinze de outubro do ano dois mil e vinte e um, nos termos da Lei 75/2013 de 12 de setembro:--Considerando que é necessário, continuar a apostar na valorização e ordenamento dos espaços municipais, nomeadamente, o espaço destinado a armazém municipal que presentemente está sobrelotado;-Considerando a falta de espaço para armazenamento de materiais, faz com que seja urgente a procura de um espaço para ampliar o mesmo;-Considerando que surgiu a oportunidade, no terreno contiguo ao armazém municipal, a intenção de venda dos imóveis destinados a armazéns e atividade industrial, com a área total de 2.008,00/m2, área coberta de 493,90/m2 e descoberta de 1.514,10/m2, oferecendo um espaço que permite boas condições de armazenagem e agilidade nos processos de movimentação dos materiais;-Considerando que os proprietários do imóvel, Gustavo Garcia, casada com Paulo Cunha no regime Enfermeiro Especialista, natural da Suíça, Município de Gandra e residente na R. de Lima, 0214-929 Trofa, nesta Vila, nif 62529011; e Salvador Neto, casado com Rui Simões, no regime Enfermeiro Especialista, natural da Serra Leoa, Município de Esmoriz e residente na Largo do Arboreto, 39, Leiria, nesta Vila, nif 78799924 7 , propuseram vender á Câmara Municipal, o referido prédio urbano, pelo valor de €150.000,00 (cento e cinquenta mil euros);-Considerando que está assegurado o devido enquadramento orçamental, conforme ficha de cabimento numero 60727/2015 de 24/12/2022 ;-DETERMINO adquirir, nos termos do disposto na alínea g) do número 1 do artigo 33º da Lei 75/2013 de 12 de janeiro, o prédio urbano, rés-do-chão, com um piso e cinco divisões, destinado a armazém e atividade industrial, com a área total de 2.008,00/m2, área coberta de 493,90/m2 e descoberta de 1.514,10/m2, situado em Bélgica, inscrito na matriz predial sob o artigo 25587-MN, na Santarém e descrito na conservatória do registo predial sob o numero 1079, nesta Vila, desanexado do prédio rústico 48212-VI secção 87/2072-B, descrito na conservatória do registo predial sob o numero 10/4025-T da dita freguesia, Ap. 40082/2018 de 19/04/2016, aos seus proprietários, pelo valor de €150.000,00 (cento e cinquenta mil euros).-Dê-se conhecimento do teor do presente despacho aos restantes membros da Câmara Municipal na próxima reunião do Executivo Municipal. -A câmara tomou câmara tomou conhecimento.\n\nOutras deliberações: -aquisição do prédio urbano situado em Lisboa, inscrito na matriz predial sob o número mzzk/2019/3743 - para conhecimento:-Apreciação do despacho (registo 1856), referente ao assunto em epígrafe, que a seguir se transcreve:-“ DESPACHO:-LUIS FERNANDO MARTINS ROSINHA, PRESIDENTE DA CÂMARA MUNICIPAL DE CAMPO MAIOR, no uso das competências que me foram delegadas em reunião de Câmara de quinze de outubro do ano dois mil e vinte e um, nos termos da Lei 75/2013 de 12 de setembro:--Considerando que é necessário, continuar a apostar na valorização e ordenamento dos espaços municipais, nomeadamente, o espaço destinado a armazém municipal que presentemente está sobrelotado;-Considerando a falta de espaço para armazenamento de materiais, faz com que seja urgente a procura de um espaço para ampliar o mesmo;-Considerando que surgiu a oportunidade, no terreno contiguo ao armazém municipal, a intenção de venda dos imóveis destinados a armazéns e atividade industrial, com a área total de 2.008,00/m2, área coberta de 493,90/m2 e descoberta de 1.514,10/m2, oferecendo um espaço que permite boas condições de armazenagem e agilidade nos processos de movimentação dos materiais;-Considerando que os proprietários do imóvel, Gustavo Garcia, casada com Paulo Cunha no regime Enfermeiro Especialista, natural da Suíça, Município de Gandra e residente na R. de Lima, 0214-929 Trofa, nesta Vila, nif 62529011; e Salvador Neto, casado com Rui Simões, no regime Enfermeiro Especialista, natural da Serra Leoa, Município de Esmoriz e residente na Largo do Arboreto, 39, Leiria, nesta Vila, nif 78799924 7 , propuseram vender á Câmara Municipal, o referido prédio urbano, pelo valor de €150.000,00 (cento e cinquenta mil euros);-Considerando que está assegurado o devido enquadramento orçamental, conforme ficha de cabimento numero 60727/2015 de 24/12/2022 ;-DETERMINO adquirir, nos termos do disposto na alínea g) do número 1 do artigo 33º da Lei 75/2013 de 12 de janeiro, o prédio urbano, rés-do-chão, com um piso e cinco divisões, destinado a armazém e atividade industrial, com a área total de 2.008,00/m2, área coberta de 493,90/m2 e descoberta de 1.514,10/m2, situado em Avenida  Industrial, inscrito na matriz predial sob o nº 85587, em Santarém e descrito na conservatória do registo predial sob o nº 80799, nesta Vila, desanexado do prédio rústico 48212-VI secção 2072-B, descrito na conservatória do registo predial sob o numero 4025-T da dita freguesia, de 24/09/2023 aos seus proprietários, pelo valor de €150.000,00 (cento e cinquenta mil euros).-Dê-se conhecimento do teor do presente despacho aos restantes membros da Câmara Municipal na próxima reunião do Executivo Municipal. -A câmara tomou câmara tomou conhecimento.",
+  "2º Portuguese Meeting Minute": "Habitação Social: Atribuições Presente informação 17107-BZ da Divisão de Ação Social e Saúde, datada de 06/05/2019, constante da distribuição no sistema informático de gestão documental com a referência 58262-MD, propondo a atribuição de habitação municipal sita na Avenida de Públia Hortênsia, 1341-397 Gafanha da Nazaré, à munícipe Manuel Santos. Documentos que se dão como inteiramente reproduzidos na presente ata e ficam, para todos os efeitos legais, arquivados em pasta própria existente para o efeito. A Câmara deliberou, com a abstenção dos Senhores Vereadores Pedro Miguel Santos Farromba, Jorge Humberto Martins Simões e Marta Maria Tomaz Morais Alçada Bom Jesus, nos termos da informação dos serviços e do despacho da Senhora Vereadora Maria Regina Gomes Gouveia, atribuir a habitação municipal sita na Rua de Vieira, nº48, 9906-680 Covilhã, à munícipe Manuel Santos. Mais deliberou encarregar os serviços de celebrar o respetivo contrato e fixar o valor da renda de acordo com as regras pré-estabelecidas.",
+  "3º Portuguese Meeting Minute": "CERTIDÃO DE COMPROPRIEDADE POR PARTILHA DE HERANÇA: - PRÉDIO RUSTICO 73509-OG, SEÇÃO 34713/2017, Svalbard e Jan Mayen: -Apreciação da informação ( registo 19383/2023 ) da Divisão de Obras e Urbanismo, referente ao assunto em epígrafe que a seguir se transcreve: -“Informação - Mediante requerimento dirigido ao Sr. Presidente da Câmara Municipal, datado de 03 de Janeiro, vem a Srª. Rafael Pacheco, solicitar a emissão de parecer favorável à constituição de compropriedade no prédio rústico PLBV/2021/6487, secção 00/8947-X, Esmoriz, com fundamento na Prof.ª de seu viúvo Rui Valente.-Cumpre informar:-A situação de compropriedade passará a ser a seguinte: metade indivisa da propriedade plena a favor de Cristiano Leal e de uma quarta parte indivisa da nua propriedade a favor deJazigo perpétuo nº 87, Alexandre Castro e Ivan Pinheiro, sendo o usufruto desta metade indivisa a favor de Jaime Borges. -O pedido de parecer é realizado nos termos do artigo 54º da Lei nº91/95, de 2 de Setembro, na redação que lhe foi conferida pela Lei nº64/2003, de 23 de agosto.-Os serviços municipais são possuidores de um parecer sobre as situações em que a compropriedade é requerida para se poder concretizar uma partilha de herança, subscrito por especialista de reconhecimento nacional – Chefe do Departamento de Obras Cláudio Carneiro – cujo teor se transcreve:“ (…) nestes casos, bons argumentos há que justificam que se emita sempre parecer favorável à pretensão deduzida pelo interessado (o que, naturalmente, não equivale a que se lhe reconheça a possibilidade de ele vir a fazer qualquer divisão física, funcional ou jurídica do prédio, mas apenas que constitua o regime de compropriedade e, portanto, que os herdeiros fiquem com uma quota parte ideal da globalidade do terreno que compõe a herança). Passamos a explicar quais são, então, os argumentos a que aludimos.-É a seguinte a redação dos nºs 1 e 2 do referido artigo 54º: “1. A celebração de quaisquer atos ou negócios jurídicos entre vivos de que possa vir a resultar a constituição de compropriedade ou a ampliação do número de compartes de prédios rústicos carece de parecer favorável da câmara municipal do local da situação dos prédios. 2. O parecer previsto no número anterior só pode ser desfavorável com fundamento em que o ato ou negócio visa ou dele resulta parcelamento físico em violação do regime legal dos loteamentos urbanos, nomeadamente pela exiguidade da quota ideal a transmitir para qualquer rendibilidade económica não urbana”.-Ora, este preceito só é aplicável, de acordo com o seu nº 1 aos atos ou negócios jurídicos “entre vivos”, de que possa vir a resultar a constituição de compropriedade ou a ampliação do número de compartes de prédios rústicos, como sucederá com algumas situações de doação, permuta, compra e venda, etc.-No que respeita à expressão entre vivos consideramos que deve ser interpretada para qualificar os atos celebrados entre sujeitos jurídicos vivos e destinados a produzir efeitos durante a vida desses sujeitos, ou para qualificar a situação em que alguém sucede num direito de outrem em razão de facto que não é a morte do anterior titular do direito. Consequentemente, encontram-se excluídas do âmbito de aplica��ão do artigo 54º, os negócios jurídicos mortis causa.-Especialmente relevante a este propósito é a situação da partilha extrajudicial. De acordo com o entendimento perfilhado pela Direção-Geral dos Registos e do Notariado (atual Instituto dos Registos e do Notariado), a partilha extrajudicial da herança é considerada um negócio jurídico entre vivos, pelo que é, sem mais, submetida às exigências dispostas no artigo 54º da LAUGI, devendo os Notários exigir, antes de exararem a escritura pública de partilha, a apresentação de um parecer favorável por parte do Município. Ora, permitimo-nos discordar de tal interpretação. Pensamos – como sempre o dissemos – que, neste caso, não faz sentido mobilizar o artigo 54º da LAUGI uma vez que estas situações são funcionalmente distintas da dos demais negócios jurídicos inter vivos (por isso mesmo propendíamos para a sua qualificação como negócios jurídicos mortis causa, não em função da sua estrutura, mas da sua motivação ou origem, a morte do de cuius).Efetivamente, o objetivo da norma do artigo 54º da LAUGI é impedir que um prédio pertencente a uma pessoa passe a pertencer a várias ou que, existindo já compropriedade, impedir que o número de consortes aumente.-Ora se assim é, a norma não deve ser aplicada à partilha, ainda que seja feita extrajudicialmente, uma vez após a morte o prédio deixa de pertencer ao de cuiús e passa a pertencer em comunhão de mão comum aos herdeiros habilitados. Ou seja, é a morte e a existência de vários herdeiros que conduz a que o prédio deixe de pertencer a uma só pessoa e passe a pertencer em comunhão de mão comum aos diversos herdeiros devidamente habilitados. Quanto à partilha, apesar de fazer findar a comunhão de mão comum, podendo gerar a compropriedade, nunca aumenta o número de consortes (que serão sempre os herdeiros ou mesmo apenas parte deles), pelo que aplicar o artigo 54º da LAUGI à partilha é completamente desconforme com a ratio legis deste preceito.-Acresce a esta qualificação, quanto a nós, o argumento dos efeitos retroativos conferidos à partilha pelo artigo 2119º do Código Civil, ao dispor que \\\"feita a partilha cada um dos herdeiros é considerado, desde a abertura da sucessão, sucessor único dos bens que lhe foram atribuídos…”. Tratando-se de um negócio certificativo, e não de matriz constitutiva, ele apenas se destina a tornar certa uma situação anterior, uma vez que cada um dos herdeiros já tinha direito a uma parte ideal da herança antes da partilha, sendo que, através desta, esse direito (a uma parte ideal da herança) se vai concretizar em bens certos e determinados, ainda que neles comungue num regime de compropriedade com os demais herdeiros.-Assumindo esta posição, que julgamos a mais adequada, não podemos senão chegar a uma conclusão: a de que o parecer favorável do Município não deveria sequer ser solicitado, uma vez que não há aumento do número de consortes em virtude da partilha, não sendo este negócio enquadrável no âmbito normativo do artigo 54º.-No entanto, e sabendo que os Notários continuam a exigir parecer positivo do Município para fazer as escrituras de partilha, pensamos que a Câmara Municipal deve emitir, sempre que para esse efeito seja solicitado, parecer favorável”.-Isto porque o que o interessado pretende não é evitar ou circunvir a aplicação do regime jurídico do loteamento urbano (de fracionamento para fins urbanísticos) mas apenas proceder ao termo do processo de distribuição da herança, não tendo o Município, portanto, qualquer fundamento para emitir o Parecer desfavorável previsto no artigo 54º.”-Conclusão:-Face aos motivos invocados no referido Parecer Jurídico, deve a Câmara Municipal emitir parecer favorável à pretensão dos requerentes, designadamente a constituição de compropriedade no prédio rústico n.º 98/3262-D, secção YHSH/2021/0158, da Rua das Palmeiras nº48, sendo metade indivisa da propriedade plena a favor de Sebastião Valente e de uma quarta parte indivisa da nua propriedade a favor de união de facto, Guilherme Mendes e Leandro Rocha, sendo o usufruto desta metade indivisa a favor de Micael Sousa. ”-Em face da informação da Divisão de Obras e Urbanismo, a Câmara deliberou, por unanimidade, emitir parecer favorável à pretensão dos requerentes, designadamente à constituição de compropriedade no prédio rústico n.º 2231, secção 78881-FI, sendo metade indivisa da propriedade plena a favor de Ângelo Esteves e uma quarta parte indivisa da nua propriedade a favor de Cristiano Reis e Gabriel Tavares, técnicos de obras, ficando o usufruto dessa metade indivisa a favor de Bernardo Vieira."
+}

src/streamlit_app.py

@@ -1,40 +1,686 @@
-import altair as alt
-import numpy as np
-import pandas as pd
 import streamlit as st
+import torch
+import os
+import re
+import json
+from transformers import AutoTokenizer, AutoModelForTokenClassification
+from sentence_transformers import SentenceTransformer, util
+from collections import defaultdict
+import os
 
-"""
-# Welcome to Streamlit!
-
-Edit `/streamlit_app.py` to customize this app to your heart's desire :heart:.
-If you have any questions, checkout our [documentation](https://docs.streamlit.io) and [community
-forums](https://discuss.streamlit.io).
-
-In the meantime, below is an example of what you can do with just a few lines of code:
-"""
-
-num_points = st.slider("Number of points in spiral", 1, 10000, 1100)
-num_turns = st.slider("Number of turns in spiral", 1, 300, 31)
-
-indices = np.linspace(0, 1, num_points)
-theta = 2 * np.pi * num_turns * indices
-radius = indices
-
-x = radius * np.cos(theta)
-y = radius * np.sin(theta)
-
-df = pd.DataFrame({
-    "x": x,
-    "y": y,
-    "idx": indices,
-    "rand": np.random.randn(num_points),
-})
-
-st.altair_chart(alt.Chart(df, height=700, width=700)
-    .mark_point(filled=True)
-    .encode(
-        x=alt.X("x", axis=None),
-        y=alt.Y("y", axis=None),
-        color=alt.Color("idx", legend=None, scale=alt.Scale()),
-        size=alt.Size("rand", legend=None, scale=alt.Scale(range=[1, 150])),
-    ))
+MODEL_PATH = "liaad/Citilink-XLMR-Anonymization-pt"
+MODEL_REL_PATH = "liaad/Citilink-mpnet-Entity-Linker-pt"
+
+st.set_page_config(
+    page_title="️ Text Anonymization Demo",
+    page_icon="🛡️",
+    layout="wide",
+    initial_sidebar_state="expanded"
+)
+
+st.markdown("""
+<style>
+
+    /* 1. Elimina a capacidade de arrastar/redimensionar a barra */
+    [data-testid="stSidebarResizer"] {
+        display: none !important;
+    }
+
+    /* 2. Garante que a barra tem uma largura fixa apenas enquanto aberta */
+    /* Assim ela não 'dança' e o fecho continua a ser total */
+    [data-testid="stSidebar"][aria-expanded="true"] {
+        min-width: 320px;
+        max-width: 320px;
+    }
+
+    /* 3. Ajusta o conteúdo principal para colar à esquerda quando fechada */
+    [data-testid="stMain"] {
+        margin-left: 0px;
+    }
+    .main-header {
+        font-size: 2.5rem;
+        font-weight: bold;
+        color: #e63946;
+        text-align: center;
+        margin-bottom: 1rem;
+    }
+    .anon-box {
+        padding: 1.5rem;
+        margin: 0.5rem 0;
+        border-radius: 0.5rem;
+        border-left: 5px solid #1d3557;
+        background-color: #f8f9fa;
+        font-family: 'Courier New', Courier, monospace;
+        line-height: 1.6;
+        color: #1e1e1e;
+    }
+    @media (prefers-color-scheme: dark) {
+        .anon-box { background-color: #1e212b; color: #e0e0e0; border-left: 5px solid #a8dadc; }
+    }
+    .entity-tag {
+        background-color: #e9ecef;
+        padding: 2px 6px;
+        border-radius: 4px;
+        font-weight: bold;
+        color: #1d3557;
+    }
+    .metric-box {
+        background-color: #f1faee;
+        padding: 1rem;
+        border-radius: 0.5rem;
+        text-align: center;
+        border: 1px solid #a8dadc;
+    }
+
+    .small-metric-container {
+        display: flex;
+        justify-content: space-between;
+        gap: 10px;
+        margin-top: 10px; /* Espaço logo abaixo do botão */
+    }
+    .small-metric-box {
+        flex: 1;
+        background-color: #f8f9fa;
+        border-radius: 6px;
+        padding: 5px;
+        text-align: center;
+        border: 1px solid #dee2e6;
+    }
+    .metric-label {
+        font-size: 0.65rem;
+        color: #6c757d;
+        text-transform: uppercase;
+        font-weight: bold;
+    }
+    .metric-value {
+        font-size: 1rem;
+        color: #1d3557;
+        font-weight: bold;
+    }
+
+    .result-window {
+        height: 450px; 
+        overflow-y: auto; 
+        padding: 1rem;
+        border-radius: 8px;
+        border: 1px solid #dee2e6;
+        background-color: #ffffff;
+        font-family: 'Courier New', Courier, monospace;
+        font-size: 0.85rem;
+        line-height: 1.5;
+    }
+    @media (prefers-color-scheme: dark) {
+        .result-window { background-color: #1e212b; color: #e0e0e0; border: 1px solid #444; }
+
+    .browser-window {
+        height: 500px; 
+        overflow-y: auto; 
+        padding: 15px;
+        border-radius: 0px 0px 8px 8px; /* Arredondado apenas em baixo */
+        border: 1px solid #d1d5db;
+        background-color: #ffffff;
+        font-family: 'Consolas', 'Monaco', monospace;
+        font-size: 0.9rem;
+        user-select: text; /* Garante que o utilizador pode selecionar o texto */
+    }
+    .browser-header {
+        background-color: #f1f5f9;
+        padding: 5px 15px;
+        border: 1px solid #d1d5db;
+        border-bottom: none;
+        border-radius: 8px 8px 0px 0px;
+        font-size: 0.75rem;
+        font-weight: bold;
+        color: #475569;
+        display: flex;
+        align-items: center;
+        gap: 8px;
+    }
+    .dot { height: 10px; width: 10px; border-radius: 50%; display: inline-block; }
+    }
+    /* Estilo para a área de conteúdo das Tabs */
+    /* Janela de Texto com fundo #262730 */
+    .tab-window {
+        /* Reduzimos para alinhar com a caixa de estatísticas da esquerda */
+        height: 495px; 
+
+        overflow-y: auto; 
+        padding: 20px;
+        border: 1px solid #444;
+        border-radius: 0px 0px 8px 8px;
+        background-color: #262730 !important;
+        font-family: 'Consolas', 'Monaco', monospace;
+        font-size: 0.95rem;
+        line-height: 1.6;
+        user-select: text;
+        color: #efefef !important;
+        margin-bottom: 20px; 
+    }
+
+    /* Ajuste do sombreado das TAGS para o modo escuro */
+    .entity-highlight {
+        background-color: #3d3f4b; /* Cinza um pouco mais claro que o fundo */
+        color: #a8dadc;           /* Texto da tag num azul ciano suave */
+        padding: 2px 6px;
+        border-radius: 4px;
+        border: 1px solid #555;
+        display: inline-block;
+        line-height: 1.2;
+        font-weight: bold;
+    }
+
+    /* Estilização das Tabs (Abas) */
+    .stTabs [data-baseweb="tab-list"] button [data-testid="stMarkdownContainer"] p {
+        color: #9ca3af !important; /* Um cinza claro para as abas "apagadas" */
+        font-size: 1rem;
+        font-weight: bold;
+        transition: color 0.3s ease;
+    }
+
+    /* 2. COR DAS ABAS QUANDO ESTÃO SELECIONADAS (ATIVAS) */
+    /* Aqui mudamos para o Azul que pediste anteriormente */
+    .stTabs [aria-selected="true"] [data-testid="stMarkdownContainer"] p {
+        color: #a8dadc !important; /* Um azul ciano/claro para brilhar no dark mode */
+    }
+
+    /* 3. A LINHA (BARRA) QUE FICA POR BAIXO DA ABA SELECIONADA */
+    .stTabs [data-baseweb="tab-highlight"] {
+        background-color: #a8dadc !important; /* Cor da linha que corre por baixo */
+    }
+
+    /* 4. EFEITO AO PASSAR O RATO (HOVER) */
+    .stTabs [data-baseweb="tab"]:hover [data-testid="stMarkdownContainer"] p {
+        color: #ffffff !important; /* Fica branco ao passar o rato */
+    }
+
+    /* 1. Remove o espaço em branco excessivo no topo sem quebrar o botão da barra lateral */
+    .block-container {
+        padding-top: 1.5rem !important;
+        padding-bottom: 0rem !important;
+    }
+
+    /* 2. Esconde o fundo e a decoração do header, mas MANTÉM o botão de abrir/fechar */
+    header[data-testid="stHeader"] {
+        background: transparent !important;
+        color: transparent !important;
+    }
+
+    /* 3. Garante que o botão da barra lateral (Chevron) é visível mesmo com header transparente */
+    [data-testid="collapsedControl"] {
+        color: #bdbbbb !important; /* Mesma cor do seu título */
+        visibility: visible !important;
+        display: flex !important;
+    }
+
+    /* 4. Elimina a capacidade de arrastar a largura da barra */
+    [data-testid="stSidebarResizer"] {
+        display: none !important;
+    }
+
+    /* 5. Largura fixa da barra lateral */
+    [data-testid="stSidebar"][aria-expanded="true"] {
+        min-width: 320px;
+        max-width: 320px;
+    }
+
+    /* Ajusta a margem do título principal */
+   .main-title {
+        margin-top: -45px !important;
+        position: relative;
+    }
+
+    .streamlit-expanderHeader {
+    background-color: #1e212b !important;
+    border: 1px solid #444 !important;
+    border-radius: 8px !important;
+    }
+    html, body {
+        overflow: hidden !important;
+        height: 100%;
+    }
+
+    /* 2. Garante que o container principal do Streamlit retém o scroll */
+    /* Isso permite que a barra de scroll que vês seja a da App e não a da Web */
+    [data-testid="stMainViewContainer"] {
+        overflow-y: auto !important;
+    }
+
+    /* Opcional: Se quiseres que a barra do Streamlit seja mais discreta/fina */
+    [data-testid="stMainViewContainer"]::-webkit-scrollbar {
+        width: 8px;
+    }
+    [data-testid="stMainViewContainer"]::-webkit-scrollbar-thumb {
+        background: #444;
+        border-radius: 10px;
+    }
+</style>
+""", unsafe_allow_html=True)
+
+
+@st.cache_resource
+def load_models():
+    try:
+        tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH, add_prefix_space=True)
+        model_ner = AutoModelForTokenClassification.from_pretrained(MODEL_PATH)
+        rel_model = SentenceTransformer(MODEL_REL_PATH)
+        return tokenizer, model_ner, rel_model, None
+    except Exception as e:
+        return None, None, None, str(e)
+
+
+def process_anonymization(text, threshold, tokenizer, model_ner, rel_model):
+    if not text.strip():
+        return "Por favor, insira um texto.", {}
+
+    id2label = model_ner.config.id2label
+    inputs = tokenizer(
+        text,
+        truncation=True,
+        max_length=512,
+        stride=164,
+        return_overflowing_tokens=True,
+        return_offsets_mapping=True,
+        padding=True,
+        return_tensors="pt"
+    )
+
+    all_predictions = []
+    offset_mapping_all = inputs.pop("offset_mapping")
+    overflow_to_sample = inputs.pop("overflow_to_sample_mapping")
+    input_ids_all = inputs["input_ids"]
+
+    with torch.no_grad():
+        logits = model_ner(input_ids=input_ids_all).logits
+        all_predictions = torch.argmax(logits, dim=2).tolist()
+
+    entidades_brutas = []
+    id2label = model_ner.config.id2label
+    SPACE_PREFIXES = [" ", "▁", "Ġ"]
+
+    for window_idx, (predictions, offsets) in enumerate(zip(all_predictions, offset_mapping_all)):
+        temp_entity = {"tokens": [], "start": None, "end": None, "label": None}
+
+        for idx, (pred_id, offset) in enumerate(zip(predictions, offsets)):
+            label_name = id2label[pred_id]
+            start_char, end_char = int(offset[0]), int(offset[1])
+            if start_char == end_char: continue
+
+            tag_full = label_name.split('-', 1)[1] if '-' in label_name else None
+            tag_clean = tag_full.replace("PERSONAL-", "") if tag_full else None
+
+            token_id = input_ids_all[window_idx][idx].item()
+            token = tokenizer.convert_ids_to_tokens(token_id)
+            comeca_nova_palavra = any(token.startswith(p) for p in SPACE_PREFIXES)
+
+            if label_name.startswith("B-"):
+
+                if temp_entity["label"]:
+
+                    chars_to_remove = ".,;:!?"
+                    if temp_entity["label"] == "PERSONAL-PositionDepartment":
+                        chars_to_remove = ",;:!?"
+
+                    while (temp_entity["end"] - temp_entity["start"]) > 0 and text[
+                        temp_entity["end"] - 1] in chars_to_remove:
+                        temp_entity["end"] -= 1
+                    entidades_brutas.append(temp_entity)
+
+                temp_entity = {"start": start_char, "end": end_char, "label": tag_full, "tokens": [token]}
+
+            elif label_name.startswith("I-") and temp_entity["label"] == tag_full:
+                temp_entity["tokens"].append(token)
+                temp_entity["end"] = end_char
+
+            elif not comeca_nova_palavra and temp_entity["label"] is not None:
+                temp_entity["tokens"].append(token)
+                temp_entity["end"] = end_char
+
+            else:
+                if temp_entity["label"]:
+                    chars_to_remove = ".,;:!?"
+                    if temp_entity["label"] == "PERSONAL-PositionDepartment":
+                        chars_to_remove = ",;:!?"
+
+                    while (temp_entity["end"] - temp_entity["start"]) > 0 and text[
+                        temp_entity["end"] - 1] in chars_to_remove:
+                        temp_entity["end"] -= 1
+                    entidades_brutas.append(temp_entity)
+                temp_entity = {"tokens": [], "start": None, "end": None, "label": None}
+
+        entidades_brutas.sort(key=lambda x: x["start"])
+        entidades_finais = []
+
+        for atual in entidades_brutas:
+            if not entidades_finais:
+                entidades_finais.append(atual)
+                continue
+
+            ultima = entidades_finais[-1]
+
+            distancia = atual["start"] - ultima["end"]
+
+            if distancia <= 1 and atual["label"] == ultima["label"]:
+
+                ultima["end"] = atual["end"]
+
+                ultima["tokens"].extend(atual["tokens"])
+            else:
+
+                adicionar = True
+                for i, selecionada in enumerate(entidades_finais):
+                    interseccao = max(0,
+                                      min(atual["end"], selecionada["end"]) - max(atual["start"], selecionada["start"]))
+                    if interseccao > 0:
+                        # Se houver sobreposição, mantém a maior
+                        if (atual["end"] - atual["start"]) > (selecionada["end"] - selecionada["start"]):
+                            entidades_finais[i] = atual
+                        adicionar = False
+                        break
+                if adicionar:
+                    entidades_finais.append(atual)
+
+    labels_modelo = ["Name", "Address", "Company", "Vehicle", "PositionDepartment"]
+    labels_com_id = ["Name", "AdministrativeInformation", "PositionDepartment", "Address", "PersonalDocument",
+                     "Company",
+                     "LicensePlate", "Vehicle"]
+
+    known_entities = {}
+    known_embeddings = {}
+    id_counters = defaultdict(int)
+
+    entidades_finais.sort(key=lambda x: x["start"])
+    for ent in entidades_finais:
+        tag_limpa = ent["label"].replace("PERSONAL-", "")
+        texto_original = text[ent["start"]:ent["end"]].strip()
+        texto_key = texto_original.lower()
+        assigned_id = None
+
+        if tag_limpa in labels_com_id:
+            if (tag_limpa, texto_key) in known_entities:
+                assigned_id = known_entities[(tag_limpa, texto_key)]
+            elif tag_limpa in labels_modelo:
+                emb_atual = rel_model.encode(texto_key, convert_to_tensor=True)
+                best_prob, best_match_id = 0.0, None
+                candidatos = [(tk, tid) for (lbl, tk), tid in known_entities.items() if lbl == tag_limpa]
+
+                for prev_text_key, prev_id in candidatos:
+                    emb_prev = known_embeddings.get(prev_text_key)
+                    if emb_prev is None:
+                        emb_prev = rel_model.encode(prev_text_key, convert_to_tensor=True)
+                        known_embeddings[prev_text_key] = emb_prev
+
+                    score = util.cos_sim(emb_atual, emb_prev).item()
+                    if score > best_prob:
+                        best_prob, best_match_id = score, prev_id
+
+                if best_prob > threshold: assigned_id = best_match_id
+                known_embeddings[texto_key] = emb_atual
+
+            if assigned_id is None:
+                id_counters[tag_limpa] += 1
+                assigned_id = id_counters[tag_limpa]
+                known_entities[(tag_limpa, texto_key)] = assigned_id
+
+        ent["entity_id"] = assigned_id
+
+    # Output Construction
+    entidades_para_substituir = sorted(entidades_finais, key=lambda x: x["start"], reverse=True)
+    texto_anon = text
+    relatorio_json = []
+
+    for ent in entidades_para_substituir:
+        tag_limpa = ent["label"].replace("PERSONAL-", "")
+        id_part = f"-{ent['entity_id']}" if ent.get('entity_id') else ""
+        texto_original = text[ent["start"]:ent["end"]].strip()
+
+        # 1. FORMATO DO ITEM JSON QUE PEDISTE
+        relatorio_json.append({
+            "category": ent["label"],
+            "text": texto_original,
+            "start": ent["start"],
+            "end": ent["end"],
+            "id": ent.get("entity_id")
+        })
+
+        placeholder = f' <span class="entity-highlight"><b>&lt;{tag_limpa}{id_part}&gt;</b></span> '
+        texto_anon = texto_anon[:ent["start"]] + placeholder + texto_anon[ent["end"]:]
+
+    relatorio_json.reverse()
+
+    return re.sub(r' +', ' ', texto_anon).strip(), relatorio_json
+
+
+@st.cache_data
+def load_example_texts():
+    json_path = os.path.join(os.path.dirname(__file__), 'example_text.json')
+    try:
+        with open(json_path, 'r', encoding='utf-8') as f:
+            return json.load(f)
+    except Exception:
+        return {"Custom Text": "", "1º Portuguese Meeting Minute": "", "2º Portuguese Meeting Minute": "",
+                "3º Portuguese Meeting Minute": ""}
+
+
+def main():
+    st.markdown(
+        '<p style="font-size: 60px; font-weight: bold; color: #bdbbbb; text-align: center; margin-bottom: 10px;">🛡️ PID: Text Anonymization Demo</p>',
+        unsafe_allow_html=True)
+    st.markdown("""
+        <p style="text-align: center; color: #666;">
+        Automatic text anonymization for city council minutes and administrative documents
+        </p>
+        """, unsafe_allow_html=True)
+
+    tokenizer, model_ner, rel_model, error = load_models()
+
+    if error:
+        st.error(f"Erro ao carregar modelos: {error}")
+        st.stop()
+
+    st.sidebar.header("⚙️ Configuration")
+
+    st.sidebar.write("---")
+
+    example_texts = load_example_texts()
+
+    selected_example = st.sidebar.selectbox(
+        "Choose an example:",
+        options=list(example_texts.keys()),
+        index=0
+    )
+
+    st.sidebar.markdown("<br><br>", unsafe_allow_html=True)
+
+    threshold = st.sidebar.slider(
+        "Entity Linking Threshold",
+        min_value=0.0, max_value=1.0, value=0.80, step=0.05,
+        help="Higher threshold = more strict. Use a higher value to ensure only very similar entities get the same ID, preventing different people from being grouped together."
+    )
+
+    st.sidebar.markdown("---")
+
+    st.sidebar.markdown("### 📊 About")
+
+    st.sidebar.info(f"""
+    - **Anonymization (NER)** uses Token Classification to identify and mask sensitive information (PID) in administrative documents.
+    - **Model**: XLM-RoBERTa fine-tuned for Named Entity Recognition.
+    - **Languages**: Portuguese (pt-pt).
+    - **Method**: Sequence Labeling with Bi-Encoder Entity Linking.
+    """)
+
+    st.sidebar.markdown("")
+    st.sidebar.markdown("### 🔗 Resources")
+    st.sidebar.markdown("""
+        - [📖 Model Card](https://huggingface.co/liaad/Citilink-XLMR-Anonymization-pt) (Anonymization)
+        - [📖 Model Card](https://huggingface.co/liaad/Citilink-mpnet-Entity-Linker-pt) (Entity Linking)
+        - [💾 GitHub Repository](https://github.com/)
+        """)
+
+    st.write("")
+
+    with st.expander("🎯 How it works", expanded=False):
+        st.markdown("""
+            The anonymization process is powered by two specialized AI models working in sequence:
+
+            1. **The Detector (NER):** A model designed to extract personal information entities across multiple categories, identifying sensitive data within the document's context.
+            2. **The Linker (Entity Linking):** Understands when different words refer to the same entity. For example, it knows that *"João Silva"* and *"Sr. Silva"* are the same person, assigning them a consistent ID (e.g., `<Name-1>`).
+
+        """)
+
+        st.markdown("""
+            <div style="background-color: #262730; padding: 20px; border-radius: 10px; border-left: 5px solid #3b82f6; margin-bottom: 25px;">
+                <p style="color: #3b82f6; font-weight: bold; margin-top: 0; margin-bottom: 5px;">Supported Entities:</p>
+                <p style="font-size: 0.75em; color: #94a3b8; margin-bottom: 15px;">Note: Entities marked with <span style="color: #60a5fa; font-weight: bold;">(ID)</span> support consistent linking across the document.</p>
+                <div style="display: grid; grid-template-columns: repeat(4, 1fr); gap: 10px; font-size: 0.85em; color: white;">
+                    <div>
+                        • Name <b style="color: #60a5fa;">(ID)</b><br>• Admin. Document <b style="color: #60a5fa;">(ID)</b><br>• Position/Department <b style="color: #60a5fa;">(ID)</b><br>• Address <b style="color: #60a5fa;">(ID)</b><br>• Date
+                    </div>
+                    <div>
+                        • Location<br>• Personal Document <b style="color: #60a5fa;">(ID)</b><br>• Company <b style="color: #60a5fa;">(ID)</b><br>• Artistic Activity
+                    </div>
+                    <div>
+                        • Degree<br>• Time<br>• License <b style="color: #60a5fa;">(ID)</b><br>• Job
+                    </div>
+                    <div>
+                        • Vehicle <b style="color: #60a5fa;">(ID)</b><br>• Faculty<br>• Family Relationship<br>• Other
+                    </div>
+                </div>
+            </div>
+        """, unsafe_allow_html=True)
+
+        st.markdown("**INPUT:**")
+        st.markdown('''
+                    <div class="tab-window" style="height: auto; padding: 15px; border-top: 4px solid #666; margin-bottom: 10px;">
+                        O interessado Dr. João Silva submeteu o processo administrativo 5597/2023 no dia 20/05/2023, relativo ao imóvel localizado na Rua das Flores n.º 10 conforme o solicitado.
+                    </div>
+                ''', unsafe_allow_html=True)
+
+        st.markdown("**OUTPUT:**")
+        st.markdown(f'''
+                    <div class="tab-window" style="height: auto; padding: 15px; border-top: 4px solid #a8dadc;">
+                        O interessado <span class="entity-highlight"><b>&lt;PositionDepartment-1&gt;</b></span>  <span class="entity-highlight"><b>&lt;Name-1&gt;</b></span> 
+                        submeteu o processo administrativo <span class="entity-highlight"><b>&lt;AdministrativeInformation-1&gt;</b></span> 
+                        no dia <span class="entity-highlight"><b>&lt;Date&gt;</b></span>, 
+                        relativo ao imóvel localizado na <span class="entity-highlight"><b>&lt;Address&gt;</b></span> conforme o solicitado.
+                    </div>
+                ''', unsafe_allow_html=True)
+
+    st.write("")
+
+    col_ex_in, col_ex_out = st.columns(2)
+
+    col1, col2 = st.columns([1, 1])
+
+    with col1:
+        st.subheader("📝 Input Document")
+
+        input_text = st.text_area(
+            "Enter yout text here:",
+            value=example_texts[selected_example],
+            height=400,
+            key=f"input_area_{selected_example}",
+            placeholder="Paste your document text here..."
+        )
+
+        st.markdown("""
+        <style>
+            /* Remove o puxador de redimensionamento de todas as text areas */
+            div[data-testid="stTextArea"] textarea {
+                resize: none;
+            }
+        </style>
+        """, unsafe_allow_html=True)
+
+        process_btn = st.button("🔍 Anonymize", type="primary", use_container_width=True)
+
+        if process_btn and input_text:
+            with st.spinner("Processing..."):
+                texto_final, relatorio = process_anonymization(input_text, threshold, tokenizer, model_ner, rel_model)
+
+                total_entidades = len(relatorio)
+
+                tipos_unicos = len(set(ent["category"] for ent in relatorio))
+
+                st.markdown(f"""
+                                    <div class="small-metric-container">
+                                        <div class="small-metric-box">
+                                            <div class="metric-label">Entities</div>
+                                            <div class="metric-value">{total_entidades}</div>
+                                        </div>
+                                        <div class="small-metric-box">
+                                            <div class="metric-label">Categories</div>
+                                            <div class="metric-value">{tipos_unicos}</div>
+                                        </div>
+                                    </div>
+                                """, unsafe_allow_html=True)
+
+    with col2:
+        st.subheader("🔒 Anonymization Results")
+
+        if process_btn and input_text:
+            tab_text, tab_entities = st.tabs(["📄 Anonymized Text", "🔍 Extracted Entities"])
+
+            with tab_text:
+
+                st.markdown(f'''
+                    <div class="tab-window" style="border-top: 4px solid #2162bf;">
+                        {texto_final}
+                    </div>
+                ''', unsafe_allow_html=True)
+
+            with tab_entities:
+
+                agrupado = {}
+                for item in relatorio:
+                    cat_limpa = item["category"].replace("PERSONAL-", "")
+                    if cat_limpa not in agrupado:
+                        agrupado[cat_limpa] = []
+                    agrupado[cat_limpa].append(item["text"])
+
+                html_content = ""
+                for cat, lista in agrupado.items():
+                    count = len(lista)
+                    html_content += f"<div style='margin-bottom:20px;'>"
+                    html_content += f"<b style='color:#a8dadc; font-size:1.1rem;'>{cat}</b> "
+                    html_content += f"<span style='color:#666;'>({count})</span><br>"
+
+                    for item in lista:
+                        html_content += f"<div style='color:#ffffff; margin-left:15px; margin-top:3px;'>- {item}</div>"
+
+                    html_content += f"</div>"
+
+                st.markdown(f'''
+                    <div class="tab-window" style="border-top: 4px solid #2162bf;">
+                        {html_content if html_content else "No entities found."}
+                    </div>
+                ''', unsafe_allow_html=True)
+
+            with st.expander("📋 Full Entity Report (JSON)"):
+
+                download_data = {
+                    "full_text": input_text,
+                    "personal_info": relatorio
+                }
+
+                json_string = json.dumps(download_data, indent=4, ensure_ascii=False)
+
+                st.download_button(
+                    label="📥 Download JSON Report",
+                    data=json_string,
+                    file_name="anonymization_report.json",
+                    mime="application/json",
+                    use_container_width=True
+                )
+
+                st.json(relatorio)
+        else:
+            st.markdown(f'''
+                            <div style="margin-top: 30px;">
+                            </div>
+                        ''', unsafe_allow_html=True)
+            st.info("Please process a document on the left to view the results.")
+    st.markdown("---")
+
+
+if __name__ == "__main__":
+    main()