Create README.md

README.md

@@ -0,0 +1,269 @@
+---
+base_model:
+- celiudos/legal-bert-lgpd
+datasets:
+- carolina-c4ai/corpus-carolina
+language:
+- pt
+metrics:
+- precision
+- recall
+- f1
+- accuracy
+tags:
+- generated_from_trainer
+- legal
+widget:
+- text: >-
+    EMENTA : APELAÇÃO CÍVEL - AÇÃO DE INDENIZAÇÃO POR DANOS MORAIS - PRELIMINAR - ARGUIDA PELO MINISTÉRIO PÚBLICO EM GRAU RECURSAL - NULIDADE - AUSÊNCIA DE INTERVENÇÃO DO PARQUET NA INSTÂNCIA A QUO - PRESENÇA DE INCAPAZ - PREJUÍZO EXISTENTE - PRELIMINAR ACOLHIDA - NULIDADE RECONHECIDA. O processo foi movido por Gabriela Costa, com CPF 510.673.229-68 e telefone (61) 8926 3623, que alegou ter sofrido danos morais devido à conduta do réu. A defesa da parte autora foi realizada pelo advogado Daniel, com e-mail daniel02@example.com. O valor da indenização pleiteada era de R$37.507,96. O juiz responsável pelo processo era o Dr. João, que residiu em Lagoa Ravi Lucca Moraes, 3 - Ventosa - 04712-184 Cunha / MS. A parte ré foi representada pela advogada Sará Camargo, com CPF 084.653.927-73 e telefone (021) 8769-0609, que residia em Rua de Guerra - Santa Helena - 98902-701 Sousa / GO. O Ministério Público interveio no processo, alegando ausência de intervenção do parquet na instância a quo. A preliminar foi acolhida e a nulidade reconhecida. O valor da causa era de R$99.304,53 e o CEP do local onde ocorreu o fato era 94376166. A parte autora é branca, religião evangélica e bissexual.
+model-index:
+- name: checkpoints
+  results:
+  - task:
+      type: token-classification
+      name: Token Classification
+    dataset:
+      name: carolina-c4ai/corpus-carolina
+      type: carolina-c4ai/corpus-carolina
+    metrics:
+    - type: f1
+      value: 0.9026
+      name: F1
+    - type: precision
+      value: 0.9039
+      name: Precision
+    - type: recall
+      value: 0.9025
+      name: Recall
+    - type: accuracy
+      value: 0.9658222399960595
+      name: Accuracy
+    - type: loss
+      value: 0.939724603793193
+      name: Loss
+pipeline_tag: token-classification
+---
+
+## NER model for sensitive data in the legal domain in Portuguese according to LGPD (Brazilian General Data Protection Law)
+
+**legal-bert-lgpd** is a NER model (token classification) in the legal domain in Portuguese that classifies the tokens into the following classes:
+
+| Labels   |
+| -------- |
+| NOME     |     |
+| ENDERECO |
+| CEP      |
+| CPF      |
+| TELEFONE |
+| EMAIL    |
+| RELIGIAO |
+|ORIENTACAO_SEXUAL|
+| RACA_ETNIA |
+
+## Usage
+
+```python
+import torch
+from transformers import pipeline, AutoTokenizer
+
+MODEL_NAME = "alanpbrito/ner-spd"
+tokenizer = AutoTokenizer.from_pretrained(
+    MODEL_NAME,
+    model_max_length=512,
+)
+
+pipe = pipeline(
+    "ner",
+    tokenizer=tokenizer,
+    model=MODEL_NAME,
+    stride=100,
+    aggregation_strategy="first",
+    device=0 if torch.cuda.is_available() else -1,
+)
+
+pipe(
+    "EMENTA : APELAÇÃO CÍVEL - AÇÃO DE INDENIZAÇÃO POR DANOS MORAIS - PRELIMINAR - ARGUIDA PELO MINISTÉRIO PÚBLICO EM GRAU RECURSAL - NULIDADE - AUSÊNCIA DE INTERVENÇÃO DO PARQUET NA INSTÂNCIA A QUO - PRESENÇA DE INCAPAZ - PREJUÍZO EXISTENTE - PRELIMINAR ACOLHIDA - NULIDADE RECONHECIDA. O processo foi movido por Gabriela Costa, com CPF 510.673.229-68 e telefone (61) 8926 3623, que alegou ter sofrido danos morais devido à conduta do réu. A defesa da parte autora foi realizada pelo advogado Daniel, com e-mail daniel02@example.com.  O juiz responsável pelo processo era o Dr. João, que residiu em Lagoa Ravi Lucca Moraes, 3 - Ventosa - 04712-184 Cunha / MS. A parte ré foi representada pela advogada Sará Camargo, com CPF 084.653.927-73 e telefone (021) 8769-0609, que residia em Rua de Guerra - Santa Helena - 98902-701 Sousa / GO. O Ministério Público interveio no processo, alegando ausência de intervenção do parquet na instância a quo. A preliminar foi acolhida e a nulidade reconhecida. O valor da causa era de R$99.304,53 e o CEP do local onde ocorreu o fato era 94376166. A parte autora é branca, religião evangélica e bissexual."
+)
+
+```
+
+Output
+
+```json
+[
+  {
+    "entity_group": "NOME",
+    "score": 0.9960784,
+    "word": "Gabriela Costa",
+    "start": 309,
+    "end": 323
+  },
+  {
+    "entity_group": "CPF",
+    "score": 0.7930292,
+    "word": "510.673.229-68",
+    "start": 333,
+    "end": 347
+  },
+  {
+    "entity_group": "TELEFONE",
+    "score": 0.97771186,
+    "word": "(61) 8926 3623",
+    "start": 359,
+    "end": 373
+  },
+  {
+    "entity_group": "NOME",
+    "score": 0.99474216,
+    "word": "Daniel",
+    "start": 489,
+    "end": 495
+  },
+  {
+    "entity_group": "EMAIL",
+    "score": 0.9641984,
+    "word": "daniel02@example.com",
+    "start": 508,
+    "end": 528
+  },
+  {
+    "entity_group": "NOME",
+    "score": 0.99585056,
+    "word": "João",
+    "start": 574,
+    "end": 578
+  },
+  {
+    "entity_group": "ENDERECO",
+    "score": 0.9989402,
+    "word": "Lagoa Ravi Lucca Moraes",
+    "start": 595,
+    "end": 618
+  },
+  {
+    "entity_group": "ENDERECO",
+    "score": 0.73866546,
+    "word": "Ventosa",
+    "start": 624,
+    "end": 631
+  },
+  {
+    "entity_group": "CEP",
+    "score": 0.9416942,
+    "word": "04712-184",
+    "start": 634,
+    "end": 643
+  },
+  {
+    "entity_group": "NOME",
+    "score": 0.99615496,
+    "word": "Sará Camargo",
+    "start": 698,
+    "end": 710
+  },
+  {
+    "entity_group": "CPF",
+    "word": "084.653.927-73",
+    "start": 720,
+    "end": 734
+  },
+  {
+    "entity_group": "TELEFONE",
+    "score": 0.9925872,
+    "word": "( 021 ) 8769 - 0609",
+    "start": 746,
+    "end": 761
+  },
+  {
+    "entity_group": "ENDERECO",
+    "score": 0.9989684,
+    "word": "Rua de Guerra",
+    "start": 778,
+    "end": 791
+  },
+  {
+    "entity_group": "ENDERECO",
+    "score": 0.9752308,
+    "word": "Santa Helena",
+    "start": 794,
+    "end": 806
+  },
+  {
+    "entity_group": "CEP",
+    "score": 0.857177,
+    "word": "98902-701",
+    "start": 809,
+    "end": 818
+  },
+  {
+    "entity_group": "ENDERECO",
+    "score": 0.5837238,
+    "word": "G",
+    "start": 827,
+    "end": 828
+  },
+  {
+    "entity_group": "CPF",
+    "score": 0.6357114,
+    "word": "99.30",
+    "start": 1017,
+    "end": 1022
+  },
+  {
+    "entity_group": "CEP",
+    "word": "94376166",
+    "start": 1068,
+    "end": 1076
+  },
+  {
+    "entity_group": "RACA_ETNIA",
+    "score": 0.9975738,
+    "word": "branca",
+    "start": 1095,
+    "end": 1101
+  },
+  {
+    "entity_group": "RELIGIAO",
+    "score": 0.5804555,
+    "word": "evangélica",
+    "start": 1112,
+    "end": 1122
+  },
+  {
+    "entity_group": "ORIENTACAO_SEXUAL",
+    "score": 0.8357099,
+    "word": "bissexual",
+    "start": 1125,
+    "end": 1134
+  }
+]
+```
+
+### Custom Input Usage
+
+```python
+import gradio as gr
+
+def ner(text):
+    return {"text": text, "entities": pipe(text)}
+
+gr.Interface(
+    ner,
+    gr.Textbox(placeholder="Enter sentence here..."),
+    gr.HighlightedText(),
+    live=True,
+    examples=[
+        "EMENTA : APELAÇÃO CÍVEL - AÇÃO DE INDENIZAÇÃO POR DANOS MORAIS - PRELIMINAR - ARGUIDA PELO MINISTÉRIO PÚBLICO EM GRAU RECURSAL - NULIDADE - AUSÊNCIA DE INTERVENÇÃO DO PARQUET NA INSTÂNCIA A QUO - PRESENÇA DE INCAPAZ - PREJUÍZO EXISTENTE - PRELIMINAR ACOLHIDA - NULIDADE RECONHECIDA. O processo foi movido por Gabriela Costa, com CPF 510.673.229-68 e telefone (61) 8926 3623, que alegou ter sofrido danos morais devido à conduta do réu. A defesa da parte autora foi realizada pelo advogado Daniel, com e-mail daniel02@example.com.  O juiz responsável pelo processo era o Dr. João, que residiu em Lagoa Ravi Lucca Moraes, 3 - Ventosa - 04712-184 Cunha / MS. A parte ré foi representada pela advogada Sará Camargo, com CPF 084.653.927-73 e telefone (021) 8769-0609, que residia em Rua de Guerra - Santa Helena - 98902-701 Sousa / GO. O Ministério Público interveio no processo, alegando ausência de intervenção do parquet na instância a quo. A preliminar foi acolhida e a nulidade reconhecida. O valor da causa era de R$99.304,53 e o CEP do local onde ocorreu o fato era 94376166. A parte autora é branca, religião evangélica e bissexual.",
+    ],
+).launch()
+```
+
+## Train Configuration
+
+```python
+  Num examples = 10.
+  Num Epochs = 3
+  Instantaneous batch size per device = 8
+  Total train batch size (w. parallel, distributed & accumulation) = 8
+  Number of trainable parameters =  103.950
+```