Training 20251203_145320 - 23 classes with metrics

#18
by rkenji - opened
Files changed (2) hide show
  1. README.md +53 -39
  2. config.json +34 -24
README.md CHANGED
@@ -19,15 +19,15 @@ model-index:
19
  type: legal_documents
20
  metrics:
21
  - type: accuracy
22
- value: 0.9230769230769231
23
  - type: f1
24
- value: 0.9213415721061173
25
  - type: precision
26
- value: 0.9231096484224747
27
  - type: recall
28
- value: 0.9230769230769231
29
  - type: f1_macro
30
- value: 0.4819512053123249
31
  ---
32
 
33
  # Model Card for Model ID
@@ -51,7 +51,7 @@ Este modelo foi treinado para classificar documentos jurídicos brasileiros usan
51
 
52
  - **Base Model:** google-bert/bert-base-multilingual-cased
53
  - **Tipo:** Classificação Multiclasse
54
- - **Número de Classes:** 13
55
  - **Idioma:** Português (Brasil)
56
  - **Domínio:** Documentos Jurídicos
57
 
@@ -63,51 +63,65 @@ Este modelo foi treinado para classificar documentos jurídicos brasileiros usan
63
  3. Citação
64
  4. Art.40
65
  5. Não
66
- 6. Alvará
67
- 7. Citação
68
- 8. sentença em apensado.
69
- 9. Sentença de mérito ou definitiva
70
- 10. Art. 40
71
- 11. Citação de embargos
72
- 12. Volta da suspensão do artigo 40
73
  13. Unificado
74
- 14. Arquivo provisório do art. 28 lef
75
- 15. Remessa para o arquivo
76
- 16. Pelo prazo de 10 dias
77
- 17. leilão
78
- 18. Forma tácita
 
 
 
 
79
 
80
  ## Métricas de Avaliação
81
 
82
  As métricas abaixo foram calculadas no conjunto de validação:
83
 
84
- - **Accuracy:** 0.9231
85
- - **F1-Score (Weighted):** 0.9213
86
- - **Precision (Weighted):** 0.9231
87
- - **Recall (Weighted):** 0.9231
88
- - **F1-Score (Macro):** 0.4820
89
 
90
  ## Classification Report Completo
91
 
92
  ```
93
  precision recall f1-score support
94
 
95
- 0 0.60 0.38 0.46 8
96
- 1 0.90 0.94 0.92 47
97
- 2 0.96 0.82 0.88 61
98
- 3 0.90 0.98 0.94 45
99
- 4 0.91 0.97 0.94 140
100
- 5 0.96 0.95 0.95 427
101
- 7 0.00 0.00 0.00 1
102
- 8 0.29 1.00 0.44 2
103
- 9 0.00 0.00 0.00 1
104
- 10 0.33 0.20 0.25 5
105
- 11 0.00 0.00 0.00 2
106
- 12 0.00 0.00 0.00 2
107
-
108
- accuracy 0.92 741
109
- macro avg 0.49 0.52 0.48 741
110
- weighted avg 0.92 0.92 0.92 741
 
 
 
 
 
 
 
 
 
 
111
 
112
  ```
113
 
 
19
  type: legal_documents
20
  metrics:
21
  - type: accuracy
22
+ value: 0.8881829733163914
23
  - type: f1
24
+ value: 0.8777856821629471
25
  - type: precision
26
+ value: 0.8772538874253621
27
  - type: recall
28
+ value: 0.8881829733163914
29
  - type: f1_macro
30
+ value: 0.3692552572091707
31
  ---
32
 
33
  # Model Card for Model ID
 
51
 
52
  - **Base Model:** google-bert/bert-base-multilingual-cased
53
  - **Tipo:** Classificação Multiclasse
54
+ - **Número de Classes:** 23
55
  - **Idioma:** Português (Brasil)
56
  - **Domínio:** Documentos Jurídicos
57
 
 
63
  3. Citação
64
  4. Art.40
65
  5. Não
66
+ 6. Pelo prazo de 10 dias
67
+ 7. Sentença de mérito ou definitiva
68
+ 8. Citação de embargos
69
+ 9. Forma tácita
70
+ 10. Citação de penhora
71
+ 11. Art. 40
72
+ 12. sentença em apensado.
73
  13. Unificado
74
+ 14. Citação Negativa
75
+ 15. Arquivo provisório do art. 28 lef
76
+ 16. leilão
77
+ 17. intimação
78
+ 18. Citação de arresto
79
+ 19. Citação Positiva
80
+ 20. Penhora
81
+ 21. Desentramento
82
+ 22. Remessa para o arquivo
83
 
84
  ## Métricas de Avaliação
85
 
86
  As métricas abaixo foram calculadas no conjunto de validação:
87
 
88
+ - **Accuracy:** 0.8882
89
+ - **F1-Score (Weighted):** 0.8778
90
+ - **Precision (Weighted):** 0.8773
91
+ - **Recall (Weighted):** 0.8882
92
+ - **F1-Score (Macro):** 0.3693
93
 
94
  ## Classification Report Completo
95
 
96
  ```
97
  precision recall f1-score support
98
 
99
+ 0 0.00 0.00 0.00 7
100
+ 1 0.96 0.94 0.95 51
101
+ 2 0.93 0.88 0.91 49
102
+ 3 0.82 0.88 0.85 42
103
+ 4 0.94 0.95 0.94 138
104
+ 5 0.96 0.95 0.96 414
105
+ 6 0.00 0.00 0.00 7
106
+ 7 1.00 1.00 1.00 16
107
+ 8 0.00 0.00 0.00 4
108
+ 9 0.40 1.00 0.57 6
109
+ 10 0.08 1.00 0.15 2
110
+ 11 0.67 1.00 0.80 10
111
+ 12 0.00 0.00 0.00 8
112
+ 13 0.53 0.91 0.67 11
113
+ 14 0.00 0.00 0.00 3
114
+ 15 0.00 0.00 0.00 2
115
+ 16 0.00 0.00 0.00 1
116
+ 17 0.00 0.00 0.00 6
117
+ 19 0.00 0.00 0.00 3
118
+ 20 1.00 0.20 0.33 5
119
+ 21 0.00 0.00 0.00 1
120
+ 22 0.00 0.00 0.00 1
121
+
122
+ accuracy 0.89 787
123
+ macro avg 0.38 0.44 0.37 787
124
+ weighted avg 0.88 0.89 0.88 787
125
 
126
  ```
127
 
config.json CHANGED
@@ -16,40 +16,50 @@
16
  "3": "Cita\u00e7\u00e3o",
17
  "4": "Art.40",
18
  "5": "N\u00e3o",
19
- "6": "Alvar\u00e1",
20
- "7": "Cita\u00e7\u00e3o",
21
- "8": "senten\u00e7a em apensado.",
22
- "9": "Senten\u00e7a de m\u00e9rito ou definitiva",
23
- "10": "Art. 40",
24
- "11": "Cita\u00e7\u00e3o de embargos",
25
- "12": "Volta da suspens\u00e3o do artigo 40",
26
  "13": "Unificado",
27
- "14": "Arquivo provis\u00f3rio do art. 28 lef",
28
- "15": "Remessa para o arquivo",
29
- "16": "Pelo prazo de 10 dias",
30
- "17": "leil\u00e3o",
31
- "18": "Forma t\u00e1cita"
 
 
 
 
32
  },
33
  "initializer_range": 0.02,
34
  "intermediate_size": 3072,
35
  "label2id": {
36
- "Alvar\u00e1": 6,
37
- "Arquivo provis\u00f3rio do art. 28 lef": 14,
38
- "Art. 40": 10,
39
  "Art.40": 4,
40
- "Cita\u00e7\u00e3o": 7,
41
- "Cita\u00e7\u00e3o de embargos": 11,
42
- "Forma t\u00e1cita": 18,
 
 
 
 
 
43
  "N\u00e3o": 5,
44
- "Pelo prazo de 10 dias": 16,
 
45
  "Penhora/Arresto/Sequestro": 2,
46
- "Remessa para o arquivo": 15,
47
  "Senten\u00e7a": 1,
48
- "Senten\u00e7a de m\u00e9rito ou definitiva": 9,
49
  "Unificado": 13,
50
- "Volta da suspens\u00e3o do artigo 40": 12,
51
- "leil\u00e3o": 17,
52
- "senten\u00e7a em apensado.": 8
53
  },
54
  "layer_norm_eps": 1e-12,
55
  "max_position_embeddings": 512,
 
16
  "3": "Cita\u00e7\u00e3o",
17
  "4": "Art.40",
18
  "5": "N\u00e3o",
19
+ "6": "Pelo prazo de 10 dias",
20
+ "7": "Senten\u00e7a de m\u00e9rito ou definitiva",
21
+ "8": "Cita\u00e7\u00e3o de embargos",
22
+ "9": "Forma t\u00e1cita",
23
+ "10": "Cita\u00e7\u00e3o de penhora",
24
+ "11": "Art. 40",
25
+ "12": "senten\u00e7a em apensado.",
26
  "13": "Unificado",
27
+ "14": "Cita\u00e7\u00e3o Negativa",
28
+ "15": "Arquivo provis\u00f3rio do art. 28 lef",
29
+ "16": "leil\u00e3o",
30
+ "17": "intima\u00e7\u00e3o",
31
+ "18": "Cita\u00e7\u00e3o de arresto",
32
+ "19": "Cita\u00e7\u00e3o Positiva",
33
+ "20": "Penhora",
34
+ "21": "Desentramento",
35
+ "22": "Remessa para o arquivo"
36
  },
37
  "initializer_range": 0.02,
38
  "intermediate_size": 3072,
39
  "label2id": {
40
+ "Alvar\u00e1": 0,
41
+ "Arquivo provis\u00f3rio do art. 28 lef": 15,
42
+ "Art. 40": 11,
43
  "Art.40": 4,
44
+ "Cita\u00e7\u00e3o": 3,
45
+ "Cita\u00e7\u00e3o Negativa": 14,
46
+ "Cita\u00e7\u00e3o Positiva": 19,
47
+ "Cita\u00e7\u00e3o de arresto": 18,
48
+ "Cita\u00e7\u00e3o de embargos": 8,
49
+ "Cita\u00e7\u00e3o de penhora": 10,
50
+ "Desentramento": 21,
51
+ "Forma t\u00e1cita": 9,
52
  "N\u00e3o": 5,
53
+ "Pelo prazo de 10 dias": 6,
54
+ "Penhora": 20,
55
  "Penhora/Arresto/Sequestro": 2,
56
+ "Remessa para o arquivo": 22,
57
  "Senten\u00e7a": 1,
58
+ "Senten\u00e7a de m\u00e9rito ou definitiva": 7,
59
  "Unificado": 13,
60
+ "intima\u00e7\u00e3o": 17,
61
+ "leil\u00e3o": 16,
62
+ "senten\u00e7a em apensado.": 12
63
  },
64
  "layer_norm_eps": 1e-12,
65
  "max_position_embeddings": 512,