Spaces:
Sleeping
Sleeping
Update app.py
Browse files
app.py
CHANGED
|
@@ -1,178 +1,158 @@
|
|
| 1 |
"""
|
| 2 |
-
|
|
|
|
| 3 |
"""
|
| 4 |
|
| 5 |
import gradio as gr
|
| 6 |
import torch
|
| 7 |
-
from transformers import
|
| 8 |
import numpy as np
|
|
|
|
| 9 |
|
| 10 |
-
#
|
| 11 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 12 |
|
| 13 |
-
|
| 14 |
-
|
| 15 |
-
tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
|
| 16 |
-
model = AutoModelForSequenceClassification.from_pretrained(MODEL_NAME)
|
| 17 |
-
model.eval()
|
| 18 |
-
print("Modelo carregado com sucesso!")
|
| 19 |
|
| 20 |
-
|
| 21 |
-
|
| 22 |
-
|
| 23 |
-
|
| 24 |
-
|
| 25 |
-
|
|
|
|
|
|
|
|
|
|
| 26 |
|
| 27 |
-
|
| 28 |
-
|
| 29 |
-
|
| 30 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
| 31 |
}
|
| 32 |
|
| 33 |
-
def
|
| 34 |
-
"""
|
| 35 |
-
|
| 36 |
-
"""
|
| 37 |
if not texto or len(texto.strip()) < 3:
|
| 38 |
-
return "
|
| 39 |
|
| 40 |
-
|
| 41 |
-
|
| 42 |
-
|
| 43 |
-
padding=True,
|
| 44 |
-
truncation=True,
|
| 45 |
-
max_length=512,
|
| 46 |
-
return_tensors='pt'
|
| 47 |
-
)
|
| 48 |
|
| 49 |
-
|
| 50 |
-
|
| 51 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 52 |
|
| 53 |
-
|
| 54 |
-
|
| 55 |
-
probs = probs.numpy()[0]
|
| 56 |
|
| 57 |
-
# Resultado
|
| 58 |
-
|
| 59 |
-
|
| 60 |
-
|
| 61 |
|
| 62 |
-
#
|
| 63 |
-
|
| 64 |
-
|
| 65 |
-
|
| 66 |
-
|
| 67 |
|
| 68 |
-
|
| 69 |
-
|
| 70 |
|
| 71 |
-
return resultado,
|
| 72 |
|
| 73 |
-
#
|
| 74 |
-
|
| 75 |
-
["
|
| 76 |
-
["
|
| 77 |
-
["
|
| 78 |
-
["
|
| 79 |
-
["
|
| 80 |
-
["Satisfeito com a compra, chegou rápido."],
|
| 81 |
]
|
| 82 |
|
| 83 |
-
# Interface
|
| 84 |
-
|
| 85 |
-
|
| 86 |
-
|
| 87 |
-
|
| 88 |
-
|
| 89 |
-
Descubra o sentimento por trás do texto usando modelos Transformer!
|
| 90 |
-
|
| 91 |
-
Digite ou cole um texto e descubra se é **positivo**, **negativo** ou **neutro**.
|
| 92 |
-
"""
|
| 93 |
-
)
|
| 94 |
|
| 95 |
with gr.Row():
|
| 96 |
-
|
| 97 |
-
|
| 98 |
-
|
| 99 |
-
|
| 100 |
-
|
| 101 |
-
max_lines=10
|
| 102 |
-
)
|
| 103 |
-
|
| 104 |
-
with gr.Row():
|
| 105 |
-
btn_analisar = gr.Button("🔍 Analisar Sentimento", variant="primary")
|
| 106 |
-
btn_limpar = gr.Button("🗑️ Limpar")
|
| 107 |
|
| 108 |
with gr.Row():
|
| 109 |
-
|
| 110 |
-
|
| 111 |
-
|
| 112 |
-
|
| 113 |
-
|
| 114 |
-
|
| 115 |
-
|
| 116 |
-
|
| 117 |
-
)
|
| 118 |
|
| 119 |
-
with gr.Column(
|
| 120 |
-
|
| 121 |
-
label="📈 Distribuição de Probabilidades",
|
| 122 |
-
num_top_classes=3
|
| 123 |
-
)
|
| 124 |
|
| 125 |
-
gr.Markdown("###
|
| 126 |
gr.Examples(
|
| 127 |
-
examples=
|
| 128 |
-
inputs=
|
| 129 |
-
outputs=[
|
| 130 |
-
fn=
|
| 131 |
-
cache_examples=False
|
| 132 |
)
|
| 133 |
|
| 134 |
gr.Markdown(
|
| 135 |
"""
|
| 136 |
---
|
| 137 |
-
|
| 138 |
-
|
| 139 |
-
Este sistema usa modelos **Transformer** treinados em milhares de textos em português.
|
| 140 |
|
| 141 |
-
|
| 142 |
-
|
| 143 |
-
|
| 144 |
-
|
| 145 |
-
- ✅ Múltiplas classes (Positivo, Neutro, Negativo)
|
| 146 |
|
| 147 |
-
|
| 148 |
-
-
|
| 149 |
-
-
|
| 150 |
-
-
|
| 151 |
-
|
| 152 |
-
|
| 153 |
-
**Feito com ❤️ usando Transformers e Gradio**
|
| 154 |
"""
|
| 155 |
)
|
| 156 |
|
| 157 |
-
|
| 158 |
-
|
| 159 |
-
|
| 160 |
-
inputs=texto_input,
|
| 161 |
-
outputs=[resultado_output, probs_output, confianca_output]
|
| 162 |
-
)
|
| 163 |
-
|
| 164 |
-
btn_limpar.click(
|
| 165 |
-
fn=lambda: ("", "", {}, 0.0),
|
| 166 |
-
inputs=None,
|
| 167 |
-
outputs=[texto_input, resultado_output, probs_output, confianca_output]
|
| 168 |
-
)
|
| 169 |
-
|
| 170 |
-
texto_input.submit(
|
| 171 |
-
fn=classificar_sentimento,
|
| 172 |
-
inputs=texto_input,
|
| 173 |
-
outputs=[resultado_output, probs_output, confianca_output]
|
| 174 |
-
)
|
| 175 |
|
| 176 |
-
# Iniciar
|
| 177 |
if __name__ == "__main__":
|
| 178 |
demo.launch()
|
|
|
|
| 1 |
"""
|
| 2 |
+
Sistema de Análise de Sentimentos - Ensemble de Modelos
|
| 3 |
+
Desenvolvido para classificação de textos em português
|
| 4 |
"""
|
| 5 |
|
| 6 |
import gradio as gr
|
| 7 |
import torch
|
| 8 |
+
from transformers import pipeline
|
| 9 |
import numpy as np
|
| 10 |
+
from collections import Counter
|
| 11 |
|
| 12 |
+
# Modelos selecionados para português
|
| 13 |
+
MODELS = [
|
| 14 |
+
"cardiffnlp/twitter-xlm-roberta-base-sentiment",
|
| 15 |
+
"lxyuan/distilbert-base-multilingual-cased-sentiments-student",
|
| 16 |
+
"nlptown/bert-base-multilingual-uncased-sentiment",
|
| 17 |
+
"citizenlab/twitter-xlm-roberta-base-sentiment-finetunned",
|
| 18 |
+
"cardiffnlp/twitter-xlm-roberta-base-sentiment-multilingual"
|
| 19 |
+
]
|
| 20 |
|
| 21 |
+
print("Inicializando modelos...")
|
| 22 |
+
classifiers = []
|
|
|
|
|
|
|
|
|
|
|
|
|
| 23 |
|
| 24 |
+
for model_name in MODELS:
|
| 25 |
+
try:
|
| 26 |
+
classifier = pipeline("sentiment-analysis", model=model_name, device=0 if torch.cuda.is_available() else -1)
|
| 27 |
+
classifiers.append(classifier)
|
| 28 |
+
print(f"OK: {model_name.split('/')[-1]}")
|
| 29 |
+
except:
|
| 30 |
+
print(f"Falha: {model_name.split('/')[-1]}")
|
| 31 |
+
|
| 32 |
+
print(f"{len(classifiers)} modelos ativos")
|
| 33 |
|
| 34 |
+
# Padronização de labels
|
| 35 |
+
LABEL_MAP = {
|
| 36 |
+
'NEGATIVE': 'Negativo', 'negative': 'Negativo', 'NEG': 'Negativo',
|
| 37 |
+
'NEUTRAL': 'Neutro', 'neutral': 'Neutro', 'NEU': 'Neutro',
|
| 38 |
+
'POSITIVE': 'Positivo', 'positive': 'Positivo', 'POS': 'Positivo',
|
| 39 |
+
'1 star': 'Negativo', '2 stars': 'Negativo',
|
| 40 |
+
'3 stars': 'Neutro',
|
| 41 |
+
'4 stars': 'Positivo', '5 stars': 'Positivo',
|
| 42 |
}
|
| 43 |
|
| 44 |
+
def processar(texto):
|
| 45 |
+
"""Classifica texto usando ensemble de modelos"""
|
| 46 |
+
|
|
|
|
| 47 |
if not texto or len(texto.strip()) < 3:
|
| 48 |
+
return "Aguardando entrada", {}, "-", "-"
|
| 49 |
|
| 50 |
+
texto = texto[:500]
|
| 51 |
+
predicoes = []
|
| 52 |
+
scores = {'Negativo': [], 'Neutro': [], 'Positivo': []}
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 53 |
|
| 54 |
+
for clf in classifiers:
|
| 55 |
+
try:
|
| 56 |
+
result = clf(texto)[0]
|
| 57 |
+
label = LABEL_MAP.get(result['label'], result['label'])
|
| 58 |
+
score = result['score']
|
| 59 |
+
|
| 60 |
+
predicoes.append(label)
|
| 61 |
+
|
| 62 |
+
# Distribuição de scores
|
| 63 |
+
for classe in scores.keys():
|
| 64 |
+
if classe == label:
|
| 65 |
+
scores[classe].append(score)
|
| 66 |
+
else:
|
| 67 |
+
scores[classe].append((1-score)/(len(scores)-1))
|
| 68 |
+
except:
|
| 69 |
+
continue
|
| 70 |
|
| 71 |
+
if not predicoes:
|
| 72 |
+
return "Erro no processamento", {}, "-", "-"
|
|
|
|
| 73 |
|
| 74 |
+
# Resultado por voting
|
| 75 |
+
contagem = Counter(predicoes)
|
| 76 |
+
resultado = contagem.most_common(1)[0][0]
|
| 77 |
+
votos = contagem[resultado]
|
| 78 |
|
| 79 |
+
# Probabilidades
|
| 80 |
+
probs = {k: np.mean(v) if v else 0 for k, v in scores.items()}
|
| 81 |
+
total = sum(probs.values())
|
| 82 |
+
if total > 0:
|
| 83 |
+
probs = {k: v/total for k, v in probs.items()}
|
| 84 |
|
| 85 |
+
confianca = probs[resultado]
|
| 86 |
+
info = f"{votos}/{len(predicoes)} modelos"
|
| 87 |
|
| 88 |
+
return resultado, probs, f"{confianca:.2%}", info
|
| 89 |
|
| 90 |
+
# Casos de teste
|
| 91 |
+
casos = [
|
| 92 |
+
["Produto de qualidade superior. Recomendo para uso profissional."],
|
| 93 |
+
["Apresenta defeitos graves. Não atende especificações mínimas."],
|
| 94 |
+
["Desempenho adequado. Corresponde à descrição do fabricante."],
|
| 95 |
+
["Excelente custo-benefício. Entrega conforme prometido."],
|
| 96 |
+
["Qualidade inferior ao esperado. Necessita melhorias significativas."],
|
|
|
|
| 97 |
]
|
| 98 |
|
| 99 |
+
# Interface
|
| 100 |
+
demo = gr.Blocks(title="Análise de Sentimentos")
|
| 101 |
+
|
| 102 |
+
with demo:
|
| 103 |
+
gr.Markdown("# Sistema de Análise de Sentimentos")
|
| 104 |
+
gr.Markdown("Classificação automática usando ensemble de modelos Transformer")
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 105 |
|
| 106 |
with gr.Row():
|
| 107 |
+
entrada = gr.Textbox(
|
| 108 |
+
label="Texto",
|
| 109 |
+
placeholder="Insira o texto para análise",
|
| 110 |
+
lines=4
|
| 111 |
+
)
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 112 |
|
| 113 |
with gr.Row():
|
| 114 |
+
btn_proc = gr.Button("Processar", variant="primary")
|
| 115 |
+
btn_limp = gr.Button("Limpar")
|
| 116 |
+
|
| 117 |
+
with gr.Row():
|
| 118 |
+
with gr.Column():
|
| 119 |
+
resultado = gr.Textbox(label="Classificação")
|
| 120 |
+
confianca = gr.Textbox(label="Confiança")
|
| 121 |
+
info = gr.Textbox(label="Consenso")
|
|
|
|
| 122 |
|
| 123 |
+
with gr.Column():
|
| 124 |
+
probs = gr.Label(label="Probabilidades")
|
|
|
|
|
|
|
|
|
|
| 125 |
|
| 126 |
+
gr.Markdown("### Casos de Teste")
|
| 127 |
gr.Examples(
|
| 128 |
+
examples=casos,
|
| 129 |
+
inputs=entrada,
|
| 130 |
+
outputs=[resultado, probs, confianca, info],
|
| 131 |
+
fn=processar
|
|
|
|
| 132 |
)
|
| 133 |
|
| 134 |
gr.Markdown(
|
| 135 |
"""
|
| 136 |
---
|
| 137 |
+
**Especificações Técnicas**
|
|
|
|
|
|
|
| 138 |
|
| 139 |
+
Método: Ensemble voting com 5 modelos Transformer
|
| 140 |
+
Idioma: Português (BR/PT)
|
| 141 |
+
Classes: Negativo, Neutro, Positivo
|
| 142 |
+
Limite: 500 caracteres por texto
|
|
|
|
| 143 |
|
| 144 |
+
Modelos utilizados:
|
| 145 |
+
- XLM-RoBERTa (Cardiff NLP)
|
| 146 |
+
- DistilBERT Multilingual
|
| 147 |
+
- BERT Multilingual (NLP Town)
|
| 148 |
+
- XLM-RoBERTa Fine-tuned (CitizenLab)
|
| 149 |
+
- XLM-RoBERTa Multilingual (Cardiff NLP)
|
|
|
|
| 150 |
"""
|
| 151 |
)
|
| 152 |
|
| 153 |
+
btn_proc.click(fn=processar, inputs=entrada, outputs=[resultado, probs, confianca, info])
|
| 154 |
+
btn_limp.click(fn=lambda: ("", "", "", "", {}), outputs=[entrada, resultado, confianca, info, probs])
|
| 155 |
+
entrada.submit(fn=processar, inputs=entrada, outputs=[resultado, probs, confianca, info])
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 156 |
|
|
|
|
| 157 |
if __name__ == "__main__":
|
| 158 |
demo.launch()
|