---
language:
- pt
base_model:
- neuralmind/bert-base-portuguese-cased
---
# Treino de modelos preditivos com Transformers

Este repositório usa um modelo pré-treinado, chamado [BERTimbau](https://huggingface.co/neuralmind/bert-base-portuguese-cased), e disponível no site [Hugging Face](https://huggingface.co/).

O modelo foi disponibilizado por Fábio Souza, Rodrigo Nogueira e Roberto Lotufo no artigo "BERTimbau: pretrained BERT
models for Brazilian Portuguese", publicado na Brazilian Conference in Intelligent Systems (2020). Mais informações
estão disponíveis no [repositório](https://github.com/neuralmind-ai/portuguese-bert/) do trabalho.

Este modelo foi treinado no [BrWaC (Brazilian Web as Corpus)](https://www.researchgate.net/publication/326303825_The_brWaC_Corpus_A_New_Open_Resource_for_Brazilian_Portuguese)
para três tarefas: reconhecimento de entidades nomeadas, similaridade textual de frases, e reconhecimento de implicação
textual. Aqui, ele passa por um ajuste-fino (fine-tuning) para classificação de sentimentos em 3 classes: positivo (o
texto em questão tem um sentimento positivo), negativo e neutro.

Os dados utilizados para fine-tuning são provenientes de avaliações de Ensino-Aprendizagem da UFSM de anos anteriores,
e avaliações de comentários dos Restaurantes Universitários. Todos os dados foram anonimizados antes de sua utilização
pelo modelo.

## Bibliotecas usadas

* CUDA 12.4
* PyTorch 2.3
* PyTorch-CUDA 11.8
* Transformers 4.37.2
* datasets 2.12.0
* scikit-learn 1.4.2
* NumPy 1.24.3
* pandas 1.5.3

## Treinamento

Consulte o repositório do [GitHub](https://github.com/COPLIN-UFSM/nlp)

## Predição


```python
from transformers import pipeline, BertTokenizer, BertForSequenceClassification

model = BertForSequenceClassification.from_pretrained('COPLIN-UFSM/student-sentiment-analysis-multilabel')
tokenizer = BertTokenizer.from_pretrained(
    'COPLIN-UFSM/student-sentiment-analysis-multilabel', model_max_length=model.config.max_position_embeddings
)
pipe = pipeline('sentiment-analysis', model=model, tokenizer=tokenizer, device='cpu')

pipe('eu adoro o professor henry!', top_k=None)
```

A saída será:

```bash
[{'label': 'positive', 'score': 0.9967827796936035},
 {'label': 'negative', 'score': 0.001376272994093597}]
```