---
license: mit
datasets:
- stanfordnlp/sst2
language:
- en
---
# BERT for SST-2 Sentiment Classification

Этот репозиторий содержит дообученный модельный чекпоинт `bert-base-uncased` для задачи бинарной классификации тональности на датасете SST-2 из набора GLUE. [file:1]

## Модель

- Базовая архитектура: `bert-base-uncased` (12 слоёв, скрытый размер 768, 12 голов внимания). 
- Задача: бинарная классификация тональности (положительная / отрицательная).
- Заголовок классификации: полносвязный слой поверх [CLS]-эмбеддинга.

## Датасет

Модель обучена на подмножестве GLUE SST-2: 

- Train: 67 349 примеров. 
- Validation: 872 примера.
- Test: 1 821 пример.   

Входные данные — отдельные предложения на английском языке, размеченные как положительные или отрицательные по тональности. 

## Обучение

Основные параметры обучения: 

- Epochs: 3  
- Learning rate: 2e-5  
- Batch size (per device): 16  
- Weight decay: 0.01  
- Evaluation strategy: `epoch`  
- Метрика для выбора лучшей модели: `accuracy` на валидации.  

Запуск тренировки выполнялся через `Trainer` из `transformers`:

## Результаты

По итогам обучения (3 эпохи) модель достигла следующей точности на валидационной выборке SST-2:

- Validation accuracy ≈ 0.86  
- Validation loss ≈ 0.34–0.53 (по эпохам).  

## Использование

Пример использования через `pipeline`:

from transformers import pipeline

classifier = pipeline(
"text-classification",
model="AlsuGibadullina/bertsst2learn",
)

classifier("The weather is not good today.")


Выход — метка `POSITIVE` или `NEGATIVE` с вероятностью. [file:1]

## Лицензия и ограничения

- Базовая модель: `bert-base-uncased` (лицензия от Hugging Face/Google; см. страницу модели).  
- Датасет: GLUE SST-2, используемый для исследовательских и образовательных целей. [file:1]  
- Модель предназначена для учебных и исследовательских задач по анализу тональности на английском языке; не рекомендуется применять её в проде без дополнительной валидации.