Create README.md
Browse files
README.md
ADDED
|
@@ -0,0 +1,70 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
|
| 2 |
+
|
| 3 |
+
---
|
| 4 |
+
license: mit
|
| 5 |
+
datasets:
|
| 6 |
+
- stanfordnlp/sst2
|
| 7 |
+
language:
|
| 8 |
+
- en
|
| 9 |
+
---
|
| 10 |
+
# BERT for SST-2 Sentiment Classification
|
| 11 |
+
|
| 12 |
+
Этот репозиторий содержит дообученный модельный чекпоинт `bert-base-uncased` для задачи бинарной классификации тональности на датасете SST-2 из набора GLUE. [file:1]
|
| 13 |
+
|
| 14 |
+
## Модель
|
| 15 |
+
|
| 16 |
+
- Базовая архитектура: `bert-base-uncased` (12 слоёв, скрытый размер 768, 12 голов внимания).
|
| 17 |
+
- Задача: бинарная классификация тональности (положительная / отрицательная).
|
| 18 |
+
- Заголовок классификации: полносвязный слой поверх [CLS]-эмбеддинга.
|
| 19 |
+
|
| 20 |
+
## Датасет
|
| 21 |
+
|
| 22 |
+
Модель обучена на подмножестве GLUE SST-2:
|
| 23 |
+
|
| 24 |
+
- Train: 67 349 примеров.
|
| 25 |
+
- Validation: 872 примера.
|
| 26 |
+
- Test: 1 821 пример.
|
| 27 |
+
|
| 28 |
+
Входные данные — отдельные предложения на английском языке, размеченные как положительные или отрицательные по тональности.
|
| 29 |
+
|
| 30 |
+
## Обучение
|
| 31 |
+
|
| 32 |
+
Основные параметры обучения:
|
| 33 |
+
|
| 34 |
+
- Epochs: 3
|
| 35 |
+
- Learning rate: 2e-5
|
| 36 |
+
- Batch size (per device): 16
|
| 37 |
+
- Weight decay: 0.01
|
| 38 |
+
- Evaluation strategy: `epoch`
|
| 39 |
+
- Метрика для выбора лучшей модели: `accuracy` на валидации.
|
| 40 |
+
|
| 41 |
+
Запуск тренировки выполнялся через `Trainer` из `transformers`:
|
| 42 |
+
|
| 43 |
+
## Результаты
|
| 44 |
+
|
| 45 |
+
По итогам обучения (3 эпохи) модель достигла следующей точности на валидационной выборке SST-2:
|
| 46 |
+
|
| 47 |
+
- Validation accuracy ≈ 0.86
|
| 48 |
+
- Validation loss ≈ 0.34–0.53 (по эпохам).
|
| 49 |
+
|
| 50 |
+
## Использование
|
| 51 |
+
|
| 52 |
+
Пример использования через `pipeline`:
|
| 53 |
+
|
| 54 |
+
from transformers import pipeline
|
| 55 |
+
|
| 56 |
+
classifier = pipeline(
|
| 57 |
+
"text-classification",
|
| 58 |
+
model="AlsuGibadullina/bertsst2learn",
|
| 59 |
+
)
|
| 60 |
+
|
| 61 |
+
classifier("The weather is not good today.")
|
| 62 |
+
|
| 63 |
+
|
| 64 |
+
Выход — метка `POSITIVE` или `NEGATIVE` с вероятностью. [file:1]
|
| 65 |
+
|
| 66 |
+
## Лицензия и ограничения
|
| 67 |
+
|
| 68 |
+
- Базовая модель: `bert-base-uncased` (лицензия от Hugging Face/Google; см. страницу модели).
|
| 69 |
+
- Датасет: GLUE SST-2, используемый для исследовательских и образовательных целей. [file:1]
|
| 70 |
+
- Модель предназначена для учебных и исследовательских задач по анализу тональности на английском языке; не рекомендуется применять её в проде без дополнительной валидации.
|