AlsuGibadullina commited on
Commit
e26df87
·
verified ·
1 Parent(s): 0971b15

Create README.md

Browse files
Files changed (1) hide show
  1. README.md +70 -0
README.md ADDED
@@ -0,0 +1,70 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+
2
+
3
+ ---
4
+ license: mit
5
+ datasets:
6
+ - stanfordnlp/sst2
7
+ language:
8
+ - en
9
+ ---
10
+ # BERT for SST-2 Sentiment Classification
11
+
12
+ Этот репозиторий содержит дообученный модельный чекпоинт `bert-base-uncased` для задачи бинарной классификации тональности на датасете SST-2 из набора GLUE. [file:1]
13
+
14
+ ## Модель
15
+
16
+ - Базовая архитектура: `bert-base-uncased` (12 слоёв, скрытый размер 768, 12 голов внимания).
17
+ - Задача: бинарная классификация тональности (положительная / отрицательная).
18
+ - Заголовок классификации: полносвязный слой поверх [CLS]-эмбеддинга.
19
+
20
+ ## Датасет
21
+
22
+ Модель обучена на подмножестве GLUE SST-2:
23
+
24
+ - Train: 67 349 примеров.
25
+ - Validation: 872 примера.
26
+ - Test: 1 821 пример.
27
+
28
+ Входные данные — отдельные предложения на английском языке, размеченные как положительные или отрицательные по тональности.
29
+
30
+ ## Обучение
31
+
32
+ Основные параметры обучения:
33
+
34
+ - Epochs: 3
35
+ - Learning rate: 2e-5
36
+ - Batch size (per device): 16
37
+ - Weight decay: 0.01
38
+ - Evaluation strategy: `epoch`
39
+ - Метрика для выбора лучшей модели: `accuracy` на валидации.
40
+
41
+ Запуск тренировки выполнялся через `Trainer` из `transformers`:
42
+
43
+ ## Результаты
44
+
45
+ По итогам обучения (3 эпохи) модель достигла следующей точности на валидационной выборке SST-2:
46
+
47
+ - Validation accuracy ≈ 0.86
48
+ - Validation loss ≈ 0.34–0.53 (по эпохам).
49
+
50
+ ## Использование
51
+
52
+ Пример использования через `pipeline`:
53
+
54
+ from transformers import pipeline
55
+
56
+ classifier = pipeline(
57
+ "text-classification",
58
+ model="AlsuGibadullina/bertsst2learn",
59
+ )
60
+
61
+ classifier("The weather is not good today.")
62
+
63
+
64
+ Выход — метка `POSITIVE` или `NEGATIVE` с вероятностью. [file:1]
65
+
66
+ ## Лицензия и ограничения
67
+
68
+ - Базовая модель: `bert-base-uncased` (лицензия от Hugging Face/Google; см. страницу модели).
69
+ - Датасет: GLUE SST-2, используемый для исследовательских и образовательных целей. [file:1]
70
+ - Модель предназначена для учебных и исследовательских задач по анализу тональности на английском языке; не рекомендуется применять её в проде без дополнительной валидации.