Upload 7 files

Update Model & Readme

README.md

@@ -2,6 +2,7 @@
 license: mit
 language:
 - ru
+- en
 tags:
 - russian
 - classification
@@ -10,76 +11,63 @@ tags:
 - emotion-recognition
 - multiclass
 widget:
-- text: Как дела?
-- text: Дурак твой дед
-- text: Только попробуй!!!
-- text: Не хочу в школу(
 - text: Сейчас ровно час дня
-- text: >-
-    А ты уверен, что эти полоски снизу не врут? Точно уверен? Вот прям 100
-    процентов?
+- text: Сегодня такой замечательный день!
+- text: Жалею, что вчера сходил на этот концерт
+- text: Что за бред я только что посмотрел...
+- text: Куда бы сегодня сходить?
+- text: Воу, это было так неожиданно
+- text: Фу, эта еда просто отвратительна!
+- text: В темной комнате услышал тихий посторонний шорох
+- text: Извини, я не хотел чтобы так все произошло
 datasets:
-- Djacon/ru_go_emotions
+- Djacon/ru-izard-emotions
 ---
 
-# First - you should prepare few functions to talk to model
+## Short Description
 
-```python
-import torch
-from transformers import BertForSequenceClassification, AutoTokenizer
+The __rubert-tiny2-russian-emotion-detection__ is a fine-tuned [rubert-tiny2](https://huggingface.co/cointegrated/rubert-tiny2) model for multi-label __emotion classification__ task, specifically on Russian texts. Trained on custom [ru-izard-emotions](https://huggingface.co/datasets/Djacon/ru-izard-emotions) dataset, so this model can recognize a spectrum of 9 emotions, including __joy__, __sadness__, __anger__, __enthusiasm__, __surprise__, __disgust__, __fear__, __guilt__, __shame__ + __neutral__ (no emotion). Project was inspired by the [Izard's model](https://en.wikipedia.org/wiki/Differential_Emotions_Scale) of human emotions.
 
-LABELS_RU = ['нейтрально', 'радость', 'грусть', 'гнев', 'интерес', 'удивление', 'отвращение', 'страх', 'вина', 'стыд']
-tokenizer = AutoTokenizer.from_pretrained('Djacon/rubert-tiny2-russian-emotion-detection')
-model = BertForSequenceClassification.from_pretrained('Djacon/rubert-tiny2-russian-emotion-detection')
+For more information about model, please check [Github repository](https://github.com/Djacon/russian-emotion-detection)
 
-# Predicting emotion in text
-@torch.no_grad()
-def predict_emotion(text: str) -> str:
-    inputs = tokenizer(text, truncation=True, return_tensors='pt')
-    inputs = inputs.to(model.device)
-    
-    outputs = model(**inputs)
-    
-    pred = torch.nn.functional.sigmoid(outputs.logits)
-    pred = pred.argmax(dim=1)
-    
-    return LABELS_RU[pred[0]]
-
-
-# Probabilistic prediction of emotion in a text
-@torch.no_grad()
-def predict_emotions(text: str) -> dict:
-    inputs = tokenizer(text, truncation=True, return_tensors='pt')
-    inputs = inputs.to(model.device)
-
-    outputs = model(**inputs)
-
-    pred = torch.nn.functional.sigmoid(outputs.logits)
+## Training Parameters:
+```yaml
+Optimizer: AdamW
+Schedule: LambdaLR
+Learning Rate: 1e-4
+Batch Size: 64
+Number Of Epochs: 10
+```
 
-    emotions_list = {}
-    for i in range(len(pred[0].tolist())):
-        emotions_list[LABELS_RU[i]] = round(pred[0].tolist()[i], 4)
-    return emotions_list
+## Emotion Categories:
+```js
+0. Neutral (Нейтрально)
+1. Joy (Радость)
+2. Sadness (Грусть)
+3. Anger (Гнев)
+4. Enthusiasm (Интерес)
+5. Surprise (Удивление)
+6. Disgust (Отвращение)
+7. Fear (Страх)
+8. Guilt (Вина)
+9. Shame (Стыд)
 ```
 
-# And then - just gently ask a model to predict your emotion
+## Test results:
 
-```python
-simple_prediction = predict_emotion("Какой же сегодня прекрасный день, братья")
-not_simple_prediction = predict_emotions("Какой же сегодня прекрасный день, братья")
+||Neutral|Joy|Sadness|Anger|Enthusiasm|Surprise|Disgust|Fear|Guilt|Shame|Mean|
+|-|-|-|-|-|-|-|-|-|-|-|-|
+|AUC|0.7319|0.8234|0.8069|0.7884|0.8493|0.8047|0.8147|0.9034|0.8528|0.7145|0.8090|
+|F1 micro|0.7192|0.7951|0.8204|0.7642|0.8630|0.9032|0.9156|0.9482|0.9526|0.9606|0.8642|
+|F1 macro|0.6021|0.7237|0.6548|0.6274|0.7291|0.5712|0.4780|0.8158|0.4879|0.4900|0.6180|
 
-print(simple_prediction)
-print(not_simple_prediction)
-# радость
-# {'нейтрально': 0.1985, 'радость': 0.7419, 'грусть': 0.0261, 'гнев': 0.0295, 'интерес': 0.1983, 'удивление': 0.4305, 'отвращение': 0.0082, 'страх': 0.008, 'вина': 0.0046, 'стыд': 0.0097}
-```
 
-# Citations
+## Citations
 ```
 @misc{Djacon,
-  author = {Djacon},
-  year = {2023},
-  publisher = {Hugging Face},
-  journal = {Hugging Face Hub},
+  author={Djacon},
+  year={2023},
+  publisher={Hugging Face},
+  journal={Hugging Face Hub},
 }
 ```

config.json

@@ -1,5 +1,5 @@
 {
-  "_name_or_path": "emotion_detection_model2",
+  "_name_or_path": "cointegrated/rubert-tiny2",
   "architectures": [
     "BertForSequenceClassification"
   ],

pytorch_model.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:2686936280a09f2bcc0752a55f5c8a4d0558ab018fdd2554b5e5f14bc092fcb0
-size 116821471
+oid sha256:5d8f3bf465322538b595ebf8c62847602d32921655b608305c42f502fc76dfcb
+size 116822239