README.md

---
library_name: transformers
datasets:
- cardiffnlp/tweet_eval
base_model:
- OuteAI/Lite-Oute-1-300M-Instruct
---

Дообученая модель `OuteAI/Lite-Oute-1-300M-Instruct` на задаче определения сентимента текста

Для дообучения использовался датасет `OuteAI/Lite-Oute-1-300M-Instruct` с 3 типами эмоций: положительный, нейтральный и негативный

Для дообучения использовался кастомный LoRA-адаптер с параметрами:

```json
config = {
  r: 32 
  alpha: 16
  target_submodules: ["q_proj", "k_proj", "v_proj"],
  lr: 5e-5,
  batch_size: 2,
  num_epoches: 2
}
```

Итоговая модель получила значение f-score = 0.52


![image/png](https://cdn-uploads.huggingface.co/production/uploads/67193e210f1cff2c2b1d9379/vn3bz-q43bIsZ_h77hSYv.png)

# Примеры генерации:

Текст: Chase Headley's RBI double in the 8th inning off David Price snapped a Yankees streak of 33 consecutive scoreless innings against Blue Jays

Ответ модели: neutral

Текст: QT @user In the original draft of the 7th book, Remus Lupin survived the Battle of Hogwarts. #HappyBirthdayRemusLupin

Ответ модели: positive

Текст: Amazon prime is literally a lie....I ordered a book LAST MONDAY & it still isn't here. do better @user

Ответ модели: negative