File size: 1,489 Bytes
44ea097 b6a6ad0 930849c |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 |
---
library_name: transformers
datasets:
- cardiffnlp/tweet_eval
base_model:
- OuteAI/Lite-Oute-1-300M-Instruct
---
Дообученая модель `OuteAI/Lite-Oute-1-300M-Instruct` на задаче определения сентимента текста
Для дообучения использовался датасет `OuteAI/Lite-Oute-1-300M-Instruct` с 3 типами эмоций: положительный, нейтральный и негативный
Для дообучения использовался кастомный LoRA-адаптер с параметрами:
```json
config = {
r: 32
alpha: 16
target_submodules: ["q_proj", "k_proj", "v_proj"],
lr: 5e-5,
batch_size: 2,
num_epoches: 2
}
```
Итоговая модель получила значение f-score = 0.52
# Примеры генерации:
Текст: Chase Headley's RBI double in the 8th inning off David Price snapped a Yankees streak of 33 consecutive scoreless innings against Blue Jays
Ответ модели: neutral
Текст: QT @user In the original draft of the 7th book, Remus Lupin survived the Battle of Hogwarts. #HappyBirthdayRemusLupin
Ответ модели: positive
Текст: Amazon prime is literally a lie....I ordered a book LAST MONDAY & it still isn't here. do better @user
Ответ модели: negative
|