library_name: transformers
datasets:
- cardiffnlp/tweet_eval
base_model:
- OuteAI/Lite-Oute-1-300M-Instruct
Дообученая модель OuteAI/Lite-Oute-1-300M-Instruct на задаче определения сентимента текста
Для дообучения использовался датасет OuteAI/Lite-Oute-1-300M-Instruct с 3 типами эмоций: положительный, нейтральный и негативный
Для дообучения использовался кастомный LoRA-адаптер с параметрами:
config = {
r: 32
alpha: 16
target_submodules: ["q_proj", "k_proj", "v_proj"],
lr: 5e-5,
batch_size: 2,
num_epoches: 2
}
Итоговая модель получила значение f-score = 0.52
Примеры генерации:
Текст: Chase Headley's RBI double in the 8th inning off David Price snapped a Yankees streak of 33 consecutive scoreless innings against Blue Jays
Ответ модели: neutral
Текст: QT @user In the original draft of the 7th book, Remus Lupin survived the Battle of Hogwarts. #HappyBirthdayRemusLupin
Ответ модели: positive
Текст: Amazon prime is literally a lie....I ordered a book LAST MONDAY & it still isn't here. do better @user
Ответ модели: negative