metadata
library_name: transformers
datasets:
- cardiffnlp/tweet_eval
base_model:
- OuteAI/Lite-Oute-1-300M-Instruct
Описание
Следовало дообучить базовую модель с помощью самописной реализации LoRA
Детали
Морозились все слои кроме слоев лоры Параметры Лоры - r=8, alpha=16, target_submodules=["k_proj", "v_proj"] Гиперпараметры самые удачные - BATCH_SIZE = 16
LEARNING_RATE = 3e-4
NUM_EPOCHS = 1 И бралось всего 30к из тренировочной выборки
Метрики
Удалось достичь Validation F1: 0.35012584001260394 На тесте же
P.S.
Слишком много рандома, почти всегда вначале были метрики 0 и плохая генерация при рестарте с теми же параметрами выходили метрики сильно лучше.