llm-course-hw3
Collection
VK LLM Course. Задание #3. Дообучение LLM методами PEFT • 3 items • Updated
VK LLM Course. Задание #3. Дообучение QLoRA
Модель — дообученная TinyLlama/TinyLlama-1.1B-Chat-v1.0 на датасете cardiffnlp/tweet_eval. Дообучаем модель с помощью PEFT определять тональность твитов. Модель адаптируется к специфичному стилю текстов твитов по датасету.
Обоснование выбранных параметров
По документации BitsAndBytes / статье о QloRA:
- bnb_4bit_quant_type = "nf4"
- bnb_4bit_compute_dtype=torch.bfloat16
По статье о QloRA / документации PEFT LoRA применяем ко всем линейным слоям (target_modules="all-linear").
Остальные гиперпараметры LoraConfig так же согласно статье о QloRA, приложения A1 и B2. Learning rate 1e-5 выбран экспериментально после нескольких попыток обучения.
Дообучение производилось в Kaggle на GPU P100.
Метрики качества
До дообучения: Macro F1 = 0.17
После дообучения DoRA: Macro F1 = 0.53
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support