NotHotTryHard/llm-course-hw3-xtra-dora

DoRA README

Название модели

DoRA: Другой Adapter для PEFT

Краткое описание

Данная модель представляет собой адаптацию (DoRA) базовой модели с целью эффективного обучения на конкретном датасете и решения задачи выявления тональности твитов (позитивная/нейтральная/негативная).
DoRA добавляет обучаемые параметры к базовой модели, при этом не изменяя основные веса, что снижает ресурсозатраты на обучение.

Задача и датасет

• Задача: выявление тональности твитов (позитивная/нейтральная/негативная)
• Датасет: cardiffnlp/tweet_eval

Архитектура и подход

• Базовая модель: OuteAI/Lite-Oute-1-300M-Instruct
• DoRA: задаёт отдельные дополнительные веса (адаптер), позволяющие эффективно переобучать модель на новую задачу.

Качество и метрики

• Метрики модели без LoRA:
  • F1 = 0.16
• Метрики модели c LoRA:
  • F1 = 0.52
• Конфигурация обучения:
  • Эпохи (epochs): 6
  • Размер батча (batch_size): 12
  • Learning rate (lr): 3e-4

---

Примеры генерации

1. Вход: “QT @user In the original draft of the 7th book, Remus Lupin survived the Battle of Hogwarts. #HappyBirthdayRemusLupin”
   Выход: “positive positive positive positive ”

2. Вход: “Ben Smith / Smith (concussion) remains out of the lineup Thursday, Curtis #NHL #SJ”
   Выход: “neutral neutral neutral neutral”