pbedrin
/

llm-course-hw3-lora

Text Generation

text-generation-inference

Model card Files Files and versions

pbedrin commited on Apr 10, 2025

Commit

2d9e7ad

·

verified ·

1 Parent(s): 82f5477

Update README.md

Files changed (1) hide show

README.md +2 -1

README.md CHANGED Viewed

@@ -8,11 +8,12 @@ tags: []
 Модель — дообученная [OuteAI/Lite-Oute-1-300M-Instruct](https://huggingface.co/OuteAI/Lite-Oute-1-300M-Instruct) на датасете [cardiffnlp/tweet_eval](https://huggingface.co/datasets/cardiffnlp/tweet_eval).
 Дообучаем модель с помощью PEFT определять тональность твитов. Модель адаптируется к специфичному стилю текстов твитов по датасету.
-Гиперпараметры:
 * BATCH_SIZE = 128
 * LEARNING_RATE = 1e-4
 * NUM_EPOCHS = 1
 Дообучение проводилось на NVIDIA A100.

 Модель — дообученная [OuteAI/Lite-Oute-1-300M-Instruct](https://huggingface.co/OuteAI/Lite-Oute-1-300M-Instruct) на датасете [cardiffnlp/tweet_eval](https://huggingface.co/datasets/cardiffnlp/tweet_eval).
 Дообучаем модель с помощью PEFT определять тональность твитов. Модель адаптируется к специфичному стилю текстов твитов по датасету.
+Параметры:
 * BATCH_SIZE = 128
 * LEARNING_RATE = 1e-4
 * NUM_EPOCHS = 1
+* r=8, alpha=16, target_submodules=["k_proj", "v_proj"]
 Дообучение проводилось на NVIDIA A100.