Spaces:
Paused
Paused
Update finetunning.py
Browse files- finetunning.py +13 -1
finetunning.py
CHANGED
|
@@ -1,6 +1,7 @@
|
|
| 1 |
import os
|
|
|
|
| 2 |
import torch
|
| 3 |
-
from datasets import Dataset
|
| 4 |
from transformers import (
|
| 5 |
AutoTokenizer,
|
| 6 |
AutoModelForCausalLM,
|
|
@@ -9,6 +10,8 @@ from transformers import (
|
|
| 9 |
DataCollatorForLanguageModeling
|
| 10 |
)
|
| 11 |
|
|
|
|
|
|
|
| 12 |
# Створюємо директорії з правами на запис для всіх користувачів
|
| 13 |
os.makedirs('./cache', exist_ok=True)
|
| 14 |
os.chmod('./cache', 0o777)
|
|
@@ -65,5 +68,14 @@ trainer = Trainer(
|
|
| 65 |
# Запуск fine-tuning
|
| 66 |
trainer.train()
|
| 67 |
|
|
|
|
|
|
|
| 68 |
# Зберігання моделі
|
| 69 |
trainer.save_model("./fine_tuned_model")
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
import os
|
| 2 |
+
import time
|
| 3 |
import torch
|
| 4 |
+
from datasets import Dataset
|
| 5 |
from transformers import (
|
| 6 |
AutoTokenizer,
|
| 7 |
AutoModelForCausalLM,
|
|
|
|
| 10 |
DataCollatorForLanguageModeling
|
| 11 |
)
|
| 12 |
|
| 13 |
+
start_time = time.time()
|
| 14 |
+
|
| 15 |
# Створюємо директорії з правами на запис для всіх користувачів
|
| 16 |
os.makedirs('./cache', exist_ok=True)
|
| 17 |
os.chmod('./cache', 0o777)
|
|
|
|
| 68 |
# Запуск fine-tuning
|
| 69 |
trainer.train()
|
| 70 |
|
| 71 |
+
print("LLM is finetunned");
|
| 72 |
+
|
| 73 |
# Зберігання моделі
|
| 74 |
trainer.save_model("./fine_tuned_model")
|
| 75 |
+
|
| 76 |
+
end_time = time.time()
|
| 77 |
+
|
| 78 |
+
training_time = end_time - start_time
|
| 79 |
+
print(f"Донавчання зайняло {training_time:.2f} секунд")
|
| 80 |
+
|
| 81 |
+
print("Донавчання пройшло вдало, модель сбережена у './fine_tuned_model'")
|