ajkndfjsdfasdf commited on
Commit
b8ec39a
·
verified ·
1 Parent(s): 07d2e4c

Update train.py

Browse files
Files changed (1) hide show
  1. train.py +2 -2
train.py CHANGED
@@ -8,7 +8,7 @@ import torch
8
  model_name = "google/flan-t5-large"
9
  run_id = "flan-t5-large-ru-autobatch"
10
  output_dir = f"./{run_id}"
11
- start_batch_size = 10 # ⚠️ Начинаем с небольшого batch, чтобы избежать OOM
12
  step_batch_size = 1
13
 
14
  # 📦 Загружаем модель и токенизатор
@@ -42,7 +42,7 @@ def tokenize_function(examples):
42
  tokenized_datasets = dataset.map(tokenize_function, batched=True)
43
 
44
  # 🔑 Авторизация W&B
45
- wandb.login(key="ВАШ_WANDB_КЛЮЧ_ЗДЕСЬ")
46
 
47
  # 🚀 Функция автоподбора batch size
48
  def try_training_with_batch_size(batch_size_start):
 
8
  model_name = "google/flan-t5-large"
9
  run_id = "flan-t5-large-ru-autobatch"
10
  output_dir = f"./{run_id}"
11
+ start_batch_size = 20 # ⚠️ Начинаем с небольшого batch, чтобы избежать OOM
12
  step_batch_size = 1
13
 
14
  # 📦 Загружаем модель и токенизатор
 
42
  tokenized_datasets = dataset.map(tokenize_function, batched=True)
43
 
44
  # 🔑 Авторизация W&B
45
+ wandb.login(key="5f028bc0142fb7fa45bdacdde3c00dbbaf8bf98e")
46
 
47
  # 🚀 Функция автоподбора batch size
48
  def try_training_with_batch_size(batch_size_start):