2512

src/sdxs_create.ipynb

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:e204cfa450a5fed8f3651be4a44f5ba8c86108bf4e51c9c61f6bee8d6a4be98f
-size 8034
+oid sha256:8c2659b9cf3ffaea51ac60f748764234bb55403da46efc1e77ab6259ebd2bc44
+size 8033

src/sdxs_sdxxs_transfer.ipynb

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:b99638d02771a8537a64eee78ab9c671238eb575e3324e02861b5cfbb13b96f8
-size 168191
+oid sha256:bb62c419aa9b0daaf7da17486c3e2e55f7bdada8c9baa0092549114c8f7e45fd
+size 27104

test.ipynb

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:5c4b88374c0972c157e27fdd015b1fb1303a05d9634a8a90a8bd2cbb7d6f513a
-size 10053602
+oid sha256:487dd5242008c70fe41643c48bbfbf595908048b2faed4254cf3bbc613858299
+size 10046639

train.py

@@ -29,11 +29,11 @@ from transformers import AutoTokenizer, AutoModel
 # --------------------------- Параметры ---------------------------
 ds_path = "/workspace/sdxs/datasets/768"
 project = "unet"
-batch_size = 60
-base_learning_rate = 2.7e-5
+batch_size = 40
+base_learning_rate = 4e-5
 min_learning_rate = 2.7e-5
 num_epochs = 100
-sample_interval_share = 5
+sample_interval_share = 6
 max_length = 192
 use_wandb = True
 use_comet_ml = False
@@ -173,12 +173,12 @@ def encode_texts(texts, max_length=max_length):
 
         #return hidden, attention_mask
         # --- НОВАЯ ЛОГИКА: ОБЪЕДИНЕНИЕ ДЛЯ КРОСС-ВНИМАНИЯ ---
-        # 1. Расширяем пулинг-вектор до последовательности [B, 1, 1024]
+        # 1. Расширяем пулинг-вектор до последовательности [B, 1, emb]
         pooled_expanded = pooled.unsqueeze(1) 
                     
         # 2. Объединяем последовательность токенов и пулинг-вектор
         # !!! ИЗМЕНЕНИЕ ЗДЕСЬ !!!: Пулинг идет ПЕРВЫМ
-        # Теперь: [B, 1 + L, 1024]. Пулинг стал токеном в НАЧАЛЕ.
+        # Теперь: [B, 1 + L, emb]. Пулинг стал токеном в НАЧАЛЕ.
         new_encoder_hidden_states = torch.cat([pooled_expanded, hidden], dim=1) 
                     
         # 3. Обновляем маску внимания для нового токена
@@ -476,7 +476,7 @@ fixed_samples = get_fixed_samples_by_resolution(dataset)
 # --- [UPDATED] Функция для негативного эмбеддинга (возвращает 3 элемента) ---
 def get_negative_embedding(neg_prompt="", batch_size=1):
     if not neg_prompt:
-        hidden_dim = 1024 
+        hidden_dim = 2048 
         seq_len = max_length
         empty_emb = torch.zeros((batch_size, seq_len, hidden_dim), dtype=dtype, device=device)
         empty_mask = torch.ones((batch_size, seq_len), dtype=torch.int64, device=device)

unet/config.json

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:987ce2ea59106bf0806b16c21fff90d6fe6e7a90101e0157d8295803dbf34f2b
-size 1892
+oid sha256:fb10c12478625b355068dbfce29e8db3c8a52d03e10508452e4feb5404545584
+size 1876

unet/diffusion_pytorch_model.safetensors

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:05a101235ddd6d0bd77fc5fd5ffd4ee1091d6e3be77b543ddab7687da35bf5cf
-size 3302474272
+oid sha256:2a548c55ca1e248fcbdd0b198192d0213bf0e20a8d66b63b01b722964e61af80
+size 7444321360