2512

pipeline_sdxs.py

@@ -78,8 +78,22 @@ class SdxsPipeline(DiffusionPipeline):
                 sequence_lengths = attention_mask.sum(dim=1) - 1
                 batch_size = hidden.shape[0]
                 pooled = hidden[torch.arange(batch_size, device=hidden.device), sequence_lengths]
-        
-                return hidden, attention_mask, pooled
+                
+                # --- НОВАЯ ЛОГИКА: ОБЪЕДИНЕНИЕ ДЛЯ КРОСС-ВНИМАНИЯ ---
+                # 1. Расширяем пулинг-вектор до последовательности [B, 1, 1024]
+                pooled_expanded = pooled.unsqueeze(1) 
+                            
+                # 2. Объединяем последовательность токенов и пулинг-вектор
+                # !!! ИЗМЕНЕНИЕ ЗДЕСЬ !!!: Пулинг идет ПЕРВЫМ
+                # Теперь: [B, 1 + L, 1024]. Пулинг стал токеном в НАЧАЛЕ.
+                new_encoder_hidden_states = torch.cat([pooled_expanded, hidden], dim=1) 
+                            
+                # 3. Обновляем маску внимания для нового токена
+                # Маска внимания: [B, 1 + L]. Добавляем 1 в НАЧАЛО.
+                # torch.ones((batch_size, 1), device=device) создает маску [B, 1] со значениями 1.
+                new_attention_mask = torch.cat([torch.ones((batch_size, 1), device=device), attention_mask], dim=1)
+                
+                return new_encoder_hidden_states, new_attention_mask, pooled
     
         # Кодируем позитивные и негативные промпты
         # ИСПРАВЛЕНИЕ: Теперь возвращаем (None, None, None), чтобы избежать UnboundLocalError
@@ -190,7 +204,7 @@ class SdxsPipeline(DiffusionPipeline):
                 t, 
                 encoder_hidden_states=text_embeddings,
                 encoder_attention_mask=unet_attention_mask,
-                added_cond_kwargs={'text_embeds': unet_pooled_embeddings}
+                #added_cond_kwargs={'text_embeds': unet_pooled_embeddings}
             ).sample
     
             if guidance_scale > 1:

src/sdxs_create.ipynb

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:d542ea503b79500cf1ee2bec8f9a82807d0520579664ab363b4611c1971620c9
-size 8018
+oid sha256:e204cfa450a5fed8f3651be4a44f5ba8c86108bf4e51c9c61f6bee8d6a4be98f
+size 8034

test.ipynb

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:70b3ec42fbbada7f67f0477e673da4b15da141fa481ff04f709680ca0eaf773f
-size 4393987
+oid sha256:c2b00b404e66b2ee215280298d3e670b5c6d7ff7d70075052011f4f7719973f5
+size 4598308

train.py

@@ -32,7 +32,7 @@ batch_size = 256
 base_learning_rate = 3e-5
 min_learning_rate = 2.5e-5
 num_epochs = 10
-sample_interval_share = 20
+sample_interval_share = 40
 max_length = 192
 use_wandb = True
 use_comet_ml = False
@@ -170,7 +170,22 @@ def encode_texts(texts, max_length=max_length):
         batch_size = hidden.shape[0]
         pooled = hidden[torch.arange(batch_size, device=hidden.device), sequence_lengths]
 
-        return hidden, attention_mask, pooled
+        #return hidden, attention_mask, pooled
+        # --- НОВАЯ ЛОГИКА: ОБЪЕДИНЕНИЕ ДЛЯ КРОСС-ВНИМАНИЯ ---
+        # 1. Расширяем пулинг-вектор до последовательности [B, 1, 1024]
+        pooled_expanded = pooled.unsqueeze(1) 
+                    
+        # 2. Объединяем последовательность токенов и пулинг-вектор
+        # !!! ИЗМЕНЕНИЕ ЗДЕСЬ !!!: Пулинг идет ПЕРВЫМ
+        # Теперь: [B, 1 + L, 1024]. Пулинг стал токеном в НАЧАЛЕ.
+        new_encoder_hidden_states = torch.cat([pooled_expanded, hidden], dim=1) 
+                    
+        # 3. Обновляем маску внимания для нового токена
+        # Маска внимания: [B, 1 + L]. Добавляем 1 в НАЧАЛО.
+        # torch.ones((batch_size, 1), device=device) создает маску [B, 1] со значениями 1.
+        new_attention_mask = torch.cat([torch.ones((batch_size, 1), device=device), attention_mask], dim=1)
+        
+        return new_encoder_hidden_states, new_attention_mask, pooled
 
 shift_factor = getattr(vae.config, "shift_factor", 0.0)
 if shift_factor is None: shift_factor = 0.0
@@ -482,7 +497,7 @@ def generate_and_save_samples(fixed_samples_cpu, uncond_data, step):
                     t, 
                     encoder_hidden_states=text_embeddings_batch, 
                     encoder_attention_mask=attention_mask_batch,
-                    added_cond_kwargs={"text_embeds": pooled_batch} # <--- ПУЛИНГ ЗДЕСЬ
+                    #added_cond_kwargs={"text_embeds": pooled_batch} # <--- ПУЛИНГ ЗДЕСЬ
                 )
                 flow = getattr(model_out, "sample", model_out)
         
@@ -606,7 +621,7 @@ for epoch in range(start_epoch, start_epoch + num_epochs):
                 timesteps, 
                 encoder_hidden_states=embeddings,
                 encoder_attention_mask=attention_mask,
-                added_cond_kwargs={"text_embeds": pooled_embeddings} # <--- Передача пулинга
+                #added_cond_kwargs={"text_embeds": pooled_embeddings} # <--- Передача пулинга
             ).sample
             
             target = noise - latents 

unet/config.json

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:ae4272f7e52480762c228a2fbe1db5f361d7a5971c3855b483999fb3df2d722b
-size 1885
+oid sha256:8ab7222cdd538ff5178adc870a764d22ab24a185f0a7b63852ea728b3b09fcff
+size 1876

unet/diffusion_pytorch_model.safetensors

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:ccfa16a08b6e507835636c048b8c721186ef6832fec3ca889a7139dcd53676cf
-size 6625750656
+oid sha256:402b5747329ecd5573887b46e35e687b8f3d6c79ccba522c06e58082d0eace87
+size 6604736640