Update app.py

app.py

@@ -76,7 +76,6 @@ print("Выходы декодера:", [out.name for out in decoder_session.get
 def summarize_text(text, max_length=150, min_length=30):
     print("\n--- НАЧАЛО ГЕНЕРАЦИИ ---")
 
-
     # Проверка ввода
     if not text or not text.strip():
         return "Ошибка: текст не может быть пустым."
@@ -124,6 +123,7 @@ def summarize_text(text, max_length=150, min_length=30):
     generated_tokens = []
     current_token = np.array([[tokenizer.bos_token_id]], dtype=np.int64)
 
+
     # Параметры модели
     num_layers = 12          # Количество слоёв в декодере
     num_heads = 12           # Количество голов внимания
@@ -131,13 +131,11 @@ def summarize_text(text, max_length=150, min_length=30):
 
 
     # Преобразуем encoder_hidden_states в 4D-тензор для encoder.key/encoder.value
-    # Исходная форма: (1, 13, 768) → нужно: (1, num_heads, 13, head_dim)
     encoder_key_4d = encoder_hidden_states.reshape(
         1, encoder_hidden_states.shape[1], num_heads, head_dim
     )
     encoder_key_4d = np.transpose(encoder_key_4d, (0, 2, 1, 3))  # → (1, 12, 13, 64)
-    encoder_value_4d = encoder_key_4d  # Для encoder key и value обычно одинаковы
-
+    encoder_value_4d = encoder_key_4d
 
     # Инициализируем past_key_values пустыми тензорами для всех слоёв
     past_key_values = []
@@ -155,8 +153,7 @@ def summarize_text(text, max_length=150, min_length=30):
         # Формирование входных данных для декодера
         decoder_inputs = {
             "input_ids": current_token,
-            "encoder_hidden_states": encoder_hidden_states,
-            "encoder_attention_mask": attention_mask
+            "encoder_attention_mask": attention_mask  # Только маска!
         }
 
         # Добавляем past_key_values для всех слоёв
@@ -166,7 +163,6 @@ def summarize_text(text, max_length=150, min_length=30):
             decoder_inputs[f'past_key_values.{i}.encoder.key'] = enc_key
             decoder_inputs[f'past_key_values.{i}.encoder.value'] = enc_value
 
-
         # Инференс декодера
         try:
             decoder_outputs = decoder_session.run(None, decoder_inputs)
@@ -177,7 +173,6 @@ def summarize_text(text, max_length=150, min_length=30):
             print("Входные данные:", {k: (v.shape if hasattr(v, 'shape') else type(v)) for k, v in decoder_inputs.items()})
             return f"Ошибка декодера на шаге {step}: {e}"
 
-
         # Обновление past_key_values из выходов декодера
         updated_past = []
         for i in range(num_layers):
@@ -186,12 +181,12 @@ def summarize_text(text, max_length=150, min_length=30):
             updated_past.append((updated_key, updated_value, encoder_key_4d, encoder_value_4d))
         past_key_values = updated_past
 
+
         # Получение следующего токена
         next_token = np.argmax(next_token_logits[:, -1, :], axis=-1)[0]
         generated_tokens.append(next_token)
         print(f"Сгенерированный токен (ID): {next_token}")
 
-
         # Проверка завершения генерации
         if next_token == tokenizer.eos_token_id or len(generated_tokens) >= max_length:
             break