Delete src/bigru_t/model/transformer_unit.py

src/bigru_t/model/transformer_unit.py

@@ -1,68 +0,0 @@
-"""transformer_unit.py — TransformerUnit: self-attention + FFN para 8 representações.
-
-Componente do u8cell_T (Lema 1). Processa as 8 saídas das BiGRU4 paralelas
-via self-attention multi-head, produzindo um vetor agregado.
-
-Diferenças vs. v13.9.2:
-- Pooling por média (não por Confidence Gate) — a seleção é feita no nível
-  do UnifiedModel via softmax (Lema 1)
-- Pre-norm consistente (BUG-003 fix do v13.9.1 aplicado)
-- Sem RoPE (a entrada já é um embedding agregado, não uma sequência posicional)
-"""
-from __future__ import annotations
-
-import torch
-import torch.nn as nn
-import torch.nn.functional as F
-
-
-class TransformerUnit(nn.Module):
-    """Uma unidade Transformer (self-attention + FFN) para processar 8 representações.
-
-    Args:
-        d_model: dimensão do modelo (igual à saída projetada das BiGRU4)
-        nhead: número de cabeças de atenção
-        d_feedforward: dimensão interna do FFN (SwiGLU-style)
-        dropout: probabilidade de dropout
-
-    Forward:
-        src: (batch, 8, d_model) → h: (batch, d_model)
-        h é a média sobre as 8 posições pós-attention+FFN.
-    """
-
-    def __init__(self, d_model: int, nhead: int, d_feedforward: int, dropout: float = 0.1):
-        super().__init__()
-        self.d_model = d_model
-        self.nhead = nhead
-
-        # Self-attention multi-head (batch_first para consistência)
-        self.self_attn = nn.MultiheadAttention(
-            d_model, nhead, dropout=dropout, batch_first=True
-        )
-
-        # FFN: Linear → ReLU → Dropout → Linear (pre-norm style)
-        self.linear1 = nn.Linear(d_model, d_feedforward)
-        self.dropout = nn.Dropout(dropout)
-        self.linear2 = nn.Linear(d_feedforward, d_model)
-
-        # LayerNorms (pre-norm)
-        self.norm1 = nn.LayerNorm(d_model)
-        self.norm2 = nn.LayerNorm(d_model)
-        self.dropout1 = nn.Dropout(dropout)
-        self.dropout2 = nn.Dropout(dropout)
-
-    def forward(self, src: torch.Tensor) -> torch.Tensor:
-        """src: (batch, 8, d_model) → h: (batch, d_model)"""
-        # Pre-norm self-attention
-        normed = self.norm1(src)
-        attn_out, _ = self.self_attn(normed, normed, normed, need_weights=False)
-        src = src + self.dropout1(attn_out)
-
-        # Pre-norm FFN
-        normed = self.norm2(src)
-        ff_out = self.linear2(self.dropout(F.relu(self.linear1(normed))))
-        src = src + self.dropout2(ff_out)
-
-        # Pooling por média sobre as 8 posições
-        h = src.mean(dim=1)  # (batch, d_model)
-        return h