Update modeling_neollm.py

modeling_neollm.py

@@ -2431,6 +2431,17 @@ class NeoLLMAttention(nn.Module):
             # (Li et al., 2026, §3.2 — Eq. 6–7)
             repo_a = attn_analysis.repo if attn_analysis is not None else None
             z = self.repo_module(hidden_states, repo_analysis=repo_a)  # [B, H, S]
+
+            # Meta-device guard: _repo_inv_freq heredó el meta device de
+            # rotary_emb.inv_freq si el modelo fue cargado con from_pretrained.
+            # Se materializa una sola vez; los forwards siguientes toman el
+            # path normal sin overhead adicional.
+            if self._repo_inv_freq.device.type == "meta":
+                inv_freq_data, _ = NeoLLMRotaryEmbedding.compute_default_rope_parameters(
+                    self.config, device=hidden_states.device
+                )
+                self.register_buffer("_repo_inv_freq", inv_freq_data.float(), persistent=False)
+
             q, k = _apply_repo_rope(
                 q, k, z,
                 self._repo_inv_freq,