fix: SDPA in float32 per stabilità numerica

modeling_quark.py

@@ -78,13 +78,14 @@ class GroupedQueryAttention(nn.Module):
         if self.n_groups > 1:
             k = k.repeat_interleave(self.n_groups, dim=1)
             v = v.repeat_interleave(self.n_groups, dim=1)
-        # Cast uniforme prima di SDPA (q/k possono essere float32 dopo RoPE)
-        dtype = v.dtype
-        q, k = q.to(dtype), k.to(dtype)
+        # SDPA in float32 per stabilità numerica, poi riporta al dtype originale
+        orig_dtype = v.dtype
+        q, k, v = q.float(), k.float(), v.float()
         out = F.scaled_dot_product_attention(
             q, k, v, is_causal=True,
             dropout_p=self.drop if self.training else 0.0,
         )
+        out = out.to(orig_dtype)
         out = out.transpose(1, 2).contiguous().view(B, T, self.n_heads * self.head_dim)
         return self.o_proj(out)