Update app.py

app.py

@@ -7,7 +7,7 @@ import os
 import random
 import numpy as np
 
-# --- 1. CONFIGURACIÓN Y DETERMINISMO ---
+# --- 1. CONFIGURACIÓN IDÉNTICA AL PC ---
 def set_seed(seed=42):
     random.seed(seed)
     np.random.seed(seed)
@@ -16,7 +16,7 @@ def set_seed(seed=42):
 set_seed(42)
 
 embed_size = 256
-num_heads = 4
+num_heads = 4 # Ajusta a 8 si en tu PC pusiste 8
 num_layers = 4
 block_size = 256
 vocab_size = 256
@@ -41,67 +41,69 @@ class MiniGPT(nn.Module):
         B, T = idx.shape
         T = min(T, block_size)
         idx = idx[:, -T:]
-        tok_emb = self.token_embedding(idx)
-        pos = torch.arange(T, device=device)
-        pos_emb = self.pos_embedding(pos)[None, :, :]
-        x = tok_emb + pos_emb
+        x = self.token_embedding(idx) + self.pos_embedding(torch.arange(T, device=device))[None, :, :]
         mask = torch.triu(torch.ones(T, T, device=device), diagonal=1).bool()
-        for block in self.blocks: 
-            x = block(x, src_mask=mask)
+        for block in self.blocks: x = block(x, src_mask=mask)
         return self.fc_out(self.ln(x)), None
 
-# --- 3. CARGA ---
+# --- 3. CARGA DE PESOS ---
 model = MiniGPT(vocab_size).to(device)
 if os.path.exists("mini_gpt.pth"):
-    try:
-        model.load_state_dict(torch.load("mini_gpt.pth", map_location=device))
-    except:
-        pass
+    model.load_state_dict(torch.load("mini_gpt.pth", map_location=device))
 model.eval()
 
-# --- 4. GENERACIÓN CON FILTRO RADICAL ANTI-COMILLAS ---
+# --- 4. GENERACIÓN CONTROLADA (HF + PC Fusion) ---
 def responder(mensaje, historial):
+    # Formato de prompt para guiar la estructura
     contexto = f"### Human: {mensaje}\n### Assistant: "
     tokens = [ord(c) if ord(c) < 256 else 32 for c in contexto]
     ai_txt = ""
+    
+    # Parámetros de "limpieza" en vivo
+    temp = 0.7  
+    top_k = 40  
 
     with torch.no_grad():
-        for _ in range(120):
+        for _ in range(150):
             idx = torch.tensor([tokens[-block_size:]], dtype=torch.long).to(device)
             logits, _ = model(idx)
-            logits = logits[:, -1, :] / 0.8 # Temperatura para dar variedad
+            logits = logits[:, -1, :] / temp
             
-            # --- BLOQUEO DE REPETICIÓN CRÍTICA ---
-            # Si el último token fue una comilla (34) o espacio (32), bajamos su probabilidad a casi cero
+            # Penalización de repetición (Anti-bucle de símbolos)
             if len(tokens) > 0:
-                ultimo = tokens[-1]
-                if ultimo in [34, 32, 10]: # Comilla, Espacio, Salto de línea
-                    logits[0, ultimo] -= 100.0 
+                for t in set(tokens[-5:]): # Miramos los últimos 5 tokens
+                    logits[0, t] -= 2.0
 
-            # En lugar de Argmax (que causa bucles), usamos Multinomial suave
+            # Filtro Top-K (Elimina la basura de baja probabilidad)
+            v, _ = torch.topk(logits, min(top_k, logits.size(-1)))
+            logits[logits < v[:, [-1]]] = -float('Inf')
+            
             probs = F.softmax(logits, dim=-1)
             next_token = torch.multinomial(probs, num_samples=1).item()
             char = chr(next_token)
 
-            # Si detecta que el modelo intenta repetir la estructura de prompt, paramos
+            # --- SEGURIDAD: Cortar si empieza a alucinar símbolos ---
+            if char in "'{}[]()=|_/\\": 
+                # Si el modelo intenta poner símbolos raros, lo ignoramos o cortamos
+                continue 
+            
             if "### Human:" in ai_txt: break
+            if char == "\n" and len(ai_txt) > 30: break
             
             tokens.append(next_token)
             ai_txt += char
-            
-            # Si ya tenemos una respuesta coherente y salta línea, cerramos
-            if char == "\n" and len(ai_txt) > 20: break
 
-    # Limpieza final de caracteres basura
-    limpio = ai_txt.replace('###', '').replace('Assistant:', '').strip()
-    # Eliminar múltiples comillas seguidas con un filtro simple de Python
-    while '""' in limpio:
-        limpio = limpio.replace('""', '"')
-        
-    return limpio if len(limpio) > 1 else "Sigo procesando el entrenamiento... ¡Pregúntame otra vez!"
+    # Limpieza final de la respuesta
+    res_limpia = ai_txt.strip()
+    
+    # Si la respuesta es demasiado corta o solo espacios, avisamos
+    if len(res_limpia) < 3:
+        return "El modelo está en una fase de entrenamiento inestable. Prueba con otra pregunta o espera a que baje el Loss."
+
+    return res_limpia
 
 # --- 5. INTERFAZ ---
-demo = gr.ChatInterface(fn=responder, title="IA Personal - Filtro Anti-Bucle")
+demo = gr.ChatInterface(fn=responder, title="IA Personal - Fusion Mode")
 
 if __name__ == "__main__":
     demo.launch()