Update app.py

app.py

@@ -1,10 +1,13 @@
 import gradio as gr
 from transformers import pipeline, AutoTokenizer
+from transformers import GenerationConfig
 import torch
 
 # Variable global para el modelo y el tokenizador
 generador = None
 
+from transformers import GenerationConfig
+
 def predecir(pregunta):
     global generador
     
@@ -19,31 +22,20 @@ def predecir(pregunta):
             device_map="cpu"
         )
     
-    # Inferencia limpia (sin parámetros de carga mezclados)
-    resultados = generador(
-        pregunta, 
-        max_new_tokens=100,       
-        temperature=0.7,          
+    # Creamos una configuración limpia para evitar los errores de argumentos mezclados
+    gen_config = GenerationConfig(
+        max_new_tokens=100,
+        temperature=0.7,
         do_sample=True,
-        pad_token_id=generador.tokenizer.eos_token_id
+        pad_token_id=generador.tokenizer.eos_token_id,
+        eos_token_id=generador.tokenizer.eos_token_id
     )
     
-    # Extraemos el texto de forma segura
-    texto = resultados[0]['generated_text']
-    
-    # Si el pipeline devuelve todo el prompt, limpiamos la parte de la pregunta
-    if texto.startswith(pregunta):
-        texto = texto[len(pregunta):].strip()
-        
-    return texto
-    # Inferencia optimizada
+    # Ejecutamos pasando ÚNICAMENTE el prompt y la config
     resultados = generador(
-        pregunta, 
-        max_new_tokens=100,       
-        return_full_text=False,   
-        temperature=0.7,          
-        do_sample=True,
-        pad_token_id=generador.tokenizer.eos_token_id # Asegura que el modelo sepa cuándo parar
+        pregunta,
+        generation_config=gen_config,
+        return_full_text=False
     )
     
     return resultados[0]['generated_text'].strip()