Update app.py

app.py

@@ -2,23 +2,32 @@ import gradio as gr
 from transformers import AutoModelForCausalLM, AutoTokenizer
 import torch
 
-# Cargar el modelo y tokenizador
+# Cargar el modelo y el tokenizador
 model_name = "BSC-LT/salamandra-7b-instruct"
-tokenizer = AutoTokenizer.from_pretrained(model_name)
+tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
 model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.float16)
 
-# Función de generación de texto
+# Función de generación optimizada
 def generate_response(prompt):
     inputs = tokenizer(prompt, return_tensors="pt")
-    outputs = model.generate(inputs.input_ids, max_length=200, do_sample=True, temperature=0.7)
+
+    outputs = model.generate(
+        inputs.input_ids,
+        max_length=60,  # 🔹 Antes: 100 | Ahora: 60 (reduce tiempo sin cortar demasiado)
+        do_sample=True,
+        temperature=0.65,  # 🔹 Antes: 0.7 | Ahora: 0.65 (ligera reducción de aleatoriedad)
+        top_p=0.9,  # 🔹 Nuevo: Prioriza palabras más probables para mayor fluidez
+        repetition_penalty=1.2,  # 🔹 Nuevo: Evita respuestas repetitivas
+        early_stopping=True,  # 🔹 Nuevo: Reduce tiempos innecesarios
+    )
+
     return tokenizer.decode(outputs[0], skip_special_tokens=True)
 
-# Crear la interfaz en Gradio
+# Interfaz en Gradio
 with gr.Blocks() as demo:
-    gr.Markdown("# 🧠 Chatbot ALIA - Prueba en Hugging Face")
-    with gr.Row():
-        input_text = gr.Textbox(label="Escribe tu texto aquí")
-        output_text = gr.Textbox(label="Respuesta de ALIA")
+    gr.Markdown("# 🧠 Chatbot ALIA - Optimizado")
+    input_text = gr.Textbox(label="Escribe tu texto aquí")
+    output_text = gr.Textbox(label="Respuesta de ALIA")
     submit_button = gr.Button("Generar respuesta")
     submit_button.click(generate_response, inputs=input_text, outputs=output_text)