Update app.py

app.py

@@ -7,25 +7,27 @@ model_name = "BSC-LT/salamandra-2b"
 tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
 model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.float16)
 
-# Función de generación optimizada
+# Función de generación optimizada con System Prompt
 def generate_response(prompt):
-    inputs = tokenizer(prompt, return_tensors="pt")
+    system_prompt = "Responde solo con el texto solicitado, sin información personal ni datos irrelevantes."
 
+    inputs = tokenizer(f"Instrucción: {system_prompt} \n Usuario: {prompt} \n Respuesta:", return_tensors="pt")
+    
     outputs = model.generate(
         inputs.input_ids,
-        max_length=60,  # 🔹 Antes: 100 | Ahora: 60 (reduce tiempo sin cortar demasiado)
+        max_length=50,  # 🔹 Antes: 60 | Ahora: 50 (reduce tiempo sin cortar demasiado)
         do_sample=True,
-        temperature=0.65,  # 🔹 Antes: 0.7 | Ahora: 0.65 (ligera reducción de aleatoriedad)
-        top_p=0.9,  # 🔹 Nuevo: Prioriza palabras más probables para mayor fluidez
-        repetition_penalty=1.2,  # 🔹 Nuevo: Evita respuestas repetitivas
-        early_stopping=True,  # 🔹 Nuevo: Reduce tiempos innecesarios
+        temperature=0.5,  # 🔹 Antes: 0.65 | Ahora: 0.5 (menos aleatoriedad, más precisión)
+        top_p=0.85,  # 🔹 Antes: 0.9 | Ahora: 0.85 (más controlado)
+        repetition_penalty=1.2,  # 🔹 Evita respuestas repetitivas
+        early_stopping=True,  # 🔹 Detiene la respuesta si ya está completa
     )
 
     return tokenizer.decode(outputs[0], skip_special_tokens=True)
 
 # Interfaz en Gradio
 with gr.Blocks() as demo:
-    gr.Markdown("# 🧠 Chatbot ALIA - Optimizado")
+    gr.Markdown("# 🧠 Chatbot SOLID&ALIA - Optimizado con Instrucciones Claras")
     input_text = gr.Textbox(label="Escribe tu texto aquí")
     output_text = gr.Textbox(label="Respuesta de ALIA")
     submit_button = gr.Button("Generar respuesta")