Update app.py

app.py

@@ -1,28 +1,41 @@
 import gradio as gr
 from transformers import pipeline
+import torch
 
-# 1. Cargamos el modelo usando pipeline.
-# Reemplaza "TuUsuario/TuModelo" con la ruta real de tu modelo en Hugging Face.
-# Usamos "text-generation" asumiendo que tu modelo genera texto (como Llama, GPT, etc.)
-generador = pipeline("text-generation", model="edusc182/Gemma_2B")
+# 1. Cargamos tu modelo Gemma 2B
+# Especificamos torch_dtype=torch.bfloat16 (o float16) para que ocupe menos memoria RAM
+generador = pipeline(
+    "text-generation", 
+    model="edusc182/Gemma_2B", 
+    model_kwargs={"torch_dtype": torch.bfloat16},
+    device_map="auto" # Intenta usar la mejor opción disponible (CPU o GPU)
+)
 
 def predecir(pregunta):
-    # 2. Pasamos la pregunta al modelo.
-    # max_new_tokens limita qué tan larga será la respuesta generada.
-    resultados = generador(pregunta, max_new_tokens=100)
+    # 2. Preparamos el formato (Prompt)
+    # Si durante el fine-tuning usaste una estructura especial, ponla aquí.
+    prompt = f"Pregunta: {pregunta}\nRespuesta:"
+    
+    # 3. Generamos la respuesta
+    resultados = generador(
+        prompt, 
+        max_new_tokens=150,       # Límite de palabras nuevas generadas
+        return_full_text=False,   # Evita que te devuelva la pregunta original en la respuesta
+        temperature=0.7,          # Controla la creatividad (0.1 muy estricto, 0.9 muy creativo)
+        do_sample=True            # Permite que la temperatura funcione
+    )
     
-    # 3. Extraemos solo el texto de la respuesta para que se vea limpio en la pantalla.
-    texto_generado = resultados[0]['generated_text']
+    # 4. Limpiamos y enviamos el texto
+    texto_generado = resultados[0]['generated_text'].strip()
     return texto_generado
 
-# 4. Creamos la interfaz web de Gradio
+# Creamos la interfaz
 iface = gr.Interface(
     fn=predecir, 
     inputs=gr.Textbox(lines=2, placeholder="Escribe tu pregunta aquí..."), 
-    outputs="text", 
-    title="Mi Modelo de Preguntas y Respuestas",
-    description="¡Hazme una pregunta y veré qué puedo responder!"
+    outputs=gr.Textbox(label="Respuesta de Gemma"), 
+    title="Asistente Gemma 2B",
+    description="Hazme una pregunta y te responderé usando el modelo edusc182/Gemma_2B."
 )
 
-# 5. Ejecutamos la aplicación
 iface.launch()