Update app.py

app.py

@@ -3,6 +3,7 @@ import streamlit as st
 from fastapi import FastAPI
 from pydantic import BaseModel
 import uvicorn
+import threading
 from transformers import AutoModelForCausalLM, AutoTokenizer
 import torch
 
@@ -21,34 +22,27 @@ class Message(BaseModel):
 def chat(msg: Message):
     """Genera respuesta basada en el input del usuario."""
     input_text = msg.text
-    print(f"Input: {input_text}")
-
-    # Codificar entrada
+    print(msg.text)
     inputs = tokenizer.encode(input_text + tokenizer.eos_token, return_tensors="pt")
-    
-    # Generar la respuesta
     response_ids = model.generate(inputs, max_length=100, pad_token_id=tokenizer.eos_token_id)
+    response_text = tokenizer.decode(response_ids[:, inputs.shape[-1]:][0], skip_special_tokens=True)
     
-    # Decodificar la respuesta
-    response_text = tokenizer.decode(response_ids[0], skip_special_tokens=True)
-    
-    print(f"Response: {response_text}")
+    print(response_text)
+
     return {"response": response_text}
 
+# ======== Función para ejecutar FastAPI en segundo plano =========
+def run_api():
+    port = int(os.getenv("PORT", 7860))
+    uvicorn.run(app, host="0.0.0.0", port=port)
+
+threading.Thread(target=run_api, daemon=True).start()
+
 # ======== Interfaz con Streamlit =========
 st.title("Mi Amigo Virtual 🤖")
 st.write("Escríbeme algo y te responderé!")
 
 user_input = st.text_input("Tú:")
 if user_input:
-    # Realiza la solicitud a FastAPI
     response = chat(Message(text=user_input))
-    st.write("🤖:", response["response"])
-
-# ======== Ejecutar FastAPI en un servidor de uvicorn =========
-def run_api():
-    port = int(os.getenv("PORT", 7860))
-    uvicorn.run(app, host="0.0.0.0", port=port)
-
-if __name__ == "__main__":
-    run_api()
+    st.write("🤖:", response["response"])