Update app.py

app.py

@@ -17,7 +17,7 @@ with open("./model.gguf", mode="wb") as file:
     file.write(response.content)
 print("Model downloaded")
 
-# Iniciar el servidor LLM y almacenar el proceso
+# Ejecutar el servidor LLM
 command = ["python3", "-m", "llama_cpp.server", "--model", "./model.gguf", "--host", "0.0.0.0", "--port", "2600", "--n_threads", "2"]
 server_process = subprocess.Popen(command)  # Almacenamos el proceso para poder terminarlo más tarde
 print("Model server starting...")
@@ -34,48 +34,45 @@ def response(message, history):
     response_text = ""
     
     try:
-        stream_response = requests.post(url, json=body, stream=True, timeout=60)
-        for text_chunk in stream_response.iter_content(chunk_size=None):
-            text = text_chunk.decode('utf-8')
+        # Eliminado el timeout para esperar indefinidamente
+        with requests.post(url, json=body, stream=True) as stream_response:
+            for text_chunk in stream_response.iter_content(chunk_size=None):
+                text = text_chunk.decode('utf-8')
+                print("Respuesta cruda:", text)  # Imprimir la respuesta cruda para depuración
 
-            # Imprimir la respuesta cruda para depuración
-            print("Respuesta cruda:", text)
-
-            if text.startswith("data: "):
-                text = text.replace("data: ", "")
-
-            if text.startswith("{") and "choices" in text:
-                try:
-                    response_json = json.loads(text)
-                    part = response_json["choices"][0]["text"]
-                    print(part, end="", flush=True)
-                    response_text += part
-                except json.JSONDecodeError as e:
-                    print("Error al decodificar JSON:", e)
+                if text.startswith("data: "):
+                    text = text.replace("data: ", "")
+                if text.startswith("{") and "choices" in text:
+                    try:
+                        response_json = json.loads(text)
+                        part = response_json["choices"][0]["text"]
+                        print(part, end="", flush=True)
+                        response_text += part
+                    except json.JSONDecodeError as e:
+                        print("Error al decodificar JSON:", e)
+                        break
+                elif text.strip():
+                    print("Respuesta no JSON:", text)
                     break
-            elif text.strip():
-                print("Respuesta no JSON:", text)
-                break
     except requests.exceptions.RequestException as e:
         print(f"Error al realizar la solicitud: {e}")
 
     yield response_text
 
-# Asegurarse de finalizar el proceso del servidor al finalizar el uso
 def cleanup_server():
     print("Closing server...")
-    server_process.terminate()  # Envía la señal para terminar el proceso
-    server_process.wait()  # Espera a que el proceso termine
+    server_process.terminate()  # Terminar el proceso del servidor
+    server_process.wait()  # Esperar a que el proceso termine
     print("Server closed.")
 
-# Configuración de la interfaz de Gradio
+# Configurar y lanzar la interfaz de Gradio
 gr_interface = gr.ChatInterface(
     fn=response,
-    title="Mistral-7B-Instruct-v0.2-GGUF Eugenio Schiavoni Chatbot",
+    title="Mistral-7B-Instruct-v0.2-GGUF Chatbot",
     theme='syddharth/gray-minimal'
 )
 
-# Añadir un paso de limpieza antes de cerrar la aplicación
-gr.Interface.cleanup = cleanup_server
-
-gr_interface.launch(share=True)
+try:
+    gr_interface.launch(share=True)
+finally:
+    cleanup_server()  # Asegurarse de limpiar el servidor al finalizar