Reemplazo de app.py

app.py

@@ -1,126 +1,115 @@
-import gradio as gr
-import requests
-import logging
-import os
-from fastapi import FastAPI, Request
-from fastapi.middleware.cors import CORSMiddleware
-import uvicorn
-from multiprocessing import Process
-
-# Crear la aplicación FastAPI
-app = FastAPI()
-
-# Configurar CORS si es necesario
-app.add_middleware(
-    CORSMiddleware,
-    allow_origins=["*"],  # Ajusta esto según tus necesidades
-    allow_credentials=True,
-    allow_methods=["*"],
-    allow_headers=["*"],
-)
-
-# Leer el token de Hugging Face desde las variables de entorno
-HUGGING_FACE_TOKEN = os.getenv("HUGGING_FACE_TOKEN")
-API_URL = "https://api-inference.huggingface.co/models/meta-llama/Meta-Llama-3-70B-Instruct"
-
-if not HUGGING_FACE_TOKEN:
-    raise ValueError("El token de Hugging Face no está configurado en las variables de entorno")
-
-headers = {"Authorization": f"Bearer {HUGGING_FACE_TOKEN}", "Content-Type": "application/json"}
-
-# Configurar el logger
-logging.basicConfig(filename='interactions.log', level=logging.INFO,
-                    format='%(asctime)s - %(levelname)s - %(message)s')
-
-def query(api_url, headers, payload):
-    try:
-        response = requests.post(api_url, headers=headers, json=payload)
-        response.raise_for_status()
-        return response.json()
-    except requests.exceptions.RequestException as e:
-        error_message = f"Error durante la solicitud: {e}"
-        if e.response:
-            error_message += f" Código de estado: {e.response.status_code} Respuesta del servidor: {e.response.text}"
-        logging.error(error_message)
-        return {"error": error_message}
-
-def preparar_texto(contexto, borrador):
-    return f"{contexto}\n\n{borrador}"
-
-def mejorar_resolucion(context, borrador, api_url, headers, max_length=2000):
-    prompt = preparar_texto(context, borrador)
-    payload = {
-        "inputs": prompt,
-        "parameters": {
-            "max_new_tokens": max_length,
-            "temperature": 0.7,
-            "top_p": 0.9,
-            "top_k": 50,
-            "repetition_penalty": 1.2,
-            "return_full_text": False,
-            "do_sample": True,
-        }
-    }
-
-    result = query(api_url, headers, payload)
-
-    if isinstance(result, list) and 'generated_text' in result[0]:
-        texto_generado = result[0]['generated_text']
-        context += f"\n\n{texto_generado}"
-        logging.info(f"Prompt: {prompt}\nGenerated: {texto_generado.strip()}")
-        return texto_generado.strip(), context
-    else:
-        error_message = result.get("error", "No se pudo obtener la respuesta del modelo.")
-        logging.error(f"Prompt: {prompt}\nError: {error_message}")
-        return None, context
-
-# Función de predicción para la interfaz de Gradio
-def predict(message, history):
-    context = (
-        "Asume el papel de asistente legal especializado en derecho chileno. Tu meta es optimizar resoluciones judiciales utilizando procesamiento de lenguaje natural (PLN). "
-        "Mantén un tono formal, preciso y autoritativo en todo momento. Como requierase, autoricese, apercibase, entre otros. "
-        "Sigue estrictamente las guías de estilo proporcionadas. Simplifica oraciones complejas y elimina redundancias. Adapta la terminología al contexto legal chileno. "
-        "Asegúrate de que las resoluciones optimizadas sean claras, concisas y libres de ambigüedades. Utiliza paráfrasis, analogías y ejemplos para mejorar la claridad. "
-        "Revisa documentos de referencia. Identifica inconsistencias, ambigüedades y redundancias. Simplifica oraciones complejas y elimina redundancias. "
-        "Realiza una revisión gramatical y estilística para asegurar precisión y formalidad. Justifica las modificaciones necesarias. Explica cómo cada mejora contribuye a la formalidad, precisión y claridad. "
-        "Proporciona la Resolución Optimizada. Verifica que la resolución optimizada cumpla con los criterios de claridad, precisión y formalidad. Asegura que todas las modificaciones estén justificadas y sean comprensibles."
-    )
-    
-    history_transformer_format = history + [[message, ""]]
-    for item in history_transformer_format:
-        context += f"\n\n{item[0]}"
-    
-    resolucion_mejorada, context = mejorar_resolucion(context, message, API_URL, headers, max_length=2000)
-    if resolucion_mejorada:
-        history.append([message, resolucion_mejorada])
-        return resolucion_mejorada
-    else:
-        return "No se pudo mejorar la resolución."
-
-# Endpoint de FastAPI para la predicción
-@app.post("/predict")
-async def api_predict(request: Request):
-    data = await request.json()
-    message = data.get("message")
-    response = predict(message, [])
-    return {"response": response}
-
-# Función para ejecutar Gradio
-def run_gradio():
-    iface = gr.ChatInterface(predict)
-    iface.launch(share=True)
-
-# Función para ejecutar FastAPI con uvicorn
-def run_fastapi():
-    uvicorn.run(app, host="0.0.0.0", port=7860)
-
-# Ejecutar Gradio y FastAPI en procesos separados
-if __name__ == "__main__":
-    gradio_process = Process(target=run_gradio)
-    fastapi_process = Process(target=run_fastapi)
-    
-    gradio_process.start()
-    fastapi_process.start()
-    
-    gradio_process.join()
-    fastapi_process.join()
+import gradio as gr
+import requests
+import logging
+import os
+from fastapi import FastAPI, Request
+from fastapi.middleware.cors import CORSMiddleware
+import uvicorn
+
+# Crear la aplicación FastAPI
+app = FastAPI()
+
+# Configurar CORS si es necesario
+app.add_middleware(
+    CORSMiddleware,
+    allow_origins=["*"],  # Ajusta esto según tus necesidades
+    allow_credentials=True,
+    allow_methods=["*"],
+    allow_headers=["*"],
+)
+
+# Leer el token de Hugging Face desde las variables de entorno
+HUGGING_FACE_TOKEN = os.getenv("HUGGING_FACE_TOKEN")
+API_URL = "https://api-inference.huggingface.co/models/meta-llama/Meta-Llama-3-70B-Instruct"
+
+if not HUGGING_FACE_TOKEN:
+    raise ValueError("El token de Hugging Face no está configurado en las variables de entorno")
+
+headers = {"Authorization": f"Bearer {HUGGING_FACE_TOKEN}"}
+
+# Configurar el logger
+logging.basicConfig(filename='interactions.log', level=logging.INFO,
+                    format='%(asctime)s - %(levelname)s - %(message)s')
+
+def query(api_url, headers, payload):
+    try:
+        response = requests.post(api_url, headers=headers, json=payload)
+        response.raise_for_status()
+        return response.json()
+    except requests.exceptions.RequestException as e:
+        error_message = f"Error durante la solicitud: {e}"
+        if e.response:
+            error_message += f" Código de estado: {e.response.status_code} Respuesta del servidor: {e.response.text}"
+        logging.error(error_message)
+        return {"error": error_message}
+
+def preparar_texto(contexto, borrador):
+    return f"{contexto}\n\n{borrador}"
+
+def mejorar_resolucion(context, borrador, api_url, headers, max_length=1000):
+    prompt = preparar_texto(context, borrador)
+    payload = {
+        "inputs": prompt,
+        "parameters": {
+            "max_new_tokens": max_length,
+            "temperature": 0.7,
+            "top_p": 0.9,
+            "top_k": 50,
+            "repetition_penalty": 1.2,
+            "return_full_text": False,
+            "do_sample": True,
+        }
+    }
+
+    result = query(api_url, headers, payload)
+
+    if result and isinstance(result, list) and 'generated_text' in result[0]:
+        texto_generado = result[0]['generated_text']
+        context += f"\n\n{texto_generado}"
+        logging.info(f"Prompt: {prompt}\nGenerated: {texto_generado.strip()}")
+        return texto_generado.strip(), context
+    else:
+        error_message = result.get("error", "No se pudo obtener la respuesta del modelo.")
+        logging.error(f"Prompt: {prompt}\nError: {error_message}")
+        return None, context
+
+# Función de predicción para la interfaz de Gradio
+def predict(message, history):
+    context = (
+        "Asume el papel de asistente legal especializado en derecho chileno. Tu meta es optimizar resoluciones judiciales utilizando procesamiento de lenguaje natural (PLN). "
+        "Mantén un tono formal, preciso y autoritativo en todo momento. Como requierase, autoricese, apercibase, entre otros. "
+        "Sigue estrictamente las guías de estilo proporcionadas. Simplifica oraciones complejas y elimina redundancias. Adapta la terminología al contexto legal chileno. "
+        "Asegúrate de que las resoluciones optimizadas sean claras, concisas y libres de ambigüedades. Utiliza paráfrasis, analogías y ejemplos para mejorar la claridad. "
+        "Revisa documentos de referencia. Identifica inconsistencias, ambigüedades y redundancias. Simplifica oraciones complejas y elimina redundancias. "
+        "Realiza una revisión gramatical y estilística para asegurar precisión y formalidad. Justifica las modificaciones necesarias. Explica cómo cada mejora contribuye a la formalidad, precisión y claridad. "
+        "Proporciona la Resolución Optimizada. Verifica que la resolución optimizada cumpla con los criterios de claridad, precisión y formalidad. Asegura que todas las modificaciones estén justificadas y sean comprensibles."
+    )
+    
+    history_transformer_format = history + [[message, ""]]
+    for item in history_transformer_format:
+        context += f"\n\n{item[0]}"
+    
+    resolucion_mejorada, context = mejorar_resolucion(context, message, API_URL, headers, max_length=1000)
+    if resolucion_mejorada:
+        history.append([message, resolucion_mejorada])
+        return resolucion_mejorada
+    else:
+        return "No se pudo mejorar la resolución."
+
+# Crear la interfaz de Gradio
+iface = gr.ChatInterface(predict)
+
+# Montar la aplicación de Gradio en FastAPI
+app = gr.mount_gradio_app(app, iface, path="/gradio")
+
+# Endpoint de FastAPI para la predicción
+@app.post("/predict")
+async def api_predict(request: Request):
+    data = await request.json()
+    message = data.get("message")
+    response = predict(message, [])
+    return {"response": response}
+
+# Ejecutar la aplicación FastAPI
+if __name__ == "__main__":
+    uvicorn.run(app, host="0.0.0.0", port=7860, log_level="info")