c

app.py

@@ -12,7 +12,7 @@ app = FastAPI()
 HUGGING_FACE_TOKEN = os.getenv("HUGGING_FACE_TOKEN")
 API_URL = "https://api-inference.huggingface.co/models/meta-llama/Meta-Llama-3-70B-Instruct"
 
-headers = {"Authorization": f"Bearer {HUGGING_FACE_TOKEN}"}
+headers = {"Authorization": f"Bearer " + HUGGING_FACE_TOKEN}
 
 # Configurar el logger
 logging.basicConfig(filename='interactions.log', level=logging.INFO,
@@ -33,7 +33,7 @@ def query(api_url, headers, payload):
 def preparar_texto(contexto, borrador):
     return f"{contexto}\n\n{borrador}"
 
-def mejorar_resolucion(context, borrador, api_url, headers, max_length=1000):
+def mejorar_resolucion(context, borrador, api_url, headers, max_length=2000):
     prompt = preparar_texto(context, borrador)
     payload = {
         "inputs": prompt,
@@ -50,15 +50,19 @@ def mejorar_resolucion(context, borrador, api_url, headers, max_length=1000):
 
     result = query(api_url, headers, payload)
 
-    if result and isinstance(result, dict) and result.get('generated_text'):
-        texto_generado = result['generated_text']
+    if isinstance(result, list) and 'generated_text' in result[0]:
+        texto_generado = result[0]['generated_text']
         context += f"\n\n{texto_generado}"
         logging.info(f"Prompt: {prompt}\nGenerated: {texto_generado.strip()}")
         return texto_generado.strip(), context
-    else:
+    elif isinstance(result, dict) and "error" in result:
         error_message = result.get("error", "No se pudo obtener la respuesta del modelo.")
         logging.error(f"Prompt: {prompt}\nError: {error_message}")
         return None, context
+    else:
+        error_message = "Formato de respuesta desconocido."
+        logging.error(f"Prompt: {prompt}\nError: {error_message}")
+        return None, context
 
 # Función de predicción para la interfaz de Gradio
 def predict(message, history):
@@ -76,7 +80,7 @@ def predict(message, history):
     for item in history_transformer_format:
         context += f"\n\n{item[0]}"
 
-    resolucion_mejorada, context = mejorar_resolucion(context, message, API_URL, headers, max_length=1000)
+    resolucion_mejorada, context = mejorar_resolucion(context, message, API_URL, headers, max_length=2000)
     if resolucion_mejorada:
         history.append([message, resolucion_mejorada])
         return resolucion_mejorada
@@ -93,7 +97,7 @@ async def api_predict(request: Request):
 
 # Crear y lanzar la interfaz de Gradio
 iface = gr.ChatInterface(predict)
-iface.launch(share=True)
+iface.launch()
 
 # Ejecutar la aplicación FastAPI
 if __name__ == "__main__":

interactions.log

@@ -112,3 +112,7 @@ Soy un asistente legal especializado en derecho chileno, capacitado para optimiz
 2024-07-06 17:55:00,524 - INFO - HTTP Request: GET http://localhost:7860/startup-events "HTTP/1.1 200 OK"
 2024-07-06 17:55:00,534 - INFO - HTTP Request: HEAD http://localhost:7860/ "HTTP/1.1 200 OK"
 2024-07-06 17:55:00,677 - INFO - HTTP Request: GET https://api.gradio.app/pkg-version "HTTP/1.1 200 OK"
+2024-07-06 17:55:33,070 - INFO - HTTP Request: GET https://checkip.amazonaws.com/ "HTTP/1.1 200 "
+2024-07-06 17:55:33,279 - INFO - HTTP Request: GET http://localhost:7860/startup-events "HTTP/1.1 200 OK"
+2024-07-06 17:55:33,291 - INFO - HTTP Request: HEAD http://localhost:7860/ "HTTP/1.1 200 OK"
+2024-07-06 17:55:33,420 - INFO - HTTP Request: GET https://api.gradio.app/pkg-version "HTTP/1.1 200 OK"