primer commit

Dockerfile

@@ -0,0 +1,14 @@
+FROM python:3.8
+
+ENV PYTHONUNBUFFERED=1
+
+WORKDIR /app
+
+COPY requirements.txt ./
+
+RUN pip install --upgrade pip
+RUN pip install --no-cache-dir -r requirements.txt
+
+COPY . .
+
+CMD ["python", "manage.py", "runserver", "0.0.0.0:8000"]

botpdfs/asgi.py

@@ -0,0 +1,16 @@
+"""
+ASGI config for botpdfs project.
+
+It exposes the ASGI callable as a module-level variable named ``application``.
+
+For more information on this file, see
+https://docs.djangoproject.com/en/3.2/howto/deployment/asgi/
+"""
+
+import os
+
+from django.core.asgi import get_asgi_application
+
+os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'botpdfs.settings')
+
+application = get_asgi_application()

botpdfs/settings.py

@@ -0,0 +1,129 @@
+"""
+Django settings for botpdfs project.
+
+Generated by 'django-admin startproject' using Django 3.2.8.
+
+For more information on this file, see
+https://docs.djangoproject.com/en/3.2/topics/settings/
+
+For the full list of settings and their values, see
+https://docs.djangoproject.com/en/3.2/ref/settings/
+"""
+
+from pathlib import Path
+import os
+
+# Build paths inside the project like this: BASE_DIR / 'subdir'.
+BASE_DIR = Path(__file__).resolve().parent.parent
+
+
+# Quick-start development settings - unsuitable for production
+# See https://docs.djangoproject.com/en/3.2/howto/deployment/checklist/
+
+# SECURITY WARNING: keep the secret key used in production secret!
+SECRET_KEY = 'django-insecure-sv0!42$7^1$0l8v8b-=!*w^$2)x758@5#4#fh27g8qojrhb30q'
+
+# SECURITY WARNING: don't run with debug turned on in production!
+DEBUG = True
+
+ALLOWED_HOSTS = ['0.0.0.0']
+
+
+# Application definition
+
+INSTALLED_APPS = [
+    'django.contrib.admin',
+    'django.contrib.auth',
+    'django.contrib.contenttypes',
+    'django.contrib.sessions',
+    'django.contrib.messages',
+    'django.contrib.staticfiles',
+    'chatbot'
+]
+
+MIDDLEWARE = [
+    'django.middleware.security.SecurityMiddleware',
+    'django.contrib.sessions.middleware.SessionMiddleware',
+    'django.middleware.common.CommonMiddleware',
+    'django.middleware.csrf.CsrfViewMiddleware',
+    'django.contrib.auth.middleware.AuthenticationMiddleware',
+    'django.contrib.messages.middleware.MessageMiddleware',
+    'django.middleware.clickjacking.XFrameOptionsMiddleware',
+]
+
+ROOT_URLCONF = 'botpdfs.urls'
+
+TEMPLATES = [
+    {
+        'BACKEND': 'django.template.backends.django.DjangoTemplates',
+        'DIRS': [],
+        'APP_DIRS': True,
+        'OPTIONS': {
+            'context_processors': [
+                'django.template.context_processors.debug',
+                'django.template.context_processors.request',
+                'django.contrib.auth.context_processors.auth',
+                'django.contrib.messages.context_processors.messages',
+            ],
+        },
+    },
+]
+
+WSGI_APPLICATION = 'botpdfs.wsgi.application'
+
+
+# Database
+# https://docs.djangoproject.com/en/3.2/ref/settings/#databases
+
+DATABASES = {
+    'default': {
+        'ENGINE': 'django.db.backends.sqlite3',
+        'NAME': BASE_DIR / 'db.sqlite3',
+    }
+}
+
+
+# Password validation
+# https://docs.djangoproject.com/en/3.2/ref/settings/#auth-password-validators
+
+AUTH_PASSWORD_VALIDATORS = [
+    {
+        'NAME': 'django.contrib.auth.password_validation.UserAttributeSimilarityValidator',
+    },
+    {
+        'NAME': 'django.contrib.auth.password_validation.MinimumLengthValidator',
+    },
+    {
+        'NAME': 'django.contrib.auth.password_validation.CommonPasswordValidator',
+    },
+    {
+        'NAME': 'django.contrib.auth.password_validation.NumericPasswordValidator',
+    },
+]
+
+TEMP_UPLOAD_DIR = os.path.join(BASE_DIR, 'temp_uploads')
+
+# Internationalization
+# https://docs.djangoproject.com/en/3.2/topics/i18n/
+
+LANGUAGE_CODE = 'en-us'
+
+TIME_ZONE = 'UTC'
+
+USE_I18N = True
+
+USE_L10N = True
+
+USE_TZ = True
+
+
+# Static files (CSS, JavaScript, Images)
+# https://docs.djangoproject.com/en/3.2/howto/static-files/
+
+STATIC_URL = 'static/'
+STATICFILES_DIRS = (os.path.join(BASE_DIR,'chatbot/static'),)
+
+# Default primary key field type
+# https://docs.djangoproject.com/en/3.2/ref/settings/#default-auto-field
+
+DEFAULT_AUTO_FIELD = 'django.db.models.BigAutoField'

botpdfs/urls.py

@@ -0,0 +1,29 @@
+"""botpdfs URL Configuration
+
+The `urlpatterns` list routes URLs to views. For more information please see:
+    https://docs.djangoproject.com/en/3.2/topics/http/urls/
+Examples:
+Function views
+    1. Add an import:  from my_app import views
+    2. Add a URL to urlpatterns:  path('', views.home, name='home')
+Class-based views
+    1. Add an import:  from other_app.views import Home
+    2. Add a URL to urlpatterns:  path('', Home.as_view(), name='home')
+Including another URLconf
+    1. Import the include() function: from django.urls import include, path
+    2. Add a URL to urlpatterns:  path('blog/', include('blog.urls'))
+"""
+from django.contrib import admin
+from django.urls import path
+from django.conf import settings
+from django.conf.urls.static import static
+from chatbot.views import chatbot,resumen, generar_pdf_view
+
+
+urlpatterns = [
+    path('admin/', admin.site.urls),
+    path('', chatbot, name='chatBot'),
+    path('generar-pdf/', generar_pdf_view, name='generar_pdf'),
+    path('resumen/', resumen, name='resumen')
+]+ static(settings.STATIC_URL, document_root=settings.STATIC_ROOT)
+

botpdfs/wsgi.py

@@ -0,0 +1,16 @@
+"""
+WSGI config for botpdfs project.
+
+It exposes the WSGI callable as a module-level variable named ``application``.
+
+For more information on this file, see
+https://docs.djangoproject.com/en/3.2/howto/deployment/wsgi/
+"""
+
+import os
+
+from django.core.wsgi import get_wsgi_application
+
+os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'botpdfs.settings')
+
+application = get_wsgi_application()

chatbot/.env

@@ -0,0 +1 @@
+OPENAI_API_KEY=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

chatbot/admin.py

@@ -0,0 +1,3 @@
+from django.contrib import admin
+
+# Register your models here.

chatbot/apps.py

@@ -0,0 +1,6 @@
+from django.apps import AppConfig
+
+
+class ChatbotConfig(AppConfig):
+    default_auto_field = 'django.db.models.BigAutoField'
+    name = 'chatbot'

chatbot/models.py

@@ -0,0 +1,3 @@
+from django.db import models
+
+# Create your models here.

chatbot/templates/chatbot.html

@@ -0,0 +1,76 @@
+<!DOCTYPE html>
+<html>
+<head>
+  <meta charset="utf-8">
+<link rel="stylesheet" href="https://cdn.jsdelivr.net/npm/bootstrap@4.0.0/dist/css/bootstrap.min.css" integrity="sha384-Gn5384xqQ1aoWXA+058RXPxPg6fy4IWvTNh0E263XmFcJlSAwiGgFAW/dAiS6JXm" crossorigin="anonymous">
+<script src="https://code.jquery.com/jquery-3.2.1.slim.min.js" integrity="sha384-KJ3o2DKtIkvYIK3UENzmM7KCkRr/rE9/Qpg6aAZGJwFDMVNA/GpGFF93hXpG5KkN" crossorigin="anonymous"></script>
+<script src="https://cdn.jsdelivr.net/npm/popper.js@1.12.9/dist/umd/popper.min.js" integrity="sha384-ApNbgh9B+Y1QKtv3Rn7W3mgPxhU9K/ScQsAP7hUibX39j7fakFPskvXusvfa0b4Q" crossorigin="anonymous"></script>
+<script src="https://cdn.jsdelivr.net/npm/bootstrap@4.0.0/dist/js/bootstrap.min.js" integrity="sha384-JZR6Spejh4U02d8jOt6vLEHfe/JQGiRRSQQxSfFWpi1MquVdAyjUar5+76PVCmYl" crossorigin="anonymous"></script>
+
+  {% load static %}
+  <link href="{% static 'css/style.css' %}" rel="stylesheet">
+	<title>Auto Resumen</title>
+</head>
+<body>
+
+<div class="container">
+<nav class="navbar navbar-expand-lg navbar-light bg-light">
+  <button class="navbar-toggler" type="button" data-toggle="collapse" data-target="#navbarNavAltMarkup" aria-controls="navbarNavAltMarkup" aria-expanded="false" aria-label="Toggle navigation">
+    <span class="navbar-toggler-icon"></span>
+  </button>
+  <div class="collapse navbar-collapse" id="navbarNavAltMarkup">
+    <div class="navbar-nav">
+      <a class="nav-item nav-link active" href="">Home</a>
+    </div>
+  </div>
+</nav>
+</div>
+
+<div class="container">
+		<h1 align="center">Auto Resumen.</h1>
+	</div>
+</div>
+
+<div class="container">
+<form method="post" enctype="multipart/form-data">
+    {% csrf_token %}
+    <div class="form-group">
+        <div class="custom-file">
+            <input type="file" class="custom-file-input" id="customFile" name="pdf_file" accept=".pdf">
+            <label class="custom-file-label" for="customFile">Seleccionar archivo PDF</label>
+        </div>
+    </div>
+    <button type="submit" class="btn btn-primary">Cargar PDF</button>
+</form>
+</div>
+
+<div class="container">
+{% if chatbot_response %}
+    <div class="card mt-3">
+        <div class="card-body">
+            <p><strong>Respuesta del Chatbot:</strong></p>
+            <p>{{ chatbot_response }}</p>
+        </div>
+    </div>
+{% endif %}
+</div>
+
+<p></p>
+
+<div class="container">
+        {% if archivo_cargado %}
+        <div class="alert alert-success" role="alert">
+            ¡El archivo se ha cargado exitosamente!
+        </div>
+        {% endif %}
+</div>
+
+<p></p>
+
+<div class="container">
+<a href="{% url 'resumen' %}" class="btn btn-primary btn-lg active" role="button" aria-pressed="true">Obtener resumen</a>
+</div>
+
+
+</body>
+</html>

chatbot/templates/pdf_template.html

@@ -0,0 +1,64 @@
+<!DOCTYPE html>
+<html>
+<head>
+    <meta charset="UTF-8">
+    <title>Recomendaciones</title>
+</head>
+<body>
+
+<div class="container">
+    <div class="row mt-5 mb-5 ms-5 me-5">
+        <h2 align="center">Reporte recomendaciones estudiante</h2>
+    </div>
+</div>
+
+<div class="container">
+    <h3>{{ resumen.titulo_invitacion }}</h3>
+        
+        <h3>Objeto Contrato</h3>
+        <p>{{ resumen.objeto_contrato}}</p>
+
+        <h3>Requerimientos Técnicos</h3>
+        <ul>
+            {% for requerimiento in resumen.requerimientos_tecnicos %}
+            <li>{{ requerimiento }}</li>
+            {% endfor %}
+        </ul>
+
+        <h3>Plazo de ejecución</h3>
+        <p>{{ resumen.plazo}}</p>
+
+        <h3>Presupuesto</h3>
+        <p>{{ resumen.presupuesto}}</p>
+
+        <h3>Causales de Rechazo</h3>
+        <ul>
+            {% for causal in resumen.causales_rechazo %}
+            <li>{{ causal }}</li>
+            {% endfor %}
+        </ul>
+
+        <h3>Capacidad Juridica</h3>
+        <ul>
+            {% for capacidad in resumen.capacidad_juridica %}
+            <li>{{ capacidad }}</li>
+            {% endfor %}
+        </ul>
+
+        <h3>Garantias</h3>
+        <ul>
+            {% for garantia in resumen.garantias %}
+            <li>{{ garantia }}</li>
+            {% endfor %}
+        </ul>
+
+        <h3>Anexos</h3>
+        <ul>
+            {% for anexo in resumen.anexos %}
+            <li>{{ anexo }}</li>
+            {% endfor %}
+        </ul>
+</div>
+
+</body>
+</html>

chatbot/templates/resumen.html

@@ -0,0 +1,101 @@
+<!DOCTYPE html>
+<html>
+<head>
+  <meta charset="utf-8">
+<link rel="stylesheet" href="https://cdn.jsdelivr.net/npm/bootstrap@4.0.0/dist/css/bootstrap.min.css" integrity="sha384-Gn5384xqQ1aoWXA+058RXPxPg6fy4IWvTNh0E263XmFcJlSAwiGgFAW/dAiS6JXm" crossorigin="anonymous">
+<script src="https://code.jquery.com/jquery-3.2.1.slim.min.js" integrity="sha384-KJ3o2DKtIkvYIK3UENzmM7KCkRr/rE9/Qpg6aAZGJwFDMVNA/GpGFF93hXpG5KkN" crossorigin="anonymous"></script>
+<script src="https://cdn.jsdelivr.net/npm/popper.js@1.12.9/dist/umd/popper.min.js" integrity="sha384-ApNbgh9B+Y1QKtv3Rn7W3mgPxhU9K/ScQsAP7hUibX39j7fakFPskvXusvfa0b4Q" crossorigin="anonymous"></script>
+<script src="https://cdn.jsdelivr.net/npm/bootstrap@4.0.0/dist/js/bootstrap.min.js" integrity="sha384-JZR6Spejh4U02d8jOt6vLEHfe/JQGiRRSQQxSfFWpi1MquVdAyjUar5+76PVCmYl" crossorigin="anonymous"></script>
+
+  {% load static %}
+  <link href="{% static 'css/style.css' %}" rel="stylesheet">
+	<title>RESUMEN</title>
+</head>
+<body>
+
+<div class="container">
+<nav class="navbar navbar-expand-lg navbar-light bg-light">
+  <button class="navbar-toggler" type="button" data-toggle="collapse" data-target="#navbarNavAltMarkup" aria-controls="navbarNavAltMarkup" aria-expanded="false" aria-label="Toggle navigation">
+    <span class="navbar-toggler-icon"></span>
+  </button>
+  <div class="collapse navbar-collapse" id="navbarNavAltMarkup">
+    <div class="navbar-nav">
+      <a class="nav-item nav-link active" href="{% url 'chatBot' %}">Home</a>
+    </div>
+  </div>
+</nav>
+</div>
+
+<div class="container">
+		<h1 align="center">RESUMEN.</h1>
+	</div>
+</div>
+
+<div class="container">
+        
+        <h3>{{ resumen.titulo_invitacion }}</h3>
+        
+        {% if resumen.objeto_contrato %}
+        <h3>Objeto Contrato</h3>
+        <p>{{ resumen.objeto_contrato}}</p>
+        {% endif %}
+
+        {% if resumen.objeto_contrato %}
+        <h3>Requerimientos Técnicos</h3>
+        <ul>
+            {% for requerimiento in resumen.requerimientos_tecnicos %}
+            <li>{{ requerimiento }}</li>
+            {% endfor %}
+        </ul>
+        {% endif %}
+
+        {% if resumen.objeto_contrato %}
+        <h3>Plazo de ejecución</h3>
+        <p>{{ resumen.plazo}}</p>
+        {% endif %}
+
+        {% if resumen.objeto_contrato %}
+        <h3>Presupuesto</h3>
+        <p>{{ resumen.presupuesto}}</p>
+        {% endif %}
+
+        {% if resumen.objeto_contrato %}
+        <h3>Causales de Rechazo</h3>
+        <ul>
+            {% for causal in resumen.causales_rechazo %}
+            <li>{{ causal }}</li>
+            {% endfor %}
+        </ul>
+        {% endif %}
+
+        {% if resumen.objeto_contrato %}
+        <h3>Capacidad Juridica</h3>
+        <ul>
+            {% for capacidad in resumen.capacidad_juridica %}
+            <li>{{ capacidad }}</li>
+            {% endfor %}
+        </ul>
+        {% endif %}
+
+        {% if resumen.objeto_contrato %}
+        <h3>Garantias</h3>
+        <ul>
+            {% for garantia in resumen.garantias %}
+            <li>{{ garantia }}</li>
+            {% endfor %}
+        </ul>
+        {% endif %}
+
+        {% if resumen.objeto_contrato %}
+        <h3>Anexos</h3>
+        <ul>
+            {% for anexo in resumen.anexos %}
+            <li>{{ anexo }}</li>
+            {% endfor %}
+        </ul>
+        {% endif %}
+  <a href="{% url 'generar_pdf' %}" target="_blank">Generar PDF</a>
+</div>
+
+</body>
+</html>

chatbot/tests.py

@@ -0,0 +1,3 @@
+from django.test import TestCase
+
+# Create your tests here.

chatbot/views.py

@@ -0,0 +1,183 @@
+import requests
+from PyPDF2 import PdfReader
+from django.shortcuts import render
+from django.conf import settings
+import os
+import io
+import re
+
+from langchain.document_loaders import PyPDFLoader
+import openai
+from langchain.output_parsers import ResponseSchema
+from langchain.chat_models import ChatOpenAI
+from langchain.output_parsers import StructuredOutputParser
+from langchain.prompts import ChatPromptTemplate
+from langchain.chains import TransformChain
+
+from django.template.loader import render_to_string
+from django.http import HttpResponse
+from io import BytesIO
+from xhtml2pdf import pisa
+
+# Create your views here.
+
+'''
+    #if request.method == 'POST':
+    #   pdf_file = request.FILES['pdf_file']
+    #    # Lógica para procesar el archivo PDF
+    #resultados = {}
+'''
+from dotenv import load_dotenv, find_dotenv
+_ = load_dotenv(find_dotenv()) # read local .env file
+openai.api_key = os.environ['OPENAI_API_KEY']
+
+llm = ChatOpenAI(temperature=0.0, model="gpt-3.5-turbo-16k")
+
+titulo_invitacion_schema = ResponseSchema(name="titulo_invitacion", description="Extraer el título con el No. Usar mayusculas.")
+objeto_contrato_schema = ResponseSchema(name="objeto_contrato", description="Extraer el objeto del contrato de manera literal. Usar mayusculas.")
+requerimientos_tecnicos_schema = ResponseSchema(name="requerimientos_tecnicos", description="Realizar una lista con la información de los requerimientos tecnicos minimos. Si no lo encuentra, responder No Aplica")
+plazo_schema = ResponseSchema(name="plazo", description="Extraer el plazo de ejecución. Si no lo escuentra, responder No Aplica")
+presupuesto_schema = ResponseSchema(name="presupuesto", description="Extraer el presupuesto oficial. también mostrar el presuopuesto en formato pesos ($xxxx). Si no lo encuentra, responder No Aplica")
+causales_rechazo_schema = ResponseSchema(name="causales_rechazo", description="Realizar una lista con la información de las causales que generan rechazo. Si no lo escuentra, responder No Aplica")
+capacidad_juridica_schema = ResponseSchema(name="capacidad_juridica", description="Realizar una lista con la información de la capacidad juridica. Si no lo encuentra, responder No Aplica")
+garantias_schema = ResponseSchema(name="garantias", description="Realizar una lista con las garantías. Si no lo encuentra, responder No Aplica")
+anexos_schema = ResponseSchema(name="anexos", description="Realizar una lista con los anexos. Se reconocen porque el título empieza con la palabra anexo. Algunos ejemplos pueden ser: ANEXO 1 CARTA DE PRESENTACIÓN DE LA OFERTA, ANEXO No 2, ANEXO PROPUESTA ECONOMICA. Si no lo encuentra, responder No Aplica")
+
+response_schemas = [titulo_invitacion_schema,
+                    objeto_contrato_schema,
+                    requerimientos_tecnicos_schema,
+                    plazo_schema,
+                    presupuesto_schema,
+                    causales_rechazo_schema,
+                    capacidad_juridica_schema,
+                    garantias_schema,
+                    anexos_schema,
+                   ]
+
+template_string = '''The input is the text delimited by triple backticks. \
+text: ```{text}```\
+Use the text to perform the consecutive taks:\
+Follow the format_instructions:\
+1) Escribe el título con el No \
+2) Escribe el el objeto del contrato \
+3) Realizá una lista con los requerimientos técnicos mínimos. \
+4) Escribe el plazo de ejecución.\
+5) Escribe el presupuesto.\
+6) Realizá una lista con las causales que generan rechazo. \
+7) Realizá una lista con la información de la capacidad juridica. \
+8) Realizá una lista con la información de las garantias. \
+9) Realizá una lista con los anexos. Solo texto o números. Se reconocen porque el título empieza con la palabra anexo. Algunos ejemplos pueden ser: ANEXO 1 CARTA DE PRESENTACIÓN DE LA OFERTA, ANEXO No 2, ANEXO PROPUESTA ECONOMICA. Si no lo encuentra, responder No Aplica\
+{format_instructions}
+'''
+
+def chatbot(request):
+    global texto, llm
+    if request.method == 'POST' and request.FILES.get('pdf_file'):
+        pdf_file = request.FILES['pdf_file']
+        
+        # Convertir el archivo InMemoryUploadedFile a un objeto BytesIO
+        pdf_bytes = io.BytesIO(pdf_file.read())
+        
+        # Guardar el archivo temporalmente en la carpeta designada
+        temp_file_path = os.path.join(settings.TEMP_UPLOAD_DIR, pdf_file.name)
+        with open(temp_file_path, 'wb') as temp_file:
+            temp_file.write(pdf_bytes.read())
+        
+        texto = obtenerTexto(temp_file_path)
+
+        #print(texto)
+
+        print(llm.get_num_tokens(texto))
+
+        #print(type(texto))
+
+        #resume = resumenSmallDocs(response_schemas,template_string,texto)
+
+        os.remove(temp_file_path)
+
+        # Pasar el resumen a la plantilla
+        context = {
+        #    'resumen': resume,
+            'archivo_cargado': True
+        }
+        return render(request, 'chatbot.html', context)
+
+    return render(request, 'chatbot.html')
+
+
+def resumen(request):
+    global resumen
+    try:
+        if llm.get_num_tokens(texto)>12000:
+            mensaje = 'El documento que esta tratando de resumir es demasiado grande'
+        else:
+            mensaje = 'Ha ocurrido un error, intenta de nuevo'
+    except:
+        mensaje = 'Ha ocurrido un error, intenta de nuevo'
+    try:
+        resumen = resumenSmallDocs(response_schemas,template_string,texto)
+        resumen['requerimientos_tecnicos'] = resumen['requerimientos_tecnicos'].split('\n')
+        resumen['causales_rechazo'] = resumen['causales_rechazo'].split('\n')
+        resumen['capacidad_juridica'] = resumen['capacidad_juridica'].split('\n')
+        resumen['garantias'] = resumen['garantias'].split('\n')
+        resumen['anexos'] = resumen['anexos'].split('\n')
+        context = {'resumen':resumen}
+    except:
+        resumen = {}
+        resumen['titulo_invitacion'] = mensaje
+        context = {'resumen':resumen}
+    return render(request,'resumen.html',context)
+
+def generar_pdf_view(request):
+    # Obtener la lista de recomendaciones (suponiendo que ya la tienes)
+
+    # Renderizar el archivo HTML como una cadena de texto utilizando el resumem
+    html = render_to_string('pdf_template.html', {'resumen': resumen})
+
+    # Crear el objeto HttpResponse con el tipo de contenido adecuado
+    response = HttpResponse(content_type='application/pdf')
+    # Establecer el encabezado de respuesta para la descarga del archivo
+    response['Content-Disposition'] = 'attachment; filename="resumen.pdf"'
+
+    # Crear el archivo PDF usando la librería xhtml2pdf
+    pisa.CreatePDF(html, dest=response, encoding='utf-8')
+
+    return response
+
+def obtenerTexto(file_path):
+    loader = PyPDFLoader(file_path)
+    pages = loader.load()
+    text = ""
+    for page in pages:
+        text += page.page_content
+    text = text.replace('\t', ' ')
+
+    # Aplicar limpiadores
+    text = limpiar_espacios(text)
+    
+    return text
+
+def eliminarPiePagina(text):
+    footpage_regex = r'\[START FOOTPAGE\](.|\n)*\[END FOOTPAGE\]'
+    footpages = re.findall(footpage_regex, text)
+    for footpage in footpages:
+        text = text.replace(footpage, '')
+    return text
+
+def limpiar_espacios(texto):
+    # Reemplazar múltiples espacios por uno solo
+    texto = re.sub(r'\s+', ' ', texto)
+    # Eliminar espacios al principio y al final de cada línea
+    lineas = texto.split('\n')
+    lineas_limpio = [linea.strip() for linea in lineas]
+    texto_limpio = '\n'.join(lineas_limpio)
+    return texto_limpio
+
+def resumenSmallDocs(response_schemas,template_string,text):
+    output_parser = StructuredOutputParser.from_response_schemas(response_schemas)
+    format_instructions = output_parser.get_format_instructions()
+    prompt_3 = ChatPromptTemplate.from_template(template=template_string)
+    summary_prompt_3 = prompt_3.format_messages(text=text,format_instructions=format_instructions)
+    summary_formatted = llm(summary_prompt_3)
+    python_dict_parser = output_parser.parse(summary_formatted.content)
+    return python_dict_parser

manage.py

@@ -0,0 +1,22 @@
+#!/usr/bin/env python
+"""Django's command-line utility for administrative tasks."""
+import os
+import sys
+
+
+def main():
+    """Run administrative tasks."""
+    os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'botpdfs.settings')
+    try:
+        from django.core.management import execute_from_command_line
+    except ImportError as exc:
+        raise ImportError(
+            "Couldn't import Django. Are you sure it's installed and "
+            "available on your PYTHONPATH environment variable? Did you "
+            "forget to activate a virtual environment?"
+        ) from exc
+    execute_from_command_line(sys.argv)
+
+
+if __name__ == '__main__':
+    main()

requirements.txt

@@ -0,0 +1,16 @@
+Django==4.1.7
+langchain==0.0.194
+langsmith==0.0.20
+langchainplus-sdk==0.0.7
+numpy==1.24.2
+openai==0.27.6
+openapi-schema-pydantic==1.2.4
+pandas==1.5.3
+Pillow==9.5.0
+plotly==5.13.1
+pypdf==3.9.1
+python-dotenv==1.0.0
+xhtml2pdf==0.2.11
+PyPDF2==3.0.1
+regex==2023.8.8
+tiktoken==0.4.0