first_commit: docker instance, main methods

Dockerfile

@@ -0,0 +1,27 @@
+FROM nvidia/cuda:11.7.1-cudnn8-runtime-ubuntu20.04
+
+ENV DEBIAN_FRONTEND=noninteractive
+RUN apt update && \
+    apt install -y bash \
+                   build-essential \
+                   git \
+                   git-lfs \
+                   curl \
+                   ca-certificates \
+                   libsndfile1-dev \
+                   libgl1 \
+                   python3.8 \
+                   python3-pip \
+                   python3.8-venv && \
+    rm -rf /var/lib/apt/lists
+WORKDIR /code
+COPY ./requirements.txt /code/requirements.txt
+RUN python3 -m pip install --no-cache-dir --upgrade pip && \
+    python3 -m pip install --no-cache-dir --upgrade -r /code/requirements.txt
+RUN useradd -m -u 1000 user
+USER user
+ENV HOME=/home/user \
+	PATH=/home/user/.local/bin:$PATH
+WORKDIR $HOME/server
+COPY --chown=user . $HOME/server
+CMD ["uvicorn", "api.main:api", "--host", "0.0.0.0", "--port", "7860"]

README.md

@@ -6,5 +6,3 @@ colorTo: purple
 sdk: docker
 pinned: false
 ---
-
-Check out the configuration reference at https://huggingface.co/docs/hub/spaces-config-reference

api/core/app.py

@@ -0,0 +1,74 @@
+class Demos:
+    def __init__(self):
+        from fastapi import FastAPI, HTTPException, Response
+        self.api = FastAPI
+        self.exception = HTTPException
+        self.api_response = Response
+    def validate_apikey(self,api_key)->bool:
+        __validation = True
+        return __validation
+    @staticmethod
+    def obtener_texto(from_url:str=None,from_pdf:str=None)->str:
+        """Obtiene texto a partir de una fuente de información: desde url o desde pdf.
+
+        args:
+            from_url        (str)   :   Url desde la que se desea obtener información.
+            from_pdf        (str)   :   Pdf desde el que se desea obtener información.
+        return:
+            _texto          (str)   :   Texto extraído desde la fuente dada.
+        """
+        from api.core.controllers.extractor import TextFromURL
+        if from_url:
+            with TextFromURL(url=from_url) as web_content:
+                _texto = web_content.get_raw().get_text() if web_content.is_ok() else web_content.get_error()
+        elif from_pdf:
+            _texto = str("PDF")
+        else:
+            _texto = str("Ninguna opción seleccionada")
+        return _texto
+    @staticmethod
+    def generar_bloques(texto:str=None,size:int=1500)->list:
+        """Genera bloques de texto de longitud S, a partir de un texto plano.
+
+        args:
+            texto           (str)   :   Texto para generar bloques.
+            s               (int)   :   Longitud de los bloques de texto, default 1500 caracteres.
+        return:
+            _bloques        (list)  :   Lista de bloques de textos de longitud s.
+        """
+        from api.core.controllers.handlers import Generator
+        _bloques = Generator.get_bloques(from_text=texto,size=size)
+        return _bloques
+    @staticmethod
+    def traducir(texto:str=None, idioma:str="EN/ES")->str:
+        """Genera una traducción del texto dado.
+
+        args:
+            texto           (str)   :   Texto para traducir
+            idioma          (str)   :   Idioma, default "EN/ES"
+        return:
+            _traduccion     (str)   :   Traducción del texto
+        """
+        from api.core.controllers.text2text import Traductor
+        _traduccion = str()
+        if "EN/ES" in idioma.upper():
+            _traduccion = Traductor.EN_ES(texto=texto)
+        elif "ES/EN" in idioma.upper():
+            _traduccion = Traductor.ES_EN(texto=texto)
+        elif "AR/ES" in idioma.upper():
+            _traduccion = Traductor.AR_ES(texto=texto)
+        else:
+            _traduccion = "Idioma no válido"
+        return _traduccion
+    @staticmethod
+    def resumir(texto:str=None)->str:
+        """Genera un resumen del texto dado.
+
+        args:
+            texto           (str)   :   Texto para generar resumen
+        return:
+            _resumen        (str)   :   Resumen generado
+        """
+        from api.core.controllers.text2text import Abstractor
+        _resumen = Abstractor.resumen(texto=texto)
+        return _resumen

api/core/controllers/extractor.py

@@ -0,0 +1,24 @@
+class TextFromURL:
+  __raw = None
+  def __init__(self, url:str):
+    self.__source=url
+  def __enter__(self):
+    try:
+      import requests as REQS
+      import bs4 as BS4
+      self.__raw = BS4.BeautifulSoup(REQS.get(self.get_source()).content, "html.parser")
+    except Exception as er:
+      print(er)
+      self.__error = er
+    finally:
+      return self    
+  def __exit__(self, *args):
+    [print(e) for e in args if e is not None]
+  def get_source(self):
+    return self.__source
+  def get_raw(self):
+    return self.__raw
+  def get_error(self):
+    return self.__error
+  def is_ok(self):
+    return True if self.get_raw() else False

api/core/controllers/handlers.py

@@ -0,0 +1,13 @@
+class Generator:
+    def get_bloques(from_text:str, size:int=1500):
+        _bloques = list()
+        _t = str(from_text)
+        if len(_t)>size:
+            _ = int(len(_t)/2)
+            _ts = [_t[n:n+_] for n in range(0,len(_t),_)]
+            for m in [0,1]:
+                _np = [nt for nt in Generator.get_bloques(from_text=_ts[m],size=size)]
+                _bloques+=_np
+        else:
+            _bloques.append(_t)
+        return _bloques

api/core/controllers/text2text.py

@@ -0,0 +1,43 @@
+from transformers import pipeline as Pipe
+
+class Traductor:
+    def EN_ES(texto:str)->str:
+        try:
+            _traductor = Pipe("text2text-generation", model="Helsinki-NLP/opus-mt-en-es")
+            _traduccion = _traductor(texto)[0]
+            _response = _traduccion.get('generated_text')
+        except Exception as e:
+            _response = str(e)
+        finally:
+            return _response
+    
+    def ES_EN(texto:str)->str:
+        try:
+            _traductor = Pipe("text2text-generation", model="Helsinki-NLP/opus-mt-es-en")
+            _traduccion = _traductor(texto)[0]
+            _response = _traduccion.get('generated_text')
+        except Exception as e:
+            _response = str(e)
+        finally:
+            return _response
+    
+    def AR_ES(texto:str)->str:
+        try:
+            _traductor = Pipe("text2text-generation", model="Helsinki-NLP/opus-mt-ar-es")
+            _traduccion = _traductor(texto)[0]
+            _response = _traduccion.get('generated_text')
+        except Exception as e:
+            _response = str(e)
+        finally:
+            return _response
+
+class Abstractor:
+    def resumen(texto:str)->str:
+        try:
+            _abstractor = Pipe("text2text-generation", model="facebook/bart-large-cnn")
+            _resumen = _abstractor(texto)[0]
+            _response = _resumen.get('generated_text')
+        except Exception as e:
+            _response = str(e)
+        finally:
+            return _response

api/main.py

@@ -0,0 +1,83 @@
+from api.core.app import Demos
+__main = Demos()
+api = __main.api()
+
+@api.post("/texto_desde_web/", status_code=201)
+def get_text_from_url(data:dict) -> dict:
+    __response=dict({"request_data":data})
+    try:
+        if data and 'url' in data:
+            __response['texto']=__main.obtener_texto(from_url=data.get('url'))
+        else:
+            raise __main.exception(status_code = 401, datail=f"Datos mal formados:\n{data}")
+    except Exception as e:
+        print(e)
+        #To-do ->agregar mas información en el error fecha, usuario, reqs
+        raise __main.exception(status_code = 403, datail=e)
+    finally:
+        return __response
+
+@api.post("/texto_desde_pdf/", status_code=201)
+def get_text_from_pdf(data:dict) -> dict:
+    __response=dict({"request_data":data})
+    try:
+        if data and 'pdf' in data:
+            __response['texto']=__main.obtener_texto(from_pdf=data.get('pdf'))
+        else:
+            raise __main.exception(status_code = 401, datail=f"Datos mal formados:\n{data}")
+    except Exception as e:
+        print(e)
+        #To-do ->agregar mas información en el error fecha, usuario, reqs
+        raise __main.exception(status_code = 403, datail=e)
+    finally:
+        return __response
+
+@api.post("/generar_bloques/", status_code=201)
+def get_blocks(data:dict) -> dict:
+    __response=dict({"request_data":data})
+    try:
+        if data and 'texto' in data and 'size' in data:
+            __response['original']=data.get('texto')
+            __response['bloques']=__main.generar_bloques(texto=data.get('texto'),
+                                                         size=data.get('size'))
+        else:
+            raise __main.exception(status_code = 401, datail=f"Datos mal formados:\n{data}")
+    except Exception as e:
+        print(e)
+        #To-do ->agregar mas información en el error fecha, usuario, reqs
+        raise __main.exception(status_code = 403, datail=e)
+    finally:
+        return __response
+
+@api.post("/traducir/", status_code=201)
+def get_traduccion(data:dict) -> dict:
+    __response=dict({"request_data":data})
+    try:
+        if data and 'texto' in data and 'idioma' in data:
+            __response['original']= data.get('texto')
+            __response['traduccion']= __main.traducir(texto=data.get('texto'),
+                                                      idioma=data.get('idioma'))
+        else:
+            raise __main.exception(status_code = 401, datail=f"Datos mal formados:\n{data}")
+    except Exception as e:
+        print(e)
+        #To-do ->agregar mas información en el error fecha, usuario, reqs
+        raise __main.exception(status_code = 403, datail=e)
+    finally:
+        return __response
+
+@api.post("/resumir/", status_code=201)
+def get_resumen(data:dict) -> dict:
+    __response=dict({"request_data":data})
+    try:
+        if data and 'texto' in data:
+            __response['original']= data.get('texto')
+            __response['resumen']= __main.resumir(texto=data.get('texto'))
+        else:
+            raise __main.exception(status_code = 401, datail=f"Datos mal formados:\n{data}")
+    except Exception as e:
+        print(e)
+        #To-do ->agregar mas información en el error fecha, usuario, reqs
+        raise __main.exception(status_code = 403, datail=e)
+    finally:
+        return __response

requirements.txt

@@ -0,0 +1,29 @@
+torch
+torchvision 
+torchaudio
+invisible_watermark
+datasets
+hf-doc-builder
+huggingface-hub
+Jinja2
+librosa
+numpy
+scipy
+tensorboard
+omegaconf
+pytorch-lightning
+xformers
+
+fastapi
+pydantic
+uvicorn
+typing
+requests
+bs4
+transformers
+transformers[sentencepiece]
+diffusers
+diffusers[torch]
+diffusers[flax]
+accelerate
+safetensors