README.md

metadata

title: Proyecto01 MIA
emoji: 🏢
colorFrom: pink
colorTo: gray
sdk: gradio
sdk_version: 6.14.0
python_version: '3.10'
app_file: app.py
pinned: false
license: mit

Check out the configuration reference at https://huggingface.co/docs/hub/spaces-config-reference

Documentación del Proyecto

1. Definición del problema

La mayoría de los modelos ligeros y accesibles de Image Captioning (descripción de imágenes) están entrenados exclusivamente en inglés. El problema surge cuando un usuario hispanohablante necesita catalogar o comprender el contenido de una imagen de forma automática en su idioma nativo.

2. Descripción del input y el output

• Input: La aplicación recibe una imagen (fotografía o ilustración). Para garantizar una interfaz intuitiva y completa, el usuario puede proporcionar este input de tres formas: subiendo un archivo, usando la webcam del dispositivo o pegando desde el portapapeles.
• Output: La interfaz devuelve tres datos fundamentales:
  1. La descripción original generada por el primer modelo (en inglés).
  2. La traducción de dicha descripción al español (resultado final para el usuario).
  3. Una métrica de rendimiento que indica los segundos que ha tardado el sistema en procesar ambas inferencias.

3. Descripción y Clasificación de los modelos implicados

Para solucionar el problema se ha optado por un sistema de pipeline que encadena dos modelos diferentes:

• Modelo 1: Salesforce/blip-image-captioning-base

  • Clasificación: Inteligencia Artificial Multimodal (Visión a Texto / Image Captioning).
  • Descripción: Modelo preentrenado que analiza el contenido de una imagen y genera texto descriptivo coherente.

• Modelo 2: Helsinki-NLP/opus-mt-en-es

  • Clasificación: Procesamiento de Lenguaje Natural (NLP) - Traducción Automática (Translation).
  • Descripción: Modelo basado en la arquitectura MarianNMT entrenado específicamente para traducir texto de inglés a español.

4. Limitaciones de los modelos implicados

• Limitaciones del Modelo 1 (BLIP): Puede sufrir "alucinaciones" (inventar objetos que no están en la foto), perder detalles pequeños en imágenes muy saturadas de elementos o mostrar sesgos heredados de los datos de entrenamiento de internet.
• Limitaciones del Modelo 2 (MarianMT): Puede generar traducciones demasiado literales, fallar al traducir modismos puramente ingleses, o equivocarse en el género de las palabras debido a la falta de contexto visual (el modelo de traducción solo ve texto, no ve la imagen original).

5. Implementación, Solución y Rendimiento

• Idoneidad de la Solución: La solución implementada es altamente idónea porque evita tener que entrenar desde cero un modelo multimodal nativo en español (lo cual sería muy costoso computacionalmente). Aprovecha la robustez de un modelo experto en visión en inglés y la eficiencia de un modelo experto en traducción, logrando el objetivo de forma sencilla y modular.
• Rendimiento y Aplicabilidad: El sistema incluye un contador de tiempo real. Ejecutándose en la CPU básica (Free Tier) de Hugging Face, el proceso suele oscilar entre los 2 y 5 segundos por imagen. Justificando su aplicabilidad: Este rendimiento es perfectamente aplicable para tareas de usuario final, catalogación asíncrona de archivos multimedia o herramientas de accesibilidad para invidentes (donde una pequeña espera es aceptable). Sin embargo, no sería aplicable para procesar vídeo en tiempo real o robótica, donde necesitaríamos tiempos de inferencia del orden de milisegundos con hardware GPU especializado.