--- title: Proyecto01 MIA emoji: 馃彚 colorFrom: pink colorTo: gray sdk: gradio sdk_version: 6.14.0 python_version: '3.10' app_file: app.py pinned: false license: mit --- Check out the configuration reference at https://huggingface.co/docs/hub/spaces-config-reference # Documentaci贸n del Proyecto ## 1. Definici贸n del problema La mayor铆a de los modelos ligeros y accesibles de *Image Captioning* (descripci贸n de im谩genes) est谩n entrenados exclusivamente en ingl茅s. El problema surge cuando un usuario hispanohablante necesita catalogar o comprender el contenido de una imagen de forma autom谩tica en su idioma nativo. ## 2. Descripci贸n del input y el output * **Input:** La aplicaci贸n recibe una imagen (fotograf铆a o ilustraci贸n). Para garantizar una interfaz intuitiva y completa, el usuario puede proporcionar este input de tres formas: subiendo un archivo, usando la webcam del dispositivo o pegando desde el portapapeles. * **Output:** La interfaz devuelve tres datos fundamentales: 1. La descripci贸n original generada por el primer modelo (en ingl茅s). 2. La traducci贸n de dicha descripci贸n al espa帽ol (resultado final para el usuario). 3. Una m茅trica de rendimiento que indica los segundos que ha tardado el sistema en procesar ambas inferencias. ## 3. Descripci贸n y Clasificaci贸n de los modelos implicados Para solucionar el problema se ha optado por un sistema de *pipeline* que encadena dos modelos diferentes: * **Modelo 1: `Salesforce/blip-image-captioning-base`** * **Clasificaci贸n:** Inteligencia Artificial Multimodal (Visi贸n a Texto / Image Captioning). * **Descripci贸n:** Modelo preentrenado que analiza el contenido de una imagen y genera texto descriptivo coherente. * **Modelo 2: `Helsinki-NLP/opus-mt-en-es`** * **Clasificaci贸n:** Procesamiento de Lenguaje Natural (NLP) - Traducci贸n Autom谩tica (Translation). * **Descripci贸n:** Modelo basado en la arquitectura MarianNMT entrenado espec铆ficamente para traducir texto de ingl茅s a espa帽ol. ## 4. Limitaciones de los modelos implicados * **Limitaciones del Modelo 1 (BLIP):** Puede sufrir "alucinaciones" (inventar objetos que no est谩n en la foto), perder detalles peque帽os en im谩genes muy saturadas de elementos o mostrar sesgos heredados de los datos de entrenamiento de internet. * **Limitaciones del Modelo 2 (MarianMT):** Puede generar traducciones demasiado literales, fallar al traducir modismos puramente ingleses, o equivocarse en el g茅nero de las palabras debido a la falta de contexto visual (el modelo de traducci贸n solo ve texto, no ve la imagen original). ## 5. Implementaci贸n, Soluci贸n y Rendimiento * **Idoneidad de la Soluci贸n:** La soluci贸n implementada es altamente id贸nea porque evita tener que entrenar desde cero un modelo multimodal nativo en espa帽ol (lo cual ser铆a muy costoso computacionalmente). Aprovecha la robustez de un modelo experto en visi贸n en ingl茅s y la eficiencia de un modelo experto en traducci贸n, logrando el objetivo de forma sencilla y modular. * **Rendimiento y Aplicabilidad:** El sistema incluye un contador de tiempo real. Ejecut谩ndose en la CPU b谩sica (Free Tier) de Hugging Face, el proceso suele oscilar entre los 2 y 5 segundos por imagen. **Justificando su aplicabilidad:** Este rendimiento es perfectamente aplicable para tareas de usuario final, catalogaci贸n as铆ncrona de archivos multimedia o herramientas de accesibilidad para invidentes (donde una peque帽a espera es aceptable). Sin embargo, *no ser铆a aplicable* para procesar v铆deo en tiempo real o rob贸tica, donde necesitar铆amos tiempos de inferencia del orden de milisegundos con hardware GPU especializado.