Spaces:
Sleeping
Sleeping
Update README.md
Browse files
README.md
CHANGED
|
@@ -11,5 +11,23 @@ short_description: Descripción de una imagen leída
|
|
| 11 |
---
|
| 12 |
|
| 13 |
Check out the configuration reference at https://huggingface.co/docs/hub/spaces-config-reference
|
|
|
|
|
|
|
|
|
|
|
|
|
| 14 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 15 |
El fin de la app es que describa una imagen por audio para personas invidentes, aunque la interfaz actual no sería compatible con el fin del proyecto.
|
|
|
|
| 11 |
---
|
| 12 |
|
| 13 |
Check out the configuration reference at https://huggingface.co/docs/hub/spaces-config-reference
|
| 14 |
+
Problemática a solucionar:
|
| 15 |
+
Para las personas sin el sentido de la vista, resulta muy difícil poder usar los nuevos avances tecnológicos que se van logrando porque se usan de forma casi 100% visual.
|
| 16 |
+
Como un primer acercamiento a hacerlo menos visual, sería útil tener un sistema que describiera en audio las imágenes presentes. Así, usando el image captioning de Blip
|
| 17 |
+
en primer lugar, se crea la descripción, para pasar esta a audio con el modelo stable audio open 1.0 de Stability AI.
|
| 18 |
|
| 19 |
+
input - El input necesario es la url o ruta dónde se encuentre la imagen que se desea describir
|
| 20 |
+
output - La descripción de la imagen en audio, se recoge también la descripción en texto como una forma de control
|
| 21 |
+
|
| 22 |
+
Puntos débiles:
|
| 23 |
+
Actualmente la app sólo describe en inglés. Y la interfaz es visual, por lo que no sería aún la forma más ideal para la problemática que se pretende abordar.
|
| 24 |
+
|
| 25 |
+
Modelos usados:
|
| 26 |
+
|
| 27 |
+
stabilityai/stable-audio-open-1.0
|
| 28 |
+
El mayor problema encontrado ha sido conseguir enlazar el acceso al repositorio a la programación
|
| 29 |
+
|
| 30 |
+
Salesforce/blip-image-captioning-large
|
| 31 |
+
|
| 32 |
+
Descripción:
|
| 33 |
El fin de la app es que describa una imagen por audio para personas invidentes, aunque la interfaz actual no sería compatible con el fin del proyecto.
|