MaykaGR commited on
Commit
5cf76a1
·
verified ·
1 Parent(s): 50bec4f

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +18 -0
README.md CHANGED
@@ -11,5 +11,23 @@ short_description: Descripción de una imagen leída
11
  ---
12
 
13
  Check out the configuration reference at https://huggingface.co/docs/hub/spaces-config-reference
 
 
 
 
14
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
15
  El fin de la app es que describa una imagen por audio para personas invidentes, aunque la interfaz actual no sería compatible con el fin del proyecto.
 
11
  ---
12
 
13
  Check out the configuration reference at https://huggingface.co/docs/hub/spaces-config-reference
14
+ Problemática a solucionar:
15
+ Para las personas sin el sentido de la vista, resulta muy difícil poder usar los nuevos avances tecnológicos que se van logrando porque se usan de forma casi 100% visual.
16
+ Como un primer acercamiento a hacerlo menos visual, sería útil tener un sistema que describiera en audio las imágenes presentes. Así, usando el image captioning de Blip
17
+ en primer lugar, se crea la descripción, para pasar esta a audio con el modelo stable audio open 1.0 de Stability AI.
18
 
19
+ input - El input necesario es la url o ruta dónde se encuentre la imagen que se desea describir
20
+ output - La descripción de la imagen en audio, se recoge también la descripción en texto como una forma de control
21
+
22
+ Puntos débiles:
23
+ Actualmente la app sólo describe en inglés. Y la interfaz es visual, por lo que no sería aún la forma más ideal para la problemática que se pretende abordar.
24
+
25
+ Modelos usados:
26
+
27
+ stabilityai/stable-audio-open-1.0
28
+ El mayor problema encontrado ha sido conseguir enlazar el acceso al repositorio a la programación
29
+
30
+ Salesforce/blip-image-captioning-large
31
+
32
+ Descripción:
33
  El fin de la app es que describa una imagen por audio para personas invidentes, aunque la interfaz actual no sería compatible con el fin del proyecto.