PROJETOS-RAIA commited on
Commit
efaf897
·
verified ·
1 Parent(s): 794be7a

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +97 -1
README.md CHANGED
@@ -1,3 +1,99 @@
1
  ---
2
  pipeline_tag: image-classification
3
- ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
  ---
2
  pipeline_tag: image-classification
3
+ ---
4
+ # SpellNetASL
5
+
6
+ SpellNetASL é um modelo de classificação de letras em American Sign Language (ASL), treinado com redes neurais convolucionais (CNNs), com foco em reconhecimento de fingerspelling em tempo real. O modelo faz parte da plataforma interativa SpellNet, que permite ao usuário praticar soletração em LIBRAS ou ASL por meio da webcam, com feedback instantâneo. Seu principal objetivo é promover acessibilidade e inclusão no ensino de línguas de sinais.
7
+
8
+ ## Detalhes do Modelo
9
+
10
+ ### Descrição
11
+
12
+ * **Desenvolvido por:** [Cecilia Sedenho](https://br.linkedin.com/in/cec%C3%ADlia-nunes-sedenho-305059255/pt), [João Pedro Viguini](https://br.linkedin.com/in/jo%C3%A3o-pedro-viguini-1829281bb), [Daniel Carvalho](https://br.linkedin.com/in/daniel-carvalho-aba61717a), [Bernardo Marques](https://br.linkedin.com/in/bernardo-marques-costa), [Gabriel Iamato](https://br.linkedin.com/in/gabriel-campanelli-iamato), [Matheus Vicente](https://br.linkedin.com/in/matheushrv)
13
+ * **Patrocinado por:** [SignLink](https://br.linkedin.com/company/sign-link-project)
14
+ * **Tipo do modelo:** Classificador de imagem baseado em CNN (MobileNet via *feature extraction*)
15
+ * **Modelo base:** MobileNet
16
+ * **Correspondência:** [raia.projetos@gmail.com](mailto:raia.projetos@gmail.com), [ceciliasedenho@gmail.com](mailto:ceciliasedenho@gmail.com)
17
+
18
+ ### Fontes
19
+
20
+ * **Repositório:** [https://github.com/gruporaia/SpellNet](https://github.com/gruporaia/SpellNet)
21
+ * **Demo:** [Vídeo no YouTube](https://youtu.be/rYjGjfw7ID8)
22
+
23
+ ## Usos
24
+
25
+ O modelo é destinado ao uso em aplicações de ensino e prática de fingerspelling em ASL. Os usuários interagem com a aplicação por meio de webcam, recebendo feedback letra por letra conforme tentam soletrar palavras. Pode ser usado por:
26
+
27
+ * Estudantes de ASL;
28
+ * Instrutores e intérpretes;
29
+ * Pesquisadores em acessibilidade e visão computacional;
30
+ * Desenvolvedores de aplicações educacionais.
31
+
32
+ ## Viéses, Riscos e Limitações
33
+
34
+ * **Vieses nos dados de treinamento:** Como os dados foram coletados por membros da equipe via webcam, há risco de viés relacionado à aparência das mãos, fundo, iluminação e estilo de gesticulação.
35
+ * **Contextos inadequados:** O modelo não é adequado para reconhecimento de gestos contínuos ou palavras com sinais únicos (sem soletração).
36
+
37
+ ## Como Usar
38
+
39
+ ```python
40
+ # Available backend options are: "jax", "torch", "tensorflow".
41
+ import os
42
+ os.environ["KERAS_BACKEND"] = "torch"
43
+
44
+ import keras
45
+
46
+ model = keras.saving.load_model("hf://RAIA-BRASIL/spellnet_asl")
47
+ ```
48
+
49
+ ## Detalhes do treinamento
50
+
51
+ ### Dados de Treino
52
+
53
+ * Dados autorais capturados via webcam com \~5.000 imagens por classe para ASL (gestos estáticos de letras).
54
+
55
+ ### Procedimento
56
+
57
+ #### Pré-processamento
58
+
59
+ * Redimensionamento para 224x224 px
60
+ * Extração de landmarks com MediaPipe Hands
61
+ * Data augmentation: rotação, variações de cor, *salt and pepper noise*
62
+
63
+ #### Hiperparâmetros
64
+
65
+ \[More Information Needed]
66
+
67
+ ### Infraestrutura computacional
68
+
69
+ #### Hardware
70
+
71
+ * 1x GPU (L4)
72
+ * Treinamento feito localmente com validação cruzada estratificada por intérprete
73
+
74
+ #### Software
75
+
76
+ * Python, TensorFlow/Keras, OpenCV, MediaPipe, Docker, Streamlit
77
+
78
+ ## Avaliação
79
+
80
+ ### Dados de Teste & Métricas
81
+
82
+ #### Dados de Teste
83
+
84
+ * Conjunto separado por intérprete (cross-validation estratificada)
85
+
86
+ #### Métricas
87
+
88
+ * Acurácia
89
+
90
+ ### Resultados
91
+
92
+ | Tarefa | Dataset | Métrica | Resultado |
93
+ | --------------------------- | --------------- | -------- | --------- |
94
+ | Classificação de letras ASL | Dataset autoral | Acurácia | 79% |
95
+
96
+
97
+ ## Agradecimentos
98
+
99
+ Agradecimentos aos membros da RAIA e à equipe da SignLink, cuja colaboração foi essencial para o sucesso deste projeto.