---
pipeline_tag: image-classification
---
# SpellNetASL

SpellNetASL é um modelo de classificação de letras em American Sign Language (ASL), treinado com redes neurais convolucionais (CNNs), com foco em reconhecimento de fingerspelling em tempo real. O modelo faz parte da plataforma interativa SpellNet, que permite ao usuário praticar soletração em LIBRAS ou ASL por meio da webcam, com feedback instantâneo. Seu principal objetivo é promover acessibilidade e inclusão no ensino de línguas de sinais.

## Detalhes do Modelo

### Descrição

* **Desenvolvido por:** [Cecilia Sedenho](https://br.linkedin.com/in/cec%C3%ADlia-nunes-sedenho-305059255/pt), [João Pedro Viguini](https://br.linkedin.com/in/jo%C3%A3o-pedro-viguini-1829281bb), [Daniel Carvalho](https://br.linkedin.com/in/daniel-carvalho-aba61717a), [Bernardo Marques](https://br.linkedin.com/in/bernardo-marques-costa), [Gabriel Iamato](https://br.linkedin.com/in/gabriel-campanelli-iamato), [Matheus Vicente](https://br.linkedin.com/in/matheushrv)
* **Patrocinado por:** [SignLink](https://br.linkedin.com/company/sign-link-project)
* **Tipo do modelo:** Classificador de imagem baseado em CNN (MobileNet via *feature extraction*)
* **Modelo base:** MobileNet
* **Correspondência:** [raia.projetos@gmail.com](mailto:raia.projetos@gmail.com), [ceciliasedenho@gmail.com](mailto:ceciliasedenho@gmail.com)

### Fontes

* **Repositório:** [https://github.com/gruporaia/SpellNet](https://github.com/gruporaia/SpellNet)
* **Demo:** [Vídeo no YouTube](https://youtu.be/rYjGjfw7ID8)

## Usos

O modelo é destinado ao uso em aplicações de ensino e prática de fingerspelling em ASL. Os usuários interagem com a aplicação por meio de webcam, recebendo feedback letra por letra conforme tentam soletrar palavras. Pode ser usado por:

* Estudantes de ASL;
* Instrutores e intérpretes;
* Pesquisadores em acessibilidade e visão computacional;
* Desenvolvedores de aplicações educacionais.

## Viéses, Riscos e Limitações

* **Vieses nos dados de treinamento:** Como os dados foram coletados por membros da equipe via webcam, há risco de viés relacionado à aparência das mãos, fundo, iluminação e estilo de gesticulação.
* **Contextos inadequados:** O modelo não é adequado para reconhecimento de gestos contínuos ou palavras com sinais únicos (sem soletração).

## Como Usar

```python
# Available backend options are: "jax", "torch", "tensorflow".
import os
os.environ["KERAS_BACKEND"] = "torch"
	
import keras

model = keras.saving.load_model("hf://RAIA-BRASIL/spellnet_asl")
```

## Detalhes do treinamento

### Dados de Treino

* Dados autorais capturados via webcam com \~5.000 imagens por classe para ASL (gestos estáticos de letras).

### Procedimento

#### Pré-processamento

* Redimensionamento para 224x224 px
* Extração de landmarks com MediaPipe Hands
* Data augmentation: rotação, variações de cor, *salt and pepper noise*

#### Hiperparâmetros

\[More Information Needed]

### Infraestrutura computacional

#### Hardware

* 1x GPU (L4)
* Treinamento feito localmente com validação cruzada estratificada por intérprete

#### Software

* Python, TensorFlow/Keras, OpenCV, MediaPipe, Docker, Streamlit

## Avaliação

### Dados de Teste & Métricas

#### Dados de Teste

* Conjunto separado por intérprete (cross-validation estratificada)

#### Métricas

* Acurácia

### Resultados

| Tarefa                      | Dataset         | Métrica  | Resultado |
| --------------------------- | --------------- | -------- | --------- |
| Classificação de letras ASL | Dataset autoral | Acurácia | 79%       |


## Agradecimentos

Agradecimentos aos membros da RAIA e à equipe da SignLink, cuja colaboração foi essencial para o sucesso deste projeto.