Create README.md

README.md

@@ -0,0 +1,99 @@
+---
+pipeline_tag: image-classification
+---
+
+# SpellNetLIBRAS
+
+SpellNetLIBRAS é um modelo de classificação de letras em Língua Brasileira de Sinais (LIBRAS), treinado com redes neurais convolucionais (CNNs), com foco em reconhecimento de fingerspelling em tempo real. O modelo faz parte da plataforma interativa SpellNet, que permite ao usuário praticar soletração em LIBRAS ou ASL por meio da webcam, com feedback instantâneo. Seu principal objetivo é promover acessibilidade e inclusão no ensino de línguas de sinais.
+
+## Detalhes do Modelo
+
+### Descrição
+
+* **Desenvolvido por:** [Cecilia Sedenho](https://br.linkedin.com/in/cec%C3%ADlia-nunes-sedenho-305059255/pt), [João Pedro Viguini](https://br.linkedin.com/in/jo%C3%A3o-pedro-viguini-1829281bb), [Daniel Carvalho](https://br.linkedin.com/in/daniel-carvalho-aba61717a), [Bernardo Marques](https://br.linkedin.com/in/bernardo-marques-costa), [Gabriel Iamato](https://br.linkedin.com/in/gabriel-campanelli-iamato), [Matheus Vicente](https://br.linkedin.com/in/matheushrv)
+* **Patrocinado por:** [SignLink](https://br.linkedin.com/company/sign-link-project)
+* **Tipo do modelo:** Classificador de imagem baseado em CNN (MobileNet via *feature extraction*)
+* **Modelo base:** MobileNet
+* **Correspondência:** [raia.projetos@gmail.com](mailto:raia.projetos@gmail.com), [ceciliasedenho@gmail.com](mailto:ceciliasedenho@gmail.com)
+
+### Fontes
+
+* **Repositório:** [https://github.com/gruporaia/SpellNet](https://github.com/gruporaia/SpellNet)
+* **Demo:** [Vídeo no YouTube](https://youtu.be/rYjGjfw7ID8)
+
+## Usos
+
+O modelo é destinado ao uso em aplicações de ensino e prática de fingerspelling em LIBRAS. Os usuários interagem com a aplicação por meio de webcam, recebendo feedback letra por letra conforme tentam soletrar palavras. Pode ser usado por:
+
+* Estudantes de LIBRAS;
+* Instrutores e intérpretes;
+* Pesquisadores em acessibilidade e visão computacional;
+* Desenvolvedores de aplicações educacionais.
+
+## Viéses, Riscos e Limitações
+
+* **Vieses nos dados de treinamento:** Como os dados foram coletados por membros da equipe via webcam, há risco de viés relacionado à aparência das mãos, fundo, iluminação e estilo de gesticulação.
+* **Contextos inadequados:** O modelo não é adequado para reconhecimento de gestos contínuos ou palavras com sinais únicos (sem soletração).
+
+## Como Usar
+
+```python
+# Available backend options are: "jax", "torch", "tensorflow".
+import os
+os.environ["KERAS_BACKEND"] = "torch"
+	
+import keras
+
+model = keras.saving.load_model("hf://RAIA-BRASIL/spellnet_libras")
+```
+
+## Detalhes do treinamento
+
+### Dados de Treino
+
+* Dados autorais capturados via webcam com \~3.700 imagens por classe para LIBRAS (gestos estáticos de letras).
+
+### Procedimento
+
+#### Pré-processamento
+
+* Redimensionamento para 224x224 px
+* Extração de landmarks com MediaPipe Hands
+* Data augmentation: rotação, variações de cor, *salt and pepper noise*
+
+#### Hiperparâmetros
+
+\[More Information Needed]
+
+### Infraestrutura computacional
+
+#### Hardware
+
+* 1x GPU (L4)
+* Treinamento feito localmente com validação cruzada estratificada por intérprete
+
+#### Software
+
+* Python, TensorFlow/Keras, OpenCV, MediaPipe, Docker, Streamlit
+
+## Avaliação
+
+### Dados de Teste & Métricas
+
+#### Dados de Teste
+
+* Conjunto separado por intérprete (cross-validation estratificada)
+
+#### Métricas
+
+* Acurácia
+
+### Resultados
+
+| Tarefa                         | Dataset         | Métrica  | Resultado |
+| ------------------------------ | --------------- | -------- | --------- |
+| Classificação de letras LIBRAS | Dataset autoral | Acurácia | 90%       |
+
+## Agradecimentos
+
+Agradecimentos aos membros da RAIA e à equipe da SignLink, cuja colaboração foi essencial para o sucesso deste projeto.