README.md

metadata

title: SignView2.0 - 手語辨識系統
emoji: 🤟
colorFrom: blue
colorTo: green
sdk: gradio
sdk_version: 4.44.0
app_file: app.py
pinned: false
license: mit
duplicated_from: XiaoBai1221/SignView2.0
models:
  - pytorch
tags:
  - sign-language
  - computer-vision
  - mediapipe
  - deep-learning
  - lstm
  - attention
  - real-time
  - gesture-recognition
short_description: 支援34種手語詞彙的即時辨識系統，使用 MediaPipe + LSTM + 注意力機制

SignView2.0 - 手語辨識系統

一個先進的手語辨識系統，能夠即時辨識34種常用手語詞彙。

✨ 主要功能

• 即時辨識：支援攝像頭即時手語辨識
• 高準確率：測試準確率達94.25%
• 背景分割：使用 MediaPipe Segmentation 去除背景干擾
• 智能辨識：支援即時連續手語辨識
• Top-3預測：顯示最可能的3個預測結果

🎯 支援詞彙

包含34個常用手語詞彙：again, all, apple, bad, bathroom, beautiful, bird, black, blue, book, bored, boy, brother, brown, but, computer, cousin, dance, day, deaf, doctor, dog, draw, drink, eat, english, family, father, fine, finish, fish, forget, friend, girl

🔧 技術特色

• MediaPipe Holistic：準確的手部和身體關鍵點檢測
• 光流特徵：即時捕捉動作的時序信息
• 雙向LSTM + GRU：深度時序建模
• 多頭注意力：關注重要的動作特徵
• 人體分割：自動去除背景噪聲
• 即時處理：30 FPS 高速處理

🚀 使用方式

1. 點擊允許攝像頭權限
2. 在攝像頭前做手語動作
3. 系統會即時顯示辨識結果
4. 點擊「清除預測序列」重新開始

📊 性能指標

• 測試準確率：94.25%
• F1分數：94.24%
• 支援類別：34個手語詞彙
• 處理速度：30 FPS
• 模型大小：68MB

🏗️ 技術架構

• 前端：Gradio Web 界面
• 後端：PyTorch 深度學習模型
• 特徵提取：MediaPipe + 光流計算
• 模型架構：BiLSTM + GRU + Multi-Head Attention
• 資料處理：即時關鍵點檢測和序列處理

📝 使用說明

這個系統專為手語學習和實用而設計，支援：

• 即時手語動作辨識
• 高準確率預測
• 友好的用戶界面
• 適合教學和練習使用

🔗 相關連結

• 開發者：XiaoBai1221
• 平台：Hugging Face Spaces
• 框架：Gradio + PyTorch + MediaPipe