Spaces:
Sleeping
Sleeping
| title: SignView2.0 - 手語辨識系統 | |
| emoji: 🤟 | |
| colorFrom: blue | |
| colorTo: green | |
| sdk: gradio | |
| sdk_version: 4.44.0 | |
| app_file: app.py | |
| pinned: false | |
| license: mit | |
| duplicated_from: XiaoBai1221/SignView2.0 | |
| models: | |
| - pytorch | |
| tags: | |
| - sign-language | |
| - computer-vision | |
| - mediapipe | |
| - deep-learning | |
| - lstm | |
| - attention | |
| - real-time | |
| - gesture-recognition | |
| short_description: 支援34種手語詞彙的即時辨識系統，使用 MediaPipe + LSTM + 注意力機制 | |
| # SignView2.0 - 手語辨識系統 | |
| 一個先進的手語辨識系統，能夠即時辨識34種常用手語詞彙。 | |
| ## ✨ 主要功能 | |
| - **即時辨識**：支援攝像頭即時手語辨識 | |
| - **高準確率**：測試準確率達94.25% | |
| - **背景分割**：使用 MediaPipe Segmentation 去除背景干擾 | |
| - **智能辨識**：支援即時連續手語辨識 | |
| - **Top-3預測**：顯示最可能的3個預測結果 | |
| ## 🎯 支援詞彙 | |
| 包含34個常用手語詞彙：again, all, apple, bad, bathroom, beautiful, bird, black, blue, book, bored, boy, brother, brown, but, computer, cousin, dance, day, deaf, doctor, dog, draw, drink, eat, english, family, father, fine, finish, fish, forget, friend, girl | |
| ## 🔧 技術特色 | |
| - **MediaPipe Holistic**：準確的手部和身體關鍵點檢測 | |
| - **光流特徵**：即時捕捉動作的時序信息 | |
| - **雙向LSTM + GRU**：深度時序建模 | |
| - **多頭注意力**：關注重要的動作特徵 | |
| - **人體分割**：自動去除背景噪聲 | |
| - **即時處理**：30 FPS 高速處理 | |
| ## 🚀 使用方式 | |
| 1. 點擊允許攝像頭權限 | |
| 2. 在攝像頭前做手語動作 | |
| 3. 系統會即時顯示辨識結果 | |
| 4. 點擊「清除預測序列」重新開始 | |
| ## 📊 性能指標 | |
| - **測試準確率**：94.25% | |
| - **F1分數**：94.24% | |
| - **支援類別**：34個手語詞彙 | |
| - **處理速度**：30 FPS | |
| - **模型大小**：68MB | |
| ## 🏗️ 技術架構 | |
| - **前端**：Gradio Web 界面 | |
| - **後端**：PyTorch 深度學習模型 | |
| - **特徵提取**：MediaPipe + 光流計算 | |
| - **模型架構**：BiLSTM + GRU + Multi-Head Attention | |
| - **資料處理**：即時關鍵點檢測和序列處理 | |
| ## 📝 使用說明 | |
| 這個系統專為手語學習和實用而設計，支援： | |
| - 即時手語動作辨識 | |
| - 高準確率預測 | |
| - 友好的用戶界面 | |
| - 適合教學和練習使用 | |
| ## 🔗 相關連結 | |
| - **開發者**：XiaoBai1221 | |
| - **平台**：Hugging Face Spaces | |
| - **框架**：Gradio + PyTorch + MediaPipe | |