Spaces:
Sleeping
Sleeping
| title: ASD Multi-Agent Analyzer (群智 · 独孤九鉴) | |
| emoji: 🧠 | |
| colorFrom: blue | |
| colorTo: purple | |
| sdk: gradio | |
| sdk_version: 6.9.0 | |
| python_version: 3.11 | |
| app_file: app_web.py | |
| pinned: false | |
| short_description: 对儿童在社交、言语、表情及精细动作等多个维度的行为进行非侵入式自动采集与定量分析，为临床医生提供具有高度可解释性的辅助报 | |
| # 🧠 ASD Multi-Agent Analyzer: 群智 · 独孤九鉴 | |
| ### 🚀 全场景、多模态、医学级孤独症（ASD）辅助筛查与评估系统 | |
| [](http://www.zju.edu.cn) | |
| []() | |
| []() | |
| > **"九鉴归一，智鉴独孤"：** | |
| > 本项目致力于利用 **Multi-Agent (多智能体)** 架构，对儿童在社交、言语、表情及精细动作等多个维度的行为进行非侵入式自动采集与定量分析，为临床医生提供具有高度可解释性的辅助报告。 | |
| ## 👤 作者信息 (Author) | |
| **关智友 (Zhiyou Guan / Nx_Neuralon)** | |
| * **身份**: 浙江大学 人机系统实验室 (ZJU HMS Lab) 研究成员 | |
| * **研究方向**: 自动化 / 机器人 / 医疗辅助视觉 | |
| * **联系方式**: [zhiyouguan@yeah.net] | |
| ## 📍 实验室概况 | |
| **琚兆杰教授** 浙江大学求是特聘教授，国家高层次人才，生物医学工程系主任 | |
| **浙江大学人机系统实验室** 专注于研究人机智能系统之间的交互机制。本项目依托实验室在生理信号处理、计算机视觉及机器人控制领域的深厚积淀。 | |
| --- | |
| ## 🛠️ 系统架构：独孤九鉴 (The Nine Intelligence Blades) | |
| 系统由 9 个相互独立且并行处理的 **智能代理 (Agents)** 组成，模拟多专家协同诊断（Consensus Diagnosis）流程： | |
| ### 1. 核心感知层 (Perception Layer) | |
| * **🗡️ 影鉴 (Visual Agent)**: 实时捕捉人体动作、面部微表情、瞳孔注视点（Gaze Tracking）及共同注意（Joint Attention）缺失。 | |
| * **🗡️ 韵鉴 (Acoustic Agent)**: 针对语音韵律（Prosody）、发声异常及情感强度进行高维特征提取。 | |
| * **🗡️ 文鉴 (NLP Agent)**: 自动化处理病历文档、量表分值（如 ADOS-2, ADI-R）并将其结构化。 | |
| ### 2. 认知与决策层 (Cognition Layer) | |
| * **🗡️ 智鉴 (RAG Agent)**: 挂载医学权威数据库。所有诊断意见均通过 **显式 RAG** 追溯至 DSM-5 专业医学书籍。 | |
| * **🗡️ 联鉴 (Fusion Agent)**: 基于张量融合技术，解决跨模态数据的时序对齐与冲突处理。 | |
| * **🗡️ 策鉴 (Strategy Agent)**: 动态调整筛查任务流，根据初步表现智能决定是否开启深层诱导测试。 | |
| ### 3. 生成与交互层 (Generation Layer) | |
| * **🗡️ 报鉴 (Report Agent)**: 自动化生成符合工业标准的 PDF 报告，包含雷达图、趋势分析及医学建议。 | |
| * **🗡️ 悟鉴 (Reflection Agent)**: 系统的“元认知”模块。对其他 Agent 的决策进行内部讨论与一致性校验。 | |
| * **🗡️ 鉴空 (UI/UX Agent)**: 驱动 Gradio 4.44.0 的优雅交互逻辑，确保临床操作的高效与直观。 | |
| --- | |
| ## ✨ 项目亮点 (Highlights) | |
| * **医用级精度 (Industrial-Grade Precision)**：视觉算法针对临床环境光照进行了鲁棒性增强，DenseNet-161 核心确保特征提取的稳定性。 | |
| * **群智涌现 (Emergent Intelligence)**：多个弱智能体（Weak Agents）通过协作产生强诊断能力，有效降低单一模型误报率。 | |
| * **透明化逻辑 (Explainability)**：拒绝黑盒模型。系统不仅给出结果，还会标注：*“由于在第 45 秒检测到视线回避，故风险权重增加...”*。 | |
| * **国产化适配**：针对中文语境下的发音习惯与表意特征进行了深度微调。 | |
| --- | |
| ## 🚀 技术栈 (Tech Stack) | |
| - **框架**: Python 3.10+ / LangGraph (Multi-Agent Routing) | |
| - **视觉**: MediaPipe / DenseNet-161 (Fine-tuned on ASD Datasets) | |
| - **推理**: ONNX Runtime / TensorRT (GPU 动态优化) | |
| - **前端**: Gradio 6.9.0 (Custom CSS for Clinical Aesthetic) | |
| - ...... | |
| --- | |