Hugging Face's logo

Buckets:
illusion-brain
/
training-data

Files
xet
illusion-brain/training-data / README.md
redmingwei's picture
redmingwei
preview code
|
download
raw
14.4 kB
# 🧠 幻脑 · Illusion Brain — 训练数据库
> 面向「大模型人脑机制模拟」研究的多模态脑科学数据集仓库。
**总大小**: ~113 GB | **文件数**: 36,831+ | **资源**: 10 组数据集 + 7 个小模型
**维护**: [illusion-brain](https://huggingface.co/illusion-brain) 组织
---
## 📜 许可证
**数据集**
| 数据集 | 许可证 | 来源 |
|--------|--------|------|
| things-eeg | CC-BY 4.0 | [Haitao999/things-eeg](https://huggingface.co/datasets/Haitao999/things-eeg) |
| eeg-image-decode | CC-BY 4.0 | [LidongYang/EEG_Image_decode](https://huggingface.co/datasets/LidongYang/EEG_Image_decode) |
| algonauts-2025 | CC0 1.0 | [medarc/algonauts_2025.features](https://huggingface.co/datasets/medarc/algonauts_2025.features) |
| cinebrain | Apache-2.0 | [Fudan-fMRI/CineBrain](https://huggingface.co/datasets/Fudan-fMRI/CineBrain) |
| fmri-shape | Apache-2.0 | [Fudan-fMRI/fMRI-Shape](https://huggingface.co/datasets/Fudan-fMRI/fMRI-Shape) |
| steinmetz-spikes | CC-BY 4.0 | [mysteriousauthor/spikeprophecy-steinmetz](https://huggingface.co/datasets/mysteriousauthor/spikeprophecy-steinmetz) |
| flywire-connectome | CC-BY 4.0 | [SLOP011/flywire-fafb-connectome](https://huggingface.co/datasets/SLOP011/flywire-fafb-connectome) |
| benchmarks/sleep-staging | ODC-BY 1.0 | [wbxlala/sleep_edf_str](https://huggingface.co/datasets/wbxlala/sleep_edf_str) |
| benchmarks/seizure-detection | ODC-BY 1.0 | [JayF14/chb-mit-preprocessed-eeg](https://huggingface.co/datasets/JayF14/chb-mit-preprocessed-eeg) |
| benchmarks/motor-imagery | MIT | [graycatHCO3/BCICIV_2A_tensor](https://huggingface.co/datasets/graycatHCO3/BCICIV_2A_tensor) |
**模型**
| 模型 | 许可证 | 来源 |
|------|--------|------|
| models/mirepnet | MIT | [braindecode/mirepnet-pretrained](https://huggingface.co/braindecode/mirepnet-pretrained) |
| models/cbramod | BSD-3-Clause | [braindecode/cbramod-pretrained](https://huggingface.co/braindecode/cbramod-pretrained) |
| models/labram | BSD-3-Clause | [braindecode/labram-pretrained](https://huggingface.co/braindecode/labram-pretrained) |
| models/biot | BSD-3-Clause | [braindecode/biot-pretrained-six-datasets-18chs](https://huggingface.co/braindecode/biot-pretrained-six-datasets-18chs) |
| models/eegdino-small | BSD-3-Clause | [braindecode/eegdino-small-pretrained](https://huggingface.co/braindecode/eegdino-small-pretrained) |
| models/signal-jepa | MIT | [braindecode/signal-jepa](https://huggingface.co/braindecode/signal-jepa) |
| models/braintokenizer | MIT | [braindecode/braintokenizer-pretrained](https://huggingface.co/braindecode/braintokenizer-pretrained) |
除 algonauts-2025（CC0，无署名义务）外，其余资源发表时需署名引用。
署名信息与引用模板见 [`ATTRIBUTION.md`](ATTRIBUTION.md)。
---
## 📄 署名与许可文件
| 文件 | 说明 |
|------|------|
| [`ATTRIBUTION.md`](ATTRIBUTION.md) | 各数据集署名信息、许可证声明与修改说明 |
| [`LICENSES/`](LICENSES/) | 三种许可证全文（CC-BY 4.0 / CC0 1.0 / Apache-2.0）|
| 各数据集目录内 `ATTRIBUTION.txt` | 单数据集下载时的随附归属说明 |
---
## 📐 统一数据模型
所有数据集共享同一骨架：**刺激 ↔ 脑响应配对**
```
刺激侧 响应侧
THINGS-EEG: 静态图像 (16,540类) ↔ EEG (10被试 × 250Hz)
EEG-decode: ImageNet 图像 ↔ EEG (10被试)
Algonauts: 视频/音频/语言 ↔ 7T fMRI (大模型特征侧已提取)
CineBrain: 影视片段 (4s) ↔ fMRI + EEG + ECG (6被试)
fMRI-Shape: 3D物体旋转视频 ↔ fMRI (13被试)
Steinmetz: 行为任务 ↔ Neuropixels 尖峰 (小鼠)
FlyWire: — ↔ 果蝇全脑连接组 (结构)
```
**训练目标**: 学习 `刺激 → 脑响应` 的映射
**模拟目标**: 用大模型复现该映射，回答"模型内部表征是否类脑"
---
## 🗂️ 目录结构
```
training-data/
├── README.md # 本文档
│
├── eeg/ # ⚡ 脑电类
│ ├── things-eeg/ # THINGS-EEG 视觉识别 (CVPR 2025) 26.5 GB
│ └── eeg-image-decode/ # EEG 视觉重建 (NeurIPS 2024) 0.8 GB
│
├── fmri/ # 🧠 功能磁共振类
│ └── fmri-shape/ # fMRI→3D 重建 (MinD-3D++) 0.8 GB
│
├── multimodal/ # 🎬 多模态同步记录
│ └── cinebrain/ # 自然叙事 fMRI+EEG+ECG (CVPR 2026) 18.7 GB
│
├── spikes/ # ⚡ 神经电生理
│ └── steinmetz-spikes/ # Neuropixels 尖峰 (小鼠) 1.8 GB
│
├── connectome/ # 🪰 脑连接组
│ └── flywire-connectome/ # 果蝇全脑接线图 (139k神经元) 0.44 GB
│
├── model-features/ # 🤖 大模型特征（脑-模型对齐用）
│ └── algonauts-2025/ # 7 种大模型预提取特征 57.6 GB
│
└── benchmarks/ # 📏 小模型标准任务（分类/检测/解码）
├── sleep-staging/ # 睡眠分期 (Sleep-EDF) 0.3 GB
├── seizure-detection/ # 癫痫预兆检测 (CHB-MIT 特征) 3.9 GB
└── motor-imagery/ # 运动想象 (BCI IV-2a) 0.8 GB
└── models/ # 🐣 开源小模型检查点（配 benchmark 使用）
├── mirepnet/ # 运动想象专用 (5.1M) ~60 MB
├── cbramod/ # 通用 EEG (4.9M) ~59 MB
├── labram/ # 通用 EEG (5.8M) ~70 MB
├── biot/ # 通用 18ch (3.4M) ~41 MB
├── eegdino-small/ # DINO自蒸馏 (4.5M) ~52 MB
├── signal-jepa/ # JEPA自监督 (3.5M) ~40 MB
└── braintokenizer/ # EEG/MEG分词器 (6.1M) ~70 MB
```
---
## 📊 数据集详解
### 1. ⚡ eeg/things-eeg — THINGS-EEG（完整版）
**来源**: [Haitao999/things-eeg](https://huggingface.co/datasets/Haitao999/things-eeg) · CVPR 2025
**原始数据**: OSF 项目 3jk45（CC-BY 4.0）
**内容**: 10 名被试观看 16,540 类物体图像时的 EEG 响应
```
things-eeg/
├── Preprocessed_data_250Hz_whiten/ # 25 GB EEG 核心
│ ├── sub-01..10/
│ │ ├── train.pt (2.0 GB) # 训练集 EEG 张量
│ │ └── test.pt (485 MB) # 测试集 EEG 张量
│ └── ViT-B-32_features_*.pt # 预提取图像特征
├── Image_feature/
│ ├── DirectT/ # 直接呈现条件特征 (4文件)
│ └── FoveaBlur/ # 中央凹模糊条件特征 (4文件)
├── Image_set/ # 16,741 张原始刺激图像
│ └── training_images/00001_aardvark/aardvark_01b.jpg ...
└── Image_set_Resize/ # 16,741 张缩放版
```
**⚠️ 对齐规则**: EEG 张量第 N 条 ↔ 图像列表第 N 张（**按顺序对齐**，非文件名）
---
### 2. 👁️ eeg/eeg-image-decode — EEG 视觉解码
**来源**: [LidongYang/EEG_Image_decode](https://huggingface.co/datasets/LidongYang/EEG_Image_decode) · NeurIPS 2024
**论文**: Visual Decoding and Reconstruction via EEG Embeddings with Guided Diffusion
```
eeg-image-decode/
├── images_set.tar.gz # 742 MB - ImageNet 刺激图像
├── ViT-H-14_features_train.pt # 71 MB - CLIP 图像特征
└── ViT-H-14_features_test.pt # 1.6 MB
```
**特点**: 图像特征已用 ViT-H-14 预提取，可直接做特征空间对齐实验
---
### 3. 🤖 model-features/algonauts-2025 — 大模型特征库 ⭐
**来源**: [medarc/algonauts_2025.features](https://huggingface.co/datasets/medarc/algonauts_2025.features)
**许可**: CC0（CNeuroMod 数据开放共享）
**用途**: **脑-大模型对齐的标准特征底座**
```
algonauts-2025/
├── InternVL3_14B/ # 多模态大模型
├── internvl3_8b_8bit/ # 8bit 量化版
├── Llama-3.2-1B/ # 语言模型
├── Llama-3.2-3B/
├── qwen-2-5-omni-7b/ # 通义千问全模态
├── qwen2-5_3B/
├── vjepa2_avg_feat/ # 视频世界模型 (V-JEPA 2)
└── whisper/ # 语音模型
```
**价值**: 直接考察不同架构大模型的内部表征与脑响应的对齐程度
---
### 4. 🎬 multimodal/cinebrain — 自然叙事多模态
**来源**: [Fudan-fMRI/CineBrain](https://huggingface.co/datasets/Fudan-fMRI/CineBrain) · CVPR 2026
**内容**: 6 名被试观看《生活大爆炸》时的 fMRI + EEG + ECG 同步记录
```
cinebrain/
├── videos.tar # 2.4 GB - 8,100 个 4 秒视频片段
├── captions-qwen-2.5-vl-7b.json # 11 MB - AI 生成字幕
├── beh_data.zip # 行为数据
└── sub-0001/
├── EEG_preprocessed_data.tar # 11.1 GB (64通道, 1000Hz)
└── fMRI_preprocessed_data.tar # 3.8 GB (TR=0.8s)
```
**⚠️ 时间对齐**: `1 视频片段(4s) ↔ 5 个 EEG 段 ↔ 5 个 fMRI 采样`
---
### 5. 🧊 fmri/fmri-shape — fMRI→3D 重建
**来源**: [Fudan-fMRI/fMRI-Shape](https://huggingface.co/datasets/Fudan-fMRI/fMRI-Shape) · MinD-3D++
```
fmri-shape/
├── stimuli.zip # 777 MB - 3D 物体旋转视频 (每段192帧)
└── camera_pose.zip # 每帧相机位姿（3D 重建必需）
```
**特点**: 刺激带完整空间几何信息，瞄准"从脑信号重建 3D 结构"
---
### 6. ⚡ spikes/steinmetz-spikes — Neuropixels 尖峰
**来源**: [mysteriousauthor/spikeprophecy-steinmetz](https://huggingface.co/datasets/mysteriousauthor/spikeprophecy-steinmetz)
**来源论文**: Steinmetz 2019（小鼠决策任务 Neuropixels 记录）
```
steinmetz-spikes/
├── session_000.npy ... # 42个session，50ms分箱尖峰计数张量
├── metadata.json # 实验元数据（脑区/单元数/时长）
└── croissant.json # ML Croissant 元数据
```
**元数据示例**: 单 session 736 单元 / 54,053 bins / 45 分钟
**训练分割**: train ≤ 37,837 bins | val ≤ 45,944 bins
**对齐维度**: 从"宏观脑区"(fMRI/EEG) 下沉到"单神经元"(spikes)
---
### 7. 🪰 connectome/flywire-connectome — 果蝇全脑连接组
**来源**: [SLOP011/flywire-fafb-connectome](https://huggingface.co/datasets/SLOP011/flywire-fafb-connectome)
**内容**: 成年雌性果蝇完整接线图 —— **139,255 个神经元及全部突触连接**
```
flywire-connectome/
├── connections.parquet # 452 MB - 突触连接表（边）
├── nodes.parquet # 2.9 MB - 神经元表（点）
└── meta.json # 版本元数据
```
**用途**: GNN 图学习、结构-功能关系、类脑架构设计参考
---
### 8–10. 📏 benchmarks/ — 小模型标准任务
用于「小模型（EEGNet 等）vs 大模型」对比实验的标准任务数据。
三个任务覆盖生物信号的**分类 / 检测 / 解码**三种范式。
**sleep-staging** — 睡眠分期
```
sleep-staging/
├── train.csv # 220 MB 训练序列
└── test.csv # 75 MB 测试序列
```
格式：`sample,label`，每序列 40 个采样点；label = 睡眠阶段。
来源：Sleep-EDF Expanded（PhysioNet）。
**seizure-detection** — 癫痫预兆检测
```
seizure-detection/
├── chb01_labeled_features.csv ... chb10_labeled_features.csv
```
24 个病例 / 22 被试，347,075 个标注 epoch，590 特征/epoch，二分类。
来源：CHB-MIT Scalp EEG Database（PhysioNet）。仅限研究，非临床用途。
**motor-imagery** — 运动想象
```
motor-imagery/
├── bciciv_2a.pt # 416 MB PyTorch 张量
└── bciciv_2a_sub.pt # 416 MB（交叉验证划分版）
```
4 类运动想象（左手/右手/双脚/舌头），9 被试标准分割。
来源：BCI Competition IV Dataset 2a（Graz）。
---
### 11–17. 🐣 models/ — 开源小模型检查点
配合 benchmarks 使用的预训练小模型，用于「小模型 vs 大模型」对照实验。
全部来自 [braindecode](https://huggingface.co/braindecode) 官方组织转换版本，
均可通过 `pip install braindecode[hub]` 加载：
```python
from braindecode.models import CBraMod
model = CBraMod.from_pretrained("illusion-brain/training-data/models/cbramod", ...)
```
| 模型 | 参数 | 架构 | 许可 | 论文 |
|------|------|------|------|------|
| **MIRepNet** | 5.1M | MI 专用混合架构 | MIT | Knowledge-Based Systems 2026 |
| **CBraMod** | 4.9M | Criss-Cross Transformer | BSD-3 | ICLR 2025（浙大+阿里）|
| **LaBraM** | 5.8M | 向量量化 + Transformer | BSD-3 | ICLR 2024（清华）|
| **BIOT** | 3.4M | Biosignal Transformer | BSD-3 | NeurIPS 2023（UIUC）|
| **EEG-DINO-small** | 4.5M | DINO-v2 自蒸馏 | BSD-3 | MICCAI 2025 |
| **Signal-JEPA** | 3.5M | JEPA 自监督 | MIT | arXiv:2403.11772 |
| **BrainTokenizer** | 6.1M | VQ-VAE（EEG/MEG）| MIT | NeurIPS 2025（BrainOmni）|
**配套关系**：
| benchmark | 推荐模型 |
|-----------|---------|
| motor-imagery | MIRepNet + CBraMod + LaBraM + Signal-JEPA |
| sleep-staging | CBraMod + LaBraM + BIOT + EEG-DINO |
| seizure-detection | CBraMod + BIOT + EEG-DINO |
---
## 🎯 研究问题 → 数据映射
| 研究问题 | 推荐数据集 |
|---------|-----------|
| 视觉概念如何编码 | eeg/things-eeg, eeg/eeg-image-decode |
| 时间动态（毫秒级） | multimodal/cinebrain (EEG), eeg/things-eeg |
| 空间定位（体素级） | multimodal/cinebrain (fMRI), fmri/fmri-shape |
| 自然场景理解 | multimodal/cinebrain（叙事视频）|
| 3D 空间认知 | fmri/fmri-shape |
| 跨模态转换 | multimodal/cinebrain (EEG↔fMRI) |
| **大模型-大脑对齐** | **model-features/algonauts-2025** ⭐ |
| 单神经元动力学 | spikes/steinmetz-spikes |
| 类脑架构设计 | connectome/flywire-connectome |
| 小模型基线（分类/检测/解码）| benchmarks/sleep-staging, benchmarks/seizure-detection, benchmarks/motor-imagery |
---
*最后更新: 2026-10-16 · 由幻脑组织维护*

Xet Storage Details

Size:
14.4 kB
·
Xet hash:
ca0e6be7bb8ffa88e8d9a5c3891c5a6e75de95f57cd481e298216b6ff3844626

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.