README.md

🧠 幻脑 · Illusion Brain — 训练数据库

面向「大模型人脑机制模拟」研究的多模态脑科学数据集仓库。

总大小: ~113 GB | 文件数: 36,831+ | 资源: 10 组数据集 + 7 个小模型 维护: illusion-brain 组织

---

📜 许可证

数据集

数据集	许可证	来源
things-eeg	CC-BY 4.0	Haitao999/things-eeg
eeg-image-decode	CC-BY 4.0	LidongYang/EEG_Image_decode
algonauts-2025	CC0 1.0	medarc/algonauts_2025.features
cinebrain	Apache-2.0	Fudan-fMRI/CineBrain
fmri-shape	Apache-2.0	Fudan-fMRI/fMRI-Shape
steinmetz-spikes	CC-BY 4.0	mysteriousauthor/spikeprophecy-steinmetz
flywire-connectome	CC-BY 4.0	SLOP011/flywire-fafb-connectome
benchmarks/sleep-staging	ODC-BY 1.0	wbxlala/sleep_edf_str
benchmarks/seizure-detection	ODC-BY 1.0	JayF14/chb-mit-preprocessed-eeg
benchmarks/motor-imagery	MIT	graycatHCO3/BCICIV_2A_tensor

模型

模型	许可证	来源
models/mirepnet	MIT	braindecode/mirepnet-pretrained
models/cbramod	BSD-3-Clause	braindecode/cbramod-pretrained
models/labram	BSD-3-Clause	braindecode/labram-pretrained
models/biot	BSD-3-Clause	braindecode/biot-pretrained-six-datasets-18chs
models/eegdino-small	BSD-3-Clause	braindecode/eegdino-small-pretrained
models/signal-jepa	MIT	braindecode/signal-jepa
models/braintokenizer	MIT	braindecode/braintokenizer-pretrained

除 algonauts-2025（CC0，无署名义务）外，其余资源发表时需署名引用。 署名信息与引用模板见 ATTRIBUTION.md。

---

📄 署名与许可文件

文件	说明
ATTRIBUTION.md	各数据集署名信息、许可证声明与修改说明
LICENSES/	三种许可证全文（CC-BY 4.0 / CC0 1.0 / Apache-2.0）
各数据集目录内 ATTRIBUTION.txt	单数据集下载时的随附归属说明

---

📐 统一数据模型

所有数据集共享同一骨架：刺激 ↔ 脑响应配对

                 刺激侧                        响应侧
THINGS-EEG:     静态图像 (16,540类)     ↔    EEG (10被试 × 250Hz)
EEG-decode:     ImageNet 图像           ↔    EEG (10被试)
Algonauts:      视频/音频/语言           ↔    7T fMRI (大模型特征侧已提取)
CineBrain:      影视片段 (4s)           ↔    fMRI + EEG + ECG (6被试)
fMRI-Shape:     3D物体旋转视频          ↔    fMRI (13被试)
Steinmetz:      行为任务                ↔    Neuropixels 尖峰 (小鼠)
FlyWire:        —                       ↔    果蝇全脑连接组 (结构)

训练目标: 学习 刺激 → 脑响应 的映射 模拟目标: 用大模型复现该映射，回答"模型内部表征是否类脑"

---

🗂️ 目录结构

training-data/
├── README.md                    # 本文档
│
├── eeg/                         # ⚡ 脑电类
│   ├── things-eeg/              # THINGS-EEG 视觉识别 (CVPR 2025)   26.5 GB
│   └── eeg-image-decode/        # EEG 视觉重建 (NeurIPS 2024)       0.8 GB
│
├── fmri/                        # 🧠 功能磁共振类
│   └── fmri-shape/              # fMRI→3D 重建 (MinD-3D++)          0.8 GB
│
├── multimodal/                  # 🎬 多模态同步记录
│   └── cinebrain/               # 自然叙事 fMRI+EEG+ECG (CVPR 2026)  18.7 GB
│
├── spikes/                      # ⚡ 神经电生理
│   └── steinmetz-spikes/        # Neuropixels 尖峰 (小鼠)            1.8 GB
│
├── connectome/                  # 🪰 脑连接组
│   └── flywire-connectome/      # 果蝇全脑接线图 (139k神经元)         0.44 GB
│
├── model-features/              # 🤖 大模型特征（脑-模型对齐用）
│   └── algonauts-2025/          # 7 种大模型预提取特征               57.6 GB
│
└── benchmarks/                  # 📏 小模型标准任务（分类/检测/解码）
    ├── sleep-staging/           # 睡眠分期 (Sleep-EDF)               0.3 GB
    ├── seizure-detection/       # 癫痫预兆检测 (CHB-MIT 特征)        3.9 GB
    └── motor-imagery/           # 运动想象 (BCI IV-2a)               0.8 GB

└── models/                      # 🐣 开源小模型检查点（配 benchmark 使用）
    ├── mirepnet/                # 运动想象专用 (5.1M)                ~60 MB
    ├── cbramod/                 # 通用 EEG (4.9M)                    ~59 MB
    ├── labram/                  # 通用 EEG (5.8M)                    ~70 MB
    ├── biot/                    # 通用 18ch (3.4M)                   ~41 MB
    ├── eegdino-small/           # DINO自蒸馏 (4.5M)                  ~52 MB
    ├── signal-jepa/             # JEPA自监督 (3.5M)                  ~40 MB
    └── braintokenizer/          # EEG/MEG分词器 (6.1M)               ~70 MB

---

📊 数据集详解

1. ⚡ eeg/things-eeg — THINGS-EEG（完整版）

来源: Haitao999/things-eeg · CVPR 2025
原始数据: OSF 项目 3jk45（CC-BY 4.0）
内容: 10 名被试观看 16,540 类物体图像时的 EEG 响应

things-eeg/
├── Preprocessed_data_250Hz_whiten/     # 25 GB EEG 核心
│   ├── sub-01..10/
│   │   ├── train.pt   (2.0 GB)   # 训练集 EEG 张量
│   │   └── test.pt    (485 MB)   # 测试集 EEG 张量
│   └── ViT-B-32_features_*.pt        # 预提取图像特征
├── Image_feature/
│   ├── DirectT/       # 直接呈现条件特征 (4文件)
│   └── FoveaBlur/     # 中央凹模糊条件特征 (4文件)
├── Image_set/         # 16,741 张原始刺激图像
│   └── training_images/00001_aardvark/aardvark_01b.jpg ...
└── Image_set_Resize/  # 16,741 张缩放版

⚠️ 对齐规则: EEG 张量第 N 条 ↔ 图像列表第 N 张（按顺序对齐，非文件名）

---

2. 👁️ eeg/eeg-image-decode — EEG 视觉解码

来源: LidongYang/EEG_Image_decode · NeurIPS 2024
论文: Visual Decoding and Reconstruction via EEG Embeddings with Guided Diffusion

eeg-image-decode/
├── images_set.tar.gz           # 742 MB - ImageNet 刺激图像
├── ViT-H-14_features_train.pt  # 71 MB - CLIP 图像特征
└── ViT-H-14_features_test.pt   # 1.6 MB

特点: 图像特征已用 ViT-H-14 预提取，可直接做特征空间对齐实验

---

3. 🤖 model-features/algonauts-2025 — 大模型特征库 ⭐

来源: medarc/algonauts_2025.features
许可: CC0（CNeuroMod 数据开放共享）
用途: 脑-大模型对齐的标准特征底座

algonauts-2025/
├── InternVL3_14B/       # 多模态大模型
├── internvl3_8b_8bit/   # 8bit 量化版
├── Llama-3.2-1B/        # 语言模型
├── Llama-3.2-3B/
├── qwen-2-5-omni-7b/    # 通义千问全模态
├── qwen2-5_3B/
├── vjepa2_avg_feat/     # 视频世界模型 (V-JEPA 2)
└── whisper/             # 语音模型

价值: 直接考察不同架构大模型的内部表征与脑响应的对齐程度

---

4. 🎬 multimodal/cinebrain — 自然叙事多模态

来源: Fudan-fMRI/CineBrain · CVPR 2026
内容: 6 名被试观看《生活大爆炸》时的 fMRI + EEG + ECG 同步记录

cinebrain/
├── videos.tar                    # 2.4 GB - 8,100 个 4 秒视频片段
├── captions-qwen-2.5-vl-7b.json  # 11 MB - AI 生成字幕
├── beh_data.zip                  # 行为数据
└── sub-0001/
    ├── EEG_preprocessed_data.tar   # 11.1 GB (64通道, 1000Hz)
    └── fMRI_preprocessed_data.tar  # 3.8 GB (TR=0.8s)

⚠️ 时间对齐: 1 视频片段(4s) ↔ 5 个 EEG 段 ↔ 5 个 fMRI 采样

---

5. 🧊 fmri/fmri-shape — fMRI→3D 重建

来源: Fudan-fMRI/fMRI-Shape · MinD-3D++

fmri-shape/
├── stimuli.zip      # 777 MB - 3D 物体旋转视频 (每段192帧)
└── camera_pose.zip  # 每帧相机位姿（3D 重建必需）

特点: 刺激带完整空间几何信息，瞄准"从脑信号重建 3D 结构"

---

6. ⚡ spikes/steinmetz-spikes — Neuropixels 尖峰

来源: mysteriousauthor/spikeprophecy-steinmetz
来源论文: Steinmetz 2019（小鼠决策任务 Neuropixels 记录）

steinmetz-spikes/
├── session_000.npy ...          # 42个session，50ms分箱尖峰计数张量
├── metadata.json                # 实验元数据（脑区/单元数/时长）
└── croissant.json               # ML Croissant 元数据

元数据示例: 单 session 736 单元 / 54,053 bins / 45 分钟
训练分割: train ≤ 37,837 bins | val ≤ 45,944 bins

对齐维度: 从"宏观脑区"(fMRI/EEG) 下沉到"单神经元"(spikes)

---

7. 🪰 connectome/flywire-connectome — 果蝇全脑连接组

来源: SLOP011/flywire-fafb-connectome
内容: 成年雌性果蝇完整接线图 —— 139,255 个神经元及全部突触连接

flywire-connectome/
├── connections.parquet  # 452 MB - 突触连接表（边）
├── nodes.parquet        # 2.9 MB - 神经元表（点）
└── meta.json            # 版本元数据

用途: GNN 图学习、结构-功能关系、类脑架构设计参考

---

8–10. 📏 benchmarks/ — 小模型标准任务

用于「小模型（EEGNet 等）vs 大模型」对比实验的标准任务数据。 三个任务覆盖生物信号的分类 / 检测 / 解码三种范式。

sleep-staging — 睡眠分期

sleep-staging/
├── train.csv   # 220 MB 训练序列
└── test.csv    # 75 MB 测试序列

格式：sample,label，每序列 40 个采样点；label = 睡眠阶段。 来源：Sleep-EDF Expanded（PhysioNet）。

seizure-detection — 癫痫预兆检测

seizure-detection/
├── chb01_labeled_features.csv ... chb10_labeled_features.csv

24 个病例 / 22 被试，347,075 个标注 epoch，590 特征/epoch，二分类。 来源：CHB-MIT Scalp EEG Database（PhysioNet）。仅限研究，非临床用途。

motor-imagery — 运动想象

motor-imagery/
├── bciciv_2a.pt       # 416 MB PyTorch 张量
└── bciciv_2a_sub.pt   # 416 MB（交叉验证划分版）

4 类运动想象（左手/右手/双脚/舌头），9 被试标准分割。 来源：BCI Competition IV Dataset 2a（Graz）。

---

11–17. 🐣 models/ — 开源小模型检查点

配合 benchmarks 使用的预训练小模型，用于「小模型 vs 大模型」对照实验。 全部来自 braindecode 官方组织转换版本， 均可通过 pip install braindecode[hub] 加载：

from braindecode.models import CBraMod
model = CBraMod.from_pretrained("illusion-brain/training-data/models/cbramod", ...)

模型	参数	架构	许可	论文
MIRepNet	5.1M	MI 专用混合架构	MIT	Knowledge-Based Systems 2026
CBraMod	4.9M	Criss-Cross Transformer	BSD-3	ICLR 2025（浙大+阿里）
LaBraM	5.8M	向量量化 + Transformer	BSD-3	ICLR 2024（清华）
BIOT	3.4M	Biosignal Transformer	BSD-3	NeurIPS 2023（UIUC）
EEG-DINO-small	4.5M	DINO-v2 自蒸馏	BSD-3	MICCAI 2025
Signal-JEPA	3.5M	JEPA 自监督	MIT	arXiv:2403.11772
BrainTokenizer	6.1M	VQ-VAE（EEG/MEG）	MIT	NeurIPS 2025（BrainOmni）

配套关系：

benchmark	推荐模型
motor-imagery	MIRepNet + CBraMod + LaBraM + Signal-JEPA
sleep-staging	CBraMod + LaBraM + BIOT + EEG-DINO
seizure-detection	CBraMod + BIOT + EEG-DINO

---

🎯 研究问题 → 数据映射

研究问题	推荐数据集
视觉概念如何编码	eeg/things-eeg, eeg/eeg-image-decode
时间动态（毫秒级）	multimodal/cinebrain (EEG), eeg/things-eeg
空间定位（体素级）	multimodal/cinebrain (fMRI), fmri/fmri-shape
自然场景理解	multimodal/cinebrain（叙事视频）
3D 空间认知	fmri/fmri-shape
跨模态转换	multimodal/cinebrain (EEG↔fMRI)
大模型-大脑对齐	model-features/algonauts-2025 ⭐
单神经元动力学	spikes/steinmetz-spikes
类脑架构设计	connectome/flywire-connectome
小模型基线（分类/检测/解码）	benchmarks/sleep-staging, benchmarks/seizure-detection, benchmarks/motor-imagery

---

最后更新: 2026-10-16 · 由幻脑组织维护