Buckets:

34.1 GB
1,306 files
Updated 30 minutes ago
Name
Size
.chunks
counts-v4
exp0
exp1
exp10
exp10b
exp11
exp11full
exp12
exp13
exp14
exp14b
exp15
exp16
exp17
exp18
exp19
exp2
exp20
exp21
exp22
exp23
exp24
exp25
exp26
exp26b
exp27
exp27b
exp28
exp28b
exp29
exp2b
exp3
exp30
exp32
exp33
exp38
exp4
exp5
exp5b
exp6
exp6b
exp6c
exp7
exp8
exp8b
exp9
exp9b
flywire
framework
hierarchy
omnibrain
omnibrain-multi
omnibrain4d
primate
runs
scripts
steinmetz
steinmetz_trials
MANIFEST.json15.6 kB
xet
README.md10.5 kB
xet
README.md

脑域数据集

域标注神经数据,供「脑功能域作为架构约束」的研究使用(hetero-moe 项目 research/brain_domains/)。

本桶同时保存两代产物:

  • v1(2026-10-17):steinmetz/ 与 flywire/ 两个子数据集,282 MB,MANIFEST.json 描述;
  • v2(2026-10-20):14 个成员 + L0–L4 处理阶梯 + 可执行核验,入口是 framework/framework.json。

两代并存,framework/ 不替代 steinmetz/ 与 flywire/,而是把它们与其他 12 个成员放进同一套 索引、同一套区身份与同一套不变量口径里。


先读哪里

想知道 打开
有哪些表、各多少行 framework/framework.json(schema 1.3,35 张表 / 2 份文档;覆盖目录下全部 42 个文件,漏登即报错)
口径、主要结果、L0–L4 现状、限制 framework/docs/METHODS.md
怎么按区 / 成员检索切片 framework/docs/RETRIEVAL.md + framework/slice_catalog.parquet + framework/retrieval_index.json
每个上游固定到什么版本 framework/sources.csv(pin_kind / pin_value / pin_status)
结论对不对得上 scripts/verify_framework.py(112 项,全过则以 0 退出)

规模与构成

14 个成员,来自 4 个上游数据集,全部 CC-BY-4.0。framework_index.parquet 逐对象登记 326 条记录(阶数分布:2 阶 190、3 阶 128、4 阶 4、1 阶 4)。

成员 物种 模态 阶数 规模
steinmetz Mus musculus 胞外放电 2(unit × time) 39 session / 24,029 单元 / 50 ms
primate_macaque_nlb Macaca mulatta 胞外放电 2 72 片段 / 20 ms
primate_dmfc_rsg Macaca mulatta 胞外放电 1(ragged spike times) 2 文件 / 40 + 54 单元
primate_human_eeg Homo sapiens 头皮 EEG 3(trial × channel × time) 31 文件 / 63 通道 / 4 ms
omnibrain4d_eeg_test / _train Homo sapiens 头皮 EEG 4(image × rep × channel × time) 200×80×63×250 / 16540×4×63×250
omnibrain_spike_view / _macaque / _human 三物种 胞外放电 3(window × component × bin) 39 / 72 / 103 文件
omnibrain_eeg_view Homo sapiens 头皮 EEG 3 1 文件 / 32,000 窗
omnibrain_graph_view Drosophila 连接组 2(node × embedding) 139,255 × 64
flywire Drosophila 连接组 2(node × feature) 107,265 × 22
omnibrain_multi 混合 混合 3(window × component × bin) 1,409,850 × 64 × 8
counts_v4_ragged 混合 胞外放电 2(索引族) 175 段 / 998,102,320 元素

目录

brain-domains/
├── README.md              # 本文件
├── MANIFEST.json          # v1 的形状/计数/域分布/校验和
├── framework/             # v2 框架层(入口:framework.json)
│   ├── framework.json     # schema 1.3:tables / docs / entry_points / coverage
│   ├── sources.csv        # L0 来源表,12 条,含 pin
│   ├── docs/              # METHODS.md + RETRIEVAL.md(旧版四份在 docs/archive/)
│   ├── superseded/        # 6 件被推翻的产物,留档但不入索引
│   ├── l2_*.parquet       # L2 不变量(605 切片)与衰减
│   ├── slice_catalog.parquet  # L3 检索目录(1,059 行 = 605 slice + 454 区)
│   └── structure.parquet / joins.json / unit_region_registry …
├── scripts/               # 全部可复跑脚本(build_* / verify_framework.py / patch_framework_json2.py)
├── steinmetz/             # v1 子数据集
├── flywire/               # v1 子数据集
├── counts-v4/ hierarchy/ omnibrain/ omnibrain-multi/ omnibrain4d/ primate/ runs/
└── exp0 … exp38/          # 框架之前的历史实验(含 b/c 变体),原样保留供审计

L0–L4 阶梯与结论

层 做了什么 状态
L0 原始 sources.csv 12 条来源逐条固定:5 个 DANDI 固定到已发布版本号(assets 数与总字节作指纹)、MBAO/UBERON 固定到 commit、FALCON 代码固定到 commit + 2 个 blob 9 verified / 2 partial / 1 degraded / 0 broken
L1 清洗 1/8 量化还原为整数计数;duplicate_map.parquet 185 条去重边(72 条经数值核对、103 条外部来源、3 条跨成员同窗、6 条派生、1 条同源异派生) 已系统去重
L2 模型筛选 四条质量轴全部尝试(可复现性 / 小鼠跨 session 一致性 / 猕猴修正版 / 原始 ISI),全部为负 有模型,但只能分层、不能过滤
L3 编辑合成 按需只做检索层,未做语义改写:1,059 行目录,逐行带 caveats 与 tier_L0…L4 完成
L4 组织+核验 区身份用 Allen MBA id(不用 UBERON)、joins.json 8 键、全部 37,155 单元区登记、索引覆盖全目录、101 项自动对账 完成

L2 的四次尝试,四次都没立住——这本身是结果:

  1. 可复现性质量模型:分组 5 折 AUC 0.644、置换 p<0.005。但 quality_prob 与 rho1 秩相关 +0.943,单特征 rho1 就有 0.626;按 0.50 阈值过滤保留 41% 样本, rho_half 中位从 285 ms 抬到 483 ms(1.69×)。⇒ 分数是 rho1 的重表达,只能分层。
  2. 小鼠跨 session 一致性(6 个与 rho1 不共线的特征):按区分组 AUC 0.414、p=0.89。 标签分半可靠度仅 0.497,完美特征上限 0.723 ⇒ 强效应可排除,弱效应排除不了。
  3. 猕猴(先假成功):第一版 AUC 0.761、p<0.005;查下去发现 67 个片段来自 6 个 session, 片段序号单独就有 AUC 0.810。改用同 session 内参照后 0.524、p=0.42; session 本身解释 log rho_half 方差 **59.3%**。旧产物保留并标 superseded。
  4. 原始 spike times / ISI:M1 的 ISI 违反率是 PMd 的 1.44×,但速率校正后差距几乎不变 (+0.0079 → +0.0078)⇒ 不是放电率造成的假象。同时发现常用阈值「>2% 即污染」在这批数据上失效: 27–29 Hz 下泊松期望本身就有 5.5%,按 2% 判会把 46% 单元误判。

区级结果(用逐单元真标签,l2_region_invariants.parquet)

  • 猕猴 PMd vs M1:rho_half 中位 623.0 vs 496.4 ms = 1.20×,64/67 个片段同向(符号检验 p=6.8e-16)。 但这是电极位置层面的差异——上游论文自己写明 M1-like 单元常出现在 caudal PMd,反之亦然。
  • 小鼠 68 区 / 276 cell:rho_half 中位从 90 ms(CA1)到 488 ms(MOs),约 5 倍; 区效应 R²(region|session) = 0.354,session 内置换 p=0.0002(零分布中位就有 0.225,有过拟合成分)。
  • 跨物种(等样本量匹配):小鼠 361.7 ms vs 猕猴 564.3 ms = 1.56×(CI 1.18–2.01)。

⚠️ 使用前必读:三个会让人得出错误结论的坑

  1. 猕猴「单元」可能是电极级群体信号。 上游是 96 电极 × 2 阵列,论文写的是 146 / 218 个 single isolation(single 与 multi-unit 混合)。27–29 Hz 的放电率与偏高的 ISI 违反率都与 「电极级群体信号」一致。所有猕猴结论都应在此前提下读。
  2. FlyWire 的区标签与连接组特征同源(在哪个区就决定和谁连接)⇒ 用连接组预测脑区接近同义反复。 flywire/node_features.parquet 已显式分成 safe(6 列粗粒度统计)与 leaky(12 列递质加权总量)两组, 任何「域结构有用」的结论必须用 safe 组 + 随机标签对照得出。
  3. PR(participation ratio)不能跨成员比较。 成员之间的单元轴不共享、窗长与预处置不同, 跨成员只能比 L2 不变量(rho_half / tau / 不变量比值),不能比 PR。

已知限制

  1. 神经元数按 session 变化(326–1,240),跨 session 联合建模需对齐策略。
  2. 域在 session 间分布不均(每 session 仅 2–9 个域),LODO 需先取跨 session 交集。
  3. Steinmetz 为 50 ms 分箱,不适合毫秒级时间动态研究。
  4. FlyWire 无时间维度(静态连接组)。
  5. Steinmetz 与 FlyWire 两代子集均不含行为标签,不能直接做「域 × 行为」联合分析。
  6. 人类颅内(FALCON)没有电极表。 H2(000950)有代码级证据:preproc/h2_preproc.py 全文既无 add_electrode 也无 add_unit,只写 20 ms 分箱的 binned_spikes,所以这批 「单元」实为分箱矩阵的列号,不是 sorted unit。H1(000954)同样观测到无电极表, 但生成它的导出脚本在 falcon-challenge 仓库里没找到,只有观测证据、没有代码证据。 两者都没有解剖定位(区间标签记作 unknown)。
  7. 论文本体 6 篇全部有 PDF,其中 4 篇另有预印本 PDF:steinmetz2019、dandi000130、flywire、 things-eeg2 从 bioRxiv 预印本补上;dandi000070(2012 年 Nature,无预印本) 由机构订阅取得 PMC 作者手稿,该 PDF 为 HHS Author Manuscript、非 CC-BY,仅限学术研究用途。 逐篇状态、预印本 DOI 与确认来源见 framework/papers_oa_status.csv。
  8. dandi000954 只有 draft 且 status=Invalid,无已发布版本可固定(degraded)。

上游来源与许可

上游 用于 许可
Steinmetz et al. 2019, Nature 576:266-273 steinmetz、omnibrain_spike_view CC-BY 4.0
Churchill et al. 2012 (DANDI 000070) primate_macaque_nlb、macaque_unit_region CC-BY 4.0
DANDI 000127 (Area2_Bump) / 000130 (DMFC_RSG) primate_macaque_nlb、primate_dmfc_rsg CC-BY 4.0
FALCON (DANDI 000950 / 000954) omnibrain_multi(人类颅内) CC-BY 4.0
THINGS-EEG2 (OSF 3jk45) primate_human_eeg、omnibrain_eeg_view、omnibrain4d CC-BY 4.0
Dorkenwald et al. 2024, Nature(FlyWire FAFB v783) flywire、omnibrain_graph_view CC-BY 4.0
Allen Mouse Brain StructureGraph / MBAO / UBERON 区身份映射 Allen ToU / CC-BY 4.0 / CC-BY 3.0

本数据集为上述来源的再加工(区域归并、切分提取、特征聚合、不变量计算),沿用 CC-BY 4.0。 逐条版本固定见 framework/sources.csv;署名与引用要求另见 illusion-brain/training-data 桶的 ATTRIBUTION.md。

Total size
34.1 GB
Files
1,306
Last updated
Oct 26
Pre-warmed CDN
US EU US EU

Contributors