📖 简介
S1-Omni-Image 是中国科学院 “磐石·科学基础大模型”（ScienceOne）团队研发的面向科学场景的统一多模态模型，支持 科学图像理解、科学图像生成与科学图像编辑。
模型基于科学多模态推理基座 S1-VL-32B，采用统一的 Think-Before-Generate 范式：先根据用户指令和输入图像生成面向任务的推理过程、文本回答和任务专用 token，再利用推理过程的隐状态指导后续的图像生成与编辑。模型针对科研插图生成及文字渲染需求进行了系统优化，并将科学图像分割、医学图像翻译、医学图像超分辨率等任务统一到科学图像编辑任务范式。
S1-Omni-Image 在科研插图生成任务上显著优于主流开源模型，在多个科学图像编辑基准上达到领先水平，同时较好保持了 S1-VL-32B 的科学图像理解与推理能力。
📥 模型与数据集下载
模型权重和 SciGenEdit-10K 数据集已发布至 Hugging Face 和 ModelScope，欢迎下载和使用。
模型权重
| 平台 | 地址 |
|---|---|
| Hugging Face | ScienceOne-AI/S1-Omni-Image |
| ModelScope | ScienceOne-AI/S1-Omni-Image |
SciGenEdit-10K 数据集
| 平台 | 地址 |
|---|---|
| Hugging Face | ScienceOne-AI/SciGenEdit-10K |
| ModelScope | ScienceOne-AI/SciGenEdit-10K |
🎨 案例展示
科学图像生成
下图展示了 S1-Omni-Image 在科学图像生成任务中的代表性能力，包括多学科、多类型、复杂文本的科研插图生成案例。
科学图像编辑
下图展示了 S1-Omni-Image 在科学图像编辑任务中的代表性能力，包括科学插图编辑、科学图像分割、医学图像翻译和医学图像超分辨率等任务案例。
🧠 模型架构
S1-Omni-Image 的整体架构如下图所示。模型使用 S1-VL-32B 作为科学多模态推理基座，负责理解用户指令、输入图像和科学上下文，并生成显式推理过程、文本回答和任务专属 token。图像生成与编辑模块采用 MMDiT，并基于 Qwen-Image-Edit 的 MMDiT 权重初始化。随后，模型通过 reasoning-to-diffusion 对齐层将 S1-VL-32B 的 hidden states（隐状态）映射到 MMDiT 图像生成与编辑模块的条件空间，用于驱动最终图像生成或编辑。
对于文本回答和图像理解任务，模型直接通过 VLM 文本分支输出回答；对于图像生成和图像编辑任务，模型分别生成 <image_gen> 或 <image_edit> 任务 token，并将自回归生成内容的 hidden states 作为扩散模型条件。该设计避免了简单地把短提示词直接输入图像模型，而是利用科学推理过程为视觉生成提供更充分的语义和结构规划。
模型训练采用三阶段策略：
- 第一阶段：使用 SciGenEdit 全量数据对 S1-VL-32B 进行科学推理范式训练，使其学会生成面向科学图像任务的推理过程、文本回答和任务专属 token；
- 第二阶段：基于预训练数据训练 reasoning-to-diffusion 对齐层，将 S1-VL-32B 的 hidden states 映射到图像生成模块的条件空间；
- 第三阶段：使用 SciGenEdit 中的图像生成与编辑数据联合训练对齐层和图像生成模块，使科学推理隐状态能够稳定驱动最终图像生成与编辑。
🗂️ 训练数据
我们构建了 SciGenEdit 训练数据集，覆盖科学图像理解、科学图像生成与科学图像编辑三类任务，总规模约 314K。其中，图像生成数据面向科研插图、结构化示意图、复杂文字渲染和科学可视化等场景；图像编辑数据覆盖科学插图编辑、医学与地学图像分割、医学图像翻译和医学图像超分辨率等任务；图像理解数据主要用于保持模型的科学图像理解和 Thinking-with-Images 能力。
为支持社区研究，我们开源了 SciGenEdit-10K 子集。该子集从完整训练数据中筛选构建，覆盖主要任务类型和代表性科学场景，可用于模型能力分析、指令格式参考和后续科学图像生成编辑研究。
🚀 快速开始
S1-Omni-Image 提供推理服务代码和兼容 OpenAI Chat Completion 格式的 API。完整环境配置、模型加载方式、API 参数和 Python 调用示例请参考 GitHub 仓库：
git clone https://github.com/ScienceOne-AI/S1-Omni-Image.git
cd S1-Omni-Image
pip install -e ".[server]"
下载模型权重后，可将完整的 S1-Omni-Image/ 权重目录放置在本地任意路径，并启动服务：
s1-omni-image-serve \
--model /path/to/S1-Omni-Image \
--host 0.0.0.0 \
--port 8000
服务启动后，可访问 http://localhost:8000/ 使用 Web 页面，或通过 /v1/chat/completions 接口进行科学图像理解、生成与编辑任务的统一调用。
⚠️ 局限性
尽管 S1-Omni-Image 在科学图像生成与编辑任务上进行了针对性优化，当前版本仍存在以下局限：
- 复杂文字渲染：在长文本、密集和复杂中文场景中，仍可能出现错别字或文字模糊。
- 精细局部编辑：复杂指令、多目标编辑和强约束局部修改仍可能出现执行不充分或区域偏移。
- 通用图像美学：模型重点优化科学图像任务，在开放域自然图像或创意设计任务上不一定优于通用旗舰模型。
- 专业可靠性：医学、科研等高风险场景中，模型输出应由专业人员复核，不应直接作为诊断、实验或决策依据。
📄 许可协议
本项目基于 Apache License 2.0 发布。模型使用时请同时遵守所依赖基础模型、数据和第三方组件的相关协议。
📚 引用
如果您在研究或应用中使用了 S1-Omni-Image，欢迎引用我们的工作：
@article{li2026s1omniimage,
title={S1-Omni-Image: A Unified Model for Scientific Image Understanding, Generation, and Editing},
author={Li, Qingxiao and Wang, Zikai and Wang, Qingli and Xu, Nan},
journal={arXiv preprint arXiv:2606.24441},
year={2026}
}