Flatten src layout: drop omni namespace, modules live directly under src/

- Move src/omni/{core,datasets,encoders,models,projectors,serve,trainers,utils}
up to src/, remove intermediate omni package
- Rewrite all omni.* imports to absolute top-level (core/models/trainers/dataset/utils/...)
- Rename data package datasets->dataset to avoid collision with HF 'datasets' library;
internal refs use 'dataset.*', HF lib imports keep 'from datasets import ...'
- Update root trainer/{lm,vlm,vam}.py to import from trainers.*
- Rewrite README to reflect flat layout, renamed classes, trainer/ entry points, configs/

README.md

@@ -5,78 +5,82 @@ Omni 是一个以 **多模态 (omni)** 为目标的 LLM 训练 / 推理框架，
 [miniMind-V](https://github.com/jingyaogong/minimind-v)（视觉多模态）与
 [miniMind-O](https://github.com/jingyaogong/minimind-o)（语音 / 全模态）三套代码。
 
-项目采用标准 `src/` 布局（`pip install -e .` 即可安装为 `omni` 包），
-按 **core（组件）/ models（拼装）/ encoders（模态编码器）/ projectors（桥接层）** 分层。
+项目采用标准 `src/` 布局（`pip install -e .` 即可安装），按
+**core（组件）/ models（拼装）/ encoders（模态编码器）/ projectors（桥接层）** 分层。
 
 ## 设计分层
 
 - `core/`：可复用模型**纯底层组件**，按层级细分为独立模块——
   `norm.py`（`RMSNorm`）、`rope.py`（`precompute_freqs_cis` / `apply_rotary_pos_emb` / `repeat_kv`）、
   `attention.py`（`Attention`）、`mlp.py`（`FeedForward` / `MOEFeedForward`）、
-  `block.py`（`MiniMindBlock`）。（Transformer 主干 `MiniMindModel` 已归入 `models/lm/model.py`）
+  `block.py`（`Block`）。
 - `models/`：把 `core` 组件**拼装**成成品模型，按模态能力分为三个子包（每个含 `config.py` 配置 + `model.py` 建模）：
-  - `models/lm/`：纯文本——`MiniMindConfig` + `MiniMindForCausalLM`
-  - `models/vlm/`：文本 + 视觉——`VLMConfig` + `MiniMindVLM`
-  - `models/vam/`：文本 + 语音/全模态——`OmniConfig` + `MiniMindOmni`（含 `TalkerModule`）
+  - `models/lm/`：纯文本——`LMConfig` + `LMForCausalLM`（主干 `LM`）
+  - `models/vlm/`：文本 + 视觉——`VLMConfig` + `VLM`
+  - `models/vam/`：文本 + 语音/全模态——`VAMConfig` + `VAM`（含 `TalkerModule`）
 - `encoders/`：外部模态编码器，按模态分目录——`vision/`（SigLIP）、`audio/`（SenseVoice）。
 - `projectors/`：把 encoder 输出**桥接**到 LLM 隐藏维度的拼接层（`MMVisionProjector`、`MMAudioProjector`）。
 - `serve/`：实时语音会话工程层（`SileroVAD`、`RealtimeSession`）。
+- `trainers/`：训练脚本，按模态分 `lm/` `vlm/` `vam/` 子包。
+- `dataset/`：数据集（Pretrain / SFT / DPO / RLAIF / Agent / VLM / VAM），每类一个文件。
+- `utils/`：训练与多模态工具。
 
 ## 目录结构
 
 ```
-src/omni/
+src/
 ├── core/               # 模型底层组件（按层级拆分）
 │   ├── norm.py         #   RMSNorm
 │   ├── rope.py         #   precompute_freqs_cis / apply_rotary_pos_emb / repeat_kv
 │   ├── attention.py    #   Attention
 │   ├── mlp.py          #   FeedForward / MOEFeedForward
-│   └── block.py        #   MiniMindBlock
+│   └── block.py        #   Block
 ├── models/             # 模型拼装（按模态能力分子包）
 │   ├── lm/             #   纯文本
-│   │   ├── config.py   #     MiniMindConfig
-│   │   ├── model.py    #     MiniMindForCausalLM + MiniMindModel 主干
-│   │   └── lora.py     #     LoRA 注入 / 保存 / 合并（作用于 MiniMind 系主干）
+│   │   ├── config.py   #     LMConfig
+│   │   ├── model.py    #     LMForCausalLM + LM 主干
+│   │   └── lora.py     #     LoRA 注入 / 保存 / 合并（作用于 LM 主干）
 │   ├── vlm/            #   文本 + 视觉
 │   │   ├── config.py   #     VLMConfig
-│   │   └── model.py    #     MiniMindVLM
+│   │   └── model.py    #     VLM
 │   └── vam/            #   文本 + 语音/全模态
-│       ├── config.py   #     OmniConfig
-│       └── model.py    #     MiniMindOmni + TalkerModule
+│       ├── config.py   #     VAMConfig
+│       └── model.py    #     VAM + TalkerModule
 ├── encoders/           # 多模态编码器（按模态分目录）
 │   ├── vision/        #   SiglipVisionEncoder
 │   └── audio/         #   SenseVoiceAudioEncoder
 ├── projectors/         # 多模态桥接层
 │   ├── vision.py      #   MMVisionProjector
 │   └── audio.py       #   MMAudioProjector
-├── trainers/           # 训练脚本（可直接 python -m 运行）
-│   ├── pretrain.py     # 文本预训练
-│   ├── full_sft.py     # 文本全量 SFT
-│   ├── lora.py / dpo.py / distillation.py / ppo.py / grpo.py / agent.py
-│   ├── rollout_engine.py  # torch / sglang 推理引擎
-│   ├── train_tokenizer.py # tokenizer 训练（学习用）
-│   ├── pretrain_vlm.py # 视觉预训练
-│   ├── full_sft_vlm.py # 视觉 SFT
-│   └── full_sft_omni.py  # 全模态 SFT
-├── datasets/           # 数据集（Pretrain/SFT/DPO/RLAIF/Agent/VLM/Omni）
-│   └── lm_dataset.py
-├── utils/             # 工具
-│   ├── training.py     # get_lr / init_model / lm_checkpoint / SkipBatchSampler / LMForRewardModel
-│   ├── multimodal.py   # init_vlm_model / vlm_checkpoint / init_omni_model / omni_checkpoint
-│   ├── distributed.py  # 分布式初始化
-│   └── checkpoint.py   # checkpoint 读写辅助
-├── serve/             # 实时语音会话（SileroVAD / RealtimeSession）
-└── __init__.py
-examples/               # 推理 / 服务 / 转换脚本
-├── eval_llm.py        # 命令行推理与对话
-├── eval_vlm.py        # 视觉多模态推理
-├── eval_omni.py       # 全模态推理
+├── trainers/           # 训练脚本（按模态分 lm / vlm / vam）
+│   ├── lm/            #   pretrain / full_sft / lora / dpo / distillation / ppo / grpo / agent
+│   │                 #   + rollout_engine / train_tokenizer
+│   ├── vlm/          #   pretrain / full_sft
+│   └── vam/          #   full_sft
+├── dataset/           # 数据集（每类一个文件）
+│   ├── pretrain.py / sft.py / dpo.py / rlaif.py / agent_rl.py / vlm.py / vam.py
+│   └── common.py     #   共享辅助函数
+├── utils/            # 工具
+│   ├── training.py    # get_lr / init_model / lm_checkpoint / SkipBatchSampler / apply_config
+│   ├── multimodal.py  # init_vlm_model / vlm_checkpoint / init_omni_model / omni_checkpoint
+│   ├── distributed.py # 分布式初始化
+│   └── checkpoint.py  # checkpoint 读写辅助
+├── serve/            # 实时语音会话（SileroVAD / RealtimeSession）
+configs/
+├── model/            # lm / lm_moe / vlm / vlm_moe / vam / vam_moe 训练配置
+└── tokenizer/        # tokenizer.json / tokenizer_config.json
+trainer/              # 根目录可直接运行的训练入口（默认加载对应 configs/model/*.yaml）
+├── lm.py            # python trainer/lm.py  -> configs/model/lm.yaml
+├── vlm.py           # python trainer/vlm.py -> configs/model/vlm.yaml
+└── vam.py           # python trainer/vam.py -> configs/model/vam.yaml
+scripts/              # 推理 / 服务 / 转换脚本
+├── eval_llm.py      # 命令行推理与对话
+├── eval_vlm.py      # 视觉多模态推理
+├── eval_vam.py      # 全模态推理
 ├── serve_openai_api.py # OpenAI 兼容 API 服务
-├── omni_web_demo.py   # 网页演示（含实时语音）
-├── eval_toolcall.py   # 工具调用评测
-└── convert_model.py   # torch <-> transformers 权重互转
-weights/MiniMind2/      # tokenizer 与模型配置（从 MiniMind 迁移）
-configs/                # 训练配置（按需补充）
+├── omni_web_demo.py # 网页演示（含实时语音）
+├── eval_toolcall.py # 工具调用评测
+└── convert_model.py # torch <-> transformers 权重互转
 ```
 
 ## 安装
@@ -89,43 +93,34 @@ pip install -e ".[rl,serve,demo]"
 
 ## 快速开始
 
-### 推理 / 对话
+### 训练（YAML 驱动）
+
+根目录 `trainer/` 提供可直接运行的入口，默认加载 `configs/model/` 下对应的 YAML，
+也可通过 `--config` 指定其它配置，任意 CLI 参数都能覆盖 YAML 中的默认值：
 
 ```bash
-python -m examples.eval_llm --load_from weights/MiniMind2 --weight full_sft
+cd trainer
+python lm.py                       # 使用 configs/model/lm.yaml
+python vlm.py --config ../configs/model/vlm_moe.yaml
+python vam.py --epochs 5           # 在 vam.yaml 基础上覆盖单字段
 ```
 
-### 训练
-
-每个训练脚本都是 `omni.trainers` 下的一个模块，直接运行即可：
+### 推理 / 对话
 
 ```bash
-# 预训练
-python -m omni.trainers.pretrain --data_path dataset/pretrain.jsonl
-# 全量 SFT
-python -m omni.trainers.full_sft --data_path dataset/sft.jsonl
-# LoRA 微调
-python -m omni.trainers.lora --data_path dataset/lora.jsonl
-# DPO / 蒸馏 / PPO / GRPO / Agent RL
-python -m omni.trainers.dpo    --data_path dataset/dpo.jsonl
-python -m omni.trainers.distillation --data_path dataset/sft.jsonl
-python -m omni.trainers.grpo    --data_path dataset/rlaif.jsonl
-python -m omni.trainers.agent  --data_path dataset/agent_rl.jsonl
+python scripts/eval_llm.py --load_from ../model --weight full_sft
 ```
 
-所有脚本参数与原 MiniMind 保持一致（hidden_size / num_hidden_layers / use_moe / data_path 等）。
+## 配置说明
 
-## 与原 MiniMind 的差异
-
-- 去除所有 `sys.path` 注入 hack，统一使用 `omni.*` 包导入；
-- `trainer_utils.py` 拆分为 `utils/training.py`（训练工具）、`utils/distributed.py`、`utils/checkpoint.py`；
-- 训练脚本从「`if __name__ == '__main__'` 内联」改为可被 `python -m omni.trainers.<name>` 调用的模块；
-- 预留 `encoders/`（vision/audio）、`projectors/`、`core/` 供多模态扩展。
+`configs/model/*.yaml` 分为 `model` / `train` / `paths` 三段，由 `utils.training.apply_config`
+注入为 argparse 默认值；CLI 显式传参优先级更高。训练产出保存在 `checkpoint/` 目录。
 
-## 多模态扩展方向
-
-在 `models/minimind.py` 的 `MiniMindModel` 之上接入：
+## 与原 MiniMind 的差异
 
-1. `encoders/vision` / `encoders/audio` —— 各自的模态编码器；
-2. `projectors` —— 将编码器输出��影到 LLM 隐藏维度；
-3. 在 `MiniMindModel.forward` 中把投影特征拼接到 `embed_tokens` 之后。
+- 去除 `omni` 中间包，模块直接置于 `src/` 下（`core` / `models` / `trainers` / `dataset` / `utils` …），统一绝对导入；
+- 类名统一：`MiniMindModel→LM`、`MiniMindVLM→VLM`、`MiniMindOmni→VAM`、`MiniMindConfig→LMConfig`、
+  `MiniMindForCausalLM→LMForCausalLM`、`OmniConfig→VAMConfig`；
+- `trainer_utils.py` 拆分为 `utils/training.py`、`utils/distributed.py`、`utils/checkpoint.py`；
+- 训练脚本暴露 `main(default_config=None)`，既可由 `python -m trainers.<mod>` 调用，也可由根 `trainer/*.py` 调用；
+- `dataset/` 按数据集类型拆分为独立文件，供多模态扩展。

scripts/convert_model.py

@@ -5,8 +5,8 @@ import torch
 import transformers
 import warnings
 from transformers import AutoTokenizer, AutoModelForCausalLM, Qwen3Config, Qwen3ForCausalLM, Qwen3MoeConfig, Qwen3MoeForCausalLM
-from omni.models import LMConfig, LMForCausalLM
-from omni.models.lm.lora import apply_lora, merge_lora
+from models import LMConfig, LMForCausalLM
+from models.lm.lora import apply_lora, merge_lora
 
 warnings.filterwarnings('ignore', category=UserWarning)
 

scripts/eval_llm.py

@@ -4,9 +4,9 @@ import random
 import warnings
 import torch
 from transformers import AutoTokenizer, AutoModelForCausalLM, TextStreamer
-from omni.models import LMConfig, LMForCausalLM
-from omni.models.lm.lora import *  # noqa: F401,F403
-from omni.utils.training import setup_seed, get_model_params
+from models import LMConfig, LMForCausalLM
+from models.lm.lora import *  # noqa: F401,F403
+from utils.training import setup_seed, get_model_params
 warnings.filterwarnings('ignore')
 
 def init_model(args):

scripts/eval_toolcall.py

@@ -9,8 +9,8 @@ import torch
 from datetime import datetime
 from transformers import AutoTokenizer, AutoModelForCausalLM, TextStreamer
 from openai import OpenAI
-from omni.models import LMConfig, LMForCausalLM
-from omni.utils.training import setup_seed, get_model_params
+from models import LMConfig, LMForCausalLM
+from utils.training import setup_seed, get_model_params
 warnings.filterwarnings('ignore')
 
 TOOLS = [

scripts/eval_vam.py

@@ -6,9 +6,9 @@ import warnings
 import torch
 from PIL import Image
 from transformers import AutoTokenizer, AutoModelForCausalLM
-from omni.models import VAM, VAMConfig
-from omni.datasets import VAMDataset
-from omni.utils import setup_seed, log_model_params
+from models import VAM, VAMConfig
+from dataset import VAMDataset
+from utils import setup_seed, log_model_params
 warnings.filterwarnings('ignore')
 
 

scripts/eval_vlm.py

@@ -6,8 +6,8 @@ import torch
 import random
 from PIL import Image
 from transformers import AutoTokenizer, AutoModelForCausalLM, TextStreamer
-from omni.models import VLM, VLMConfig
-from omni.utils import setup_seed, get_vlm_model_params
+from models import VLM, VLMConfig
+from utils import setup_seed, get_vlm_model_params
 warnings.filterwarnings('ignore')
 
 def init_model(args):

scripts/omni_web_demo.py

@@ -2,9 +2,9 @@ import argparse, os, sys, json, time, math, torch, threading, queue, base64, io,
 import numpy as np
 from PIL import Image
 from transformers import AutoTokenizer, AutoModelForCausalLM
-from omni.models import VAM
-from omni.serve.realtime import RealtimeSession
-from omni.utils import log_model_params
+from models import VAM
+from serve.realtime import RealtimeSession
+from utils import log_model_params
 logging.getLogger().setLevel(logging.ERROR)
 
 M = {}  # model / tokenizer / device / mimi / asr / cfg

scripts/serve_openai_api.py

@@ -14,8 +14,8 @@ from fastapi import FastAPI, HTTPException
 from fastapi.responses import StreamingResponse
 from pydantic import BaseModel, Field
 from transformers import AutoTokenizer, AutoModelForCausalLM, TextStreamer
-from omni.models import LMConfig, LMForCausalLM
-from omni.models.lm.lora import apply_lora, load_lora
+from models import LMConfig, LMForCausalLM
+from models.lm.lora import apply_lora, load_lora
 
 warnings.filterwarnings('ignore')
 

src/{omni/core → core}/__init__.py

@@ -1,8 +1,8 @@
-from omni.core.norm import RMSNorm
-from omni.core.rope import precompute_freqs_cis, apply_rotary_pos_emb, repeat_kv
-from omni.core.attention import Attention
-from omni.core.mlp import FeedForward, MOEFeedForward
-from omni.core.block import Block
+from core.norm import RMSNorm
+from core.rope import precompute_freqs_cis, apply_rotary_pos_emb, repeat_kv
+from core.attention import Attention
+from core.mlp import FeedForward, MOEFeedForward
+from core.block import Block
 
 __all__ = [
     "RMSNorm",

src/{omni/core → core}/attention.py

@@ -3,8 +3,8 @@ import torch
 import torch.nn.functional as F
 from torch import nn
 
-from omni.core.norm import RMSNorm
-from omni.core.rope import apply_rotary_pos_emb, repeat_kv
+from core.norm import RMSNorm
+from core.rope import apply_rotary_pos_emb, repeat_kv
 
 
 class Attention(nn.Module):

src/{omni/core → core}/block.py

@@ -1,8 +1,8 @@
 from torch import nn
 
-from omni.core.norm import RMSNorm
-from omni.core.attention import Attention
-from omni.core.mlp import FeedForward, MOEFeedForward
+from core.norm import RMSNorm
+from core.attention import Attention
+from core.mlp import FeedForward, MOEFeedForward
 
 
 class Block(nn.Module):

src/{omni/datasets → dataset}/__init__.py

@@ -1,10 +1,10 @@
-from omni.datasets.pretrain import PretrainDataset
-from omni.datasets.sft import SFTDataset
-from omni.datasets.dpo import DPODataset
-from omni.datasets.rlaif import RLAIFDataset
-from omni.datasets.agent_rl import AgentRLDataset
-from omni.datasets.vlm import VLMDataset
-from omni.datasets.vam import VAMDataset
+from dataset.pretrain import PretrainDataset
+from dataset.sft import SFTDataset
+from dataset.dpo import DPODataset
+from dataset.rlaif import RLAIFDataset
+from dataset.agent_rl import AgentRLDataset
+from dataset.vlm import VLMDataset
+from dataset.vam import VAMDataset
 
 __all__ = [
     "PretrainDataset",

src/{omni/datasets → dataset}/common.py

@@ -12,7 +12,7 @@ import pyarrow.parquet as pq
 
 os.environ["TOKENIZERS_PARALLELISM"] = "false"
 
-from omni.models import VLM
+from models import VLM
 
 
 def pre_processing_chat(conversations, add_system_ratio=0.2):

src/{omni/datasets → dataset}/dpo.py

@@ -2,7 +2,7 @@ import torch
 from torch.utils.data import Dataset
 from datasets import load_dataset
 
-from omni.datasets.common import post_processing_chat
+from dataset.common import post_processing_chat
 
 
 class DPODataset(Dataset):

src/{omni/datasets → dataset}/pretrain.py

@@ -2,7 +2,7 @@ from torch.utils.data import Dataset
 import torch
 from datasets import load_dataset
 
-from omni.datasets.common import pre_processing_chat, post_processing_chat
+from dataset.common import pre_processing_chat, post_processing_chat
 
 
 class PretrainDataset(Dataset):

src/{omni/datasets → dataset}/rlaif.py

@@ -3,7 +3,7 @@ import torch
 from torch.utils.data import Dataset
 from datasets import load_dataset
 
-from omni.datasets.common import pre_processing_chat
+from dataset.common import pre_processing_chat
 
 
 class RLAIFDataset(Dataset):

src/{omni/datasets → dataset}/sft.py

@@ -3,7 +3,7 @@ import torch
 from torch.utils.data import Dataset
 from datasets import load_dataset, Features, Value
 
-from omni.datasets.common import pre_processing_chat, post_processing_chat
+from dataset.common import pre_processing_chat, post_processing_chat
 
 
 class SFTDataset(Dataset):

src/{omni/datasets → dataset}/vam.py

@@ -7,7 +7,7 @@ from PIL import Image
 import pyarrow as pa
 import pyarrow.parquet as pq
 
-from omni.datasets.common import pre_processing_chat, post_processing_chat
+from dataset.common import pre_processing_chat, post_processing_chat
 
 
 class VAMDataset(Dataset):

src/{omni/datasets → dataset}/vlm.py

@@ -5,7 +5,7 @@ from torch.utils.data import Dataset
 from PIL import Image
 from datasets import Dataset as HFDataset
 
-from omni.datasets.common import VLM, pre_processing_chat, post_processing_chat
+from dataset.common import VLM, pre_processing_chat, post_processing_chat
 
 
 class VLMDataset(Dataset):

src/{omni/encoders → encoders}/__init__.py

@@ -1,3 +1,3 @@
-from omni.encoders.vision import SiglipVisionEncoder
+from encoders.vision import SiglipVisionEncoder
 
 __all__ = ["SiglipVisionEncoder"]

src/{omni/encoders → encoders}/audio/__init__.py

@@ -1,3 +1,3 @@
-from omni.encoders.audio.sensevoice import SenseVoiceAudioEncoder, SenseVoiceAudioProcessor
+from encoders.audio.sensevoice import SenseVoiceAudioEncoder, SenseVoiceAudioProcessor
 
 __all__ = ["SenseVoiceAudioEncoder", "SenseVoiceAudioProcessor"]

src/{omni/encoders → encoders}/vision/__init__.py

@@ -1,3 +1,3 @@
-from omni.encoders.vision.siglip import SiglipVisionEncoder
+from encoders.vision.siglip import SiglipVisionEncoder
 
 __all__ = ["SiglipVisionEncoder"]

src/{omni/models → models}/__init__.py

@@ -1,17 +1,17 @@
-from omni.models.lm.config import LMConfig
-from omni.models.lm.model import LMForCausalLM, LM
-from omni.models.vlm.config import VLMConfig
-from omni.models.vlm.model import VLM
-from omni.models.vam.config import VAMConfig
-from omni.models.vam.model import VAM, TalkerModule
-from omni.models.lm.lora import (
+from models.lm.config import LMConfig
+from models.lm.model import LMForCausalLM, LM
+from models.vlm.config import VLMConfig
+from models.vlm.model import VLM
+from models.vam.config import VAMConfig
+from models.vam.model import VAM, TalkerModule
+from models.lm.lora import (
     LoRA,
     apply_lora,
     load_lora,
     save_lora,
     merge_lora,
 )
-from omni.core import (
+from core import (
     RMSNorm,
     Attention,
     FeedForward,

src/{omni/models → models}/lm/__init__.py

@@ -1,4 +1,4 @@
-from omni.models.lm.config import LMConfig
-from omni.models.lm.model import LMForCausalLM, LM
+from models.lm.config import LMConfig
+from models.lm.model import LMForCausalLM, LM
 
 __all__ = ["LMConfig", "LMForCausalLM", "LM"]

src/{omni/models → models}/lm/model.py

@@ -4,8 +4,8 @@ from torch import nn
 from transformers import PreTrainedModel, GenerationMixin
 from transformers.modeling_outputs import MoeCausalLMOutputWithPast
 
-from omni.core import RMSNorm, precompute_freqs_cis, Block, MOEFeedForward
-from omni.models.lm.config import LMConfig
+from core import RMSNorm, precompute_freqs_cis, Block, MOEFeedForward
+from models.lm.config import LMConfig
 
 
 class LM(nn.Module):

src/{omni/models → models}/vam/__init__.py

@@ -1,4 +1,4 @@
-from omni.models.vam.config import VAMConfig
-from omni.models.vam.model import VAM, TalkerModule
+from models.vam.config import VAMConfig
+from models.vam.model import VAM, TalkerModule
 
 __all__ = ["VAMConfig", "VAM", "TalkerModule"]

src/{omni/models → models}/vam/config.py

@@ -1,4 +1,4 @@
-from omni.models.lm.config import LMConfig
+from models.lm.config import LMConfig
 
 
 class VAMConfig(LMConfig):

src/{omni/models → models}/vam/model.py

@@ -10,13 +10,13 @@ from torch.nn import functional as F
 from transformers.modeling_outputs import MoeCausalLMOutputWithPast
 from transformers import SiglipVisionModel, SiglipImageProcessor, logging as hf_logging
 
-from omni.core import RMSNorm, precompute_freqs_cis, Block, MOEFeedForward
-from omni.models.lm.config import LMConfig
-from omni.models.lm.model import LMForCausalLM
-from omni.models.vam.config import VAMConfig
-from omni.encoders.audio import SenseVoiceAudioEncoder, SenseVoiceAudioProcessor
-from omni.encoders.vision import SiglipVisionEncoder
-from omni.projectors import MMVisionProjector, MMAudioProjector
+from core import RMSNorm, precompute_freqs_cis, Block, MOEFeedForward
+from models.lm.config import LMConfig
+from models.lm.model import LMForCausalLM
+from models.vam.config import VAMConfig
+from encoders.audio import SenseVoiceAudioEncoder, SenseVoiceAudioProcessor
+from encoders.vision import SiglipVisionEncoder
+from projectors import MMVisionProjector, MMAudioProjector
 
 
 class TalkerHead(nn.Module):

src/models/vlm/__init__.py

@@ -0,0 +1,4 @@
+from models.vlm.config import VLMConfig
+from models.vlm.model import VLM
+
+__all__ = ["VLMConfig", "VLM"]

src/{omni/models → models}/vlm/config.py

@@ -1,4 +1,4 @@
-from omni.models.lm.config import LMConfig
+from models.lm.config import LMConfig
 
 
 class VLMConfig(LMConfig):

src/{omni/models → models}/vlm/model.py

@@ -7,11 +7,11 @@ from torch import nn
 from transformers.modeling_outputs import MoeCausalLMOutputWithPast
 from transformers import SiglipVisionModel, SiglipImageProcessor, logging as hf_logging
 
-from omni.core import precompute_freqs_cis, MOEFeedForward
-from omni.models.lm.model import LMForCausalLM
-from omni.models.vlm.config import VLMConfig
-from omni.encoders.vision import SiglipVisionEncoder
-from omni.projectors import MMVisionProjector
+from core import precompute_freqs_cis, MOEFeedForward
+from models.lm.model import LMForCausalLM
+from models.vlm.config import VLMConfig
+from encoders.vision import SiglipVisionEncoder
+from projectors import MMVisionProjector
 
 warnings.filterwarnings('ignore')
 

src/omni/models/vlm/__init__.py

@@ -1,4 +0,0 @@
-from omni.models.vlm.config import VLMConfig
-from omni.models.vlm.model import VLM
-
-__all__ = ["VLMConfig", "VLM"]

src/omni/serve/__init__.py

@@ -1 +0,0 @@
-import omni.serve

src/omni/trainers/__init__.py

@@ -1,15 +0,0 @@
-from omni.trainers.lm.pretrain import *
-from omni.trainers.lm.full_sft import *
-from omni.trainers.lm.lora import *
-from omni.trainers.lm.dpo import *
-from omni.trainers.lm.distillation import *
-from omni.trainers.lm.ppo import *
-from omni.trainers.lm.grpo import *
-from omni.trainers.lm.agent import *
-from omni.trainers.lm.rollout_engine import *
-from omni.trainers.lm.train_tokenizer import *
-
-from omni.trainers.vlm.pretrain import *
-from omni.trainers.vlm.full_sft import *
-
-from omni.trainers.vam.full_sft import *

src/omni/trainers/lm/__init__.py

@@ -1,10 +0,0 @@
-from omni.trainers.lm.pretrain import *
-from omni.trainers.lm.full_sft import *
-from omni.trainers.lm.lora import *
-from omni.trainers.lm.dpo import *
-from omni.trainers.lm.distillation import *
-from omni.trainers.lm.ppo import *
-from omni.trainers.lm.grpo import *
-from omni.trainers.lm.agent import *
-from omni.trainers.lm.rollout_engine import *
-from omni.trainers.lm.train_tokenizer import *

src/omni/trainers/vam/__init__.py

@@ -1 +0,0 @@
-from omni.trainers.vam.full_sft import *

src/omni/trainers/vlm/__init__.py

@@ -1,2 +0,0 @@
-from omni.trainers.vlm.pretrain import *
-from omni.trainers.vlm.full_sft import *

src/{omni/projectors → projectors}/__init__.py

@@ -1,4 +1,4 @@
-from omni.projectors.vision import MMVisionProjector
-from omni.projectors.audio import MMAudioProjector
+from projectors.vision import MMVisionProjector
+from projectors.audio import MMAudioProjector
 
 __all__ = ["MMVisionProjector", "MMAudioProjector"]

src/serve/__init__.py

@@ -0,0 +1 @@
+import serve