VGT-Phase-Transition: 语义流形相变实验 (Stage 1)
📊 项目简介 (Project Overview)
本项目展示了一个基于 VGT (Vector Gravity Transformer-less) 架构的中文语言建模实验。通过在隐藏层施加几何引力约束,本模型在极小规模语料(《红楼梦》全本)上实现了极速的逻辑收敛与角色语义锁定。
本仓库旨在证明:语言的逻辑深度并非仅来源于海量参数的堆叠,而是可以通过几何引力(Gravity)强制语义向量在流形空间内实现高质量结晶。
🧪 实验阶段观察 (Experimental Phases)
本实验将训练过程分为三个关键阶段,当前公开权重处于 Phase 2:
- Phase 1 (Early Alignment): 基础语法对齐,模型开始学习词频分布。
- Phase 2 (Manifold Locking): [当前公开版本] 角色逻辑与社会关系拓扑深度锁定。模型能够产生具有人物性格特征的连续对话。
- Phase 3 (Singularity & Quenching): [内部保留] 语义奇点突破(Loss < 2.0),通过撤销引力(Alpha=0)释放压抑的语义,实现完美的文本流利度。
📈 核心指标 (Key Metrics)
- 公开步数: 12,000 Steps
- 引力系数 (Alpha): 1.00 (强引力模式)
- Loss 指标: ~2.7x
- 隐藏层维度: 2048-dim Recurrent VGT
🎭 12,000步 典型采样展示 (Sample Output)
在 $Alpha=1.00$ 的高压环境下,模型虽存在叠词(语义重影),但逻辑闭环已极其完整:
宝玉笑道:“你瞧瞧,是我作的什么。” 贾琏笑道:“你也不知是外头也是那位人的认是我们父的母安...”
注:展示了跨角色的逻辑感知能力,以及对家族伦理词群的精准聚类。
🏛️ 实验状态总结 (Final Status)
- 架构定义:深度递归 VGT,利用矢量引力引导语义坍缩。
- 物理特性:验证了在强引力约束下,模型能快速构建具有深度因果关系的文本流形。
- 发布范围:本仓库仅公开 12,000 步的阶段性权重,作为 VGT 理论的物理性验证,不提供后续迭代计划。
Built with DynaCat Research.
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support