SpaceExploreAI-Small-Base-Regression-27M
模型描述
SpaceExploreAI-Small-Base-Regression-27M 是一个基于深度学习的金融时序预测模型，专为股票价格趋势分析和预测而设计。这是 SpaceExploreAI 系列的小型版本，具有约 5M 参数，针对regression任务进行了优化。
主要特点
- 轻量化设计：仅有 27M 参数，适合资源受限环境
- 回归预测：专为价格预测等回归任务优化
- Transformer 架构：基于 Transformer 架构，集成了 RoPE 旋转位置编码技术
- 多头gqa注意力：使用先进的多头注意力机制捕捉时间序列数据模式
技术规格
- 参数量：约 27M
- 模型类型：Transformer
- 隐藏层大小：256
- 隐藏层数量：4
- 注意力头数量：4
- 注意力类型：gqa
- 归一化类型：rmsnorm
- 最大序列长度：32
- 预测类型：regression
- 使用 MoE：是，混合专家模型增强了模型的表达能力
- MOE配置：一个共享专家，8个专家，每个token使用2个专家，中间层大小1024
使用示例
from transformers import AutoTokenizer, AutoModel
import torch
# 加载模型和分词器
model_name = "SpaceExploreAI/SpaceExploreAI-Small-Base-Regression-5M"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModel.from_pretrained(model_name)
# 准备输入数据 (假设您已经有了处理好的金融数据)
imputs:[batch_size, sql_len, feature_size] = [16, 32, 64]
inputs = torch.tensor([[0.1, 0.2, 0.3, ...]]) # 您的金融序列数据
# 进行预测
with torch.no_grad():
outputs = model(inputs)
predictions = outputs.last_hidden_state
免责声明
SpaceExploreAI仅供大模型AI学习、量化交易学习，不可以用于商业用途、不可以以此为投资逻辑，后果自负。