Hugging Face's logo

MYTH-Lab
/
BatGPT-15B-sirius

Text Generation
Transformers
PyTorch
Chinese
English
batgpt
feature-extraction
BatGPT
MLP
custom_code
Model card Files
xet
 Community
1
charlee1995 commited on
Commit
3dee8a9
·
1 Parent(s): bdd49ab

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +2 -2
README.md CHANGED
@@ -81,14 +81,14 @@ BatGPT-15B-sirius 具体参数和见下表:
81
 
82
  | 模型名称 | 隐含层维度 | 层数 | Query头数 | Key/Value头数 |词表大小 | 总参数量 | 训练数据（tokens） | 位置编码 | 最大长度 |
83
  |-------------------------|-------|------------|------------|------------|-----------------|--------|--------|----------------|---------|
84
- | BatGPT-15B-sirius | 5,632 | 48 | 44 | 2 | 65,536 | 15,030,081,024 | 1 万亿 | [RoPE](https://arxiv.org/abs/2104.09864) | 32K |
85
 
86
 
87
 
88
  The specific parameters of BatGPT-15B-sirius are as follows:
89
  | Model Name | Hidden Size | Num Layers | Query Heads | Key/Value Heads |Vocab Size | Total Params | Training Dats（tokens） | Position Embedding | Max Length |
90
  |-------------------------|-------|------------|------------|------------|-----------------|--------|--------|----------------|---------|
91
- | BatGPT-15B-sirius | 5,632 | 48 | 44 | 2 | 65,536 | 15,030,081,024 | 1 万亿 | [RoPE](https://arxiv.org/abs/2104.09864) | 32K |
92
 
93
 
94
 
 
81
 
82
  | 模型名称 | 隐含层维度 | 层数 | Query头数 | Key/Value头数 |词表大小 | 总参数量 | 训练数据（tokens） | 位置编码 | 最大长度 |
83
  |-------------------------|-------|------------|------------|------------|-----------------|--------|--------|----------------|---------|
84
+ | BatGPT-15B-sirius | 5,632 | 48 | 44 | 2 | 65,536 | 15,030,081,024 | 1T | [RoPE](https://arxiv.org/abs/2104.09864) | 32K |
85
 
86
 
87
 
88
  The specific parameters of BatGPT-15B-sirius are as follows:
89
  | Model Name | Hidden Size | Num Layers | Query Heads | Key/Value Heads |Vocab Size | Total Params | Training Dats（tokens） | Position Embedding | Max Length |
90
  |-------------------------|-------|------------|------------|------------|-----------------|--------|--------|----------------|---------|
91
+ | BatGPT-15B-sirius | 5,632 | 48 | 44 | 2 | 65,536 | 15,030,081,024 | 1T | [RoPE](https://arxiv.org/abs/2104.09864) | 32K |
92
 
93
 
94