Update README.md
Browse files
README.md
CHANGED
|
@@ -20,7 +20,7 @@ The ONNX version of the model is also available in the repository.
|
|
| 20 |
|
| 21 |
|
| 22 |
| Size | P. | Arch. | Act. | V. | H. | I. | L. | A.H. | K.H. | Tie |
|
| 23 |
-
| :--: | :-----: | :--: | :--: | :--: | :-----: | :---: | :------: |
|
| 24 |
| XL | 100 | LLaMA | SwiGLU | 16000 | 768 | 4096 | 8 | 24 | 8 | True |
|
| 25 |
| L | 78 | LLaMA | GeGLU | 16000 | 768 | 4096 | 6 | 24 | 8 | True |
|
| 26 |
| M2 | 22 | Qwen2 | GeGLU | 4000 | 432 | 2304 | 6 | 24 | 8 | True |
|
|
|
|
| 20 |
|
| 21 |
|
| 22 |
| Size | P. | Arch. | Act. | V. | H. | I. | L. | A.H. | K.H. | Tie |
|
| 23 |
+
| :--: | :-----: | :--: | :--: | :--: | :-----: | :---: | :------: | :----: | :----: | :--: |
|
| 24 |
| XL | 100 | LLaMA | SwiGLU | 16000 | 768 | 4096 | 8 | 24 | 8 | True |
|
| 25 |
| L | 78 | LLaMA | GeGLU | 16000 | 768 | 4096 | 6 | 24 | 8 | True |
|
| 26 |
| M2 | 22 | Qwen2 | GeGLU | 4000 | 432 | 2304 | 6 | 24 | 8 | True |
|