Hugging Face's logo

if001
/
sample_phi-2

Text Generation
Transformers
Safetensors
phi
text-generation-inference
Model card Files
xet
 Community
if001 commited on
Commit
c4d74b1
·
verified ·
1 Parent(s): 5d4f6bc

fix

Browse files
Files changed (1) hide show
  1. README.md +8 -9
README.md CHANGED
@@ -26,14 +26,14 @@ PhiConfig {
26
  "tie_word_embeddings": false,
27
  "transformers_version": "4.38.2",
28
  "use_cache": true,
29
- "vocab_size": 20
30
  }
31
  ```
32
 
33
  ```
34
  PhiForCausalLM(
35
  (model): PhiModel(
36
- (embed_tokens): Embedding(20, 8)
37
  (embed_dropout): Dropout(p=0.0, inplace=False)
38
  (layers): ModuleList(
39
  (0-5): 6 x PhiDecoderLayer(
@@ -55,9 +55,8 @@ PhiForCausalLM(
55
  )
56
  (final_layernorm): LayerNorm((8,), eps=1e-05, elementwise_affine=True)
57
  )
58
- (lm_head): Linear(in_features=8, out_features=20, bias=True)
59
  )
60
-
61
  ```
62
 
63
  ```
@@ -66,7 +65,7 @@ Layer (type:depth-idx) Param #
66
  ===========================================================================
67
  PhiForCausalLM --
68
  ├─PhiModel: 1-1 --
69
- │ └─Embedding: 2-1 160
70
  │ └─Dropout: 2-2 --
71
  │ └─ModuleList: 2-3 --
72
  │ │ └─PhiDecoderLayer: 3-1 410
@@ -76,10 +75,10 @@ PhiForCausalLM --
76
  │ │ └─PhiDecoderLayer: 3-5 410
77
  │ │ └─PhiDecoderLayer: 3-6 410
78
  │ └─LayerNorm: 2-4 16
79
- ├─Linear: 1-2 180
80
  ===========================================================================
81
- Total params: 2,816
82
- Trainable params: 2,816
83
  Non-trainable params: 0
84
  ===========================================================================
85
- ```
 
26
  "tie_word_embeddings": false,
27
  "transformers_version": "4.38.2",
28
  "use_cache": true,
29
+ "vocab_size": 51200
30
  }
31
  ```
32
 
33
  ```
34
  PhiForCausalLM(
35
  (model): PhiModel(
36
+ (embed_tokens): Embedding(51200, 8)
37
  (embed_dropout): Dropout(p=0.0, inplace=False)
38
  (layers): ModuleList(
39
  (0-5): 6 x PhiDecoderLayer(
 
55
  )
56
  (final_layernorm): LayerNorm((8,), eps=1e-05, elementwise_affine=True)
57
  )
58
+ (lm_head): Linear(in_features=8, out_features=51200, bias=True)
59
  )
 
60
  ```
61
 
62
  ```
 
65
  ===========================================================================
66
  PhiForCausalLM --
67
  ├─PhiModel: 1-1 --
68
+ │ └─Embedding: 2-1 409,600
69
  │ └─Dropout: 2-2 --
70
  │ └─ModuleList: 2-3 --
71
  │ │ └─PhiDecoderLayer: 3-1 410
 
75
  │ │ └─PhiDecoderLayer: 3-5 410
76
  │ │ └─PhiDecoderLayer: 3-6 410
77
  │ └─LayerNorm: 2-4 16
78
+ ├─Linear: 1-2 460,800
79
  ===========================================================================
80
+ Total params: 872,876
81
+ Trainable params: 872,876
82
  Non-trainable params: 0
83
  ===========================================================================
84
+ ```