Hugging Face's logo

AmberLJC
/
activation_functions

Model card Files
xet
Community
AmberLJC commited on
Commit
0f2065e
·
verified ·
1 Parent(s): 6af3a5f

Upload gradient_magnitudes_epochs.json with huggingface_hub

Browse files
Files changed (1) hide show
  1. gradient_magnitudes_epochs.json +192 -0
gradient_magnitudes_epochs.json ADDED
@@ -0,0 +1,192 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "linear": {
3
+ "1": [
4
+ 0.0004009805852547288,
5
+ 0.00040036847349256277,
6
+ 0.00036985811311751604,
7
+ 0.000359987752744928,
8
+ 0.0003289323067292571,
9
+ 0.00030929772765375674,
10
+ 0.000437420851085335,
11
+ 0.000557888182811439,
12
+ 0.0006172899156808853,
13
+ 0.0007439448963850737
14
+ ],
15
+ "100": [
16
+ 3.099600871792063e-05,
17
+ 2.736817259574309e-05,
18
+ 2.4635010049678385e-05,
19
+ 2.6975096261594445e-05,
20
+ 2.780846261885017e-05,
21
+ 2.742374454101082e-05,
22
+ 2.5327310140710324e-05,
23
+ 2.6527004592935555e-05,
24
+ 2.71628796326695e-05,
25
+ 3.5740846215048805e-05
26
+ ],
27
+ "200": [
28
+ 1.123022244087224e-07,
29
+ 9.744558582269747e-08,
30
+ 9.419865421023133e-08,
31
+ 9.77038112637274e-08,
32
+ 9.99017188973994e-08,
33
+ 9.876626450022741e-08,
34
+ 8.952362406944303e-08,
35
+ 9.728739058800784e-08,
36
+ 9.556856639392208e-08,
37
+ 1.2140776561864186e-07
38
+ ]
39
+ },
40
+ "sigmoid": {
41
+ "1": [
42
+ 1.6582196726844245e-10,
43
+ 8.183660415994609e-10,
44
+ 5.867596630793059e-09,
45
+ 3.754411892487042e-08,
46
+ 2.397275977727986e-07,
47
+ 1.497530092819943e-06,
48
+ 1.265296850760933e-05,
49
+ 7.97040993347764e-05,
50
+ 0.0005029253661632538,
51
+ 0.0036848573945462704
52
+ ],
53
+ "100": [
54
+ 1.0378958803514138e-10,
55
+ 8.804028339692849e-11,
56
+ 7.505261689910725e-11,
57
+ 8.217171387769895e-11,
58
+ 3.2428393303973735e-10,
59
+ 1.8205583707242567e-09,
60
+ 1.527315696137066e-08,
61
+ 1.0708858866337323e-07,
62
+ 6.686989877380256e-07,
63
+ 4.7664311750850175e-06
64
+ ],
65
+ "200": [
66
+ 1.3188213021653183e-10,
67
+ 1.074098310294147e-10,
68
+ 9.739110906625825e-11,
69
+ 1.0973708053363396e-10,
70
+ 1.237602798020987e-10,
71
+ 1.2455078635120742e-10,
72
+ 1.9574396270538585e-10,
73
+ 7.501254062347584e-10,
74
+ 4.528399877301581e-09,
75
+ 3.233401812963166e-08
76
+ ]
77
+ },
78
+ "relu": {
79
+ "1": [
80
+ 1.2022654118482023e-05,
81
+ 9.013649105327204e-06,
82
+ 7.954162356327288e-06,
83
+ 6.0182464949321e-06,
84
+ 6.1193031797301956e-06,
85
+ 7.427526725223288e-06,
86
+ 1.2612316822924186e-05,
87
+ 1.5091778550413437e-05,
88
+ 2.7222169592278078e-05,
89
+ 3.230436777812429e-05
90
+ ],
91
+ "100": [
92
+ 0.0020424742251634598,
93
+ 0.0022222320549190044,
94
+ 0.0016562372911721468,
95
+ 0.0015791802434250712,
96
+ 0.0012765470892190933,
97
+ 0.0010596271604299545,
98
+ 0.0008962957072071731,
99
+ 0.0006760160904377699,
100
+ 0.0005982405855320394,
101
+ 0.00048431713366881013
102
+ ],
103
+ "200": [
104
+ 0.00012704881373792887,
105
+ 0.00013947300612926483,
106
+ 0.00010375848796684295,
107
+ 9.27611836232245e-05,
108
+ 7.492543227272108e-05,
109
+ 6.03889930061996e-05,
110
+ 5.1509738113963977e-05,
111
+ 3.705257404362783e-05,
112
+ 2.8892874979646876e-05,
113
+ 1.9146278646076098e-05
114
+ ]
115
+ },
116
+ "leaky_relu": {
117
+ "1": [
118
+ 2.784265234367922e-06,
119
+ 2.4898686206142884e-06,
120
+ 2.8182541882415535e-06,
121
+ 2.0921370378346182e-06,
122
+ 5.041565600549802e-06,
123
+ 7.597795047331601e-06,
124
+ 1.537061507406179e-05,
125
+ 3.3493703085696325e-05,
126
+ 0.00011857690697070211,
127
+ 0.0003166203387081623
128
+ ],
129
+ "100": [
130
+ 0.0012950863456353545,
131
+ 0.001056871609762311,
132
+ 0.0008204175974242389,
133
+ 0.0005373304593376815,
134
+ 0.00042928551556542516,
135
+ 0.0003193736483808607,
136
+ 0.0002826519776135683,
137
+ 0.00023377551406156272,
138
+ 0.00027470116037875414,
139
+ 0.000337461126036942
140
+ ],
141
+ "200": [
142
+ 0.0008976995013654232,
143
+ 0.0009603990474715829,
144
+ 0.0010412049014121294,
145
+ 0.0008971075294539332,
146
+ 0.0008287349482998252,
147
+ 0.0007339102448895574,
148
+ 0.0004858870233874768,
149
+ 0.00039588200161233544,
150
+ 0.00027544741169549525,
151
+ 0.00017856046906672418
152
+ ]
153
+ },
154
+ "gelu": {
155
+ "1": [
156
+ 4.0977013782139693e-07,
157
+ 4.266817086318042e-07,
158
+ 4.2514167830631777e-07,
159
+ 4.776728701472166e-07,
160
+ 7.016578251750616e-07,
161
+ 1.13078033336933e-06,
162
+ 4.0528016143071e-06,
163
+ 1.2373106073937379e-05,
164
+ 5.07820732309483e-05,
165
+ 0.00014970538904890418
166
+ ],
167
+ "100": [
168
+ 0.0002656090946402401,
169
+ 0.00020605267491191626,
170
+ 0.00020594210946001112,
171
+ 0.0001672756188781932,
172
+ 0.0001540634548291564,
173
+ 0.00014035039930604398,
174
+ 0.00013114974717609584,
175
+ 0.00011073260975535959,
176
+ 0.00019500542839523405,
177
+ 0.0002567707560956478
178
+ ],
179
+ "200": [
180
+ 0.00048717265599407256,
181
+ 0.00047547786380164325,
182
+ 0.0003849182394333184,
183
+ 0.0002883608976844698,
184
+ 0.0002207847428508103,
185
+ 0.00018863045261241496,
186
+ 0.00017721010954119265,
187
+ 0.00013324597966857255,
188
+ 0.00016725595924071968,
189
+ 0.00016326078912243247
190
+ ]
191
+ }
192
+ }