Hugging Face's logo

AmberLJC
/
activation_functions

Model card Files
xet
 Community
AmberLJC commited on
Commit
89d4a3d
·
verified ·
1 Parent(s): 7db910c

Upload exp1_gradient_flow.json with huggingface_hub

Browse files
Files changed (1) hide show
  1. exp1_gradient_flow.json +954 -0
exp1_gradient_flow.json ADDED
@@ -0,0 +1,954 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "Linear": {
3
+ "5": {
4
+ "grad_magnitudes": [
5
+ 0.008050061762332916,
6
+ 0.0010963320964947343,
7
+ 0.0009172428981401026,
8
+ 0.0010250628693029284,
9
+ 0.001246687606908381,
10
+ 0.007761468179523945
11
+ ],
12
+ "grad_ratio": 0.964150128564933,
13
+ "min_grad": 0.0009172428981401026,
14
+ "max_grad": 0.008050061762332916
15
+ },
16
+ "10": {
17
+ "grad_magnitudes": [
18
+ 0.015239879488945007,
19
+ 0.0021073841489851475,
20
+ 0.0018483479507267475,
21
+ 0.0018574574496597052,
22
+ 0.0018114272970706224,
23
+ 0.0019894992001354694,
24
+ 0.0019402478355914354,
25
+ 0.0019223426934331656,
26
+ 0.00207877391949296,
27
+ 0.0018008677288889885,
28
+ 0.012865377590060234
29
+ ],
30
+ "grad_ratio": 0.844191551184746,
31
+ "min_grad": 0.0018008677288889885,
32
+ "max_grad": 0.015239879488945007
33
+ },
34
+ "20": {
35
+ "grad_magnitudes": [
36
+ 0.036468636244535446,
37
+ 0.0051793260499835014,
38
+ 0.005397915840148926,
39
+ 0.005881031043827534,
40
+ 0.0065384479239583015,
41
+ 0.006293305195868015,
42
+ 0.007871010340750217,
43
+ 0.008248774334788322,
44
+ 0.006826749537140131,
45
+ 0.00674730259925127,
46
+ 0.008694681338965893,
47
+ 0.009522023610770702,
48
+ 0.008454672992229462,
49
+ 0.008771323598921299,
50
+ 0.008859103545546532,
51
+ 0.009891698136925697,
52
+ 0.009978478774428368,
53
+ 0.009726550430059433,
54
+ 0.010439122095704079,
55
+ 0.009645323269069195,
56
+ 0.05231242626905441
57
+ ],
58
+ "grad_ratio": 1.4344497495007937,
59
+ "min_grad": 0.0051793260499835014,
60
+ "max_grad": 0.05231242626905441
61
+ },
62
+ "50": {
63
+ "grad_magnitudes": [
64
+ 0.00780356302857399,
65
+ 0.0013463267823681235,
66
+ 0.0012181808706372976,
67
+ 0.0010228229220956564,
68
+ 0.001138024963438511,
69
+ 0.0008798623457551003,
70
+ 0.0010108972201123834,
71
+ 0.0010009947000071406,
72
+ 0.0009158722823485732,
73
+ 0.0009618965559639037,
74
+ 0.0012096513528376818,
75
+ 0.0012799486285075545,
76
+ 0.001536667114123702,
77
+ 0.0017125546000897884,
78
+ 0.0017641540616750717,
79
+ 0.0015709223225712776,
80
+ 0.00140175421256572,
81
+ 0.0012298696674406528,
82
+ 0.0011636429699137807,
83
+ 0.001056956360116601,
84
+ 0.0010974140604957938,
85
+ 0.0011490222532302141,
86
+ 0.0009985913056880236,
87
+ 0.0013249358162283897,
88
+ 0.0014535158406943083,
89
+ 0.001274607377126813,
90
+ 0.001229060348123312,
91
+ 0.0013025497319176793,
92
+ 0.0015170243568718433,
93
+ 0.001247262116521597,
94
+ 0.0012123766355216503,
95
+ 0.0011242021573707461,
96
+ 0.0010333468671888113,
97
+ 0.0008959962287917733,
98
+ 0.0008950810879468918,
99
+ 0.0010485145030543208,
100
+ 0.0009760436369106174,
101
+ 0.0009109822567552328,
102
+ 0.0007398416055366397,
103
+ 0.0005476648802869022,
104
+ 0.0006474255351349711,
105
+ 0.0007444445509463549,
106
+ 0.0008837291388772428,
107
+ 0.0007879274780862033,
108
+ 0.001059026806615293,
109
+ 0.001115000806748867,
110
+ 0.001130359130911529,
111
+ 0.0008145536994561553,
112
+ 0.0007189075695350766,
113
+ 0.000832579389680177,
114
+ 0.004423433914780617
115
+ ],
116
+ "grad_ratio": 0.5668479695619439,
117
+ "min_grad": 0.0005476648802869022,
118
+ "max_grad": 0.00780356302857399
119
+ }
120
+ },
121
+ "Sigmoid": {
122
+ "5": {
123
+ "grad_magnitudes": [
124
+ 1.329346741840709e-05,
125
+ 0.00018357441877014935,
126
+ 0.0008353336015716195,
127
+ 0.0034204141702502966,
128
+ 0.016047654673457146,
129
+ 0.5201966166496277
130
+ ],
131
+ "grad_ratio": 39131.45360284038,
132
+ "min_grad": 1.329346741840709e-05,
133
+ "max_grad": 0.5201966166496277
134
+ },
135
+ "10": {
136
+ "grad_magnitudes": [
137
+ 1.9365648640246036e-08,
138
+ 1.1185557013959624e-07,
139
+ 4.6022879018892127e-07,
140
+ 1.8140412976208609e-06,
141
+ 8.593917300458997e-06,
142
+ 3.840812496491708e-05,
143
+ 0.00016295832756441087,
144
+ 0.0007747909985482693,
145
+ 0.0037876588758081198,
146
+ 0.0159453097730875,
147
+ 0.5039748549461365
148
+ ],
149
+ "grad_ratio": 25890473.225954954,
150
+ "min_grad": 1.9365648640246036e-08,
151
+ "max_grad": 0.5039748549461365
152
+ },
153
+ "20": {
154
+ "grad_magnitudes": [
155
+ 1.8916608934111366e-15,
156
+ 1.0649327150365553e-13,
157
+ 4.204508377743388e-13,
158
+ 1.7963471422161037e-12,
159
+ 7.273562394743971e-12,
160
+ 3.31086824623128e-11,
161
+ 1.3555417899269173e-10,
162
+ 5.809138725609841e-10,
163
+ 2.2974195879044146e-09,
164
+ 9.252158150729883e-09,
165
+ 3.954029637043277e-08,
166
+ 1.6869600472091406e-07,
167
+ 7.561744155282213e-07,
168
+ 3.262422751504346e-06,
169
+ 1.222013816004619e-05,
170
+ 4.3847096094395965e-05,
171
+ 0.0002167787024518475,
172
+ 0.0009953442495316267,
173
+ 0.003992772661149502,
174
+ 0.01867060922086239,
175
+ 0.47626304626464844
176
+ ],
177
+ "grad_ratio": Infinity,
178
+ "min_grad": 1.8916608934111366e-15,
179
+ "max_grad": 0.47626304626464844
180
+ },
181
+ "50": {
182
+ "grad_magnitudes": [
183
+ 7.0844932307647634e-34,
184
+ 5.838017755594026e-33,
185
+ 2.8322161054672555e-32,
186
+ 1.4260718954995027e-31,
187
+ 6.328142182284493e-31,
188
+ 2.620957812390017e-30,
189
+ 1.0923929563660472e-29,
190
+ 4.471435163002491e-29,
191
+ 1.8042435515991526e-28,
192
+ 6.882144063327598e-28,
193
+ 3.270060719292387e-27,
194
+ 1.396067635864233e-26,
195
+ 6.815393372940877e-26,
196
+ 3.2482708557536667e-25,
197
+ 1.4205584328014256e-24,
198
+ 5.379184136995093e-24,
199
+ 2.7745026897528206e-23,
200
+ 1.1308728759659022e-22,
201
+ 4.541378072919718e-22,
202
+ 2.120679448671423e-21,
203
+ 1.0006082368214331e-20,
204
+ 4.098714831882344e-20,
205
+ 1.9289519720021877e-19,
206
+ 7.17730245249119e-19,
207
+ 2.8497540495067035e-18,
208
+ 1.2681734272899532e-17,
209
+ 5.874923907460281e-17,
210
+ 2.8391448543088637e-16,
211
+ 1.1303265045952901e-15,
212
+ 5.398206617905068e-15,
213
+ 2.095711299811287e-14,
214
+ 8.007427999747602e-14,
215
+ 2.7801646076443254e-13,
216
+ 1.121316472833811e-12,
217
+ 4.9648111143107965e-12,
218
+ 1.8212310132215137e-11,
219
+ 7.814832114760861e-11,
220
+ 4.2286585344442074e-10,
221
+ 1.5975993861161442e-09,
222
+ 7.24585280664769e-09,
223
+ 3.052652886026408e-08,
224
+ 1.3369705698096368e-07,
225
+ 5.750946456828387e-07,
226
+ 2.7530245461093727e-06,
227
+ 1.2589617654157337e-05,
228
+ 4.707488915300928e-05,
229
+ 0.00023045617854222655,
230
+ 0.0009376317029818892,
231
+ 0.004132640082389116,
232
+ 0.017605705186724663,
233
+ 0.5052091479301453
234
+ ],
235
+ "grad_ratio": Infinity,
236
+ "min_grad": 7.0844932307647634e-34,
237
+ "max_grad": 0.5052091479301453
238
+ }
239
+ },
240
+ "Tanh": {
241
+ "5": {
242
+ "grad_magnitudes": [
243
+ 0.03351971507072449,
244
+ 0.005644960328936577,
245
+ 0.005629217717796564,
246
+ 0.004272429272532463,
247
+ 0.004444873426109552,
248
+ 0.03419789671897888
249
+ ],
250
+ "grad_ratio": 1.0202323183475825,
251
+ "min_grad": 0.004272429272532463,
252
+ "max_grad": 0.03419789671897888
253
+ },
254
+ "10": {
255
+ "grad_magnitudes": [
256
+ 0.0047364430502057076,
257
+ 0.0005191669915802777,
258
+ 0.00047829572577029467,
259
+ 0.0004884133813902736,
260
+ 0.00047016539610922337,
261
+ 0.000537046289537102,
262
+ 0.0006175324087962508,
263
+ 0.0006409377092495561,
264
+ 0.00068072066642344,
265
+ 0.0008328863768838346,
266
+ 0.005633068270981312
267
+ ],
268
+ "grad_ratio": 1.1893034693632212,
269
+ "min_grad": 0.00047016539610922337,
270
+ "max_grad": 0.005633068270981312
271
+ },
272
+ "20": {
273
+ "grad_magnitudes": [
274
+ 0.0033105318434536457,
275
+ 0.00035661246511153877,
276
+ 0.00023856971529312432,
277
+ 0.00021728740830440074,
278
+ 0.0002619670704007149,
279
+ 0.00027585128555074334,
280
+ 0.0003367620229255408,
281
+ 0.000320765539072454,
282
+ 0.00037765782326459885,
283
+ 0.00032520643435418606,
284
+ 0.00027947983471676707,
285
+ 0.0002846440183930099,
286
+ 0.00030009946203790605,
287
+ 0.0002704813960008323,
288
+ 0.00023925062851049006,
289
+ 0.000239664688706398,
290
+ 0.00022458421881310642,
291
+ 0.00023295514984056354,
292
+ 0.00021394219947978854,
293
+ 0.0003151296405121684,
294
+ 0.0016792872920632362
295
+ ],
296
+ "grad_ratio": 0.5072560303741862,
297
+ "min_grad": 0.00021394219947978854,
298
+ "max_grad": 0.0033105318434536457
299
+ },
300
+ "50": {
301
+ "grad_magnitudes": [
302
+ 0.001763450214639306,
303
+ 0.00033820036333054304,
304
+ 0.000249166478170082,
305
+ 0.0002763355150818825,
306
+ 0.00026023955433629453,
307
+ 0.0002999708813149482,
308
+ 0.000318168371450156,
309
+ 0.00033116358099505305,
310
+ 0.00040550882113166153,
311
+ 0.00045765130198560655,
312
+ 0.00044944032561033964,
313
+ 0.0003122303169220686,
314
+ 0.00036881951382383704,
315
+ 0.0003479030274320394,
316
+ 0.00034049811074510217,
317
+ 0.0002740394265856594,
318
+ 0.00025506241945549846,
319
+ 0.0003161318600177765,
320
+ 0.00032785223447717726,
321
+ 0.0003354167565703392,
322
+ 0.0003104435745626688,
323
+ 0.00029517413349822164,
324
+ 0.00028998652123846114,
325
+ 0.0003076053108088672,
326
+ 0.00041010743007063866,
327
+ 0.0003922421601600945,
328
+ 0.00047395285218954086,
329
+ 0.0004304224858060479,
330
+ 0.00041831302223727107,
331
+ 0.00044402480125427246,
332
+ 0.0005924889701418579,
333
+ 0.0006368134636431932,
334
+ 0.0006767367012798786,
335
+ 0.0007343342294916511,
336
+ 0.0006757226656191051,
337
+ 0.0007636228110641241,
338
+ 0.0006845869356766343,
339
+ 0.000606647168751806,
340
+ 0.0006138741737231612,
341
+ 0.0005519173573702574,
342
+ 0.0005722586065530777,
343
+ 0.0006591876153834164,
344
+ 0.0005433019832707942,
345
+ 0.0006216123001649976,
346
+ 0.000657913158647716,
347
+ 0.0006560561014339328,
348
+ 0.0007619493990205228,
349
+ 0.0006265546544454992,
350
+ 0.0007016111630946398,
351
+ 0.0007417646702378988,
352
+ 0.005914537236094475
353
+ ],
354
+ "grad_ratio": 3.35395740214219,
355
+ "min_grad": 0.000249166478170082,
356
+ "max_grad": 0.005914537236094475
357
+ }
358
+ },
359
+ "ReLU": {
360
+ "5": {
361
+ "grad_magnitudes": [
362
+ 0.014101849868893623,
363
+ 0.001496600452810526,
364
+ 0.0014238011790439487,
365
+ 0.0014998713741078973,
366
+ 0.0015860931016504765,
367
+ 0.015500804409384727
368
+ ],
369
+ "grad_ratio": 1.099203611127403,
370
+ "min_grad": 0.0014238011790439487,
371
+ "max_grad": 0.015500804409384727
372
+ },
373
+ "10": {
374
+ "grad_magnitudes": [
375
+ 0.0014025310520082712,
376
+ 0.00016288302140310407,
377
+ 0.00013577929348684847,
378
+ 0.0001386851363349706,
379
+ 0.0001480671635363251,
380
+ 0.0001368058001389727,
381
+ 0.00013926667452324182,
382
+ 0.00015075650298967957,
383
+ 0.0002554032835178077,
384
+ 0.0002662213228177279,
385
+ 0.002704559825360775
386
+ ],
387
+ "grad_ratio": 1.9283420703263103,
388
+ "min_grad": 0.00013577929348684847,
389
+ "max_grad": 0.002704559825360775
390
+ },
391
+ "20": {
392
+ "grad_magnitudes": [
393
+ 3.7245703424559906e-05,
394
+ 4.251361133356113e-06,
395
+ 4.524792984739179e-06,
396
+ 5.495635832630796e-06,
397
+ 5.064898232376436e-06,
398
+ 5.4087636272015516e-06,
399
+ 5.452491677715443e-06,
400
+ 4.675002855947241e-06,
401
+ 6.162107638374437e-06,
402
+ 6.620976819249336e-06,
403
+ 4.717851879831869e-06,
404
+ 4.145825641899137e-06,
405
+ 4.5299593693926e-06,
406
+ 3.5821340134134516e-06,
407
+ 4.3953100430371705e-06,
408
+ 5.28204918737174e-06,
409
+ 4.118291144550312e-06,
410
+ 5.31574733031448e-06,
411
+ 4.957274541084189e-06,
412
+ 5.01117483509006e-06,
413
+ 4.032064680359326e-05
414
+ ],
415
+ "grad_ratio": 1.0825554316545043,
416
+ "min_grad": 3.5821340134134516e-06,
417
+ "max_grad": 4.032064680359326e-05
418
+ },
419
+ "50": {
420
+ "grad_magnitudes": [
421
+ 4.0748809881918646e-10,
422
+ 4.1576700415824064e-11,
423
+ 4.808999032324124e-11,
424
+ 4.3272396083038345e-11,
425
+ 3.670341461314841e-11,
426
+ 3.189445582640893e-11,
427
+ 3.547676041826264e-11,
428
+ 4.278560838955059e-11,
429
+ 3.8738050961439896e-11,
430
+ 2.8411658442584198e-11,
431
+ 2.8411212618650872e-11,
432
+ 2.0138330239505287e-11,
433
+ 1.481766966071607e-11,
434
+ 1.4131399175831838e-11,
435
+ 1.0386590892919045e-11,
436
+ 9.893367375335416e-12,
437
+ 6.878495602963275e-12,
438
+ 9.364926369104243e-12,
439
+ 1.7540371932689425e-11,
440
+ 1.3343419251465871e-11,
441
+ 1.097693550639045e-11,
442
+ 1.5165892847113227e-11,
443
+ 1.4713279206102214e-11,
444
+ 2.3583145852823506e-11,
445
+ 3.395298625585852e-11,
446
+ 3.117691521614674e-11,
447
+ 4.333122402555567e-11,
448
+ 3.22573148747729e-11,
449
+ 5.136685174433886e-11,
450
+ 5.1204915307856425e-11,
451
+ 5.411919523634623e-11,
452
+ 5.267703634403986e-11,
453
+ 4.2387225673845563e-11,
454
+ 4.742817596992133e-11,
455
+ 6.158997617466966e-11,
456
+ 5.1932062816728575e-11,
457
+ 5.4820710471137346e-11,
458
+ 5.396337543484009e-11,
459
+ 4.900669800522728e-11,
460
+ 4.6886501625653665e-11,
461
+ 4.134630138263873e-11,
462
+ 5.020979465530928e-11,
463
+ 4.7103397571302e-11,
464
+ 3.112848867559137e-11,
465
+ 3.6117463186879917e-11,
466
+ 3.79848097420421e-11,
467
+ 4.5467990483771814e-11,
468
+ 4.9867904944322916e-11,
469
+ 5.4948202238280786e-11,
470
+ 4.6310327100895776e-11,
471
+ 5.024600735481499e-10
472
+ ],
473
+ "grad_ratio": 0.9900923287014304,
474
+ "min_grad": 6.878495602963275e-12,
475
+ "max_grad": 5.024600735481499e-10
476
+ }
477
+ },
478
+ "LeakyReLU": {
479
+ "5": {
480
+ "grad_magnitudes": [
481
+ 0.01470071543008089,
482
+ 0.0012602064525708556,
483
+ 0.0012662984663620591,
484
+ 0.0009464086033403873,
485
+ 0.0009920477168634534,
486
+ 0.009053332731127739
487
+ ],
488
+ "grad_ratio": 0.6158429984311058,
489
+ "min_grad": 0.0009464086033403873,
490
+ "max_grad": 0.01470071543008089
491
+ },
492
+ "10": {
493
+ "grad_magnitudes": [
494
+ 0.0042951712384819984,
495
+ 0.0005413700127974153,
496
+ 0.0004284090828150511,
497
+ 0.0005468458402901888,
498
+ 0.0006778627866879106,
499
+ 0.0004228659381624311,
500
+ 0.00042784903780557215,
501
+ 0.00039307467523030937,
502
+ 0.00032244977774098516,
503
+ 0.0002800374059006572,
504
+ 0.0031104935333132744
505
+ ],
506
+ "grad_ratio": 0.7241838073944186,
507
+ "min_grad": 0.0002800374059006572,
508
+ "max_grad": 0.0042951712384819984
509
+ },
510
+ "20": {
511
+ "grad_magnitudes": [
512
+ 2.8346576073090546e-05,
513
+ 2.929918991867453e-06,
514
+ 2.5261108476115623e-06,
515
+ 2.771588697214611e-06,
516
+ 2.6496877580939326e-06,
517
+ 3.129072638330399e-06,
518
+ 4.099352281627944e-06,
519
+ 4.804170202987734e-06,
520
+ 4.945289219904225e-06,
521
+ 3.7647364479198586e-06,
522
+ 4.576029368763557e-06,
523
+ 6.478589057223871e-06,
524
+ 5.010792392567964e-06,
525
+ 6.02887575951172e-06,
526
+ 4.592878212861251e-06,
527
+ 4.993918537365971e-06,
528
+ 5.19327113579493e-06,
529
+ 5.606665581581183e-06,
530
+ 5.385511940403376e-06,
531
+ 6.034209036442917e-06,
532
+ 4.905004607280716e-05
533
+ ],
534
+ "grad_ratio": 1.7303632336410086,
535
+ "min_grad": 2.5261108476115623e-06,
536
+ "max_grad": 4.905004607280716e-05
537
+ },
538
+ "50": {
539
+ "grad_magnitudes": [
540
+ 3.5766740680287512e-09,
541
+ 3.229797540527102e-10,
542
+ 2.7701627103304816e-10,
543
+ 2.624537254192205e-10,
544
+ 2.393769349406938e-10,
545
+ 2.2850041303534852e-10,
546
+ 2.966877854504446e-10,
547
+ 3.075732446511381e-10,
548
+ 2.8547886277152656e-10,
549
+ 2.506321539197387e-10,
550
+ 2.2882917782851564e-10,
551
+ 1.9686166585763942e-10,
552
+ 1.8310070126759115e-10,
553
+ 1.407220451277169e-10,
554
+ 1.5929868535380365e-10,
555
+ 1.8709400695371414e-10,
556
+ 1.7987977773969988e-10,
557
+ 2.1005408523677715e-10,
558
+ 2.086961436997825e-10,
559
+ 2.0939296130340068e-10,
560
+ 1.8472533225288856e-10,
561
+ 1.8743909202534326e-10,
562
+ 2.050700720346299e-10,
563
+ 1.5845748324583298e-10,
564
+ 2.8162439047463295e-10,
565
+ 3.2937369498498015e-10,
566
+ 3.317407182290566e-10,
567
+ 3.561825834275112e-10,
568
+ 2.568388002277544e-10,
569
+ 3.0480978852054363e-10,
570
+ 3.5757000138580963e-10,
571
+ 4.529772945627286e-10,
572
+ 5.357266852357156e-10,
573
+ 3.5494915340272826e-10,
574
+ 3.9480846369954747e-10,
575
+ 4.4418710376525894e-10,
576
+ 4.2709979997113123e-10,
577
+ 5.071326691918898e-10,
578
+ 6.737294055980669e-10,
579
+ 7.830959769528079e-10,
580
+ 1.0350242884982208e-09,
581
+ 1.411187833255667e-09,
582
+ 1.2938438098686333e-09,
583
+ 1.2814410643713359e-09,
584
+ 1.2561465201343935e-09,
585
+ 9.485904284289859e-10,
586
+ 7.881903463236029e-10,
587
+ 9.489523611350137e-10,
588
+ 9.804673739566283e-10,
589
+ 7.932817180922314e-10,
590
+ 6.4204632721498456e-09
591
+ ],
592
+ "grad_ratio": 1.7462693601209467,
593
+ "min_grad": 1.407220451277169e-10,
594
+ "max_grad": 6.4204632721498456e-09
595
+ }
596
+ },
597
+ "ELU": {
598
+ "5": {
599
+ "grad_magnitudes": [
600
+ 0.01663251966238022,
601
+ 0.0029170920606702566,
602
+ 0.0026800488121807575,
603
+ 0.00239160587079823,
604
+ 0.0019397285068407655,
605
+ 0.01229225005954504
606
+ ],
607
+ "grad_ratio": 0.7390491780654852,
608
+ "min_grad": 0.0019397285068407655,
609
+ "max_grad": 0.01663251966238022
610
+ },
611
+ "10": {
612
+ "grad_magnitudes": [
613
+ 0.017808735370635986,
614
+ 0.002567092888057232,
615
+ 0.00246000150218606,
616
+ 0.0024695242755115032,
617
+ 0.0028006252832710743,
618
+ 0.003059604438021779,
619
+ 0.003199273254722357,
620
+ 0.002859656000509858,
621
+ 0.0033924104645848274,
622
+ 0.0037210085429251194,
623
+ 0.02290493994951248
624
+ ],
625
+ "grad_ratio": 1.2861631858859037,
626
+ "min_grad": 0.00246000150218606,
627
+ "max_grad": 0.02290493994951248
628
+ },
629
+ "20": {
630
+ "grad_magnitudes": [
631
+ 0.013705123215913773,
632
+ 0.002269498072564602,
633
+ 0.0022475626319646835,
634
+ 0.0022167174611240625,
635
+ 0.002372121438384056,
636
+ 0.0020576310344040394,
637
+ 0.0015043665189296007,
638
+ 0.001998412422835827,
639
+ 0.002135390415787697,
640
+ 0.0023664706386625767,
641
+ 0.002190660685300827,
642
+ 0.0017200811998918653,
643
+ 0.0018231148133054376,
644
+ 0.001758940052241087,
645
+ 0.0018559158779680729,
646
+ 0.0016274445224553347,
647
+ 0.0015842452412471175,
648
+ 0.0015502613969147205,
649
+ 0.0014859639341011643,
650
+ 0.001593574183061719,
651
+ 0.012028824537992477
652
+ ],
653
+ "grad_ratio": 0.8776881652735767,
654
+ "min_grad": 0.0014859639341011643,
655
+ "max_grad": 0.013705123215913773
656
+ },
657
+ "50": {
658
+ "grad_magnitudes": [
659
+ 0.004887521732598543,
660
+ 0.0007832266855984926,
661
+ 0.0006716778734698892,
662
+ 0.0005891284672543406,
663
+ 0.0005811535520479083,
664
+ 0.0005837337812408805,
665
+ 0.0006290594465099275,
666
+ 0.0005577743286266923,
667
+ 0.0004929671413265169,
668
+ 0.0004932894371449947,
669
+ 0.0005606593331322074,
670
+ 0.0004906051326543093,
671
+ 0.0006288370350375772,
672
+ 0.0005605426849797368,
673
+ 0.0005639252485707402,
674
+ 0.0006711557507514954,
675
+ 0.000758685520850122,
676
+ 0.0008568805642426014,
677
+ 0.0010297633707523346,
678
+ 0.0009885970503091812,
679
+ 0.0008996614487841725,
680
+ 0.0008692842093296349,
681
+ 0.000767996592912823,
682
+ 0.0007075848407112062,
683
+ 0.0007235572556965053,
684
+ 0.0007116141496226192,
685
+ 0.0007007126696407795,
686
+ 0.0007190519827418029,
687
+ 0.0008402850944548845,
688
+ 0.0008518969407305121,
689
+ 0.0008310297853313386,
690
+ 0.0007118322537280619,
691
+ 0.0006796397501602769,
692
+ 0.0005843604449182749,
693
+ 0.000612094416283071,
694
+ 0.0005740316701121628,
695
+ 0.0005840327357873321,
696
+ 0.0005447334842756391,
697
+ 0.0005405263509601355,
698
+ 0.000639910576865077,
699
+ 0.0006458850111812353,
700
+ 0.000506310723721981,
701
+ 0.0004536394844762981,
702
+ 0.0005528016481548548,
703
+ 0.0005283295176923275,
704
+ 0.0005171207594685256,
705
+ 0.0006086996290832758,
706
+ 0.0006533186533488333,
707
+ 0.0005882599507458508,
708
+ 0.0005357624613679945,
709
+ 0.0038252624217420816
710
+ ],
711
+ "grad_ratio": 0.7826588919211659,
712
+ "min_grad": 0.0004536394844762981,
713
+ "max_grad": 0.004887521732598543
714
+ }
715
+ },
716
+ "GELU": {
717
+ "5": {
718
+ "grad_magnitudes": [
719
+ 0.0010285419411957264,
720
+ 9.60302131716162e-05,
721
+ 9.209314885083586e-05,
722
+ 0.00011441837705206126,
723
+ 0.0001269969216082245,
724
+ 0.0007236471283249557
725
+ ],
726
+ "grad_ratio": 0.7035659208287522,
727
+ "min_grad": 9.209314885083586e-05,
728
+ "max_grad": 0.0010285419411957264
729
+ },
730
+ "10": {
731
+ "grad_magnitudes": [
732
+ 3.906059646396898e-05,
733
+ 3.3071144116547657e-06,
734
+ 3.1985800887923688e-06,
735
+ 3.751452823053114e-06,
736
+ 4.194784651190275e-06,
737
+ 4.12333247368224e-06,
738
+ 3.9710230339551345e-06,
739
+ 4.581149823934538e-06,
740
+ 5.366082405089401e-06,
741
+ 5.254818461253308e-06,
742
+ 3.233579627703875e-05
743
+ ],
744
+ "grad_ratio": 0.8278346062484185,
745
+ "min_grad": 3.1985800887923688e-06,
746
+ "max_grad": 3.906059646396898e-05
747
+ },
748
+ "20": {
749
+ "grad_magnitudes": [
750
+ 4.981622936384156e-08,
751
+ 5.1634829745239585e-09,
752
+ 5.359442667440817e-09,
753
+ 5.454969809193244e-09,
754
+ 5.173827588578206e-09,
755
+ 4.429149491613771e-09,
756
+ 4.192657776513897e-09,
757
+ 4.186289537244647e-09,
758
+ 3.735665998760851e-09,
759
+ 4.245008344838652e-09,
760
+ 3.94130861280928e-09,
761
+ 3.9390282147167e-09,
762
+ 3.6740721576222768e-09,
763
+ 4.095196182163363e-09,
764
+ 4.220522598075149e-09,
765
+ 4.035296097271157e-09,
766
+ 3.3165288293446338e-09,
767
+ 3.0403306539028563e-09,
768
+ 3.1769413766369325e-09,
769
+ 2.770538021223956e-09,
770
+ 1.668505689167432e-08
771
+ ],
772
+ "grad_ratio": 0.33426116323923866,
773
+ "min_grad": 2.770538021223956e-09,
774
+ "max_grad": 4.981622936384156e-08
775
+ },
776
+ "50": {
777
+ "grad_magnitudes": [
778
+ 2.3012852855494874e-17,
779
+ 2.35081338647059e-18,
780
+ 2.1541842830606098e-18,
781
+ 2.7671168451562777e-18,
782
+ 2.8165460566351496e-18,
783
+ 3.0470349712393754e-18,
784
+ 2.4107901847352786e-18,
785
+ 2.580259846707846e-18,
786
+ 2.5067991772779303e-18,
787
+ 3.0468720166587025e-18,
788
+ 2.889441141321232e-18,
789
+ 2.6877542420557963e-18,
790
+ 2.3064779532038197e-18,
791
+ 2.0292020487923695e-18,
792
+ 2.123063060079374e-18,
793
+ 2.6119700222852193e-18,
794
+ 1.837952928086434e-18,
795
+ 2.3070443651282653e-18,
796
+ 2.6523478099112297e-18,
797
+ 2.9679575386550717e-18,
798
+ 2.754161128812166e-18,
799
+ 2.5162708088819688e-18,
800
+ 2.5990893725816967e-18,
801
+ 2.5310434274415533e-18,
802
+ 2.632211131874392e-18,
803
+ 3.151141648388615e-18,
804
+ 2.751637814353573e-18,
805
+ 3.1864355839698744e-18,
806
+ 2.9584044297606968e-18,
807
+ 3.170936287242162e-18,
808
+ 2.840707381942364e-18,
809
+ 3.033002886123179e-18,
810
+ 2.9557727546418593e-18,
811
+ 2.87397348425195e-18,
812
+ 3.1892300068742317e-18,
813
+ 3.3583441879785543e-18,
814
+ 3.527732165865632e-18,
815
+ 3.1846511485934444e-18,
816
+ 3.2746047654619017e-18,
817
+ 3.8796979300972515e-18,
818
+ 3.996027234772728e-18,
819
+ 3.640146424701895e-18,
820
+ 3.0534991809313242e-18,
821
+ 3.1045831672256084e-18,
822
+ 4.2415468482876546e-18,
823
+ 4.024139795070955e-18,
824
+ 4.774136598256966e-18,
825
+ 4.7283265087531666e-18,
826
+ 4.568650044847768e-18,
827
+ 5.414676313296591e-18,
828
+ 3.6461261133500405e-17
829
+ ],
830
+ "grad_ratio": Infinity,
831
+ "min_grad": 1.837952928086434e-18,
832
+ "max_grad": 3.6461261133500405e-17
833
+ }
834
+ },
835
+ "Swish": {
836
+ "5": {
837
+ "grad_magnitudes": [
838
+ 0.0009956574067473412,
839
+ 0.00012552851694636047,
840
+ 0.00011640204320428893,
841
+ 0.00011464794806670398,
842
+ 0.00012572146079037338,
843
+ 0.000828131043817848
844
+ ],
845
+ "grad_ratio": 0.8317428816694445,
846
+ "min_grad": 0.00011464794806670398,
847
+ "max_grad": 0.0009956574067473412
848
+ },
849
+ "10": {
850
+ "grad_magnitudes": [
851
+ 2.4287963242386468e-05,
852
+ 2.9778884709230624e-06,
853
+ 3.3156889003294054e-06,
854
+ 2.6645172965800157e-06,
855
+ 2.7791513730335282e-06,
856
+ 3.0237354167184094e-06,
857
+ 2.997613137267763e-06,
858
+ 3.0753844839637168e-06,
859
+ 3.5496868804330006e-06,
860
+ 4.3893260226468556e-06,
861
+ 3.124761860817671e-05
862
+ ],
863
+ "grad_ratio": 1.2865422119638066,
864
+ "min_grad": 2.6645172965800157e-06,
865
+ "max_grad": 3.124761860817671e-05
866
+ },
867
+ "20": {
868
+ "grad_magnitudes": [
869
+ 1.525899584464696e-08,
870
+ 2.2436774660405945e-09,
871
+ 2.1678954187365207e-09,
872
+ 2.027809031801553e-09,
873
+ 2.691543210531222e-09,
874
+ 3.41478401111317e-09,
875
+ 3.5337834880522223e-09,
876
+ 3.551415606040109e-09,
877
+ 4.314699708629632e-09,
878
+ 4.20668921918832e-09,
879
+ 3.7044054490564804e-09,
880
+ 2.98637004014779e-09,
881
+ 2.794422471197322e-09,
882
+ 2.455879499763114e-09,
883
+ 2.4364659179099135e-09,
884
+ 3.010660165614354e-09,
885
+ 2.1797574856208257e-09,
886
+ 2.0498873709584586e-09,
887
+ 2.337041671296447e-09,
888
+ 2.806204157934644e-09,
889
+ 1.7583785094643645e-08
890
+ ],
891
+ "grad_ratio": 1.1448525198196524,
892
+ "min_grad": 2.027809031801553e-09,
893
+ "max_grad": 1.7583785094643645e-08
894
+ },
895
+ "50": {
896
+ "grad_magnitudes": [
897
+ 3.045178405713531e-17,
898
+ 3.307613201010677e-18,
899
+ 2.8353468379827142e-18,
900
+ 2.756767988512627e-18,
901
+ 2.2352806567250023e-18,
902
+ 2.9848547706179987e-18,
903
+ 2.7645740919532897e-18,
904
+ 2.6154462488094734e-18,
905
+ 2.1905074381190383e-18,
906
+ 1.8502859842244467e-18,
907
+ 2.17727254831819e-18,
908
+ 2.689237376894104e-18,
909
+ 2.6838838639696607e-18,
910
+ 2.4749597547298454e-18,
911
+ 2.3992204095074994e-18,
912
+ 2.2715256432155446e-18,
913
+ 3.2241142812571243e-18,
914
+ 3.567469508902373e-18,
915
+ 3.6954988697521056e-18,
916
+ 3.611648811828524e-18,
917
+ 2.9755380285836608e-18,
918
+ 2.3275596850904993e-18,
919
+ 2.5510688496860027e-18,
920
+ 2.8603378254443194e-18,
921
+ 2.9054702472312846e-18,
922
+ 2.7376146214289615e-18,
923
+ 2.656820582278457e-18,
924
+ 2.3215830983696505e-18,
925
+ 2.341641814633755e-18,
926
+ 1.893501001351514e-18,
927
+ 2.2121018151903477e-18,
928
+ 1.9468229247930603e-18,
929
+ 1.7877103912702695e-18,
930
+ 1.985120766768806e-18,
931
+ 2.1073850923393503e-18,
932
+ 2.2555558875144427e-18,
933
+ 2.6777927127339734e-18,
934
+ 2.260411644505282e-18,
935
+ 2.415367802245147e-18,
936
+ 3.473520816470438e-18,
937
+ 3.8880739609799634e-18,
938
+ 3.787064868429582e-18,
939
+ 4.531382249529804e-18,
940
+ 5.294950605025972e-18,
941
+ 5.995539910224191e-18,
942
+ 5.424595863202327e-18,
943
+ 5.801965584816369e-18,
944
+ 5.3192254608722596e-18,
945
+ 6.094612986550892e-18,
946
+ 6.479895517904616e-18,
947
+ 4.509027362603313e-17
948
+ ],
949
+ "grad_ratio": Infinity,
950
+ "min_grad": 1.7877103912702695e-18,
951
+ "max_grad": 4.509027362603313e-17
952
+ }
953
+ }
954
+ }