tiny-transformer / default-seed2 /analysis /figures /figure-data /pattern-default-seed2.json
coeiico's picture
Add every run in its own folder and the model card
4a570eb verified
Raw History Blame Contribute Delete
22.9 kB
{
"layer": 0,
"head": 3,
"tokens": [
"21",
"2",
"15",
"4",
"51",
"35",
"37",
"52",
"31",
"62",
"5",
"38",
"9",
"37",
"4",
"45",
"SEP",
"2",
"4",
"4",
"5",
"9",
"15",
"21",
"31",
"35",
"37",
"37",
"38",
"45",
"51",
"52",
"62"
],
"input_length": 16,
"pattern": [
[
1.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0
],
[
0.02103869803249836,
0.9789613485336304,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0
],
[
0.001584514044225216,
0.003572966903448105,
0.9948424696922302,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0
],
[
0.007175391539931297,
0.013961078599095345,
0.025949055328965187,
0.9529144763946533,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0
],
[
0.025887785479426384,
0.017972348257899284,
0.009018037468194962,
0.0031646613497287035,
0.9439572095870972,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0
],
[
0.0004146286519244313,
0.005030798260122538,
0.030794603750109673,
0.022877275943756104,
0.0019939059857279062,
0.9388887882232666,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0
],
[
0.02268129773437977,
0.0015246859984472394,
0.00478235213086009,
0.009695732966065407,
0.0020760628394782543,
0.01662675105035305,
0.9426130652427673,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0
],
[
0.019364947453141212,
0.006758064031600952,
0.04508545622229576,
0.0075384750962257385,
0.07095436006784439,
0.0015190135454759002,
0.0012125435750931501,
0.847567081451416,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0
],
[
0.015475370921194553,
0.0035692693199962378,
0.012105826288461685,
0.006824203301221132,
0.00290181883610785,
0.01845148392021656,
0.008350959978997707,
0.0035924138501286507,
0.9287286996841431,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0
],
[
0.00905853882431984,
0.01204361766576767,
0.003441830398514867,
0.06380645185709,
0.05361092835664749,
0.022182554006576538,
0.008810009807348251,
0.05294596776366234,
0.013502917252480984,
0.7605971097946167,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0
],
[
0.005306084640324116,
0.009041777811944485,
0.010194691829383373,
0.053342305123806,
0.011519726365804672,
0.005287684965878725,
0.01182020828127861,
0.012499775737524033,
0.010906824842095375,
0.0036131443921476603,
0.8664677739143372,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0
],
[
0.017497682943940163,
0.006535052787512541,
0.010278336703777313,
0.0320083349943161,
0.0025849149096757174,
0.027305737137794495,
0.04664206877350807,
0.011773577891290188,
0.002364890882745385,
0.011457731947302818,
0.014169340021908283,
0.8173823356628418,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0
],
[
0.006653135176748037,
0.004730554297566414,
0.004637997597455978,
0.005912784021347761,
0.01970953308045864,
0.008885163813829422,
0.005337592680007219,
0.010576101019978523,
0.0020863066893070936,
0.01031989511102438,
0.013760693371295929,
0.006473017390817404,
0.9009172320365906,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0
],
[
0.010289459489285946,
0.0006087846704758704,
0.002147048944607377,
0.0036837183870375156,
0.0008307101088576019,
0.006923981010913849,
0.4728759229183197,
0.0005958499386906624,
0.008628464303910732,
0.0009574713767506182,
0.004934208933264017,
0.017199141904711723,
0.0022434385027736425,
0.4680817723274231,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0
],
[
0.005042059347033501,
0.008757284842431545,
0.014894523657858372,
0.4312535524368286,
0.006727681495249271,
0.026009641587734222,
0.010145221836864948,
0.016630904749035835,
0.010146395303308964,
0.015836020931601524,
0.033498410135507584,
0.02397383190691471,
0.005827322136610746,
0.01089954748749733,
0.38035768270492554,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0
],
[
0.013708776794373989,
0.01167106069624424,
0.0324547253549099,
0.0025026588700711727,
0.014907370321452618,
0.007911515422165394,
0.03629322350025177,
0.011615934781730175,
0.010640064254403114,
0.005626977421343327,
0.0018340093083679676,
0.007147335913032293,
0.018066491931676865,
0.03716324269771576,
0.0027412953786551952,
0.7857153415679932,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0
],
[
0.03507337346673012,
0.0689832791686058,
0.029603952541947365,
0.03861061483621597,
0.06801148504018784,
0.09042447805404663,
0.03719828277826309,
0.04033159464597702,
0.06385558098554611,
0.12230576574802399,
0.03527894988656044,
0.0858309343457222,
0.032834917306900024,
0.036878637969493866,
0.03730073198676109,
0.024790309369564056,
0.15268707275390625,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0
],
[
0.010278671979904175,
0.5506013035774231,
0.013715271838009357,
0.013280510902404785,
0.01679512858390808,
0.007763308472931385,
0.002985496073961258,
0.008768368512392044,
0.005472816992551088,
0.007424951996654272,
0.013059385120868683,
0.005105638410896063,
0.008714789524674416,
0.002947686007246375,
0.01366406213492155,
0.015779783949255943,
0.011586377397179604,
0.29205644130706787,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0
],
[
0.004073625430464745,
0.014004068449139595,
0.010871119797229767,
0.3228211998939514,
0.00499819777905941,
0.022909782826900482,
0.0077531407587230206,
0.011964239180088043,
0.008592464961111546,
0.017519231885671616,
0.03144408017396927,
0.016104549169540405,
0.006547039840370417,
0.007979851216077805,
0.2903905212879181,
0.004881939385086298,
0.010654064826667309,
0.013888932764530182,
0.1926019936800003,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0
],
[
0.0046831597574055195,
0.009347873739898205,
0.009188064374029636,
0.2670532763004303,
0.004409836605191231,
0.018783388659358025,
0.007813134230673313,
0.00988030806183815,
0.007928899489343166,
0.01558869332075119,
0.029612654820084572,
0.015393096953630447,
0.0057807122357189655,
0.008141319267451763,
0.2410224974155426,
0.004781877622008324,
0.008507851511240005,
0.009728455916047096,
0.15753713250160217,
0.1648177206516266,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0
],
[
0.004948741756379604,
0.008985348977148533,
0.008357335813343525,
0.03787755221128464,
0.009128892794251442,
0.005946495104581118,
0.011042079888284206,
0.008747050538659096,
0.011738220229744911,
0.004419118631631136,
0.453222393989563,
0.006824468728154898,
0.00797360297292471,
0.011817879974842072,
0.03663260489702225,
0.003804711392149329,
0.006030908785760403,
0.009014645591378212,
0.031840939074754715,
0.03208044916391373,
0.2895664870738983,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0
],
[
0.006663736421614885,
0.003479116829112172,
0.003861436853185296,
0.004682034254074097,
0.013529835268855095,
0.008267596364021301,
0.0053383479826152325,
0.008303462527692318,
0.0023541320115327835,
0.010345317423343658,
0.009789296425879002,
0.005401006434112787,
0.5212092995643616,
0.004956812132149935,
0.0048385788686573505,
0.007964313961565495,
0.005271155387163162,
0.003708701580762863,
0.004755365662276745,
0.004717507399618626,
0.00840077642351389,
0.3521621823310852,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0
],
[
0.0020906527061015368,
0.004733143839985132,
0.5558521151542664,
0.003363186027854681,
0.003578424919396639,
0.007614694535732269,
0.0020315845031291246,
0.009341670200228691,
0.004486112389713526,
0.0014784150989726186,
0.003662504255771637,
0.003346491139382124,
0.0025405841879546642,
0.0022044198121875525,
0.003723513102158904,
0.007745872717350721,
0.0031650750897824764,
0.0046553038991987705,
0.003301603952422738,
0.0034593960735946894,
0.003660234622657299,
0.002854640129953623,
0.3611104488372803,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0
],
[
0.5680680274963379,
0.004268328659236431,
0.0016227205051109195,
0.0012218923075124621,
0.004104001447558403,
0.00029271477251313627,
0.005435158032923937,
0.0029968987219035625,
0.005096343345940113,
0.0014956197701394558,
0.0018023911397904158,
0.003372713690623641,
0.0019160278607159853,
0.005747911054641008,
0.0012715408811345696,
0.0034704923164099455,
0.0024200475309044123,
0.004345678724348545,
0.0014554394874721766,
0.0015823255525901914,
0.0017479347297921777,
0.002062159823253751,
0.00164604012388736,
0.37255755066871643,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0
],
[
0.010084847919642925,
0.00283254636451602,
0.00616444693878293,
0.004170957952737808,
0.0019152247114107013,
0.013429660350084305,
0.007179662119597197,
0.002065215026959777,
0.508695662021637,
0.0035849965643137693,
0.005455987993627787,
0.0018950646044686437,
0.0008975184755399823,
0.007647697348147631,
0.004263062030076981,
0.004941413179039955,
0.0045313527807593346,
0.00340284570120275,
0.004323442466557026,
0.004377615172415972,
0.005757011938840151,
0.0010677188402041793,
0.00600963132455945,
0.010011492297053337,
0.37529492378234863,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0
],
[
0.00031869480153545737,
0.003973849583417177,
0.016806162893772125,
0.013593647629022598,
0.001353137195110321,
0.4554371237754822,
0.006049030926078558,
0.0014294151915237308,
0.01977667212486267,
0.007164720445871353,
0.002783068921416998,
0.009421161375939846,
0.005596949253231287,
0.0060126325115561485,
0.012963874265551567,
0.0034675991628319025,
0.005861096549779177,
0.004268658347427845,
0.011158022098243237,
0.011237646453082561,
0.003217349760234356,
0.005541469436138868,
0.015553845092654228,
0.0004343070031609386,
0.018514243885874748,
0.3580656051635742,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0
],
[
0.00966514740139246,
0.0008240287424996495,
0.0016512670554220676,
0.003112562233582139,
0.0008262242772616446,
0.006150980945676565,
0.32758915424346924,
0.0006379647529684007,
0.008207762613892555,
0.0012757014483213425,
0.004512704908847809,
0.01668613776564598,
0.0017828588606789708,
0.3219505846500397,
0.002911597490310669,
0.007844815962016582,
0.003493562573567033,
0.0010628332383930683,
0.0030754623003304005,
0.0031144137028604746,
0.004299969412386417,
0.0019549117423594,
0.0018234350718557835,
0.007958609610795975,
0.007523026317358017,
0.005903665907680988,
0.24416062235832214,
0.0,
0.0,
0.0,
0.0,
0.0,
0.0
],
[
0.007977406494319439,
0.000730895611923188,
0.0014210466761142015,
0.0028011652175337076,
0.0007884504739195108,
0.005231304559856653,
0.26295486092567444,
0.0005426090210676193,
0.005892876069992781,
0.001101386733353138,
0.0036514662206172943,
0.01359560713171959,
0.0015227238181978464,
0.25584256649017334,
0.002627924084663391,
0.006422828882932663,
0.0030940601136535406,
0.000932446972001344,
0.002746666083112359,
0.002785393735393882,
0.003497124882414937,
0.0016504847444593906,
0.0015688353450968862,
0.006548754405230284,
0.005473894998431206,
0.005020079202950001,
0.1932240128517151,
0.20035310089588165,
0.0,
0.0,
0.0,
0.0,
0.0
],
[
0.007011083420366049,
0.004123412072658539,
0.004012262914329767,
0.018878787755966187,
0.0015969033120200038,
0.01585872657597065,
0.021582115441560745,
0.00656988937407732,
0.0011303380597382784,
0.008409169502556324,
0.008099283091723919,
0.39500585198402405,
0.008711021393537521,
0.022568630054593086,
0.016759052872657776,
0.003329850034788251,
0.008418659679591656,
0.004542597569525242,
0.015655577182769775,
0.01613236777484417,
0.00841239932924509,
0.0081669632345438,
0.004240439739078283,
0.0066054160706698895,
0.001299525611102581,
0.013708256185054779,
0.01945258304476738,
0.020693844184279442,
0.3290250301361084,
0.0,
0.0,
0.0,
0.0
],
[
0.007410213351249695,
0.009788033552467823,
0.014487621374428272,
0.0019636047072708607,
0.011935103684663773,
0.006313051097095013,
0.020669851452112198,
0.00798715464770794,
0.00656835176050663,
0.005873838905245066,
0.0014697627630084753,
0.004803499206900597,
0.011863230727612972,
0.020676545798778534,
0.002118593780323863,
0.4252171814441681,
0.006146552506834269,
0.008993386290967464,
0.0020322289783507586,
0.0021645028609782457,
0.0016547301784157753,
0.011473353020846844,
0.013433309271931648,
0.00707376841455698,
0.006409593392163515,
0.005978371016681194,
0.019444704055786133,
0.01891355775296688,
0.004204237833619118,
0.33293214440345764,
0.0,
0.0,
0.0
],
[
0.009955355897545815,
0.009748119860887527,
0.003725842572748661,
0.0019740762654691935,
0.44065582752227783,
0.0014040765818208456,
0.0015789575409144163,
0.03220970183610916,
0.0028995866887271404,
0.014803172089159489,
0.006875703576952219,
0.0014641617890447378,
0.010935857892036438,
0.001469078822992742,
0.0021334851626306772,
0.011742248199880123,
0.007882769219577312,
0.008419481106102467,
0.0022890360560268164,
0.002442779717966914,
0.00708719901740551,
0.009775285609066486,
0.003887902246788144,
0.009308230131864548,
0.002869158051908016,
0.0014811842702329159,
0.0016314064851030707,
0.0016226922161877155,
0.0016022950876504183,
0.012305674143135548,
0.37381964921951294,
0.0,
0.0
],
[
0.03277520090341568,
0.01364891417324543,
0.056880827993154526,
0.01201050728559494,
0.05386797711253166,
0.004176339600235224,
0.00364101049490273,
0.2150014340877533,
0.004031006712466478,
0.020199721679091454,
0.015337759628891945,
0.016372648999094963,
0.05278164520859718,
0.0037919634487479925,
0.012592457234859467,
0.02643291838467121,
0.01616365648806095,
0.013655982911586761,
0.012421208433806896,
0.0125851109623909,
0.014520397409796715,
0.0505409874022007,
0.04854936525225639,
0.030934927985072136,
0.0044258045963943005,
0.004211958032101393,
0.004205095116049051,
0.003988170996308327,
0.015366748906672001,
0.02451629377901554,
0.048078808933496475,
0.1522931158542633,
0.0
],
[
0.0041123442351818085,
0.008301986381411552,
0.0015794412465766072,
0.027510425075888634,
0.021376341581344604,
0.013647555373609066,
0.003686603158712387,
0.020753832533955574,
0.007263286039233208,
0.3446098268032074,
0.006845963187515736,
0.016572441905736923,
0.016647983342409134,
0.003469004761427641,
0.02440200187265873,
0.0077178338542580605,
0.017743604257702827,
0.00802538450807333,
0.02294943295419216,
0.02340482361614704,
0.0077221207320690155,
0.015057295560836792,
0.0017457695212215185,
0.0040049063973128796,
0.007263910956680775,
0.012116590514779091,
0.003786713583394885,
0.003710875054821372,
0.016932573169469833,
0.008843764662742615,
0.020229745656251907,
0.015186822041869164,
0.2827787697315216
]
],
"expected": [
[
17,
1
],
[
18,
3
],
[
18,
14
],
[
19,
3
],
[
19,
14
],
[
20,
10
],
[
21,
12
],
[
22,
2
],
[
23,
0
],
[
24,
8
],
[
25,
5
],
[
26,
6
],
[
26,
13
],
[
27,
6
],
[
27,
13
],
[
28,
11
],
[
29,
15
],
[
30,
4
],
[
31,
7
],
[
32,
9
]
]
}