End of training

.gitattributes

@@ -33,3 +33,18 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
 *.zip filter=lfs diff=lfs merge=lfs -text
 *.zst filter=lfs diff=lfs merge=lfs -text
 *tfevents* filter=lfs diff=lfs merge=lfs -text
+accuracy_vs_avg_frames_test.tiff filter=lfs diff=lfs merge=lfs -text
+accuracy_vs_avg_frames_train.tiff filter=lfs diff=lfs merge=lfs -text
+accuracy_vs_avg_frames_val.tiff filter=lfs diff=lfs merge=lfs -text
+accuracy_vs_signer_test.tiff filter=lfs diff=lfs merge=lfs -text
+accuracy_vs_signer_train.tiff filter=lfs diff=lfs merge=lfs -text
+accuracy_vs_signer_val.tiff filter=lfs diff=lfs merge=lfs -text
+confusion_matrix_top50_test.tiff filter=lfs diff=lfs merge=lfs -text
+confusion_matrix_top50_train.tiff filter=lfs diff=lfs merge=lfs -text
+confusion_matrix_top50_val.tiff filter=lfs diff=lfs merge=lfs -text
+test_longtail_accuracy.tiff filter=lfs diff=lfs merge=lfs -text
+test_longtail_f1.tiff filter=lfs diff=lfs merge=lfs -text
+train_longtail_accuracy.tiff filter=lfs diff=lfs merge=lfs -text
+train_longtail_f1.tiff filter=lfs diff=lfs merge=lfs -text
+val_longtail_accuracy.tiff filter=lfs diff=lfs merge=lfs -text
+val_longtail_f1.tiff filter=lfs diff=lfs merge=lfs -text

overall_results_summary.csv

@@ -0,0 +1,4 @@
+mode,macro_accuracy,macro_precision,macro_recall,macro_f1,top1_accuracy,top5_accuracy,top10_accuracy,spearman_acc_r,spearman_acc_p,spearman_f1_r,spearman_f1_p
+TRAIN,0.993929181929182,0.9939271978021977,0.993929181929182,0.993714469339831,0.9937586685159501,1.0,1.0,-0.12636817751399856,0.21027001159193848,-0.045513984301685496,0.6529622916193514
+VAL,0.5426666666666666,0.5781428571428571,0.5426666666666666,0.5168247863247863,0.5325443786982249,0.7810650887573964,0.863905325443787,-0.29303868535383754,0.0030885232506050802,-0.15453590050680932,0.12474261461172124
+TEST,0.4725000000000001,0.46445238095238095,0.4725000000000001,0.43436507936507934,0.46511627906976744,0.7248062015503876,0.810077519379845,-0.08035913833693106,0.4267445496516332,-0.08840671312067794,0.38175539014419624

per_class_results_test.csv

@@ -0,0 +1,101 @@
+class,accuracy,precision,recall,f1,support,avg_frames
+accident,1.0,0.75,1.0,0.8571428571428571,3,51.0
+africa,1.0,0.6,1.0,0.75,3,59.333333333333336
+all,0.3333333333333333,0.5,0.3333333333333333,0.4,3,85.66666666666667
+apple,0.5,0.3333333333333333,0.5,0.4,2,48.0
+basketball,1.0,1.0,1.0,1.0,2,62.5
+bed,0.5,1.0,0.5,0.6666666666666666,2,49.0
+before,0.0,0.0,0.0,0.0,4,50.25
+bird,0.5,1.0,0.5,0.6666666666666666,2,77.0
+birthday,0.6666666666666666,0.5,0.6666666666666666,0.5714285714285714,3,69.0
+black,0.6666666666666666,1.0,0.6666666666666666,0.8,3,67.0
+blue,0.5,1.0,0.5,0.6666666666666666,2,62.5
+book,1.0,0.5,1.0,0.6666666666666666,4,66.75
+bowling,0.5,1.0,0.5,0.6666666666666666,2,36.5
+brown,1.0,0.6666666666666666,1.0,0.8,2,51.5
+but,0.3333333333333333,0.5,0.3333333333333333,0.4,3,36.333333333333336
+can,1.0,1.0,1.0,1.0,2,60.0
+candy,0.6666666666666666,0.5,0.6666666666666666,0.5714285714285714,3,61.0
+chair,0.6666666666666666,1.0,0.6666666666666666,0.8,3,75.0
+change,0.5,0.3333333333333333,0.5,0.4,2,52.0
+cheat,0.0,0.0,0.0,0.0,2,52.0
+city,1.0,0.6666666666666666,1.0,0.8,2,60.5
+clothes,0.3333333333333333,0.5,0.3333333333333333,0.4,3,84.66666666666667
+color,0.5,0.5,0.5,0.5,2,57.5
+computer,0.0,0.0,0.0,0.0,5,66.0
+cook,1.0,0.4,1.0,0.5714285714285714,2,69.0
+cool,0.0,0.0,0.0,0.0,3,67.66666666666667
+corn,0.3333333333333333,0.16666666666666666,0.3333333333333333,0.2222222222222222,3,53.333333333333336
+cousin,0.0,0.0,0.0,0.0,3,72.0
+cow,0.0,0.0,0.0,0.0,3,58.0
+dance,0.0,0.0,0.0,0.0,2,54.5
+dark,1.0,1.0,1.0,1.0,3,70.0
+deaf,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,3,40.0
+decide,0.5,1.0,0.5,0.6666666666666666,2,79.0
+doctor,1.0,0.5,1.0,0.6666666666666666,3,47.0
+dog,1.0,0.2,1.0,0.3333333333333333,3,61.0
+drink,0.75,1.0,0.75,0.8571428571428571,4,65.5
+eat,0.0,0.0,0.0,0.0,2,48.5
+enjoy,1.0,1.0,1.0,1.0,2,60.5
+family,0.5,0.5,0.5,0.5,2,49.5
+fine,0.3333333333333333,1.0,0.3333333333333333,0.5,3,73.33333333333333
+finish,0.3333333333333333,0.5,0.3333333333333333,0.4,3,64.0
+fish,0.3333333333333333,0.2,0.3333333333333333,0.25,3,61.666666666666664
+forget,1.0,0.6666666666666666,1.0,0.8,2,44.5
+full,0.5,0.5,0.5,0.5,2,96.0
+give,0.5,1.0,0.5,0.6666666666666666,2,70.0
+go,0.6666666666666666,0.4,0.6666666666666666,0.5,3,42.333333333333336
+graduate,0.0,0.0,0.0,0.0,2,41.5
+hat,1.0,0.4,1.0,0.5714285714285714,2,59.5
+hearing,0.5,1.0,0.5,0.6666666666666666,2,72.0
+help,0.0,0.0,0.0,0.0,3,45.0
+hot,0.3333333333333333,1.0,0.3333333333333333,0.5,3,58.666666666666664
+how,0.0,0.0,0.0,0.0,3,60.666666666666664
+jacket,1.0,0.6666666666666666,1.0,0.8,2,42.0
+kiss,0.0,0.0,0.0,0.0,3,49.666666666666664
+language,1.0,0.5,1.0,0.6666666666666666,3,59.666666666666664
+last,0.0,0.0,0.0,0.0,3,63.0
+later,0.0,0.0,0.0,0.0,2,50.5
+letter,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,3,76.66666666666667
+like,0.0,0.0,0.0,0.0,3,71.0
+man,0.5,0.3333333333333333,0.5,0.4,2,69.0
+many,1.0,0.75,1.0,0.8571428571428571,3,61.666666666666664
+medicine,1.0,0.4,1.0,0.5714285714285714,2,88.5
+meet,1.0,0.6666666666666666,1.0,0.8,2,58.5
+mother,0.6666666666666666,1.0,0.6666666666666666,0.8,3,48.333333333333336
+need,0.0,0.0,0.0,0.0,2,76.5
+no,0.0,0.0,0.0,0.0,3,59.666666666666664
+now,0.6666666666666666,1.0,0.6666666666666666,0.8,3,52.333333333333336
+orange,0.3333333333333333,0.25,0.3333333333333333,0.2857142857142857,3,56.666666666666664
+paint,0.5,1.0,0.5,0.6666666666666666,2,77.0
+paper,0.5,1.0,0.5,0.6666666666666666,2,49.5
+pink,0.0,0.0,0.0,0.0,3,64.66666666666667
+pizza,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,3,46.0
+play,1.0,1.0,1.0,1.0,2,77.5
+pull,0.5,1.0,0.5,0.6666666666666666,2,72.0
+purple,0.5,0.25,0.5,0.3333333333333333,2,43.5
+right,0.0,0.0,0.0,0.0,2,51.0
+same,0.3333333333333333,1.0,0.3333333333333333,0.5,3,56.333333333333336
+school,0.0,0.0,0.0,0.0,2,81.0
+secretary,1.0,0.5,1.0,0.6666666666666666,3,63.0
+shirt,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,3,55.666666666666664
+short,0.0,0.0,0.0,0.0,2,44.5
+son,0.5,1.0,0.5,0.6666666666666666,2,50.0
+study,0.0,0.0,0.0,0.0,2,57.0
+table,1.0,1.0,1.0,1.0,3,50.666666666666664
+tall,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,3,57.333333333333336
+tell,0.5,0.25,0.5,0.3333333333333333,2,49.5
+thanksgiving,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,3,49.666666666666664
+thin,0.0,0.0,0.0,0.0,3,62.333333333333336
+thursday,0.0,0.0,0.0,0.0,2,69.0
+time,0.0,0.0,0.0,0.0,2,53.0
+walk,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,3,45.0
+want,1.0,0.5,1.0,0.6666666666666666,2,37.5
+what,0.3333333333333333,0.5,0.3333333333333333,0.4,3,50.333333333333336
+white,1.0,0.5,1.0,0.6666666666666666,2,56.5
+who,0.0,0.0,0.0,0.0,3,59.666666666666664
+woman,1.0,0.42857142857142855,1.0,0.6,3,73.0
+work,0.0,0.0,0.0,0.0,2,53.5
+wrong,0.0,0.0,0.0,0.0,2,60.0
+year,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,3,64.66666666666667
+yes,0.0,0.0,0.0,0.0,3,49.0

per_class_results_train.csv

@@ -0,0 +1,101 @@
+class,accuracy,precision,recall,f1,support,avg_frames
+accident,1.0,0.9285714285714286,1.0,0.9629629629629629,13,64.23076923076923
+africa,1.0,1.0,1.0,1.0,12,71.83333333333333
+all,1.0,1.0,1.0,1.0,14,64.21428571428571
+apple,1.0,1.0,1.0,1.0,14,74.57142857142857
+basketball,1.0,1.0,1.0,1.0,13,62.15384615384615
+bed,1.0,1.0,1.0,1.0,15,56.53333333333333
+before,0.9444444444444444,1.0,0.9444444444444444,0.9714285714285714,18,58.27777777777778
+bird,1.0,1.0,1.0,1.0,14,69.28571428571429
+birthday,1.0,1.0,1.0,1.0,12,73.91666666666667
+black,1.0,1.0,1.0,1.0,15,61.733333333333334
+blue,1.0,1.0,1.0,1.0,15,55.0
+book,1.0,1.0,1.0,1.0,30,74.36666666666666
+bowling,0.9333333333333333,1.0,0.9333333333333333,0.9655172413793104,15,51.53333333333333
+brown,1.0,1.0,1.0,1.0,13,69.3076923076923
+but,1.0,1.0,1.0,1.0,12,53.583333333333336
+can,1.0,1.0,1.0,1.0,15,56.666666666666664
+candy,1.0,1.0,1.0,1.0,17,64.70588235294117
+chair,1.0,1.0,1.0,1.0,19,81.52631578947368
+change,1.0,0.9333333333333333,1.0,0.9655172413793104,14,58.357142857142854
+cheat,1.0,1.0,1.0,1.0,12,54.333333333333336
+city,1.0,1.0,1.0,1.0,13,70.53846153846153
+clothes,1.0,1.0,1.0,1.0,18,76.05555555555556
+color,1.0,1.0,1.0,1.0,14,62.07142857142857
+computer,1.0,1.0,1.0,1.0,20,66.65
+cook,1.0,1.0,1.0,1.0,13,68.76923076923077
+cool,1.0,1.0,1.0,1.0,14,62.285714285714285
+corn,1.0,1.0,1.0,1.0,13,53.46153846153846
+cousin,1.0,1.0,1.0,1.0,16,64.5625
+cow,1.0,1.0,1.0,1.0,13,62.92307692307692
+dance,1.0,1.0,1.0,1.0,14,74.42857142857143
+dark,1.0,1.0,1.0,1.0,13,54.92307692307692
+deaf,1.0,1.0,1.0,1.0,16,64.8125
+decide,1.0,1.0,1.0,1.0,13,57.46153846153846
+doctor,1.0,1.0,1.0,1.0,13,68.23076923076923
+dog,1.0,0.9333333333333333,1.0,0.9655172413793104,14,67.64285714285714
+drink,1.0,1.0,1.0,1.0,25,57.88
+eat,1.0,1.0,1.0,1.0,14,63.07142857142857
+enjoy,1.0,1.0,1.0,1.0,14,70.85714285714286
+family,1.0,1.0,1.0,1.0,15,63.266666666666666
+fine,1.0,1.0,1.0,1.0,15,60.6
+finish,1.0,1.0,1.0,1.0,14,53.285714285714285
+fish,1.0,1.0,1.0,1.0,13,60.92307692307692
+forget,1.0,1.0,1.0,1.0,14,54.642857142857146
+full,1.0,1.0,1.0,1.0,12,59.583333333333336
+give,1.0,1.0,1.0,1.0,13,47.84615384615385
+go,1.0,1.0,1.0,1.0,19,62.31578947368421
+graduate,1.0,1.0,1.0,1.0,15,53.93333333333333
+hat,1.0,1.0,1.0,1.0,15,59.2
+hearing,1.0,0.9375,1.0,0.967741935483871,15,71.93333333333334
+help,1.0,1.0,1.0,1.0,15,52.6
+hot,1.0,1.0,1.0,1.0,15,53.333333333333336
+how,1.0,1.0,1.0,1.0,12,58.416666666666664
+jacket,1.0,1.0,1.0,1.0,13,64.23076923076923
+kiss,1.0,1.0,1.0,1.0,13,63.30769230769231
+language,1.0,1.0,1.0,1.0,13,58.46153846153846
+last,1.0,0.9285714285714286,1.0,0.9629629629629629,13,53.84615384615385
+later,0.9285714285714286,1.0,0.9285714285714286,0.9629629629629629,14,58.0
+letter,1.0,1.0,1.0,1.0,12,52.666666666666664
+like,0.9285714285714286,1.0,0.9285714285714286,0.9629629629629629,14,71.57142857142857
+man,1.0,1.0,1.0,1.0,15,62.0
+many,1.0,1.0,1.0,1.0,15,59.06666666666667
+medicine,1.0,1.0,1.0,1.0,13,80.23076923076923
+meet,1.0,1.0,1.0,1.0,14,53.07142857142857
+mother,1.0,1.0,1.0,1.0,15,62.6
+need,1.0,1.0,1.0,1.0,13,65.38461538461539
+no,1.0,1.0,1.0,1.0,15,61.666666666666664
+now,1.0,1.0,1.0,1.0,15,77.8
+orange,1.0,0.9375,1.0,0.967741935483871,15,70.06666666666666
+paint,1.0,1.0,1.0,1.0,13,62.76923076923077
+paper,1.0,1.0,1.0,1.0,13,63.0
+pink,1.0,1.0,1.0,1.0,13,61.69230769230769
+pizza,1.0,1.0,1.0,1.0,13,57.38461538461539
+play,1.0,1.0,1.0,1.0,14,60.785714285714285
+pull,1.0,1.0,1.0,1.0,13,61.30769230769231
+purple,1.0,1.0,1.0,1.0,13,67.0
+right,1.0,1.0,1.0,1.0,12,50.083333333333336
+same,1.0,0.9230769230769231,1.0,0.96,12,52.25
+school,1.0,1.0,1.0,1.0,14,66.07142857142857
+secretary,1.0,1.0,1.0,1.0,13,54.92307692307692
+shirt,1.0,1.0,1.0,1.0,14,68.21428571428571
+short,1.0,1.0,1.0,1.0,13,56.61538461538461
+son,1.0,1.0,1.0,1.0,13,61.15384615384615
+study,1.0,1.0,1.0,1.0,15,78.13333333333334
+table,1.0,1.0,1.0,1.0,15,91.4
+tall,1.0,1.0,1.0,1.0,13,59.38461538461539
+tell,0.9230769230769231,1.0,0.9230769230769231,0.96,13,53.69230769230769
+thanksgiving,1.0,1.0,1.0,1.0,15,55.666666666666664
+thin,1.0,1.0,1.0,1.0,15,52.2
+thursday,1.0,1.0,1.0,1.0,13,57.07692307692308
+time,1.0,1.0,1.0,1.0,14,71.14285714285714
+walk,1.0,1.0,1.0,1.0,15,61.4
+want,1.0,0.9333333333333333,1.0,0.9655172413793104,14,52.92857142857143
+what,0.9285714285714286,1.0,0.9285714285714286,0.9629629629629629,14,55.285714285714285
+white,1.0,1.0,1.0,1.0,15,58.0
+who,0.9444444444444444,1.0,0.9444444444444444,0.9714285714285714,18,62.333333333333336
+woman,1.0,1.0,1.0,1.0,15,47.8
+work,0.9285714285714286,1.0,0.9285714285714286,0.9629629629629629,14,57.714285714285715
+wrong,0.9333333333333333,1.0,0.9333333333333333,0.9655172413793104,15,59.46666666666667
+year,1.0,0.9375,1.0,0.967741935483871,15,70.53333333333333
+yes,1.0,1.0,1.0,1.0,15,54.266666666666666

per_class_results_val.csv

@@ -0,0 +1,101 @@
+class,accuracy,precision,recall,f1,support,avg_frames
+accident,1.0,0.42857142857142855,1.0,0.6,3,39.0
+africa,0.0,0.0,0.0,0.0,3,48.666666666666664
+all,0.25,0.5,0.25,0.3333333333333333,4,66.75
+apple,0.6666666666666666,0.3333333333333333,0.6666666666666666,0.4444444444444444,3,71.66666666666667
+basketball,1.0,1.0,1.0,1.0,3,42.333333333333336
+bed,0.3333333333333333,1.0,0.3333333333333333,0.5,3,45.0
+before,0.25,0.3333333333333333,0.25,0.2857142857142857,4,48.5
+bird,0.6666666666666666,1.0,0.6666666666666666,0.8,3,74.0
+birthday,0.6666666666666666,1.0,0.6666666666666666,0.8,3,58.333333333333336
+black,0.6666666666666666,0.5,0.6666666666666666,0.5714285714285714,3,43.666666666666664
+blue,0.3333333333333333,0.25,0.3333333333333333,0.2857142857142857,3,57.0
+book,0.8333333333333334,0.7142857142857143,0.8333333333333334,0.7692307692307693,6,94.5
+bowling,0.3333333333333333,1.0,0.3333333333333333,0.5,3,66.33333333333333
+brown,1.0,1.0,1.0,1.0,3,62.666666666666664
+but,1.0,1.0,1.0,1.0,3,57.0
+can,0.3333333333333333,1.0,0.3333333333333333,0.5,3,59.333333333333336
+candy,0.5,0.5,0.5,0.5,4,43.25
+chair,0.5,0.6666666666666666,0.5,0.5714285714285714,4,58.75
+change,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,3,88.33333333333333
+cheat,0.25,0.5,0.25,0.3333333333333333,4,61.75
+city,1.0,0.75,1.0,0.8571428571428571,3,58.0
+clothes,0.5,1.0,0.5,0.6666666666666666,4,73.0
+color,1.0,0.75,1.0,0.8571428571428571,3,69.66666666666667
+computer,0.6,1.0,0.6,0.75,5,69.6
+cook,1.0,0.42857142857142855,1.0,0.6,3,75.0
+cool,0.5,0.6666666666666666,0.5,0.5714285714285714,4,42.0
+corn,0.0,0.0,0.0,0.0,3,56.333333333333336
+cousin,0.0,0.0,0.0,0.0,4,58.0
+cow,1.0,0.75,1.0,0.8571428571428571,3,63.0
+dance,1.0,1.0,1.0,1.0,3,72.66666666666667
+dark,1.0,0.75,1.0,0.8571428571428571,3,58.0
+deaf,0.25,1.0,0.25,0.4,4,58.5
+decide,1.0,1.0,1.0,1.0,3,55.333333333333336
+doctor,0.3333333333333333,0.16666666666666666,0.3333333333333333,0.2222222222222222,3,77.33333333333333
+dog,1.0,0.3333333333333333,1.0,0.5,3,81.66666666666667
+drink,0.6666666666666666,0.8,0.6666666666666666,0.7272727272727273,6,83.16666666666667
+eat,0.6666666666666666,0.5,0.6666666666666666,0.5714285714285714,3,62.0
+enjoy,0.6666666666666666,1.0,0.6666666666666666,0.8,3,92.66666666666667
+family,1.0,0.75,1.0,0.8571428571428571,3,61.333333333333336
+fine,0.5,0.6666666666666666,0.5,0.5714285714285714,4,69.5
+finish,0.5,0.4,0.5,0.4444444444444444,4,55.75
+fish,0.25,0.14285714285714285,0.25,0.18181818181818182,4,66.5
+forget,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,3,81.0
+full,0.75,0.5,0.75,0.6,4,45.5
+give,0.25,1.0,0.25,0.4,4,37.25
+go,0.25,0.25,0.25,0.25,4,34.75
+graduate,0.0,0.0,0.0,0.0,3,85.0
+hat,1.0,0.5,1.0,0.6666666666666666,3,78.0
+hearing,0.3333333333333333,1.0,0.3333333333333333,0.5,3,79.0
+help,0.25,0.3333333333333333,0.25,0.2857142857142857,4,65.0
+hot,0.6666666666666666,0.5,0.6666666666666666,0.5714285714285714,3,72.0
+how,0.3333333333333333,1.0,0.3333333333333333,0.5,3,56.666666666666664
+jacket,1.0,0.6,1.0,0.75,3,61.333333333333336
+kiss,0.25,0.25,0.25,0.25,4,51.75
+language,0.75,1.0,0.75,0.8571428571428571,4,77.0
+last,0.3333333333333333,1.0,0.3333333333333333,0.5,3,49.0
+later,0.5,1.0,0.5,0.6666666666666666,4,67.75
+letter,0.3333333333333333,0.2,0.3333333333333333,0.25,3,49.333333333333336
+like,0.25,1.0,0.25,0.4,4,71.75
+man,1.0,0.75,1.0,0.8571428571428571,3,57.666666666666664
+many,0.3333333333333333,0.5,0.3333333333333333,0.4,3,81.33333333333333
+medicine,0.3333333333333333,0.5,0.3333333333333333,0.4,3,72.0
+meet,0.3333333333333333,0.5,0.3333333333333333,0.4,3,59.333333333333336
+mother,0.0,0.0,0.0,0.0,3,51.0
+need,0.6666666666666666,1.0,0.6666666666666666,0.8,3,70.0
+no,0.25,0.5,0.25,0.3333333333333333,4,67.25
+now,1.0,0.6,1.0,0.75,3,49.333333333333336
+orange,1.0,0.3333333333333333,1.0,0.5,3,76.66666666666667
+paint,1.0,0.375,1.0,0.5454545454545454,3,44.0
+paper,1.0,0.6,1.0,0.75,3,61.333333333333336
+pink,0.0,0.0,0.0,0.0,3,79.0
+pizza,0.3333333333333333,0.5,0.3333333333333333,0.4,3,70.0
+play,0.3333333333333333,0.5,0.3333333333333333,0.4,3,76.0
+pull,0.6666666666666666,0.6666666666666666,0.6666666666666666,0.6666666666666666,3,57.666666666666664
+purple,0.3333333333333333,0.3333333333333333,0.3333333333333333,0.3333333333333333,3,60.333333333333336
+right,0.5,0.4,0.5,0.4444444444444444,4,51.75
+same,0.6666666666666666,0.4,0.6666666666666666,0.5,3,38.333333333333336
+school,0.3333333333333333,0.5,0.3333333333333333,0.4,3,58.666666666666664
+secretary,0.3333333333333333,0.5,0.3333333333333333,0.4,3,62.333333333333336
+shirt,1.0,0.6,1.0,0.75,3,57.666666666666664
+short,0.5,0.3333333333333333,0.5,0.4,4,55.25
+son,0.6666666666666666,1.0,0.6666666666666666,0.8,3,49.666666666666664
+study,1.0,1.0,1.0,1.0,3,87.66666666666667
+table,0.6666666666666666,1.0,0.6666666666666666,0.8,3,102.0
+tall,0.5,0.5,0.5,0.5,4,52.0
+tell,0.3333333333333333,0.5,0.3333333333333333,0.4,3,41.0
+thanksgiving,0.0,0.0,0.0,0.0,3,109.0
+thin,0.5,0.6666666666666666,0.5,0.5714285714285714,4,63.25
+thursday,0.0,0.0,0.0,0.0,3,58.0
+time,0.6666666666666666,0.2,0.6666666666666666,0.3076923076923077,3,74.33333333333333
+walk,0.5,0.6666666666666666,0.5,0.5714285714285714,4,101.75
+want,0.6666666666666666,0.5,0.6666666666666666,0.5714285714285714,3,86.33333333333333
+what,0.25,0.5,0.25,0.3333333333333333,4,55.0
+white,1.0,0.375,1.0,0.5454545454545454,3,55.0
+who,0.25,1.0,0.25,0.4,4,49.75
+woman,0.3333333333333333,0.2,0.3333333333333333,0.25,3,83.66666666666667
+work,0.0,0.0,0.0,0.0,3,76.0
+wrong,1.0,1.0,1.0,1.0,3,56.333333333333336
+year,0.75,0.6,0.75,0.6666666666666666,4,61.75
+yes,0.0,0.0,0.0,0.0,4,72.25

per_signer_results_test.csv

@@ -0,0 +1,57 @@
+signer,accuracy,total_samples,correct_predictions
+0,1.0,1,1
+2,0.25,4,1
+4,0.5714285714285714,7,4
+5,0.375,24,9
+6,0.5,2,1
+8,0.0,1,0
+9,0.5081967213114754,61,31
+10,0.5454545454545454,11,6
+11,0.6363636363636364,11,7
+12,0.5555555555555556,9,5
+13,0.6,5,3
+14,0.14285714285714285,7,1
+15,0.5,2,1
+16,1.0,1,1
+17,0.0,1,0
+18,0.0,2,0
+20,0.2,10,2
+21,0.5,2,1
+24,1.0,1,1
+25,0.5,2,1
+30,0.0,1,0
+31,1.0,1,1
+32,0.5,2,1
+34,1.0,1,1
+35,1.0,1,1
+36,1.0,4,4
+38,0.3333333333333333,3,1
+39,0.5,2,1
+41,1.0,2,2
+42,0.0,2,0
+44,1.0,1,1
+45,0.0,2,0
+47,0.3333333333333333,3,1
+49,0.0,1,0
+54,1.0,2,2
+56,1.0,2,2
+59,0.4,5,2
+63,1.0,1,1
+64,0.0,1,0
+65,0.6666666666666666,3,2
+72,0.5,4,2
+83,1.0,1,1
+89,1.0,1,1
+94,0.0,2,0
+97,0.0,1,0
+102,0.5,2,1
+106,0.0,1,0
+109,0.4666666666666667,15,7
+110,0.0,1,0
+112,0.0,1,0
+113,0.0,2,0
+115,0.42857142857142855,7,3
+117,1.0,1,1
+118,0.4,5,2
+120,1.0,1,1
+121,0.2222222222222222,9,2

per_signer_results_train.csv

@@ -0,0 +1,92 @@
+signer,accuracy,total_samples,correct_predictions
+0,1.0,7,7
+2,1.0,12,12
+3,1.0,5,5
+4,1.0,50,50
+5,0.9943181818181818,176,175
+6,0.9444444444444444,18,17
+7,1.0,5,5
+8,1.0,7,7
+9,1.0,12,12
+10,1.0,42,42
+11,0.9922480620155039,129,128
+12,1.0,60,60
+13,1.0,47,47
+14,0.9861111111111112,72,71
+15,1.0,9,9
+16,1.0,11,11
+17,1.0,1,1
+18,1.0,12,12
+19,1.0,3,3
+20,0.9666666666666667,60,58
+21,1.0,16,16
+24,1.0,14,14
+25,1.0,11,11
+26,1.0,2,2
+27,1.0,1,1
+28,1.0,3,3
+29,1.0,1,1
+30,1.0,7,7
+31,1.0,22,22
+32,1.0,17,17
+34,1.0,3,3
+35,1.0,5,5
+36,1.0,44,44
+37,1.0,6,6
+38,0.9512195121951219,41,39
+39,1.0,10,10
+41,1.0,25,25
+42,1.0,6,6
+44,1.0,3,3
+45,1.0,8,8
+46,1.0,4,4
+47,1.0,9,9
+49,1.0,8,8
+50,1.0,1,1
+51,1.0,3,3
+52,1.0,8,8
+56,1.0,9,9
+59,1.0,22,22
+60,1.0,2,2
+63,1.0,4,4
+64,1.0,8,8
+65,1.0,17,17
+66,1.0,1,1
+67,1.0,4,4
+68,1.0,4,4
+69,1.0,9,9
+70,1.0,1,1
+72,1.0,35,35
+78,1.0,1,1
+80,1.0,5,5
+81,1.0,2,2
+82,1.0,1,1
+83,1.0,3,3
+87,1.0,16,16
+88,1.0,12,12
+89,1.0,3,3
+90,1.0,29,29
+91,1.0,2,2
+92,1.0,2,2
+93,1.0,3,3
+94,1.0,5,5
+95,1.0,1,1
+97,1.0,3,3
+98,0.8333333333333334,6,5
+99,1.0,5,5
+100,1.0,2,2
+101,1.0,4,4
+102,1.0,5,5
+103,1.0,2,2
+107,1.0,2,2
+108,1.0,1,1
+109,1.0,82,82
+110,1.0,12,12
+111,1.0,8,8
+112,1.0,6,6
+113,1.0,18,18
+115,1.0,27,27
+116,1.0,3,3
+118,1.0,5,5
+119,1.0,1,1
+121,1.0,33,33

per_signer_results_val.csv

@@ -0,0 +1,70 @@
+signer,accuracy,total_samples,correct_predictions
+0,0.5,4,2
+2,0.6666666666666666,3,2
+4,0.4,10,4
+5,0.6,45,27
+6,0.0,2,0
+7,0.5,2,1
+8,0.6666666666666666,3,2
+9,0.3333333333333333,9,3
+10,0.75,8,6
+11,0.5,24,12
+12,0.42857142857142855,14,6
+13,0.6666666666666666,6,4
+14,0.5333333333333333,15,8
+16,0.0,1,0
+17,1.0,1,1
+18,1.0,4,4
+19,0.5,4,2
+20,0.4444444444444444,9,4
+21,1.0,3,3
+24,0.5,2,1
+25,0.0,1,0
+30,1.0,2,2
+31,0.375,8,3
+32,0.5,4,2
+34,1.0,1,1
+36,0.6666666666666666,6,4
+37,1.0,2,2
+38,0.0,1,0
+39,1.0,1,1
+41,0.5,4,2
+44,1.0,3,3
+45,1.0,1,1
+46,1.0,1,1
+47,0.0,1,0
+49,0.5,2,1
+51,0.0,1,0
+52,0.5,2,1
+54,1.0,1,1
+55,1.0,1,1
+56,0.0,3,0
+59,0.5,6,3
+60,0.6666666666666666,3,2
+64,0.0,1,0
+65,0.0,2,0
+68,0.5,4,2
+70,0.5,2,1
+72,0.2,5,1
+80,1.0,1,1
+87,0.0,5,0
+88,0.0,1,0
+89,0.0,2,0
+90,0.0,2,0
+93,0.0,1,0
+94,0.5,2,1
+96,0.0,1,0
+97,1.0,2,2
+99,1.0,1,1
+102,0.0,1,0
+106,1.0,1,1
+109,0.5517241379310345,29,16
+110,0.0,2,0
+111,0.5,2,1
+112,0.5,2,1
+113,0.5,6,3
+115,0.6666666666666666,9,6
+116,0.2,5,1
+117,1.0,1,1
+118,0.8,15,12
+121,0.6666666666666666,9,6

test_longtail_data.csv

@@ -0,0 +1,101 @@
+class,freq,accuracy,f1,group
+computer,5,0.0,0.0,Head
+book,4,1.0,0.6666666666666666,Head
+before,4,0.0,0.0,Head
+drink,4,0.75,0.8571428571428571,Head
+dark,3,1.0,1.0,Middle
+all,3,0.3333333333333333,0.4,Middle
+africa,3,1.0,0.75,Middle
+accident,3,1.0,0.8571428571428571,Middle
+candy,3,0.6666666666666666,0.5714285714285714,Middle
+chair,3,0.6666666666666666,0.8,Middle
+birthday,3,0.6666666666666666,0.5714285714285714,Middle
+black,3,0.6666666666666666,0.8,Middle
+cool,3,0.0,0.0,Middle
+cow,3,0.0,0.0,Middle
+deaf,3,0.6666666666666666,0.6666666666666666,Middle
+cousin,3,0.0,0.0,Middle
+clothes,3,0.3333333333333333,0.4,Middle
+corn,3,0.3333333333333333,0.2222222222222222,Middle
+but,3,0.3333333333333333,0.4,Middle
+dog,3,1.0,0.3333333333333333,Middle
+doctor,3,1.0,0.6666666666666666,Middle
+language,3,1.0,0.6666666666666666,Middle
+last,3,0.0,0.0,Middle
+letter,3,0.6666666666666666,0.6666666666666666,Head
+like,3,0.0,0.0,Head
+now,3,0.6666666666666666,0.8,Head
+mother,3,0.6666666666666666,0.8,Head
+many,3,1.0,0.8571428571428571,Head
+orange,3,0.3333333333333333,0.2857142857142857,Head
+how,3,0.0,0.0,Head
+hot,3,0.3333333333333333,0.5,Head
+help,3,0.0,0.0,Head
+go,3,0.6666666666666666,0.5,Head
+fish,3,0.3333333333333333,0.25,Head
+finish,3,0.3333333333333333,0.4,Head
+fine,3,0.3333333333333333,0.5,Head
+no,3,0.0,0.0,Head
+tall,3,0.3333333333333333,0.3333333333333333,Head
+thin,3,0.0,0.0,Head
+walk,3,0.6666666666666666,0.6666666666666666,Head
+yes,3,0.0,0.0,Head
+woman,3,1.0,0.6,Head
+who,3,0.0,0.0,Head
+what,3,0.3333333333333333,0.4,Head
+year,3,0.3333333333333333,0.3333333333333333,Head
+thanksgiving,3,0.3333333333333333,0.3333333333333333,Head
+shirt,3,0.3333333333333333,0.3333333333333333,Head
+table,3,1.0,1.0,Head
+same,3,0.3333333333333333,0.5,Head
+secretary,3,1.0,0.6666666666666666,Head
+pink,3,0.0,0.0,Head
+kiss,3,0.0,0.0,Head
+pizza,3,0.3333333333333333,0.3333333333333333,Head
+decide,2,0.5,0.6666666666666666,Tail
+color,2,0.5,0.5,Tail
+dance,2,0.0,0.0,Tail
+city,2,1.0,0.8,Tail
+brown,2,1.0,0.8,Tail
+change,2,0.5,0.4,Tail
+cook,2,1.0,0.5714285714285714,Tail
+blue,2,0.5,0.6666666666666666,Tail
+basketball,2,1.0,1.0,Tail
+bed,2,0.5,0.6666666666666666,Tail
+bowling,2,0.5,0.6666666666666666,Tail
+can,2,1.0,1.0,Tail
+cheat,2,0.0,0.0,Tail
+apple,2,0.5,0.4,Tail
+bird,2,0.5,0.6666666666666666,Tail
+need,2,0.0,0.0,Tail
+meet,2,1.0,0.8,Tail
+medicine,2,1.0,0.5714285714285714,Tail
+man,2,0.5,0.4,Tail
+later,2,0.0,0.0,Tail
+jacket,2,1.0,0.8,Tail
+give,2,0.5,0.6666666666666666,Tail
+eat,2,0.0,0.0,Tail
+full,2,0.5,0.5,Tail
+forget,2,1.0,0.8,Tail
+enjoy,2,1.0,1.0,Tail
+family,2,0.5,0.5,Tail
+hat,2,1.0,0.5714285714285714,Tail
+graduate,2,0.0,0.0,Tail
+hearing,2,0.5,0.6666666666666666,Tail
+paper,2,0.5,0.6666666666666666,Tail
+study,2,0.0,0.0,Tail
+son,2,0.5,0.6666666666666666,Tail
+short,2,0.0,0.0,Middle
+school,2,0.0,0.0,Middle
+play,2,1.0,1.0,Middle
+pull,2,0.5,0.6666666666666666,Middle
+purple,2,0.5,0.3333333333333333,Middle
+right,2,0.0,0.0,Middle
+paint,2,0.5,0.6666666666666666,Middle
+time,2,0.0,0.0,Middle
+thursday,2,0.0,0.0,Middle
+tell,2,0.5,0.3333333333333333,Middle
+want,2,1.0,0.6666666666666666,Middle
+white,2,1.0,0.6666666666666666,Middle
+wrong,2,0.0,0.0,Middle
+work,2,0.0,0.0,Middle

train_longtail_data.csv

@@ -0,0 +1,101 @@
+class,freq,accuracy,f1,group
+book,30,1.0,1.0,Head
+drink,25,1.0,1.0,Head
+computer,20,1.0,1.0,Head
+chair,19,1.0,1.0,Head
+go,19,1.0,1.0,Head
+before,18,0.9444444444444444,0.9714285714285714,Head
+who,18,0.9444444444444444,0.9714285714285714,Head
+clothes,18,1.0,1.0,Head
+candy,17,1.0,1.0,Head
+cousin,16,1.0,1.0,Head
+deaf,16,1.0,1.0,Head
+can,15,1.0,1.0,Middle
+blue,15,1.0,1.0,Middle
+bed,15,1.0,1.0,Middle
+year,15,1.0,0.967741935483871,Middle
+study,15,1.0,1.0,Middle
+thanksgiving,15,1.0,1.0,Head
+walk,15,1.0,1.0,Head
+black,15,1.0,1.0,Head
+bowling,15,0.9333333333333333,0.9655172413793104,Head
+hot,15,1.0,1.0,Head
+table,15,1.0,1.0,Head
+man,15,1.0,1.0,Head
+now,15,1.0,1.0,Head
+no,15,1.0,1.0,Head
+many,15,1.0,1.0,Head
+mother,15,1.0,1.0,Head
+orange,15,1.0,0.967741935483871,Head
+family,15,1.0,1.0,Head
+graduate,15,1.0,1.0,Head
+hat,15,1.0,1.0,Head
+hearing,15,1.0,0.967741935483871,Head
+fine,15,1.0,1.0,Head
+help,15,1.0,1.0,Head
+thin,15,1.0,1.0,Head
+wrong,15,0.9333333333333333,0.9655172413793104,Head
+woman,15,1.0,1.0,Head
+yes,15,1.0,1.0,Head
+white,15,1.0,1.0,Head
+want,14,1.0,0.9655172413793104,Middle
+shirt,14,1.0,1.0,Middle
+what,14,0.9285714285714286,0.9629629629629629,Middle
+time,14,1.0,1.0,Middle
+play,14,1.0,1.0,Middle
+work,14,0.9285714285714286,0.9629629629629629,Middle
+meet,14,1.0,1.0,Middle
+like,14,0.9285714285714286,0.9629629629629629,Middle
+later,14,0.9285714285714286,0.9629629629629629,Middle
+finish,14,1.0,1.0,Middle
+forget,14,1.0,1.0,Middle
+color,14,1.0,1.0,Middle
+cool,14,1.0,1.0,Middle
+change,14,1.0,0.9655172413793104,Middle
+bird,14,1.0,1.0,Middle
+dog,14,1.0,0.9655172413793104,Middle
+dance,14,1.0,1.0,Middle
+apple,14,1.0,1.0,Middle
+all,14,1.0,1.0,Middle
+school,14,1.0,1.0,Middle
+enjoy,14,1.0,1.0,Middle
+eat,14,1.0,1.0,Middle
+city,13,1.0,1.0,Tail
+brown,13,1.0,1.0,Tail
+basketball,13,1.0,1.0,Tail
+accident,13,1.0,0.9629629629629629,Tail
+dark,13,1.0,1.0,Tail
+corn,13,1.0,1.0,Tail
+decide,13,1.0,1.0,Tail
+pizza,13,1.0,1.0,Tail
+thursday,13,1.0,1.0,Tail
+paint,13,1.0,1.0,Tail
+pink,13,1.0,1.0,Tail
+cook,13,1.0,1.0,Tail
+doctor,13,1.0,1.0,Tail
+cow,13,1.0,1.0,Tail
+secretary,13,1.0,1.0,Tail
+give,13,1.0,1.0,Tail
+fish,13,1.0,1.0,Tail
+jacket,13,1.0,1.0,Tail
+need,13,1.0,1.0,Tail
+last,13,1.0,0.9629629629629629,Tail
+language,13,1.0,1.0,Tail
+kiss,13,1.0,1.0,Tail
+medicine,13,1.0,1.0,Tail
+tell,13,0.9230769230769231,0.96,Tail
+tall,13,1.0,1.0,Middle
+short,13,1.0,1.0,Middle
+son,13,1.0,1.0,Middle
+paper,13,1.0,1.0,Middle
+pull,13,1.0,1.0,Middle
+purple,13,1.0,1.0,Middle
+africa,12,1.0,1.0,Tail
+but,12,1.0,1.0,Tail
+birthday,12,1.0,1.0,Tail
+cheat,12,1.0,1.0,Tail
+full,12,1.0,1.0,Tail
+letter,12,1.0,1.0,Tail
+how,12,1.0,1.0,Tail
+same,12,1.0,0.96,Tail
+right,12,1.0,1.0,Tail

val_longtail_data.csv

@@ -0,0 +1,101 @@
+class,freq,accuracy,f1,group
+drink,6,0.6666666666666666,0.7272727272727273,Head
+book,6,0.8333333333333334,0.7692307692307693,Head
+computer,5,0.6,0.75,Head
+all,4,0.25,0.3333333333333333,Head
+clothes,4,0.5,0.6666666666666666,Head
+deaf,4,0.25,0.4,Head
+cool,4,0.5,0.5714285714285714,Head
+before,4,0.25,0.2857142857142857,Head
+candy,4,0.5,0.5,Head
+cousin,4,0.0,0.0,Head
+cheat,4,0.25,0.3333333333333333,Head
+chair,4,0.5,0.5714285714285714,Head
+kiss,4,0.25,0.25,Head
+give,4,0.25,0.4,Head
+help,4,0.25,0.2857142857142857,Head
+who,4,0.25,0.4,Head
+what,4,0.25,0.3333333333333333,Head
+walk,4,0.5,0.5714285714285714,Head
+thin,4,0.5,0.5714285714285714,Head
+tall,4,0.5,0.5,Head
+right,4,0.5,0.4444444444444444,Head
+short,4,0.5,0.4,Head
+year,4,0.75,0.6666666666666666,Head
+yes,4,0.0,0.0,Head
+no,4,0.25,0.3333333333333333,Head
+language,4,0.75,0.8571428571428571,Head
+like,4,0.25,0.4,Head
+later,4,0.5,0.6666666666666666,Head
+finish,4,0.5,0.4444444444444444,Head
+fish,4,0.25,0.18181818181818182,Head
+full,4,0.75,0.6,Head
+go,4,0.25,0.25,Head
+fine,4,0.5,0.5714285714285714,Head
+apple,3,0.6666666666666666,0.4444444444444444,Tail
+accident,3,1.0,0.6,Tail
+africa,3,0.0,0.0,Tail
+dog,3,1.0,0.5,Tail
+doctor,3,0.3333333333333333,0.2222222222222222,Tail
+decide,3,1.0,1.0,Tail
+dark,3,1.0,0.8571428571428571,Tail
+cow,3,1.0,0.8571428571428571,Tail
+dance,3,1.0,1.0,Tail
+cook,3,1.0,0.6,Tail
+corn,3,0.0,0.0,Tail
+city,3,1.0,0.8571428571428571,Tail
+color,3,1.0,0.8571428571428571,Tail
+birthday,3,0.6666666666666666,0.8,Tail
+bowling,3,0.3333333333333333,0.5,Tail
+can,3,0.3333333333333333,0.5,Tail
+but,3,1.0,1.0,Tail
+brown,3,1.0,1.0,Tail
+change,3,0.6666666666666666,0.6666666666666666,Tail
+basketball,3,1.0,1.0,Tail
+bed,3,0.3333333333333333,0.5,Tail
+bird,3,0.6666666666666666,0.8,Tail
+blue,3,0.3333333333333333,0.2857142857142857,Tail
+black,3,0.6666666666666666,0.5714285714285714,Tail
+graduate,3,0.0,0.0,Tail
+letter,3,0.3333333333333333,0.25,Tail
+last,3,0.3333333333333333,0.5,Tail
+how,3,0.3333333333333333,0.5,Tail
+hot,3,0.6666666666666666,0.5714285714285714,Tail
+hearing,3,0.3333333333333333,0.5,Tail
+hat,3,1.0,0.6666666666666666,Tail
+forget,3,0.3333333333333333,0.3333333333333333,Tail
+eat,3,0.6666666666666666,0.5714285714285714,Tail
+enjoy,3,0.6666666666666666,0.8,Middle
+family,3,1.0,0.8571428571428571,Middle
+orange,3,1.0,0.5,Middle
+now,3,1.0,0.75,Middle
+need,3,0.6666666666666666,0.8,Middle
+mother,3,0.0,0.0,Middle
+medicine,3,0.3333333333333333,0.4,Middle
+meet,3,0.3333333333333333,0.4,Middle
+many,3,0.3333333333333333,0.4,Middle
+man,3,1.0,0.8571428571428571,Middle
+jacket,3,1.0,0.75,Middle
+purple,3,0.3333333333333333,0.3333333333333333,Middle
+pink,3,0.0,0.0,Middle
+paint,3,1.0,0.5454545454545454,Middle
+pizza,3,0.3333333333333333,0.4,Middle
+play,3,0.3333333333333333,0.4,Middle
+pull,3,0.6666666666666666,0.6666666666666666,Middle
+paper,3,1.0,0.75,Middle
+table,3,0.6666666666666666,0.8,Middle
+study,3,1.0,1.0,Middle
+son,3,0.6666666666666666,0.8,Middle
+shirt,3,1.0,0.75,Middle
+school,3,0.3333333333333333,0.4,Middle
+secretary,3,0.3333333333333333,0.4,Middle
+same,3,0.6666666666666666,0.5,Middle
+tell,3,0.3333333333333333,0.4,Middle
+want,3,0.6666666666666666,0.5714285714285714,Middle
+time,3,0.6666666666666666,0.3076923076923077,Middle
+thursday,3,0.0,0.0,Middle
+thanksgiving,3,0.0,0.0,Middle
+woman,3,0.3333333333333333,0.25,Middle
+white,3,1.0,0.5454545454545454,Middle
+wrong,3,1.0,1.0,Middle
+work,3,0.0,0.0,Head