table / data /250117 /decoder_summary.csv
ytaek-oh's picture
update
baaf065
"('Model', 'family')","('Model', 'model')","('Model', 'tag')","('length_group', 'short')","('length_group', 'medium')","('length_group', 'long')","('neg_target', 'entity')","('neg_target', 'background')","('neg_type', 'contradict')","('neg_type', 'irrelevant')","('Avg', 'Avg')"
vqascore,instructblip-flant5-xl,none,78.33333333333333,47.1875,45.104166666666664,60.90277777777777,52.84722222222222,61.04166666666666,52.70833333333332,56.874999999999986
vqascore,clip-flant5-xl,none,87.08333333333334,89.27083333333334,84.27083333333334,83.61111111111111,90.1388888888889,88.95833333333333,84.79166666666667,86.875
vqascore,llava-v1.5-7b,none,86.97916666666667,81.45833333333333,76.35416666666667,81.1111111111111,82.08333333333333,81.66666666666667,81.52777777777777,81.59722222222223
vqascore,sharegpt4v-7b,none,84.6875,72.91666666666666,82.39583333333333,81.87500000000001,78.12499999999999,84.93055555555556,75.06944444444444,80.0
visualgptscore,instructblip-flant5-xl,none,46.458333333333336,41.458333333333336,59.89583333333333,45.069444444444436,53.47222222222222,44.583333333333336,53.958333333333336,49.270833333333336
visualgptscore,clip-flant5-xl,none,59.791666666666664,58.75,49.791666666666664,57.5,54.72222222222222,50.416666666666664,61.80555555555555,56.11111111111111
visualgptscore,llava-v1.5-7b,none,53.75,46.87500000000001,44.375,52.36111111111111,44.30555555555555,45.694444444444436,50.97222222222222,48.33333333333333
visualgptscore,sharegpt4v-7b,none,51.875,48.958333333333336,46.458333333333336,50.416666666666664,47.77777777777777,46.666666666666664,51.52777777777777,49.097222222222214