table / data /250117 /decoder_overall.csv
ytaek-oh's picture
update
baaf065
family,model,tag,contr_ent_short,contr_ent_medium,contr_ent_long,contr_bg_short,contr_bg_medium,contr_bg_long,irrel_ent_short,irrel_ent_medium,irrel_ent_long,irrel_bg_short,irrel_bg_medium,irrel_bg_long,Avg
vqascore,instructblip-flant5-xl,none,83.33333333333334,55.416666666666664,52.08333333333333,78.33333333333333,50.83333333333333,46.25,78.33333333333333,50.0,46.25,73.33333333333333,32.5,35.833333333333336,56.874999999999986
vqascore,clip-flant5-xl,none,85.0,85.83333333333334,77.5,94.16666666666667,96.66666666666667,94.58333333333334,84.16666666666667,86.66666666666667,82.5,85.0,87.91666666666666,82.5,86.875
vqascore,llava-v1.5-7b,none,83.33333333333334,79.58333333333333,73.33333333333334,91.66666666666666,83.33333333333334,78.75,88.75,83.33333333333333,78.33333333333334,84.16666666666667,79.58333333333333,75.0,81.59722222222223
vqascore,sharegpt4v-7b,none,88.33333333333333,79.16666666666666,82.08333333333334,92.5,78.75,88.75,82.5,75.0,84.16666666666667,75.41666666666666,58.75,74.58333333333333,80.0
visualgptscore,instructblip-flant5-xl,none,33.33333333333333,29.166666666666668,46.666666666666664,51.66666666666667,42.5,64.16666666666666,53.333333333333336,46.666666666666664,61.25,47.5,47.5,67.5,49.270833333333336
visualgptscore,clip-flant5-xl,none,50.83333333333333,47.5,42.5,62.5,55.00000000000001,44.166666666666664,68.33333333333333,71.66666666666667,64.16666666666667,57.49999999999999,60.83333333333333,48.333333333333336,56.11111111111111
visualgptscore,llava-v1.5-7b,none,50.0,43.333333333333336,44.166666666666664,54.166666666666664,40.0,42.5,60.83333333333333,63.33333333333333,52.5,50.0,40.833333333333336,38.333333333333336,48.33333333333333
visualgptscore,sharegpt4v-7b,none,48.333333333333336,41.66666666666667,45.0,55.00000000000001,45.0,45.0,55.00000000000001,60.0,52.5,49.166666666666664,49.166666666666664,43.333333333333336,49.097222222222214