LLaVA/ pyproject.toml pretrain_select_coco.sh .gitattributes accuracy_scores.txt predict.py pretrain_random.sh cog.yaml LICENSE .dockerignore .editorconfig README.md mixed_200k.sh .gitignore run.sh wandb/ debug.log debug-cli.zhuchenglin.log debug-internal.log run-20240703_195114-rhhl081z/ run-rhhl081z.wandb logs/ debug.log debug-internal.log tmp/ code/ files/ requirements.txt wandb-metadata.json wandb-summary.json output.log config.yaml conda-environment.yaml run-20240716_152929-lphl0cgb/ run-lphl0cgb.wandb logs/ debug.log debug-internal.log tmp/ code/ files/ conda-environment.yaml output.log wandb-summary.json config.yaml wandb-metadata.json requirements.txt run-20240716_122948-0bufcyzl/ run-0bufcyzl.wandb tmp/ code/ logs/ debug.log debug-internal.log files/ wandb-summary.json config.yaml conda-environment.yaml wandb-metadata.json requirements.txt output.log run-20240511_121254-h2g4majt/ run-h2g4majt.wandb files/ wandb-summary.json requirements.txt wandb-metadata.json conda-environment.yaml config.yaml output.log tmp/ code/ logs/ debug-internal.log debug.log run-20240511_115312-7j5sw2tj/ run-7j5sw2tj.wandb files/ wandb-summary.json requirements.txt output.log wandb-metadata.json config.yaml conda-environment.yaml tmp/ code/ logs/ debug.log debug-internal.log run-20240525_193056-evxqxsm7/ run-evxqxsm7.wandb files/ requirements.txt wandb-metadata.json wandb-summary.json output.log config.yaml conda-environment.yaml logs/ debug-internal.log debug.log tmp/ code/ run-20240525_192135-ssoryvs0/ run-ssoryvs0.wandb files/ wandb-summary.json config.yaml conda-environment.yaml wandb-metadata.json requirements.txt output.log logs/ debug.log debug-internal.log tmp/ code/ run-20240609_135105-gg60ksqa/ run-gg60ksqa.wandb logs/ debug-internal.log debug.log files/ wandb-summary.json requirements.txt wandb-metadata.json conda-environment.yaml config.yaml output.log tmp/ code/ run-20240705_114542-5jyygfgy/ run-5jyygfgy.wandb files/ output.log requirements.txt wandb-metadata.json wandb-summary.json config.yaml conda-environment.yaml logs/ debug.log debug-internal.log tmp/ code/ run-20240515_095746-8fns34qr/ run-8fns34qr.wandb logs/ debug-internal.log debug.log files/ wandb-summary.json requirements.txt output.log wandb-metadata.json config.yaml conda-environment.yaml tmp/ code/ run-20240521_014747-tmfpqti2/ run-tmfpqti2.wandb logs/ debug.log debug-internal.log files/ wandb-summary.json requirements.txt output.log conda-environment.yaml config.yaml wandb-metadata.json tmp/ code/ run-20240715_191020-fxpzpy56/ run-fxpzpy56.wandb files/ conda-environment.yaml config.yaml output.log requirements.txt wandb-summary.json wandb-metadata.json tmp/ code/ logs/ debug-internal.log debug.log run-20240509_230333-tvczz4u3/ run-tvczz4u3.wandb files/ conda-environment.yaml requirements.txt config.yaml wandb-metadata.json output.log wandb-summary.json tmp/ code/ logs/ debug.log debug-internal.log run-20240525_193726-nxqzo2a3/ run-nxqzo2a3.wandb logs/ debug-internal.log debug.log tmp/ code/ files/ wandb-summary.json conda-environment.yaml requirements.txt config.yaml output.log wandb-metadata.json run-20240511_150614-xboorn9e/ run-xboorn9e.wandb files/ wandb-summary.json requirements.txt output.log wandb-metadata.json config.yaml conda-environment.yaml logs/ debug-internal.log debug.log tmp/ code/ run-20240701_235940-yp3a24l4/ run-yp3a24l4.wandb logs/ debug-internal.log debug.log files/ config.yaml tmp/ code/ run-20240520_131256-nbusoyle/ run-nbusoyle.wandb tmp/ code/ logs/ debug.log debug-internal.log files/ output.log requirements.txt wandb-metadata.json wandb-summary.json config.yaml conda-environment.yaml run-20240607_112716-fagry1oh/ run-fagry1oh.wandb files/ wandb-summary.json conda-environment.yaml requirements.txt config.yaml output.log wandb-metadata.json tmp/ code/ logs/ debug.log debug-internal.log run-20240514_123729-dn03lbo7/ run-dn03lbo7.wandb logs/ debug.log debug-internal.log files/ requirements.txt wandb-summary.json wandb-metadata.json output.log conda-environment.yaml config.yaml tmp/ code/ run-20240704_232835-9hb5besv/ run-9hb5besv.wandb logs/ debug-internal.log debug.log tmp/ code/ files/ wandb-metadata.json output.log config.yaml conda-environment.yaml requirements.txt wandb-summary.json run-20240525_193036-3bkoeyjh/ run-3bkoeyjh.wandb files/ wandb-summary.json conda-environment.yaml wandb-metadata.json config.yaml requirements.txt output.log tmp/ code/ logs/ debug-internal.log debug.log run-20240513_151923-pka6spwz/ run-pka6spwz.wandb tmp/ code/ logs/ debug.log debug-internal.log files/ wandb-summary.json conda-environment.yaml requirements.txt config.yaml output.log wandb-metadata.json run-20240701_235001-zsxzy42x/ run-zsxzy42x.wandb logs/ debug.log debug-internal.log files/ config.yaml tmp/ code/ run-20240717_125404-8t9xc49b/ run-8t9xc49b.wandb files/ requirements.txt wandb-summary.json wandb-metadata.json output.log conda-environment.yaml config.yaml tmp/ code/ logs/ debug.log debug-internal.log run-20240715_191027-1m8puqax/ run-1m8puqax.wandb files/ requirements.txt wandb-summary.json wandb-metadata.json output.log conda-environment.yaml config.yaml logs/ debug-internal.log debug.log tmp/ code/ run-20240609_135140-08wv0lox/ run-08wv0lox.wandb files/ conda-environment.yaml config.yaml output.log requirements.txt wandb-metadata.json tmp/ code/ logs/ debug.log debug-internal.log run-20240513_102605-nfi6tjyh/ run-nfi6tjyh.wandb files/ wandb-summary.json requirements.txt output.log wandb-metadata.json config.yaml conda-environment.yaml logs/ debug.log debug-internal.log tmp/ code/ run-20240526_195431-0d212nig/ run-0d212nig.wandb logs/ debug.log debug-internal.log files/ wandb-summary.json conda-environment.yaml wandb-metadata.json config.yaml requirements.txt output.log tmp/ code/ run-20240513_153323-tlay95tj/ run-tlay95tj.wandb logs/ debug-internal.log debug.log tmp/ code/ files/ requirements.txt wandb-summary.json wandb-metadata.json output.log conda-environment.yaml config.yaml run-20240525_183608-8d8mpa2i/ run-8d8mpa2i.wandb files/ wandb-metadata.json output.log config.yaml conda-environment.yaml requirements.txt wandb-summary.json logs/ debug.log debug-internal.log tmp/ code/ run-20240525_192642-9ck5uqru/ run-9ck5uqru.wandb logs/ debug-internal.log debug.log files/ conda-environment.yaml output.log wandb-summary.json config.yaml wandb-metadata.json requirements.txt tmp/ code/ run-20240525_192625-ojzqgiru/ run-ojzqgiru.wandb files/ wandb-summary.json requirements.txt wandb-metadata.json conda-environment.yaml config.yaml output.log tmp/ code/ logs/ debug.log debug-internal.log run-20240525_192029-ool1sa4y/ run-ool1sa4y.wandb logs/ debug.log debug-internal.log files/ wandb-summary.json config.yaml conda-environment.yaml wandb-metadata.json requirements.txt output.log tmp/ code/ run-20240515_013457-gzxydwx3/ run-gzxydwx3.wandb logs/ debug-internal.log debug.log files/ conda-environment.yaml requirements.txt config.yaml wandb-metadata.json output.log wandb-summary.json tmp/ code/ run-20240702_011736-ffhhgf2y/ run-ffhhgf2y.wandb logs/ debug-internal.log debug.log tmp/ code/ files/ wandb-metadata.json output.log config.yaml conda-environment.yaml requirements.txt wandb-summary.json run-20240526_064030-frf016st/ run-frf016st.wandb logs/ debug.log debug-internal.log files/ wandb-summary.json requirements.txt wandb-metadata.json conda-environment.yaml config.yaml output.log tmp/ code/ run-20240513_151254-5p9dsa6g/ run-5p9dsa6g.wandb files/ output.log requirements.txt wandb-metadata.json wandb-summary.json config.yaml conda-environment.yaml logs/ debug-internal.log debug.log tmp/ code/ run-20240706_211330-mcpgx2yu/ run-mcpgx2yu.wandb logs/ debug.log debug-internal.log files/ output.log requirements.txt wandb-metadata.json wandb-summary.json config.yaml conda-environment.yaml tmp/ code/ run-20240706_041208-bseib75q/ run-bseib75q.wandb files/ wandb-summary.json config.yaml conda-environment.yaml wandb-metadata.json requirements.txt output.log tmp/ code/ logs/ debug.log debug-internal.log run-20240527_023137-cz953yti/ run-cz953yti.wandb logs/ debug-internal.log debug.log files/ wandb-summary.json requirements.txt wandb-metadata.json conda-environment.yaml config.yaml output.log tmp/ code/ run-20240521_101129-hqyra4cm/ run-hqyra4cm.wandb files/ wandb-summary.json requirements.txt output.log wandb-metadata.json config.yaml conda-environment.yaml tmp/ code/ logs/ debug-internal.log debug.log run-20240513_013109-c8u159ox/ run-c8u159ox.wandb logs/ debug-internal.log debug.log tmp/ code/ files/ wandb-summary.json requirements.txt wandb-metadata.json conda-environment.yaml config.yaml output.log run-20240518_235142-oul52c36/ run-oul52c36.wandb logs/ debug.log debug-internal.log tmp/ code/ files/ requirements.txt wandb-metadata.json wandb-summary.json output.log config.yaml conda-environment.yaml run-20240513_102822-xtbg47vw/ run-xtbg47vw.wandb logs/ debug.log debug-internal.log files/ wandb-summary.json requirements.txt output.log conda-environment.yaml config.yaml wandb-metadata.json tmp/ code/ run-20240609_135600-6ekhdxl7/ run-6ekhdxl7.wandb logs/ debug-internal.log debug.log tmp/ code/ files/ wandb-metadata.json output.log config.yaml conda-environment.yaml requirements.txt wandb-summary.json run-20240717_120346-zgw6bj12/ run-zgw6bj12.wandb tmp/ code/ logs/ debug.log debug-internal.log files/ conda-environment.yaml output.log wandb-summary.json config.yaml wandb-metadata.json requirements.txt run-20240526_112823-v68g9q6w/ run-v68g9q6w.wandb files/ wandb-summary.json config.yaml conda-environment.yaml wandb-metadata.json requirements.txt output.log tmp/ code/ logs/ debug.log debug-internal.log run-20240528_025143-ivjanraj/ run-ivjanraj.wandb files/ conda-environment.yaml config.yaml output.log requirements.txt wandb-summary.json wandb-metadata.json tmp/ code/ logs/ debug.log debug-internal.log run-20240520_132421-6rgu4mxn/ run-6rgu4mxn.wandb logs/ debug.log debug-internal.log files/ requirements.txt wandb-summary.json wandb-metadata.json output.log conda-environment.yaml config.yaml tmp/ code/ run-20240426_224522-uys8f0ma/ run-uys8f0ma.wandb logs/ debug-internal.log debug.log files/ wandb-summary.json conda-environment.yaml wandb-metadata.json config.yaml requirements.txt output.log tmp/ code/ run-20240705_111950-bn2nliuj/ run-bn2nliuj.wandb logs/ debug.log debug-internal.log tmp/ code/ files/ wandb-metadata.json output.log config.yaml conda-environment.yaml requirements.txt wandb-summary.json run-20240510_102418-p83ygtqb/ run-p83ygtqb.wandb logs/ debug.log debug-internal.log files/ requirements.txt wandb-summary.json wandb-metadata.json output.log conda-environment.yaml config.yaml tmp/ code/ run-20240711_110145-oflo0jhl/ run-oflo0jhl.wandb logs/ debug-internal.log debug.log tmp/ code/ files/ requirements.txt wandb-summary.json wandb-metadata.json output.log conda-environment.yaml config.yaml run-20240717_120109-apgisq6a/ run-apgisq6a.wandb logs/ debug-internal.log debug.log tmp/ code/ files/ config.yaml conda-environment.yaml run-20240518_235528-8280jf2p/ run-8280jf2p.wandb logs/ debug-internal.log debug.log tmp/ code/ files/ wandb-summary.json conda-environment.yaml requirements.txt config.yaml output.log wandb-metadata.json run-20240511_121019-qhtb41gf/ run-qhtb41gf.wandb logs/ debug-internal.log debug.log files/ wandb-metadata.json output.log config.yaml conda-environment.yaml requirements.txt wandb-summary.json tmp/ code/ run-20240513_120357-f5loewd0/ run-f5loewd0.wandb files/ conda-environment.yaml output.log wandb-summary.json config.yaml wandb-metadata.json requirements.txt tmp/ code/ logs/ debug-internal.log debug.log run-20240707_105806-x12avjo9/ run-x12avjo9.wandb files/ requirements.txt wandb-metadata.json wandb-summary.json output.log config.yaml conda-environment.yaml logs/ debug-internal.log debug.log tmp/ code/ run-20240513_121043-raj08tw6/ run-raj08tw6.wandb logs/ debug.log debug-internal.log tmp/ code/ files/ output.log requirements.txt wandb-metadata.json wandb-summary.json config.yaml conda-environment.yaml run-20240513_095540-abbvhutc/ run-abbvhutc.wandb logs/ debug.log debug-internal.log tmp/ code/ files/ conda-environment.yaml config.yaml output.log requirements.txt wandb-summary.json wandb-metadata.json run-20240427_135025-ckhgqasb/ run-ckhgqasb.wandb tmp/ code/ logs/ debug-internal.log debug.log files/ conda-environment.yaml requirements.txt config.yaml wandb-metadata.json output.log wandb-summary.json run-20240511_121702-pmn4eprk/ run-pmn4eprk.wandb tmp/ code/ logs/ debug-internal.log debug.log files/ conda-environment.yaml config.yaml output.log requirements.txt wandb-summary.json wandb-metadata.json run-20240525_193245-9llubepm/ run-9llubepm.wandb logs/ debug.log debug-internal.log files/ wandb-summary.json requirements.txt output.log wandb-metadata.json config.yaml conda-environment.yaml tmp/ code/ run-20240702_144652-7l4579ig/ run-7l4579ig.wandb files/ output.log requirements.txt wandb-metadata.json wandb-summary.json config.yaml conda-environment.yaml logs/ debug-internal.log debug.log tmp/ code/ run-20240705_020646-f7es6ftu/ run-f7es6ftu.wandb files/ output.log requirements.txt wandb-metadata.json wandb-summary.json config.yaml conda-environment.yaml tmp/ code/ logs/ debug.log debug-internal.log run-20240510_000029-ppdtiebi/ run-ppdtiebi.wandb files/ wandb-summary.json requirements.txt output.log wandb-metadata.json config.yaml conda-environment.yaml logs/ debug.log debug-internal.log tmp/ code/ run-20240522_043121-vlyzo416/ run-vlyzo416.wandb logs/ debug-internal.log debug.log tmp/ code/ files/ output.log requirements.txt wandb-metadata.json wandb-summary.json config.yaml conda-environment.yaml run-20240702_002254-xktvv3sv/ run-xktvv3sv.wandb logs/ debug-internal.log debug.log files/ wandb-summary.json config.yaml conda-environment.yaml wandb-metadata.json requirements.txt output.log tmp/ code/ run-20240711_104752-w1ld5i7w/ run-w1ld5i7w.wandb files/ wandb-summary.json requirements.txt output.log conda-environment.yaml config.yaml wandb-metadata.json tmp/ code/ logs/ debug.log debug-internal.log run-20240715_171701-xhdiedaf/ run-xhdiedaf.wandb logs/ debug.log debug-internal.log files/ output.log requirements.txt wandb-metadata.json wandb-summary.json config.yaml conda-environment.yaml tmp/ code/ run-20240525_192745-99q974lf/ run-99q974lf.wandb logs/ debug-internal.log debug.log tmp/ code/ files/ wandb-summary.json config.yaml conda-environment.yaml wandb-metadata.json requirements.txt output.log run-20240702_120550-ib9wwum7/ run-ib9wwum7.wandb logs/ debug-internal.log debug.log files/ requirements.txt wandb-metadata.json conda-environment.yaml config.yaml output.log tmp/ code/ run-20240521_100931-a6h85vl5/ run-a6h85vl5.wandb files/ output.log requirements.txt wandb-metadata.json wandb-summary.json config.yaml conda-environment.yaml logs/ debug-internal.log debug.log tmp/ code/ run-20240519_170954-qiqyinso/ run-qiqyinso.wandb logs/ debug.log debug-internal.log files/ requirements.txt wandb-metadata.json wandb-summary.json output.log config.yaml conda-environment.yaml tmp/ code/ run-20240513_161503-o4wat5hz/ run-o4wat5hz.wandb logs/ debug-internal.log debug.log files/ wandb-summary.json requirements.txt wandb-metadata.json conda-environment.yaml config.yaml output.log tmp/ code/ run-20240509_223552-m4hyv9oc/ run-m4hyv9oc.wandb logs/ debug.log debug-internal.log files/ wandb-metadata.json output.log config.yaml conda-environment.yaml requirements.txt tmp/ code/ run-20240525_192015-tpbdrb17/ run-tpbdrb17.wandb logs/ debug.log debug-internal.log tmp/ code/ files/ wandb-metadata.json output.log config.yaml conda-environment.yaml requirements.txt wandb-summary.json run-20240525_192031-11leg1gq/ run-11leg1gq.wandb files/ wandb-summary.json conda-environment.yaml wandb-metadata.json config.yaml requirements.txt output.log logs/ debug-internal.log debug.log tmp/ code/ run-20240717_120242-aa84b7xe/ run-aa84b7xe.wandb tmp/ code/ logs/ debug-internal.log debug.log files/ wandb-summary.json requirements.txt output.log wandb-metadata.json config.yaml conda-environment.yaml run-20240526_005318-q0y2k6ql/ run-q0y2k6ql.wandb logs/ debug.log debug-internal.log tmp/ code/ files/ wandb-summary.json requirements.txt output.log conda-environment.yaml config.yaml wandb-metadata.json run-20240526_122611-b81124cl/ run-b81124cl.wandb logs/ debug.log debug-internal.log files/ conda-environment.yaml config.yaml output.log requirements.txt wandb-summary.json wandb-metadata.json tmp/ code/ run-20240707_110232-cnsvgokm/ run-cnsvgokm.wandb files/ wandb-summary.json requirements.txt wandb-metadata.json conda-environment.yaml config.yaml output.log tmp/ code/ logs/ debug-internal.log debug.log run-20240526_064107-y1cbld3k/ run-y1cbld3k.wandb files/ wandb-summary.json conda-environment.yaml wandb-metadata.json config.yaml requirements.txt output.log logs/ debug.log debug-internal.log tmp/ code/ run-20240521_014623-ndd01jr6/ run-ndd01jr6.wandb logs/ debug-internal.log debug.log tmp/ code/ files/ wandb-metadata.json output.log config.yaml conda-environment.yaml requirements.txt wandb-summary.json run-20240717_120458-3dt6pobx/ run-3dt6pobx.wandb logs/ debug.log debug-internal.log tmp/ code/ files/ output.log requirements.txt wandb-metadata.json wandb-summary.json config.yaml conda-environment.yaml run-20240527_081735-mt6ulrof/ run-mt6ulrof.wandb logs/ debug-internal.log debug.log files/ wandb-metadata.json output.log config.yaml conda-environment.yaml requirements.txt wandb-summary.json tmp/ code/ run-20240525_193306-iopwmk9q/ run-iopwmk9q.wandb files/ conda-environment.yaml config.yaml output.log requirements.txt wandb-summary.json wandb-metadata.json logs/ debug.log debug-internal.log tmp/ code/ run-20240509_233633-av8ader2/ run-av8ader2.wandb logs/ debug-internal.log debug.log tmp/ code/ files/ conda-environment.yaml wandb-metadata.json config.yaml requirements.txt output.log run-20240426_225131-zsqzn241/ run-zsqzn241.wandb logs/ debug.log debug-internal.log tmp/ code/ files/ wandb-summary.json config.yaml conda-environment.yaml wandb-metadata.json requirements.txt output.log run-20240521_014205-hilsuard/ run-hilsuard.wandb logs/ debug-internal.log debug.log files/ wandb-summary.json requirements.txt output.log wandb-metadata.json config.yaml conda-environment.yaml tmp/ code/ run-20240715_191125-1jck9riw/ run-1jck9riw.wandb files/ wandb-summary.json conda-environment.yaml requirements.txt config.yaml output.log wandb-metadata.json logs/ debug-internal.log debug.log tmp/ code/ run-20240703_230701-ypq1i72s/ run-ypq1i72s.wandb files/ wandb-summary.json requirements.txt output.log wandb-metadata.json config.yaml conda-environment.yaml tmp/ code/ logs/ debug-internal.log debug.log run-20240513_102305-zvr86kuj/ run-zvr86kuj.wandb files/ wandb-summary.json requirements.txt output.log conda-environment.yaml config.yaml wandb-metadata.json logs/ debug-internal.log debug.log tmp/ code/ run-20240708_222742-xhq81ufw/ run-xhq81ufw.wandb files/ requirements.txt wandb-metadata.json wandb-summary.json output.log config.yaml conda-environment.yaml logs/ debug.log debug-internal.log tmp/ code/ run-20240509_230845-ioa40sgo/ run-ioa40sgo.wandb files/ wandb-summary.json config.yaml conda-environment.yaml wandb-metadata.json requirements.txt output.log tmp/ code/ logs/ debug-internal.log debug.log run-20240526_014013-4lhzq0w3/ run-4lhzq0w3.wandb tmp/ code/ logs/ debug.log debug-internal.log files/ conda-environment.yaml config.yaml output.log requirements.txt wandb-summary.json wandb-metadata.json run-20240609_135749-vu4c6ysm/ run-vu4c6ysm.wandb logs/ debug-internal.log debug.log files/ output.log requirements.txt wandb-metadata.json wandb-summary.json config.yaml conda-environment.yaml tmp/ code/ run-20240711_192100-x4vog9wk/ run-x4vog9wk.wandb files/ wandb-summary.json conda-environment.yaml wandb-metadata.json config.yaml requirements.txt output.log tmp/ code/ logs/ debug-internal.log debug.log run-20240520_131327-p58zzt91/ run-p58zzt91.wandb files/ wandb-summary.json requirements.txt wandb-metadata.json conda-environment.yaml config.yaml output.log tmp/ code/ logs/ debug-internal.log debug.log run-20240519_000414-77dew6qa/ run-77dew6qa.wandb files/ conda-environment.yaml requirements.txt config.yaml wandb-metadata.json output.log wandb-summary.json tmp/ code/ logs/ debug-internal.log debug.log run-20240521_015159-cipgfj3q/ run-cipgfj3q.wandb files/ conda-environment.yaml config.yaml output.log requirements.txt wandb-summary.json wandb-metadata.json tmp/ code/ logs/ debug.log debug-internal.log run-20240519_164446-gk21698n/ run-gk21698n.wandb tmp/ code/ logs/ debug-internal.log debug.log files/ requirements.txt wandb-metadata.json wandb-summary.json output.log config.yaml conda-environment.yaml run-20240512_101104-89x44ujz/ run-89x44ujz.wandb files/ conda-environment.yaml output.log wandb-summary.json config.yaml wandb-metadata.json requirements.txt tmp/ code/ logs/ debug.log debug-internal.log run-20240509_231631-k94eo16l/ run-k94eo16l.wandb logs/ debug.log debug-internal.log tmp/ code/ files/ wandb-summary.json requirements.txt output.log conda-environment.yaml config.yaml wandb-metadata.json run-20240511_144319-tshrfmhn/ run-tshrfmhn.wandb tmp/ code/ logs/ debug-internal.log debug.log files/ wandb-summary.json conda-environment.yaml requirements.txt config.yaml output.log wandb-metadata.json run-20240513_120727-ovlcdfz7/ run-ovlcdfz7.wandb files/ wandb-summary.json conda-environment.yaml requirements.txt config.yaml output.log wandb-metadata.json tmp/ code/ logs/ debug.log debug-internal.log run-20240702_180327-8kiucfhe/ run-8kiucfhe.wandb logs/ debug-internal.log debug.log files/ conda-environment.yaml config.yaml output.log requirements.txt wandb-summary.json wandb-metadata.json tmp/ code/ run-20240705_114848-zdoxjq8q/ run-zdoxjq8q.wandb logs/ debug-internal.log debug.log tmp/ code/ files/ requirements.txt wandb-metadata.json wandb-summary.json output.log config.yaml conda-environment.yaml run-20240716_161019-mfegfis9/ run-mfegfis9.wandb files/ output.log requirements.txt wandb-metadata.json wandb-summary.json config.yaml conda-environment.yaml tmp/ code/ logs/ debug-internal.log debug.log run-20240716_153851-v9tea9hs/ run-v9tea9hs.wandb logs/ debug.log debug-internal.log tmp/ code/ files/ wandb-metadata.json output.log config.yaml conda-environment.yaml requirements.txt wandb-summary.json run-20240519_122510-nqzez8zg/ run-nqzez8zg.wandb logs/ debug-internal.log debug.log files/ wandb-summary.json requirements.txt output.log wandb-metadata.json config.yaml conda-environment.yaml tmp/ code/ run-20240607_112654-l5tr0g0q/ run-l5tr0g0q.wandb tmp/ code/ logs/ debug-internal.log debug.log files/ wandb-summary.json conda-environment.yaml wandb-metadata.json config.yaml requirements.txt output.log run-20240715_171329-vk0753gd/ run-vk0753gd.wandb tmp/ code/ logs/ debug-internal.log debug.log files/ wandb-summary.json requirements.txt output.log conda-environment.yaml config.yaml wandb-metadata.json run-20240711_231303-zm6ml5a8/ run-zm6ml5a8.wandb logs/ debug.log debug-internal.log files/ wandb-summary.json requirements.txt output.log conda-environment.yaml config.yaml wandb-metadata.json tmp/ code/ run-20240513_180350-9j88rvum/ run-9j88rvum.wandb files/ conda-environment.yaml requirements.txt config.yaml wandb-metadata.json output.log wandb-summary.json logs/ debug.log debug-internal.log tmp/ code/ run-20240427_103207-rbldygtx/ run-rbldygtx.wandb logs/ debug-internal.log debug.log tmp/ code/ files/ wandb-summary.json config.yaml conda-environment.yaml wandb-metadata.json requirements.txt output.log run-20240509_233331-3gp4jefc/ run-3gp4jefc.wandb logs/ debug.log debug-internal.log tmp/ code/ files/ wandb-summary.json conda-environment.yaml requirements.txt config.yaml output.log wandb-metadata.json run-20240609_135435-9p7des1q/ run-9p7des1q.wandb files/ conda-environment.yaml output.log wandb-summary.json config.yaml wandb-metadata.json requirements.txt tmp/ code/ logs/ debug-internal.log debug.log pretrain_13b/ llava_raw_558k.sh select_raw_50k.sh select_gen_100k.sh coco_gen_200k.sh coco_gen_558k.sh coco_raw_200k.sh coco_raw_558k.sh select_raw_200k.sh select_raw_100k.sh select_gen_200k.sh llava_gen_200k.sh llava_gen_558k.sh select_gen_50k.sh llava_coco_raw.sh sharegpt4v_100k.sh llava_coco_gen.sh mixed_200k.sh llava_raw_200k.sh run_13b/ coco_gen_200k_ft.sh llava_coco_gen_758k_ft.sh sharegpt4v_100k_ft.sh select_raw_100k.sh coco_raw_200k_ft.sh coco_gen_200k.sh llava_coco_raw_758k_ft.sh select_gen_100k.sh select_gen_100k_ft.sh mixed_200k.sh select_raw_200k_ft.sh llava_gen_558k.sh coco_raw_558k.sh coco_raw_200k.sh select_gen_50k.sh llava_raw_558k.sh coco_raw_558k_ft.sh llava_coco_gen_758k.sh llava_gen_558k_ft.sh select_raw_100k_ft.sh sharegpt4v_100k.sh llava_raw_200k_ft.sh mixed_200k_ft.sh coco_gen_558k_ft.sh select_raw_200k.sh llava_gen_200k.sh llava_coco_raw_758k.sh llava_gen_200k_ft.sh coco_gen_558k.sh llava_raw_200k.sh llava_raw_558k_ft.sh select_gen_200k.sh select_gen_200k_ft.sh .devcontainer/ postCreateCommand.sh Dockerfile devcontainer.env devcontainer.json eval_7b/ llava_raw_200k/ mmlu.sh pope.sh vizwiz.sh mmbench_cn.sh mmvet.sh mme.sh gqa.sh mmlu_pt.sh mme_ft.sh textvqa.sh vqav2_ft.sh mmvet_ft.sh vizwiz_ft.sh sqa_ft.sh pope_ft.sh vqav2.sh gqa_ft.sh sqa.sh mmbench.sh mmbench_ft.sh mmbench_cn_ft.sh textvqa_ft.sh llava_raw_558k/ mmlu_pt.sh textvqa.sh mmbench_cn.sh vqav2_ft.sh sqa.sh mme_ft.sh vizwiz_ft.sh vqav2.sh mmvet_ft.sh mmvet.sh gqa.sh sqa_ft.sh mmbench.sh pope_ft.sh mmbench_ft.sh vizwiz.sh gqa_ft.sh mme.sh mmbench_cn_ft.sh pope.sh textvqa_ft.sh mmlu.sh llava_gen_558k/ mmvet.sh vqav2.sh mmbench_cn.sh mmbench_ft.sh pope.sh mmbench.sh mme.sh sqa_ft.sh mmvet_ft.sh vizwiz_ft.sh textvqa.sh vqav2_ft.sh gqa_ft.sh vizwiz.sh pope_ft.sh mmbench_cn_ft.sh mme_ft.sh sqa.sh textvqa_ft.sh mmlu_pt.sh gqa.sh mmlu.sh select_raw_200k/ pope_ft.sh mmbench_ft.sh mmlu.sh mmbench_cn.sh textvqa_ft.sh mme.sh sqa_ft.sh vqav2.sh pope.sh mme_ft.sh textvqa.sh mmvet_ft.sh mmbench_cn_ft.sh vizwiz.sh mmbench.sh gqa_ft.sh gqa.sh vizwiz_ft.sh vqav2_ft.sh sqa.sh mmlu_pt.sh mmvet.sh select_gen_200k/ mmbench_cn_ft.sh mmbench_cn.sh vqav2.sh sqa_ft.sh vqav2_ft.sh vizwiz.sh gqa_ft.sh pope.sh textvqa.sh mmvet_ft.sh pope_ft.sh gqa.sh textvqa_ft.sh mmlu_pt.sh mme_ft.sh mmlu.sh mmbench.sh mmvet.sh mme.sh mmbench_ft.sh sqa.sh vizwiz_ft.sh llava_gen_200k/ pope_ft.sh mmbench_ft.sh mmlu.sh mmbench_cn.sh textvqa_ft.sh mme.sh sqa_ft.sh vqav2.sh pope.sh mme_ft.sh textvqa.sh mmvet_ft.sh mmbench_cn_ft.sh vizwiz.sh mmbench.sh gqa_ft.sh gqa.sh vizwiz_ft.sh vqav2_ft.sh sqa.sh mmlu_pt.sh mmvet.sh sharegpt4v_100k/ pope_ft.sh mmbench_ft.sh mmlu.sh mmbench_cn.sh textvqa_ft.sh mme.sh sqa_ft.sh vqav2.sh pope.sh mme_ft.sh textvqa.sh mmvet_ft.sh mmbench_cn_ft.sh vizwiz.sh mmbench.sh gqa_ft.sh gqa.sh vizwiz_ft.sh vqav2_ft.sh sqa.sh mmlu_pt.sh mmvet.sh llava_coco_raw_758k/ mmlu_pt.sh mme_ft.sh pope_ft.sh mme.sh mmbench_ft.sh gqa.sh pope.sh vqav2.sh textvqa.sh mmlu.sh sqa_ft.sh mmvet_ft.sh mmbench_cn.sh textvqa_ft.sh mmvet.sh vizwiz.sh gqa_ft.sh vqav2_ft.sh sqa.sh vizwiz_ft.sh mmbench_cn_ft.sh mmbench.sh coco_gen_200k/ mmlu_pt.sh textvqa.sh mmbench_cn.sh vqav2_ft.sh sqa.sh mme_ft.sh vizwiz_ft.sh vqav2.sh mmvet_ft.sh mmvet.sh gqa.sh sqa_ft.sh mmbench.sh pope_ft.sh mmbench_ft.sh vizwiz.sh gqa_ft.sh mme.sh mmbench_cn_ft.sh pope.sh textvqa_ft.sh mmlu.sh select_gen_100k/ sqa.sh pope.sh mme_ft.sh gqa.sh vizwiz.sh mmlu_pt.sh mmlu.sh textvqa_ft.sh vqav2.sh mmbench_cn_ft.sh mmbench_cn.sh vqav2_ft.sh gqa_ft.sh mmvet_ft.sh mme.sh mmbench_ft.sh textvqa.sh pope_ft.sh mmbench.sh sqa_ft.sh vizwiz_ft.sh mmvet.sh coco_raw_558k/ sqa.sh pope.sh mme_ft.sh gqa.sh vizwiz.sh mmlu_pt.sh mmlu.sh textvqa_ft.sh vqav2.sh mmbench_cn_ft.sh mmbench_cn.sh vqav2_ft.sh gqa_ft.sh mmvet_ft.sh mme.sh mmbench_ft.sh textvqa.sh pope_ft.sh mmbench.sh sqa_ft.sh vizwiz_ft.sh mmvet.sh llava_coco_gen_758k/ mmlu_pt.sh mme_ft.sh pope_ft.sh mme.sh mmbench_ft.sh gqa.sh pope.sh vqav2.sh textvqa.sh mmlu.sh sqa_ft.sh mmvet_ft.sh mmbench_cn.sh textvqa_ft.sh mmvet.sh vizwiz.sh gqa_ft.sh vqav2_ft.sh sqa.sh vizwiz_ft.sh mmbench_cn_ft.sh mmbench.sh select_raw_100k/ pope_ft.sh mmbench_ft.sh mmlu.sh mmbench_cn.sh textvqa_ft.sh mme.sh sqa_ft.sh vqav2.sh pope.sh mme_ft.sh textvqa.sh mmvet_ft.sh mmbench_cn_ft.sh vizwiz.sh mmbench.sh gqa_ft.sh gqa.sh vizwiz_ft.sh vqav2_ft.sh sqa.sh mmlu_pt.sh mmvet.sh coco_gen_558k/ mmlu.sh pope.sh vizwiz.sh mmbench_cn.sh mmvet.sh mme.sh gqa.sh mmlu_pt.sh mme_ft.sh textvqa.sh vqav2_ft.sh mmvet_ft.sh vizwiz_ft.sh sqa_ft.sh pope_ft.sh vqav2.sh gqa_ft.sh sqa.sh mmbench.sh mmbench_ft.sh mmbench_cn_ft.sh textvqa_ft.sh coco_raw_200k/ mmvet.sh vqav2.sh mmbench_cn.sh mmbench_ft.sh pope.sh mmbench.sh mme.sh sqa_ft.sh mmvet_ft.sh vizwiz_ft.sh textvqa.sh vqav2_ft.sh gqa_ft.sh vizwiz.sh pope_ft.sh mmbench_cn_ft.sh mme_ft.sh sqa.sh textvqa_ft.sh mmlu_pt.sh gqa.sh mmlu.sh run_7b/ coco_raw_558k_ft.sh coco_raw_558k.sh llava_coco_raw_758k.sh coco_gen_200k.sh select_gen_200k.sh llava_raw_200k.sh llava_raw_558k_ft.sh llava_gen_200k_ft.sh select_raw_200k_ft.sh llava_gen_558k_ft.sh sharegpt4v_100k.sh coco_gen_200k_ft.sh select_gen_100k_ft.sh llava_coco_raw_758k_ft.sh select_raw_200k.sh llava_raw_200k_ft.sh select_gen_100k.sh select_raw_100k_ft.sh coco_raw_200k_ft.sh llava_gen_200k.sh llava_raw_558k.sh coco_raw_200k.sh llava_coco_gen_758k_ft.sh llava_coco_gen_758k.sh llava_gen_558k.sh select_raw_100k.sh coco_gen_558k_ft.sh sharegpt4v_100k_ft.sh select_gen_200k_ft.sh coco_gen_558k.sh pretrain_7b/ coco_gen_558k.sh coco_gen_200k.sh llava_coco_raw.sh select_gen_100k.sh llava_gen_200k.sh coco_raw_200k.sh coco_raw_558k.sh select_raw_100k.sh llava_raw_558k.sh llava_raw_200k.sh llava_coco_gen.sh llava_gen_558k.sh sharegpt4v_100k.sh utils/ copy_pic.py upload.py select_gen_100k.py change_format.py check.py select_200k.py expand_coco_images.py merge_json.py change_pt.py merge_clipscore.py select_with_clipscore.py expand_coco_caption.py change_coco_format.py __pycache__/ zipfile.cpython-310.pyc .github/ ISSUE_TEMPLATE/ 2-feature-request.yaml 1-usage.yaml 3-question.yaml 4-discussion.yaml upload/ llava_gen_200k.sh coco_raw_558k.sh pure_gen_200k.sh coco_gen_558k.sh llava_raw_558k.sh pure_gen_558k.sh llava_coco_raw_758k.sh llava_coco_gen_758k.sh upload.py coco_gen_200k.sh coco_raw_200k.sh checkpoints_ft/ .gitattributes llava_coco_raw_758k/ llava-v1.5-13b-pretrain/ mm_projector.bin config.json trainer_state.json coco_gen_558k/ llava-v1.5-13b-pretrain/ mm_projector.bin config.json trainer_state.json pure_gen_558k/ llava-v1.5-13b-pretrain/ config.json trainer_state.json mm_projector.bin sharegpt4v_100k/ llava-v1.5-7b-pretrain/ config.json mm_projector.bin trainer_state.json llava-v1.5-7b/ trainer_state.json config.json llava_raw_558k/ llava-v1.5-7b-pretrain/ mm_projector.bin config.json trainer_state.json llava-v1.5-7b/ trainer_state.json config.json llava-v1.5-13b-pretrain/ mm_projector.bin trainer_state.json config.json select_gen_100k/ llava-v1.5-7b-pretrain/ mm_projector.bin trainer_state.json config.json llava-v1.5-13b-pretrain/ config.json trainer_state.json mm_projector.bin llava-v1.5-7b/ trainer_state.json config.json select_gen_200k/ llava-v1.5-13b-pretrain/ mm_projector.bin config.json trainer_state.json coco_raw_558k/ llava-v1.5-13b-pretrain/ trainer_state.json mm_projector.bin config.json select_gen_50k/ coco_raw_200k/ llava-v1.5-13b-pretrain/ mm_projector.bin config.json trainer_state.json pure_gen_200k/ llava-v1.5-13b-pretrain/ trainer_state.json config.json mm_projector.bin llava_gen_558k/ llava-v1.5-13b-pretrain/ mm_projector.bin trainer_state.json config.json llava_gen_200k/ llava-v1.5-7b-pretrain/ config.json trainer_state.json mm_projector.bin llava-v1.5-7b/ trainer_state.json config.json llava-v1.5-13b-pretrain/ trainer_state.json config.json mm_projector.bin llava_coco_gen_758k/ llava-v1.5-13b-pretrain/ config.json mm_projector.bin trainer_state.json select_raw_100k/ llava-v1.5-7b-pretrain/ mm_projector.bin trainer_state.json config.json llava-v1.5-13b-pretrain/ mm_projector.bin trainer_state.json config.json llava-v1.5-7b/ trainer_state.json config.json llava_raw_200k/ llava-v1.5-13b-pretrain/ config.json trainer_state.json mm_projector.bin coco_gen_200k/ llava-v1.5-13b-pretrain/ config.json trainer_state.json mm_projector.bin random/ llava-v1.5-13b-pretrain/ mm_projector.bin trainer_state.json config.json coco_select_200k/ llava-v1.5-13b-pretrain/ mm_projector.bin trainer_state.json config.json select_raw_200k/ llava-v1.5-13b-pretrain/ trainer_state.json mm_projector.bin config.json llava-v1.5-13b/ model-00004-of-00006.safetensors model-00006-of-00006.safetensors tokenizer.model model.safetensors.index.json model-00002-of-00006.safetensors training_args.bin generation_config.json tokenizer_config.json model-00001-of-00006.safetensors trainer_state.json config.json special_tokens_map.json model-00005-of-00006.safetensors model-00003-of-00006.safetensors docs/ LLaVA_from_LLaMA2.md ScienceQA.md macOS.md Windows.md Evaluation.md LLaVA_Bench.md Customize_Component.md LoRA.md Intel.md MODEL_ZOO.md Finetune_Custom_Data.md Data.md finetune_13b/ select_gen_100k.sh coco_gen_200k.sh llava_raw_558k.sh select_raw_100k.sh llava_raw_200k.sh llava_gen_558k.sh coco_raw_200k.sh sharegpt4v_100k.sh coco_gen_558k.sh coco_raw_558k.sh llava_gen_200k.sh select_gen_200k.sh select_raw_200k.sh llava_coco_raw_758k.sh mixed_200k.sh llava_coco_gen_758k.sh scripts/ pretrain.sh convert_mmbench_for_submission.py zero3_offload.json sqa_eval_gather.sh finetune_sqa.sh merge_lora_weights.py convert_sqa_to_llava_base_prompt.py upload_pypi.sh extract_mm_projector.py finetune.sh finetune_lora.sh finetune_full_schedule.sh finetune_qlora.sh convert_mmvet_for_eval.py convert_seed_for_submission.py zero2.json convert_gqa_for_eval.py zero3.json convert_vizwiz_for_submission.py convert_sqa_to_llava.py sqa_eval_batch.sh convert_vqav2_for_submission.py pretrain_xformers.sh v1_5/ finetune.sh pretrain.sh finetune_lora.sh finetune_task.sh finetune_task_lora.sh eval/ pope.sh vizwiz.sh mmbench_cn.sh mmvet.sh seed.sh mme.sh llavabench.sh gqa.sh textvqa1.sh textvqa.sh qbench_zh.sh qbench.sh vqav2.sh sqa.sh mmbench.sh coco_gen_200k/ vqav2_ft.sh mmbench.sh textvqa_ft.sh sqa.sh mmvet_ft.sh mmlu_pt.sh sqa_ft.sh pope_ft.sh vqav2.sh vizwiz.sh pope.sh vizwiz_ft.sh textvqa.sh mmlu.sh mmbench_cn_ft.sh gqa.sh mmbench_cn.sh mme_ft.sh mmvet.sh gqa_ft.sh mme.sh mmbench_ft.sh pure_gen_200k/ mmvet.sh vizwiz_ft.sh textvqa.sh mmbench_cn_ft.sh mmlu.sh gqa.sh pope_ft.sh mmvet_ft.sh mme_ft.sh gqa_ft.sh pope.sh mmbench.sh mme.sh mmbench_cn.sh vizwiz.sh mmbench_ft.sh textvqa_ft.sh sqa.sh vqav2_ft.sh vqav2.sh sqa_ft.sh mmlu_pt.sh coco_select_200k/ mmbench_cn.sh sqa_coco_select_200k.sh gqa.sh pope.sh vqav2_coco_select_200k.sh mmvet_coco_select_200k.sh mme.sh vizwiz_coco_select_200k.sh mmbench_coco_select_200k.sh textvqa_coco_select_200k.sh llava_gen_558k/ vqav2_ft.sh mmbench.sh textvqa_ft.sh sqa.sh mmvet_ft.sh mmlu_pt.sh sqa_ft.sh pope_ft.sh vqav2.sh vizwiz.sh pope.sh vizwiz_ft.sh textvqa.sh mmlu.sh mmbench_cn_ft.sh gqa.sh mmbench_cn.sh mme_ft.sh mmvet.sh gqa_ft.sh mme.sh mmbench_ft.sh coco_raw_558k/ textvqa_ft.sh mmlu.sh gqa_ft.sh mmbench_cn_ft.sh vizwiz.sh mme_ft.sh mmbench_cn.sh sqa_ft.sh mmvet_ft.sh pope_ft.sh sqa.sh mmbench_ft.sh mme.sh mmlu_pt.sh vqav2_ft.sh mmvet.sh vqav2.sh textvqa.sh mmbench.sh vizwiz_ft.sh gqa.sh pope.sh pure_gen_558k/ pope.sh mmvet.sh vqav2_ft.sh gqa_ft.sh mmlu_pt.sh sqa.sh mmbench_cn.sh textvqa.sh mme.sh mmbench.sh textvqa_ft.sh gqa.sh mmvet_ft.sh vizwiz_ft.sh mme_ft.sh vizwiz.sh sqa_ft.sh mmbench_cn_ft.sh pope_ft.sh mmbench_ft.sh vqav2.sh mmlu.sh coco_gen_558k/ mmlu.sh pope.sh vizwiz.sh mmbench_cn.sh mmvet.sh mme.sh gqa.sh mmlu_pt.sh mme_ft.sh textvqa.sh vqav2_ft.sh mmvet_ft.sh vizwiz_ft.sh sqa_ft.sh pope_ft.sh vqav2.sh gqa_ft.sh sqa.sh mmbench.sh mmbench_ft.sh mmbench_cn_ft.sh textvqa_ft.sh coco_gen_llava_raw/ textvqa_ft.sh mmlu.sh gqa_ft.sh mmbench_cn_ft.sh vizwiz.sh mme_ft.sh mmbench_cn.sh sqa_ft.sh mmvet_ft.sh pope_ft.sh sqa.sh mmbench_ft.sh mme.sh mmlu_pt.sh vqav2_ft.sh mmvet.sh vqav2.sh textvqa.sh mmbench.sh vizwiz_ft.sh gqa.sh pope.sh llava_gen_200k/ pope_ft.sh mmbench_ft.sh mmlu.sh mmbench_cn.sh textvqa_ft.sh mme.sh sqa_ft.sh vqav2.sh pope.sh mme_ft.sh textvqa.sh mmvet_ft.sh mmbench_cn_ft.sh vizwiz.sh mmbench.sh gqa_ft.sh gqa.sh vizwiz_ft.sh vqav2_ft.sh sqa.sh mmlu_pt.sh mmvet.sh llava_coco_gen_758k/ pope.sh mmvet.sh vqav2_ft.sh gqa_ft.sh mmlu_pt.sh sqa.sh mmbench_cn.sh textvqa.sh mme.sh mmbench.sh textvqa_ft.sh gqa.sh mmvet_ft.sh vizwiz_ft.sh mme_ft.sh vizwiz.sh sqa_ft.sh mmbench_cn_ft.sh pope_ft.sh mmbench_ft.sh vqav2.sh mmlu.sh llava_coco_raw_758k/ pope_ft.sh mmbench_ft.sh mmlu.sh mmbench_cn.sh textvqa_ft.sh mme.sh sqa_ft.sh vqav2.sh pope.sh mme_ft.sh textvqa.sh mmvet_ft.sh mmbench_cn_ft.sh vizwiz.sh mmbench.sh gqa_ft.sh gqa.sh vizwiz_ft.sh vqav2_ft.sh sqa.sh mmlu_pt.sh mmvet.sh llava_raw_200k/ vizwiz.sh mmbench_cn.sh sqa.sh mme.sh mmvet.sh vqav2.sh textvqa.sh mmbench.sh gqa.sh pope.sh coco_raw_200k/ pope_ft.sh mmbench_ft.sh mmlu.sh mmbench_cn.sh textvqa_ft.sh mme.sh sqa_ft.sh vqav2.sh pope.sh mme_ft.sh textvqa.sh mmvet_ft.sh mmbench_cn_ft.sh vizwiz.sh mmbench.sh gqa_ft.sh gqa.sh vizwiz_ft.sh vqav2_ft.sh sqa.sh mmlu_pt.sh mmvet.sh random/ mmbench_cn_ft.sh sqa_ft.sh vqav2_ft.sh gqa_ft.sh mmvet_ft.sh pope_ft.sh gqa.sh textvqa_ft.sh mme_ft.sh mmbench_ft.sh vizwiz_ft.sh llava_raw_558k/ mmvet.sh vizwiz_ft.sh textvqa.sh mmbench_cn_ft.sh mmlu.sh gqa.sh pope_ft.sh mmvet_ft.sh mme_ft.sh gqa_ft.sh pope.sh mmbench.sh mme.sh mmbench_cn.sh vizwiz.sh mmbench_ft.sh textvqa_ft.sh sqa.sh vqav2_ft.sh vqav2.sh sqa_ft.sh mmlu_pt.sh llava/ mm_utils.py utils.py constants.py conversation.py __init__.py eval/ model_vqa.py eval_gpt_review_visual.py eval_gpt_review_bench.py eval_gpt_review.py model_vqa_mmbench.py eval_pope.py model_qa.py eval_science_qa_gpt4_requery.py eval_science_qa_gpt4.py eval_textvqa.py eval_science_qa.py model_vqa_loader.py run_llava.py summarize_gpt_review.py qa_baseline_gpt35.py get_model.py m4c_evaluator.py model_vqa_science.py generate_webpage_data_from_table.py webpage/ styles.css script.js index.html figures/ chatgpt.svg vicuna.jpeg swords_FILL0_wght300_GRAD0_opsz48.svg __pycache__/ m4c_evaluator.cpython-310.pyc model_vqa_mmbench.cpython-310.pyc model_vqa.cpython-310.pyc eval_textvqa.cpython-310.pyc run_llava.cpython-310.pyc get_model.cpython-310.pyc model_vqa_science.cpython-310.pyc model_vqa_loader.cpython-310.pyc table/ reviewer.jsonl rule.json prompt.jsonl caps_boxes_coco2014_val_80.jsonl question.jsonl model.jsonl review/ review_alpaca-13b_vicuna-13b.jsonl review_bard_vicuna-13b.jsonl review_llama-13b_vicuna-13b.jsonl review_gpt35_vicuna-13b.jsonl results/ test_sqa_llava_lcs_558k_sqa_12e_vicuna_v1_3_13b.json test_sqa_llava_13b_v0.json answer/ answer_alpaca-13b.jsonl answer_bard.jsonl answer_gpt35.jsonl answer_llama-13b.jsonl answer_vicuna-13b.jsonl train/ train_xformers.py llama_xformers_attn_monkey_patch.py llama_flash_attn_monkey_patch.py llava_trainer.py train.py train_mem.py __pycache__/ llava_trainer.cpython-310.pyc train.cpython-310.pyc serve/ cli.py controller.py __init__.py test_message.py gradio_web_server.py model_worker.py register_worker.py sglang_worker.py examples/ model/ utils.py __init__.py make_delta.py llava_arch.py apply_delta.py builder.py consolidate.py multimodal_projector/ builder.py __pycache__/ builder.cpython-310.pyc __pycache__/ builder.cpython-310.pyc __init__.cpython-311.pyc __init__.cpython-310.pyc llava_arch.cpython-310.pyc language_model/ llava_llama.py llava_mistral.py llava_mpt.py __pycache__/ llava_llama.cpython-311.pyc llava_mistral.cpython-310.pyc llava_llama.cpython-310.pyc llava_mpt.cpython-310.pyc multimodal_encoder/ clip_encoder.py builder.py __pycache__/ clip_encoder.cpython-310.pyc builder.cpython-310.pyc __pycache__/ __init__.cpython-310.pyc mm_utils.cpython-310.pyc __init__.cpython-311.pyc conversation.cpython-310.pyc constants.cpython-310.pyc utils.cpython-310.pyc eval_13b/ coco_gen_200k/ mmlu.sh pope.sh vizwiz.sh mmbench_cn.sh mmvet.sh mme.sh gqa.sh mmlu_pt.sh mme_ft.sh textvqa.sh vqav2_ft.sh mmvet_ft.sh vizwiz_ft.sh sqa_ft.sh pope_ft.sh vqav2.sh gqa_ft.sh sqa.sh mmbench.sh mmbench_ft.sh mmbench_cn_ft.sh textvqa_ft.sh coco_select_200k/ vizwiz_coco_select_200k.sh mmbench_coco_select_200k.sh mmbench_cn.sh textvqa_coco_select_200k.sh sqa_coco_select_200k.sh vqav2_coco_select_200k.sh gqa.sh mme.sh mmvet_coco_select_200k.sh pope.sh select_gen_200k/ mmbench_cn.sh mmvet.sh vizwiz.sh mmbench_cn_ft.sh gqa.sh pope.sh textvqa.sh pope_ft.sh mmlu_pt.sh gqa_ft.sh vqav2.sh textvqa_ft.sh vizwiz_ft.sh mmvet_ft.sh mme_ft.sh sqa.sh mmlu.sh mmbench_ft.sh mmbench.sh mme.sh sqa_ft.sh vqav2_ft.sh select_gen_100k/ mmlu_pt.sh textvqa.sh mmbench_cn.sh vqav2_ft.sh sqa.sh mme_ft.sh vizwiz_ft.sh vqav2.sh mmvet_ft.sh mmvet.sh gqa.sh sqa_ft.sh mmbench.sh pope_ft.sh mmbench_ft.sh vizwiz.sh gqa_ft.sh mme.sh mmbench_cn_ft.sh pope.sh textvqa_ft.sh mmlu.sh select_raw_100k/ vqav2_ft.sh mmbench.sh textvqa_ft.sh sqa.sh mmvet_ft.sh mmlu_pt.sh sqa_ft.sh pope_ft.sh vqav2.sh vizwiz.sh pope.sh vizwiz_ft.sh textvqa.sh mmlu.sh mmbench_cn_ft.sh gqa.sh mmbench_cn.sh mme_ft.sh mmvet.sh gqa_ft.sh mme.sh mmbench_ft.sh llava_gen_558k/ mmbench_cn.sh mmvet.sh vizwiz.sh mmbench_cn_ft.sh gqa.sh pope.sh textvqa.sh pope_ft.sh mmlu_pt.sh gqa_ft.sh vqav2.sh textvqa_ft.sh vizwiz_ft.sh mmvet_ft.sh mme_ft.sh sqa.sh mmlu.sh mmbench_ft.sh mmbench.sh mme.sh sqa_ft.sh vqav2_ft.sh coco_raw_558k/ pope.sh mmvet.sh vqav2_ft.sh gqa_ft.sh mmlu_pt.sh sqa.sh mmbench_cn.sh textvqa.sh mme.sh mmbench.sh textvqa_ft.sh gqa.sh mmvet_ft.sh vizwiz_ft.sh mme_ft.sh vizwiz.sh sqa_ft.sh mmbench_cn_ft.sh pope_ft.sh mmbench_ft.sh vqav2.sh mmlu.sh select_gen_50k/ mmvet.sh vqav2.sh mmbench_cn.sh mmbench_ft.sh pope.sh mmbench.sh mme.sh sqa_ft.sh mmvet_ft.sh vizwiz_ft.sh textvqa.sh vqav2_ft.sh gqa_ft.sh vizwiz.sh pope_ft.sh mmbench_cn_ft.sh mme_ft.sh sqa.sh textvqa_ft.sh mmlu_pt.sh gqa.sh mmlu.sh mixed_200k/ textvqa_ft.sh mmlu.sh gqa_ft.sh mmbench_cn_ft.sh vizwiz.sh mme_ft.sh mmbench_cn.sh sqa_ft.sh mmvet_ft.sh pope_ft.sh sqa.sh mmbench_ft.sh mme.sh mmlu_pt.sh vqav2_ft.sh mmvet.sh vqav2.sh textvqa.sh mmbench.sh vizwiz_ft.sh gqa.sh pope.sh coco_gen_558k/ mmlu_pt.sh mme_ft.sh pope_ft.sh mme.sh mmbench_ft.sh gqa.sh pope.sh vqav2.sh textvqa.sh mmlu.sh sqa_ft.sh mmvet_ft.sh mmbench_cn.sh textvqa_ft.sh mmvet.sh vizwiz.sh gqa_ft.sh vqav2_ft.sh sqa.sh vizwiz_ft.sh mmbench_cn_ft.sh mmbench.sh llava_gen_200k/ mmlu_pt.sh textvqa.sh mmbench_cn.sh vqav2_ft.sh sqa.sh mme_ft.sh vizwiz_ft.sh vqav2.sh mmvet_ft.sh mmvet.sh gqa.sh sqa_ft.sh mmbench.sh pope_ft.sh mmbench_ft.sh vizwiz.sh gqa_ft.sh mme.sh mmbench_cn_ft.sh pope.sh textvqa_ft.sh mmlu.sh llava_coco_gen_758k/ sqa.sh pope.sh mme_ft.sh gqa.sh vizwiz.sh mmlu_pt.sh mmlu.sh textvqa_ft.sh vqav2.sh mmbench_cn_ft.sh mmbench_cn.sh vqav2_ft.sh gqa_ft.sh mmvet_ft.sh mme.sh mmbench_ft.sh textvqa.sh pope_ft.sh mmbench.sh sqa_ft.sh vizwiz_ft.sh mmvet.sh select_raw_200k/ mmlu_pt.sh textvqa.sh mmbench_cn.sh vqav2_ft.sh sqa.sh mme_ft.sh vizwiz_ft.sh vqav2.sh mmvet_ft.sh mmvet.sh gqa.sh sqa_ft.sh mmbench.sh pope_ft.sh mmbench_ft.sh vizwiz.sh gqa_ft.sh mme.sh mmbench_cn_ft.sh pope.sh textvqa_ft.sh mmlu.sh llava_coco_raw_758k/ pope.sh vqav2_ft.sh pope_ft.sh textvqa_ft.sh sqa_ft.sh mmlu.sh mmbench_cn.sh mmlu_pt.sh mmbench_ft.sh mmbench.sh mme_ft.sh mmvet.sh mmvet_ft.sh mmbench_cn_ft.sh mme.sh vizwiz.sh textvqa.sh vizwiz_ft.sh vqav2.sh sqa.sh gqa_ft.sh gqa.sh llava_raw_200k/ mmlu_pt.sh textvqa.sh mmbench_cn.sh vqav2_ft.sh sqa.sh mme_ft.sh vizwiz_ft.sh vqav2.sh mmvet_ft.sh mmvet.sh gqa.sh sqa_ft.sh mmbench.sh pope_ft.sh mmbench_ft.sh vizwiz.sh gqa_ft.sh mme.sh mmbench_cn_ft.sh pope.sh textvqa_ft.sh mmlu.sh sharegpt4v_100k/ mmvet.sh vqav2.sh mmbench_cn.sh mmbench_ft.sh pope.sh mmbench.sh mme.sh sqa_ft.sh mmvet_ft.sh vizwiz_ft.sh textvqa.sh vqav2_ft.sh gqa_ft.sh vizwiz.sh pope_ft.sh mmbench_cn_ft.sh mme_ft.sh sqa.sh textvqa_ft.sh mmlu_pt.sh gqa.sh mmlu.sh coco_raw_200k/ textvqa_ft.sh mmlu.sh gqa_ft.sh mmbench_cn_ft.sh vizwiz.sh mme_ft.sh mmbench_cn.sh sqa_ft.sh mmvet_ft.sh pope_ft.sh sqa.sh mmbench_ft.sh mme.sh mmlu_pt.sh vqav2_ft.sh mmvet.sh vqav2.sh textvqa.sh mmbench.sh vizwiz_ft.sh gqa.sh pope.sh llava_raw_558k/ mmbench_cn_ft.sh mmbench_cn.sh vqav2.sh sqa_ft.sh vqav2_ft.sh vizwiz.sh gqa_ft.sh pope.sh textvqa.sh mmvet_ft.sh pope_ft.sh gqa.sh textvqa_ft.sh mmlu_pt.sh mme_ft.sh mmlu.sh mmbench.sh mmvet.sh mme.sh mmbench_ft.sh sqa.sh vizwiz_ft.sh finetune_7b/ llava_raw_558k.sh llava_coco_gen_758k.sh select_gen_100k.sh coco_gen_200k.sh coco_gen_558k.sh coco_raw_200k.sh coco_raw_558k.sh select_raw_100k.sh llava_coco_raw_758k.sh llava_gen_200k.sh llava_gen_558k.sh sharegpt4v_100k.sh llava_raw_200k.sh download/ coco_gen_200k.sh coco_raw_558k.sh coco_raw_200k.sh llava_raw_558k.sh llava_coco_gen_758k.sh llava_gen_200k.sh llava_coco_raw_758k.sh coco_gen_558k.sh download.py playground/ data/ test.json llava_v1_5_mix865k.json llava_v1_5_mix665k.json llava_v1_5_mix865k_2.json llava_v1_5_mix200k.json coco2014_val_gpt4_qa_30x3.jsonl mscoco_200k.json coco/ train2017/ prompts/ detail_description/ 002_caps.txt system_message.txt 002_conv.txt 000_conv.txt 000_caps.txt 001_conv.txt 001_caps.txt conversation/ 001_caps.txt system_message.txt 000_conv.txt 001_conv.txt 000_caps.txt complex_reasoning/ 001_conv.txt 000_caps.txt system_message.txt 000_conv.txt 002_conv.txt 002_caps.txt 001_caps.txt LLaVA-Pretrain/ llava_raw_200k.json llava_coco_raw_758k.json select_mscoco_200k.json sharegpt4v_100k.json sharegpt4v_instruct_gpt4-vision_cap100k.json llava_gen_558k.json llava_coco_gen_758k.json select_raw_200k.json select_gen_100k.json coco_raw_200k.json coco_annotations_500k.json random.json coco_gen_200k.json select_raw_100k.json llava_raw_558k.json mixed_200k.json select_gen_200k.json llava_gen_200k.json coco_gen_200k_2.json images/ 00673/ 01040/ 00394/ 00211/ 00416/ 00062/ 00401/ 00494/ 00620/ 00417/ 01043/ 00083/ 00263/ 00415/ 00500/ 00540/ 00512/ 00357/ 00515/ 01016/ 00735/ 00039/ 00624/ 00129/ 00629/ 00359/ 00106/ 00371/ 00147/ 00355/ 01034/ 00156/ 00507/ 00636/ 00397/ 00458/ 00356/ 00586/ 01013/ 00306/ 00495/ 00661/ 00364/ 01047/ 00408/ 00008/ 00399/ 00625/ 00698/ 00481/ 00382/ 00626/ 00621/ 00378/ 00079/ 00490/ 00224/ 00916/ 00464/ 00469/ 00390/ 00074/ 00921/ 00622/ 00623/ 00915/ 00020/ 00705/ 00109/ 00690/ 00573/ 00564/ 00447/ 00291/ 00126/ 00391/ 00550/ 00425/ 00324/ 00700/ 00376/ 01031/ 00312/ 00143/ 01026/ 00055/ 00911/ 00946/ 00203/ 00647/ 00257/ 00102/ 00362/ 00030/ 00098/ 00317/ 00023/ 00601/ 00300/ 00945/ 00082/ 00644/ 00682/ 00433/ 00093/ 00331/ 00910/ 00524/ 00403/ 00733/ 00122/ 00429/ 00719/ 00603/ 00544/ 00419/ 00434/ 00013/ 00568/ 00151/ 00091/ 00089/ 00405/ 00139/ 00440/ 00201/ 00518/ 00511/ 00031/ 00285/ 00358/ 00929/ 00613/ 00660/ 00120/ 00289/ 00360/ 00521/ 01050/ 00327/ 00133/ 00250/ 00728/ 00571/ 00491/ 00468/ 00223/ 00944/ 00723/ 00132/ 00347/ 00692/ 00489/ 00522/ 00611/ share_textvqa/ images/ 01052/ 00155/ 00001/ 00268/ 00459/ 00645/ 00309/ 00240/ 00104/ 00917/ 00186/ 00058/ 00663/ 01045/ 00110/ 00431/ 00396/ 00018/ 00435/ 00192/ 00726/ 00015/ 00484/ 00680/ 00049/ 00209/ 00412/ 00694/ 00140/ 00395/ 00679/ 00085/ 01039/ 00432/ 00574/ 00333/ 00295/ 00389/ 00217/ 00642/ 00260/ 00346/ 00686/ 00157/ 00563/ 00514/ 00086/ 00075/ 00188/ 00374/ 00421/ 00043/ 00238/ 01006/ 01051/ 00112/ 00452/ 00215/ 00000/ 00330/ 00496/ 00546/ 00207/ 00581/ 00907/ 00353/ 00648/ 00687/ 00366/ 00569/ 00606/ 00604/ 00372/ 00381/ 00930/ 00160/ 00905/ 00193/ 00708/ 00010/ 00935/ 00738/ 00470/ 00471/ 00242/ 00351/ 00284/ 00305/ 01029/ 00498/ 00909/ 00107/ 00251/ 01012/ 00600/ 00643/ 00639/ 00631/ 00582/ 00672/ 00473/ 00014/ 00002/ 00632/ 00050/ 00276/ sam_21/ 00161/ 00565/ 00264/ 00549/ 00328/ 01017/ 00932/ 00235/ 00406/ 00234/ 00618/ 00560/ 01000/ 00557/ 00949/ 00492/ 01037/ 00292/ 00616/ 00436/ 00456/ 00681/ 00551/ 00505/ 00288/ 00081/ 00487/ 00402/ 00190/ 00087/ 00712/ 00123/ 00034/ 00922/ 00135/ 00684/ 00926/ 00196/ 00407/ 00482/ 00703/ 00709/ 00255/ 00422/ 00444/ 00304/ 00559/ 00739/ 00068/ 00019/ 00418/ 00131/ 00072/ 00513/ 00654/ 00619/ 00428/ 00137/ 00393/ 00005/ 00206/ 00272/ 00936/ 00158/ 01004/ 00609/ 00939/ 00583/ 00181/ 00545/ 00570/ 00258/ 00352/ 00662/ 00386/ 00162/ 00605/ 00073/ 00578/ 00441/ 00229/ 00587/ 00024/ 00590/ 00183/ 00170/ 00455/ 00228/ 00475/ 01028/ 00189/ sam/ sam_images_share-sft.zip images/ 00059/ 00032/ 00067/ 00267/ 00685/ 00179/ 00227/ 00045/ 00526/ 00924/ 00948/ 00016/ 00349/ 00114/ 00341/ 00437/ 00100/ 00614/ 00612/ 00480/ 01010/ 00103/ 00265/ 00426/ 00236/ 00325/ 00655/ 00699/ 00038/ 00338/ 00149/ 00531/ 00269/ 00409/ 00438/ 00142/ 00617/ 00651/ 00465/ 00678/ 00111/ 00717/ 00567/ 00638/ 00278/ 00913/ 00080/ 00293/ 00543/ 00598/ 01015/ 00094/ 00350/ 00339/ 00173/ 00226/ 00610/ 00310/ 00615/ 01054/ 00656/ 00646/ 00354/ 01042/ 00430/ 00669/ 00297/ 00721/ 00732/ 00282/ 00231/ 00520/ 00092/ 00947/ 01020/ 00925/ 00943/ 00163/ 00666/ 00704/ 01003/ 00724/ 00323/ 00658/ 00054/ 00383/ 00077/ 01023/ 00164/ 01027/ 00194/ 00736/ wikiart/ images/ 00247/ 00510/ 00301/ 01024/ 00387/ 00534/ 00124/ 00261/ 00716/ 00420/ 01030/ 00466/ 00404/ 00591/ 00361/ 00920/ 00714/ 00901/ 00222/ 00279/ 00535/ 00368/ 00696/ 00348/ 00671/ 00070/ 00653/ 00566/ 00584/ 00294/ 00253/ 00344/ 00150/ 00239/ 01002/ 00064/ 01018/ 00302/ 00218/ 00488/ 00902/ 00367/ 00668/ 00017/ 00667/ 00363/ 00022/ 00634/ 01044/ 00307/ 01036/ 00177/ 00400/ 00065/ 00313/ 00725/ 00095/ 00528/ 00695/ 00320/ 00937/ 00035/ 00171/ 00175/ 00046/ 00599/ 00337/ 00259/ 00585/ 00053/ 00718/ 00336/ 00580/ 01055/ 00047/ 00287/ 00443/ 00128/ 00308/ 00187/ 00099/ 00026/ 00538/ 00448/ 00169/ 00249/ 00445/ 00423/ 00130/ 00145/ 00127/ 00090/ 00439/ 00165/ 00248/ 00066/ 00245/ 00649/ 00051/ 01022/ 00326/ 00650/ 00232/ 00219/ 00159/ 00037/ 00706/ 00060/ 00003/ 00689/ 00277/ 00392/ 00547/ 00006/ 00318/ 00252/ 00009/ 00205/ 00213/ 00097/ 01032/ 00036/ 00321/ 00042/ 00166/ 00319/ 00246/ 00117/ 00225/ 00314/ 00118/ 00933/ 00928/ 00377/ 00457/ 00602/ 00542/ 00220/ 00633/ 01014/ 00693/ 00270/ 00918/ 00635/ 00146/ 00379/ 00424/ 00596/ 00927/ 01008/ 00940/ 00561/ 00628/ 00369/ 00555/ 00334/ 00178/ 00533/ 00476/ 00906/ 00641/ 00722/ 00702/ 00174/ 00503/ 00517/ 00562/ 00532/ 00497/ 00479/ 00697/ 00315/ 00069/ 00640/ 00033/ 00262/ 00398/ 00184/ 00914/ 00553/ 00483/ 00442/ 01038/ 00298/ 01025/ 00737/ 00153/ 01041/ 00241/ 00230/ 00011/ 00028/ 00556/ 00280/ 00504/ 00904/ 00025/ 00007/ 00316/ 00558/ 00670/ 00908/ 00934/ 00941/ 00167/ 01046/ 00041/ 00004/ 00720/ 00701/ 00579/ 00202/ 00233/ 00216/ 00048/ 00478/ 01007/ 00214/ 00410/ 00345/ 01001/ 00576/ 00525/ 00210/ 00152/ 00594/ 01033/ 00134/ 00154/ 00659/ 00180/ 00627/ 00454/ 00730/ 00101/ 00541/ 00427/ 00237/ 00502/ 00138/ 00938/ 00176/ 00168/ 00523/ 00271/ 00595/ 00477/ 00275/ 00115/ 00903/ 01005/ 00942/ 00056/ 00365/ 00105/ coco/ train2017/ 00472/ 00462/ 00729/ 00243/ 00195/ 00919/ 00108/ 00688/ 00731/ 00273/ 00076/ 00244/ 00485/ 00449/ 00588/ 00254/ 01021/ 00335/ 00592/ 00460/ 00172/ 00548/ 00185/ 00340/ 00281/ 00274/ 00332/ 00384/ 00900/ 00144/ 00212/ 00519/ 00710/ 00552/ 00572/ 00664/ 00508/ 00630/ 00125/ 00029/ 00061/ 00078/ 00657/ 00608/ 00597/ 00575/ 00343/ 00665/ 01011/ 00537/ 00727/ 00375/ 00182/ 00121/ 01053/ 00200/ 00674/ 00204/ 00283/ 00931/ 00486/ 00012/ 00303/ 00385/ 00197/ 00539/ 00675/ web-landmark/ images/ 00509/ 00593/ 00411/ 00530/ 00199/ 00021/ 00923/ 00057/ 00329/ 00554/ 00119/ 00734/ 00529/ 00221/ 01049/ 00052/ 00467/ 00683/ 00413/ 00691/ 00493/ 00373/ 01035/ 00296/ 00380/ 00607/ 00040/ 00677/ 00266/ 00096/ 00208/ 01009/ 00148/ 00501/ 00286/ 00198/ 00342/ 00506/ 00088/ 00446/ 00463/ 00191/ 00715/ 00450/ 00027/ web-celebrity/ images/ 00116/ 00461/ 00711/ 00912/ 00414/ 00071/ 00499/ 00707/ 00290/ 00474/ 00256/ 00084/ 00637/ 00589/ 00713/ 00299/ 00044/ 01048/ 00676/ 00388/ 00136/ 00322/ 00652/ 00577/ 00536/ 00516/ 00113/ 00453/ 01019/ 00527/ 00451/ 00063/ 00141/ 00370/ 00311/ eval/ scienceqa/ pid_splits.json problems.json llava_test_CQM-A.json images/ train/ 18705/ 16533/ 3295/ 5942/ 17169/ 8463/ 1424/ 6757/ 20682/ 20757/ 6748/ 5821/ 14088/ 11622/ 18135/ 18538/ 12804/ 14298/ 5506/ 9529/ 6515/ 75/ 5280/ 1903/ 15436/ 17442/ 4673/ 8616/ 9975/ 19662/ 11448/ 1609/ 13142/ 20050/ 7299/ 8882/ 13053/ 16071/ 16643/ 7558/ 562/ 10776/ 12136/ 1034/ 7878/ 531/ 14201/ 2947/ 15797/ 15774/ 12945/ 5113/ 19583/ 6315/ 19409/ 7239/ 19144/ 10701/ 12843/ 16572/ 3139/ 15554/ 7127/ 17091/ 11721/ 1836/ 4082/ 7950/ 16537/ 4416/ 4002/ 19116/ 21060/ 20909/ 19422/ 19/ 9599/ 692/ 5874/ 15367/ 18733/ 18211/ 382/ 19008/ 16766/ 12084/ 16170/ 13531/ 9210/ 2528/ 11535/ 9319/ 5462/ 19796/ 3648/ 1666/ 9267/ 5800/ 13618/ 20389/ 10274/ 10553/ 15968/ 5678/ 4826/ 4033/ 321/ 13028/ 11470/ 17349/ 10311/ 13903/ 11084/ 2687/ 4889/ 5690/ 844/ 4589/ 10386/ 436/ 9420/ 11315/ 20252/ 10186/ 6799/ 2691/ 17597/ 8938/ 19587/ 21187/ 11356/ 2354/ 10938/ 12065/ 14208/ 13418/ 3384/ 5621/ 15990/ 1363/ 5405/ 7221/ 13381/ 18183/ 14883/ 11156/ 15644/ 16089/ 19733/ 3181/ 10875/ 17798/ 18620/ 10721/ 681/ 8063/ 15250/ 6584/ 16087/ 3175/ 8428/ 8936/ 2710/ 18656/ 10745/ 1456/ 4772/ 7400/ 10645/ 3808/ 2892/ 17167/ 16134/ 15311/ 11232/ 6259/ 4234/ 3790/ 7702/ 20008/ 14524/ 11743/ 4363/ 4335/ 20753/ 5831/ 4596/ 2285/ 13255/ 783/ 9448/ 3717/ 3781/ 17376/ 197/ 16360/ 8837/ 3155/ 5031/ 3028/ 10505/ 3066/ 2557/ 11759/ 6520/ 18416/ 658/ 4661/ 2258/ 628/ 9950/ 15275/ 7381/ 18161/ 555/ 3496/ 8835/ 4593/ 17020/ 16909/ 11348/ 12124/ 11833/ 4341/ 19947/ 9944/ 6074/ 14071/ 20150/ 4000/ 10720/ 11226/ 17884/ 1319/ 6395/ 19810/ 20875/ 1910/ 15085/ 18880/ 5822/ 7141/ 12709/ 2497/ 10698/ 9259/ 3081/ 1115/ 18094/ 7048/ 12908/ 5371/ 20621/ 15818/ 18080/ 5536/ 20880/ 7806/ 13134/ 4652/ 10774/ 1559/ 4133/ 3795/ 20444/ 13766/ 21056/ 129/ 8566/ 16844/ 13126/ 1243/ 12969/ 7204/ 219/ 1517/ 2016/ 17625/ 13987/ 1070/ 18865/ 10619/ 7751/ 20856/ 2746/ 21045/ 9737/ 463/ 18463/ 14716/ 11301/ 9703/ 17671/ 6932/ 16492/ 10734/ 3166/ 19616/ 14384/ 10794/ 9326/ 11615/ 15199/ 12303/ 14345/ 2103/ 10350/ 15056/ 16138/ 14404/ 3636/ 19786/ 5938/ 8823/ 18074/ 13743/ 15165/ 12690/ 6159/ 3245/ 19692/ 16388/ 9384/ 19838/ 19537/ 8048/ 10861/ 10618/ 4204/ 9064/ 15660/ 13650/ 7077/ 3531/ 17954/ 20996/ 558/ 15840/ 15481/ 20087/ 10728/ 6057/ 18300/ 6439/ 15391/ 1947/ 3182/ 18734/ 10477/ 12851/ 9135/ 3491/ 1552/ 15313/ 13233/ 12880/ 7112/ 3008/ 6695/ 2463/ 1613/ 4265/ 19504/ 3548/ 996/ 10680/ 2024/ 5087/ 3784/ 2310/ 17018/ 18452/ 10212/ 15104/ 4314/ 18726/ 1341/ 8255/ 20242/ 6128/ 14834/ 11566/ 9405/ 11377/ 20344/ 4237/ 10515/ 11776/ 19650/ 11286/ 17631/ 14197/ 13973/ 10231/ 20044/ 5170/ 14601/ 7045/ 10598/ 19050/ 1133/ 2299/ 12803/ 20373/ 6910/ 12450/ 18246/ 1402/ 9718/ 2100/ 1755/ 1197/ 13717/ 12568/ 2649/ 7978/ 10747/ 2989/ 18280/ 13819/ 6951/ 13859/ 3257/ 2453/ 2013/ 8128/ 4994/ 10163/ 12774/ 15384/ 11852/ 13370/ 5695/ 19229/ 8348/ 14241/ 2273/ 6286/ 2775/ 18869/ 14711/ 3299/ 20415/ 18595/ 3719/ 3285/ 14696/ 10044/ 15208/ 6309/ 20270/ 15087/ 18043/ 18979/ 1581/ 20480/ 2281/ 10582/ 19458/ 8958/ 21113/ 3535/ 4752/ 441/ 15517/ 15269/ 18169/ 9142/ 19705/ 11134/ 4322/ 20366/ 2527/ 2154/ 15504/ 1039/ 6548/ 910/ 8638/ 6876/ 18730/ 18116/ 8737/ 5662/ 15114/ 16217/ 3106/ 3942/ 14592/ 14335/ 10413/ 15473/ 19250/ 18270/ 2816/ 12244/ 15137/ 19474/ 10707/ 1793/ 14385/ 13899/ 5083/ 17184/ 9636/ 11294/ 12973/ 9490/ 20108/ 12355/ 13637/ 11577/ 13523/ 10377/ 10892/ 762/ 17760/ 8788/ 1962/ 12166/ 12800/ 12217/ 2069/ 6587/ 15387/ 3286/ 4890/ 20657/ 136/ 17365/ 13301/ 10925/ 9497/ 5133/ 11993/ 15100/ 6828/ 5562/ 17824/ 719/ 16241/ 18205/ 860/ 19487/ 5613/ 4501/ 5657/ 18853/ 6634/ 6921/ 3401/ 18285/ 16121/ 2701/ 19083/ 187/ 15443/ 4059/ 18414/ 14479/ 19790/ 4146/ 11139/ 13101/ 20515/ 16786/ 1173/ 1570/ 3134/ 14531/ 6079/ 17683/ 16569/ 6533/ 15018/ 11092/ 4808/ 5645/ 17194/ 15715/ 17886/ 19191/ 6841/ 11023/ 12598/ 8679/ 9649/ 18591/ 9311/ 2217/ 11029/ 3271/ 13941/ 8319/ 7682/ 12104/ 4399/ 8858/ 11878/ 1548/ 377/ 7379/ 16525/ 13728/ 17088/ 3771/ 3839/ 17742/ 19768/ 4374/ 16295/ 3357/ 12145/ 17539/ 14582/ 11460/ 3600/ 7416/ 10072/ 8001/ 4967/ 3443/ 8237/ 1435/ 4952/ 17302/ 14116/ 14979/ 18199/ 18177/ 2625/ 20494/ 5334/ 19797/ 9140/ 15817/ 13206/ 787/ 21132/ 18054/ 12246/ 3749/ 5124/ 2979/ 9170/ 9080/ 8865/ 18393/ 2913/ 9414/ 20196/ 8735/ 1527/ 6852/ 1156/ 4927/ 12391/ 9637/ 19499/ 2344/ 16034/ 7973/ 3038/ 1474/ 15040/ 10574/ 20238/ 15846/ 9979/ 6927/ 2705/ 7275/ 5366/ 9014/ 10312/ 19025/ 12867/ 784/ 16718/ 14215/ 19393/ 13651/ 10588/ 3346/ 8242/ 5134/ 17993/ 8162/ 16157/ 2167/ 19517/ 11857/ 18636/ 11461/ 18244/ 16462/ 12708/ 5038/ 4725/ 10821/ 2850/ 15232/ 9280/ 9046/ 16171/ 527/ 154/ 10724/ 19615/ 16291/ 4734/ 21171/ 10622/ 18510/ 7186/ 19564/ 9822/ 17714/ 7321/ 12078/ 9300/ 4415/ 5443/ 6362/ 7990/ 4331/ 4170/ 16427/ 16362/ 6800/ 8201/ 4325/ 893/ 10301/ 8639/ 10674/ 17355/ 1030/ 9012/ 18960/ 5753/ 4546/ 10393/ 10039/ 12381/ 15195/ 11307/ 13277/ 2984/ 19671/ 19609/ 13852/ 5231/ 3626/ 11159/ 12156/ 4993/ 3426/ 12067/ 10779/ 1430/ 14921/ 630/ 6747/ 15649/ 20921/ 16676/ 13383/ 13272/ 6853/ 8538/ 18040/ 5752/ 19746/ 8226/ 15693/ 8633/ 1026/ 6221/ 5570/ 20137/ 2207/ 14880/ 9526/ 5577/ 16547/ 11357/ 15620/ 2526/ 7075/ 1390/ 2322/ 16752/ 20838/ 17223/ 4273/ 8216/ 13299/ 14875/ 14918/ 10541/ 17047/ 12060/ 20112/ 17003/ 20257/ 9438/ 14859/ 18022/ 1038/ 9099/ 6281/ 12586/ 2375/ 6644/ 18119/ 6383/ 17761/ 20899/ 320/ 107/ 6043/ 4275/ 10740/ 5453/ 5398/ 17356/ 1806/ 12830/ 10468/ 16144/ 4876/ 1184/ 15537/ 12059/ 20914/ 20828/ 19967/ 876/ 17949/ 3971/ 8943/ 14280/ 7504/ 5324/ 18121/ 2159/ 12170/ 2288/ 17306/ 17282/ 8723/ 9642/ 3378/ 12151/ 8257/ 12808/ 20767/ 10620/ 4939/ 14016/ 7351/ 8670/ 18887/ 11554/ 12564/ 6925/ 12201/ 812/ 14044/ 8531/ 294/ 7708/ 17814/ 4049/ 9606/ 19663/ 1423/ 11330/ 20342/ 17656/ 14968/ 18469/ 8539/ 12958/ 1513/ 16256/ 16970/ 11040/ 11550/ 1078/ 5659/ 5205/ 19066/ 5305/ 4159/ 9439/ 4411/ 19371/ 8530/ 1434/ 17871/ 6229/ 20282/ 6659/ 7175/ 16059/ 8976/ 16957/ 2468/ 16540/ 9941/ 386/ 14576/ 19015/ 13490/ 15888/ 17235/ 19364/ 14287/ 6149/ 19940/ 15612/ 20125/ 9933/ 3307/ 3190/ 12286/ 899/ 16318/ 15357/ 4113/ 13629/ 4729/ 13448/ 14771/ 19464/ 14388/ 6452/ 13691/ 9837/ 10117/ 3978/ 6653/ 5395/ 551/ 11974/ 17275/ 6100/ 19020/ 21108/ 18157/ 18236/ 9440/ 19927/ 10239/ 19516/ 11840/ 10261/ 7079/ 18884/ 16732/ 14471/ 20989/ 16030/ 7792/ 8896/ 15935/ 12230/ 1912/ 3724/ 14042/ 11499/ 17108/ 3740/ 4005/ 20082/ 6192/ 6797/ 14244/ 21175/ 10469/ 14783/ 18325/ 11440/ 18381/ 21047/ 2891/ 17332/ 14177/ 13761/ 15871/ 8627/ 13303/ 1649/ 4453/ 1393/ 17663/ 20225/ 14882/ 1629/ 18341/ 13720/ 16066/ 15186/ 17019/ 192/ 5216/ 162/ 4525/ 5209/ 17208/ 19443/ 11239/ 17571/ 8848/ 6928/ 10262/ 2614/ 1835/ 7774/ 9614/ 14331/ 15112/ 15143/ 653/ 4606/ 17423/ 1140/ 11895/ 8730/ 15319/ 21029/ 6411/ 713/ 246/ 10484/ 13786/ 10917/ 17550/ 7802/ 7700/ 19216/ 18903/ 7144/ 11999/ 9163/ 17850/ 20930/ 6878/ 18874/ 12089/ 12931/ 7988/ 17311/ 20144/ 12425/ 7757/ 15743/ 6220/ 12423/ 2451/ 6581/ 6271/ 11507/ 16238/ 5773/ 19969/ 2658/ 19863/ 2525/ 14953/ 13382/ 16480/ 14294/ 5682/ 16984/ 11033/ 10448/ 1125/ 13120/ 21203/ 6287/ 15618/ 15557/ 11735/ 14142/ 2484/ 4629/ 7891/ 14587/ 18481/ 16204/ 2533/ 11082/ 6980/ 11321/ 10183/ 1458/ 12656/ 5370/ 19245/ 16742/ 2230/ 8322/ 14119/ 12781/ 16915/ 21027/ 17909/ 14301/ 18848/ 13022/ 14213/ 19574/ 7264/ 3493/ 3645/ 20039/ 3547/ 15919/ 4763/ 10977/ 16346/ 707/ 15363/ 4104/ 10310/ 20369/ 3986/ 434/ 9725/ 20403/ 13686/ 4154/ 3563/ 482/ 19207/ 17632/ 8695/ 352/ 2029/ 13735/ 18860/ 5277/ 13871/ 12082/ 20925/ 4872/ 19973/ 1260/ 5681/ 20966/ 7525/ 3415/ 6642/ 7435/ 11486/ 19539/ 12375/ 10302/ 17974/ 48/ 3708/ 20543/ 8076/ 2337/ 12222/ 18144/ 15182/ 16149/ 17038/ 19684/ 17808/ 2403/ 56/ 1334/ 20836/ 17931/ 14854/ 8432/ 3461/ 12069/ 19069/ 13685/ 18912/ 5658/ 20537/ 5098/ 12272/ 7324/ 15847/ 2949/ 8717/ 6503/ 10495/ 17008/ 12474/ 7970/ 10076/ 852/ 16675/ 8562/ 20033/ 12492/ 2607/ 15500/ 4947/ 11037/ 12443/ 20343/ 18751/ 6347/ 19758/ 20638/ 18901/ 19597/ 16517/ 16316/ 579/ 4651/ 9929/ 17616/ 5534/ 9186/ 13840/ 19329/ 15720/ 19344/ 5787/ 19033/ 9471/ 14983/ 8567/ 18118/ 12248/ 10381/ 7984/ 542/ 11074/ 17342/ 6136/ 12623/ 7006/ 16110/ 798/ 6638/ 726/ 1970/ 10008/ 15220/ 2664/ 13100/ 7452/ 16705/ 17262/ 10868/ 13522/ 19109/ 18908/ 7248/ 5798/ 801/ 6466/ 12962/ 8292/ 2130/ 5204/ 12000/ 2246/ 3119/ 695/ 285/ 17834/ 35/ 13185/ 3668/ 1737/ 3331/ 4440/ 10615/ 17083/ 4323/ 2490/ 14141/ 11415/ 25/ 20667/ 2075/ 16807/ 11653/ 130/ 1084/ 9597/ 8697/ 14346/ 15351/ 13924/ 1553/ 2422/ 6211/ 14899/ 15121/ 17307/ 3659/ 4775/ 16173/ 19064/ 4117/ 15882/ 7496/ 12862/ 6202/ 15063/ 11305/ 17150/ 4430/ 21125/ 18274/ 15577/ 7408/ 1205/ 1109/ 15698/ 16107/ 7721/ 15510/ 20460/ 296/ 3170/ 17706/ 15854/ 6843/ 18611/ 16460/ 14575/ 14325/ 20106/ 1461/ 16549/ 20142/ 15015/ 19718/ 9865/ 11755/ 6723/ 10100/ 8450/ 17583/ 414/ 2942/ 15001/ 17000/ 14436/ 10364/ 10226/ 13239/ 1372/ 2409/ 2943/ 9511/ 18361/ 15682/ 11941/ 10527/ 18980/ 13250/ 119/ 13416/ 15265/ 13242/ 8229/ 15139/ 14550/ 16953/ 18813/ 6244/ 20253/ 14311/ 15312/ 11726/ 13119/ 15026/ 5285/ 16043/ 2836/ 15057/ 12206/ 16993/ 20097/ 19035/ 20629/ 5661/ 347/ 877/ 18286/ 15266/ 2736/ 9313/ 16613/ 2250/ 20585/ 9056/ 17640/ 13595/ 19907/ 6554/ 11564/ 7753/ 2882/ 8668/ 2296/ 7752/ 9890/ 16560/ 15634/ 5148/ 3269/ 7337/ 238/ 14551/ 1292/ 5943/ 3568/ 12981/ 20387/ 7921/ 2034/ 8023/ 8179/ 7025/ 14799/ 18619/ 16423/ 2057/ 8430/ 19636/ 7565/ 6746/ 18163/ 18680/ 4077/ 19971/ 7667/ 4490/ 15007/ 12081/ 18330/ 9188/ 17527/ 6451/ 12036/ 12301/ 5403/ 13306/ 1171/ 4471/ 10782/ 16244/ 9661/ 2917/ 7948/ 13541/ 4190/ 3969/ 12655/ 2706/ 15972/ 20122/ 19146/ 5569/ 19664/ 13649/ 14926/ 3997/ 468/ 15439/ 881/ 17851/ 6225/ 6816/ 20808/ 2180/ 21097/ 19280/ 4111/ 1831/ 13663/ 16303/ 2215/ 15409/ 753/ 17154/ 4959/ 14190/ 5071/ 3779/ 17363/ 4352/ 14906/ 9024/ 6749/ 18981/ 1967/ 16625/ 14657/ 13428/ 19689/ 15381/ 15989/ 17505/ 7074/ 349/ 19277/ 4508/ 20913/ 13436/ 3301/ 5361/ 18589/ 2335/ 2954/ 1168/ 10270/ 2750/ 16284/ 854/ 21/ 175/ 14879/ 20546/ 6026/ 702/ 20649/ 9892/ 17598/ 2939/ 4535/ 7744/ 19869/ 14425/ 8164/ 5516/ 14499/ 16486/ 15120/ 19269/ 12720/ 12849/ 12593/ 17748/ 19290/ 12305/ 676/ 19610/ 11579/ 4510/ 5609/ 18207/ 14717/ 10704/ 7819/ 16758/ 11339/ 2714/ 17348/ 20905/ 14650/ 20271/ 705/ 19669/ 10202/ 2197/ 18466/ 11103/ 4780/ 6649/ 15864/ 11585/ 15991/ 11831/ 3587/ 1563/ 16820/ 7995/ 10229/ 17915/ 19881/ 2254/ 3399/ 2268/ 15456/ 5301/ 15355/ 11714/ 19628/ 13986/ 1663/ 6615/ 3804/ 17944/ 16539/ 11697/ 1917/ 19497/ 15843/ 10414/ 17274/ 9131/ 14622/ 7090/ 4898/ 18318/ 17697/ 7676/ 8205/ 8281/ 8189/ 17067/ 1673/ 21015/ 3513/ 9027/ 12736/ 2689/ 796/ 16465/ 15907/ 6045/ 9859/ 2140/ 11725/ 16543/ 8113/ 18799/ 9047/ 5095/ 9850/ 12633/ 12917/ 14999/ 21093/ 18100/ 4409/ 3670/ 15969/ 5910/ 18175/ 16910/ 20623/ 7854/ 17838/ 17718/ 6273/ 7958/ 3043/ 2966/ 12993/ 17779/ 19127/ 16133/ 8407/ 18913/ 16615/ 4213/ 1924/ 16271/ 21162/ 2404/ 7501/ 1754/ 17059/ 8714/ 10233/ 16598/ 14718/ 12098/ 897/ 8392/ 1904/ 4503/ 6191/ 8089/ 19461/ 18698/ 9466/ 13080/ 15390/ 7286/ 15980/ 12844/ 16051/ 830/ 15252/ 755/ 19757/ 6545/ 17864/ 680/ 583/ 20743/ 11097/ 16667/ 14093/ 12085/ 13487/ 1021/ 6285/ 1488/ 3528/ 2371/ 3235/ 8326/ 2667/ 11313/ 15694/ 15762/ 6720/ 12285/ 7211/ 5336/ 208/ 17758/ 3730/ 4713/ 10057/ 20865/ 6606/ 13193/ 18542/ 19585/ 12261/ 18120/ 1012/ 7476/ 16974/ 19491/ 10328/ 20053/ 1420/ 17427/ 18093/ 1964/ 9369/ 12801/ 4365/ 12251/ 8270/ 16944/ 1193/ 20080/ 17900/ 10222/ 18192/ 21185/ 3592/ 10230/ 8347/ 8108/ 2008/ 4071/ 10207/ 15783/ 19065/ 6954/ 6166/ 11013/ 17381/ 10171/ 8144/ 9397/ 3785/ 6004/ 12264/ 13103/ 18537/ 10253/ 10107/ 15128/ 1853/ 12393/ 3239/ 8416/ 5057/ 9695/ 10561/ 17486/ 11456/ 289/ 17511/ 12566/ 10624/ 4174/ 11095/ 17261/ 7738/ 14513/ 7252/ 16159/ 4768/ 20127/ 3640/ 11451/ 14965/ 16555/ 375/ 12133/ 11836/ 9149/ 13662/ 17541/ 3746/ 13384/ 20400/ 20508/ 413/ 17799/ 5909/ 7763/ 1833/ 872/ 2962/ 5251/ 17251/ 6321/ 5412/ 4847/ 12667/ 14340/ 19751/ 3760/ 20306/ 20646/ 17187/ 1547/ 5319/ 4636/ 18227/ 10517/ 4821/ 15639/ 6471/ 15739/ 20686/ 166/ 6945/ 18097/ 8631/ 18085/ 13466/ 304/ 1718/ 11188/ 9339/ 6422/ 12476/ 12148/ 11661/ 3312/ 18450/ 17801/ 4737/ 18353/ 18762/ 18014/ 15707/ 8691/ 17604/ 5322/ 9167/ 17615/ 7649/ 5004/ 5882/ 12323/ 4183/ 16029/ 7903/ 9924/ 5665/ 7687/ 8405/ 6683/ 3937/ 19895/ 18060/ 4579/ 14269/ 1465/ 18574/ 8682/ 20258/ 5979/ 16597/ 6895/ 16140/ 15425/ 12780/ 7421/ 13668/ 14430/ 14624/ 6906/ 8286/ 21134/ 675/ 15848/ 1486/ 9887/ 16877/ 18944/ 2530/ 17981/ 14910/ 20084/ 21043/ 10176/ 16920/ 3765/ 10139/ 8158/ 430/ 7954/ 20781/ 2562/ 16902/ 17522/ 13823/ 2168/ 1/ 15196/ 659/ 6530/ 8011/ 6758/ 20553/ 19011/ 7894/ 2529/ 9424/ 10777/ 4846/ 14402/ 11762/ 16526/ 5863/ 11631/ 14784/ 9896/ 15567/ 8630/ 8696/ 19711/ 1589/ 11520/ 4571/ 7384/ 2751/ 3/ 8966/ 5494/ 16998/ 15755/ 2042/ 18943/ 4138/ 11644/ 18467/ 3334/ 2446/ 19775/ 12216/ 20900/ 18992/ 18639/ 2851/ 7880/ 8817/ 16409/ 21037/ 16834/ 17172/ 1929/ 438/ 11824/ 18525/ 12886/ 6475/ 12713/ 21179/ 16567/ 13228/ 19446/ 3884/ 19861/ 21115/ 7265/ 17627/ 18569/ 11794/ 19846/ 19578/ 19916/ 20827/ 6826/ 13024/ 7612/ 5103/ 17458/ 14621/ 2605/ 5594/ 411/ 7489/ 16739/ 11041/ 171/ 12267/ 2001/ 13703/ 9293/ 5380/ 4656/ 20563/ 14266/ 11732/ 4391/ 15396/ 1560/ 2511/ 19138/ 474/ 6006/ 6000/ 244/ 10972/ 8177/ 13105/ 7353/ 14878/ 969/ 17320/ 13171/ 15697/ 8060/ 9778/ 5312/ 5638/ 16286/ 20884/ 3122/ 12558/ 5731/ 7977/ 18701/ 2196/ 13118/ 20928/ 18295/ 16411/ 13930/ 19607/ 2358/ 5425/ 17370/ 405/ 16925/ 20068/ 14594/ 2629/ 16260/ 11814/ 21075/ 6489/ 15509/ 478/ 4556/ 480/ 16167/ 18243/ 7198/ 7288/ 20541/ 6356/ 19555/ 5182/ 4853/ 11200/ 17828/ 9727/ 937/ 15423/ 535/ 9312/ 3747/ 14565/ 9692/ 16671/ 4962/ 4566/ 17858/ 15166/ 1656/ 13411/ 2873/ 8977/ 259/ 2435/ 9199/ 2995/ 21131/ 5718/ 1199/ 16838/ 17139/ 15055/ 7722/ 4771/ 13733/ 8524/ 15173/ 3459/ 17749/ 9836/ 12779/ 3881/ 11668/ 18647/ 13853/ 13710/ 1428/ 4456/ 7203/ 16039/ 7862/ 9255/ 17373/ 19865/ 6701/ 15129/ 20324/ 1267/ 12374/ 8600/ 817/ 16782/ 16088/ 17035/ 3007/ 17241/ 350/ 8772/ 8628/ 2663/ 1347/ 1780/ 17619/ 4597/ 328/ 11706/ 3422/ 9690/ 8888/ 14825/ 8863/ 14568/ 1453/ 17289/ 5636/ 1452/ 20631/ 18493/ 5224/ 1746/ 1117/ 6462/ 6481/ 7368/ 9305/ 2782/ 10760/ 10531/ 6514/ 8041/ 21208/ 5574/ 19300/ 8655/ 12464/ 4625/ 19571/ 1476/ 2628/ 4533/ 6960/ 17878/ 2772/ 4070/ 1127/ 9083/ 15096/ 701/ 13768/ 19864/ 15101/ 13245/ 14338/ 7240/ 15014/ 17847/ 4986/ 13019/ 1820/ 1202/ 7500/ 14236/ 10593/ 6944/ 12822/ 7826/ 19032/ 20987/ 364/ 1631/ 7118/ 8364/ 14237/ 14469/ 16158/ 10581/ 2153/ 10084/ 8883/ 14239/ 3321/ 4262/ 10494/ 14398/ 5173/ 18777/ 12075/ 14856/ 8564/ 11098/ 4759/ 18289/ 283/ 12805/ 5158/ 11929/ 3490/ 16785/ 17699/ 19779/ 20261/ 9573/ 15053/ 7437/ 10998/ 3551/ 5758/ 4023/ 9619/ 3344/ 5385/ 20188/ 12178/ 8792/ 20765/ 13474/ 10433/ 12144/ 11541/ 2928/ 10313/ 17166/ 5342/ 16342/ 2612/ 5867/ 4665/ 14877/ 6032/ 11030/ 7274/ 10111/ 15607/ 6997/ 1311/ 15123/ 8875/ 17813/ 9523/ 7717/ 18579/ 6705/ 14439/ 12907/ 18170/ 16404/ 5488/ 20408/ 16702/ 9833/ 2287/ 887/ 13509/ 1471/ 2027/ 16561/ 2554/ 5865/ 3510/ 3906/ 7383/ 21054/ 13994/ 5477/ 7065/ 2474/ 3943/ 16416/ 2967/ 3976/ 8320/ 1092/ 19749/ 1344/ 13284/ 329/ 2536/ 13764/ 4953/ 5914/ 1868/ 7332/ 19125/ 1508/ 9935/ 9520/ 4669/ 3304/ 15748/ 17212/ 1785/ 20625/ 5354/ 11637/ 267/ 6027/ 12071/ 14353/ 6446/ 10633/ 20897/ 12457/ 19149/ 8604/ 12748/ 18519/ 9400/ 12704/ 12552/ 407/ 7920/ 21026/ 2747/ 16473/ 2953/ 17971/ 9251/ 19699/ 13542/ 5255/ 3630/ 4904/ 5673/ 14731/ 19717/ 3833/ 13684/ 14437/ 185/ 15144/ 295/ 5898/ 5399/ 13447/ 10870/ 19166/ 14480/ 20529/ 10679/ 15004/ 16091/ 7586/ 10551/ 1023/ 12250/ 9810/ 18797/ 12131/ 12971/ 17914/ 6243/ 1426/ 1126/ 11363/ 19054/ 7647/ 2702/ 5194/ 15760/ 18023/ 5632/ 4888/ 4907/ 2420/ 6360/ 20149/ 14160/ 8462/ 2743/ 18319/ 18648/ 3464/ 13725/ 8898/ 19302/ 9422/ 9349/ 6414/ 4412/ 12837/ 9227/ 8930/ 19600/ 8825/ 10605/ 9871/ 2726/ 11855/ 10395/ 15301/ 4704/ 17229/ 4796/ 11484/ 10032/ 12150/ 9714/ 17412/ 2398/ 6002/ 7486/ 6522/ 19448/ 17533/ 7790/ 8577/ 17051/ 20534/ 6432/ 16558/ 6616/ 7730/ 5526/ 12415/ 7773/ 2161/ 3686/ 17922/ 11769/ 14043/ 5776/ 2591/ 20754/ 8175/ 15940/ 12177/ 5029/ 2630/ 20052/ 11008/ 17504/ 16943/ 18193/ 14382/ 19917/ 18042/ 2050/ 1437/ 452/ 5854/ 1825/ 778/ 3800/ 12325/ 20277/ 16190/ 12146/ 1374/ 2/ 12948/ 10929/ 12570/ 1749/ 15308/ 39/ 19200/ 4615/ 14817/ 11213/ 10585/ 998/ 3477/ 9373/ 15108/ 8186/ 1579/ 18642/ 7305/ 17796/ 2023/ 15213/ 4026/ 20331/ 8998/ 8694/ 7131/ 6299/ 11437/ 20676/ 12548/ 10866/ 6985/ 16072/ 16037/ 20214/ 19827/ 2492/ 548/ 1731/ 8797/ 17781/ 18581/ 11763/ 7323/ 6727/ 5067/ 6920/ 3026/ 11870/ 15022/ 20378/ 11797/ 17642/ 14028/ 5279/ 20872/ 4218/ 19252/ 7316/ 9908/ 14981/ 874/ 5614/ 15286/ 3458/ 13801/ 7277/ 1350/ 20281/ 13641/ 19091/ 14431/ 5393/ 7039/ 12855/ 19094/ 19154/ 20088/ 12147/ 17538/ 14092/ 5367/ 6806/ 7116/ 4007/ 1776/ 1227/ 3627/ 14928/ 17862/ 1450/ 9687/ 9079/ 11256/ 10742/ 4329/ 8753/ 10440/ 152/ 4925/ 2515/ 18971/ 13200/ 3981/ 12359/ 18364/ 16638/ 6807/ 14864/ 5608/ 19012/ 5202/ 6195/ 17432/ 5804/ 12939/ 3589/ 16979/ 15881/ 10739/ 19942/ 770/ 20951/ 12727/ 20812/ 17477/ 1074/ 1768/ 14567/ 4971/ 2855/ 143/ 21071/ 18279/ 10402/ 21107/ 14137/ 492/ 8373/ 7668/ 9041/ 10485/ 1204/ 15296/ 195/ 19529/ 14634/ 9092/ 21039/ 10087/ 2156/ 10025/ 3126/ 1001/ 2901/ 5877/ 10682/ 4185/ 18350/ 18496/ 7966/ 7595/ 6670/ 12419/ 13150/ 1899/ 1886/ 13624/ 15836/ 15914/ 4131/ 6413/ 16548/ 1500/ 8469/ 4965/ 5326/ 18899/ 506/ 2982/ 8115/ 20895/ 9733/ 10150/ 4506/ 3276/ 9013/ 8919/ 4543/ 19085/ 12186/ 5576/ 12387/ 18790/ 1642/ 19887/ 10589/ 5070/ 14326/ 2010/ 5513/ 12037/ 18324/ 14178/ 9894/ 17479/ 2201/ 8345/ 977/ 17532/ 18757/ 99/ 5496/ 18461/ 20726/ 15578/ 18615/ 8602/ 3958/ 17109/ 4730/ 12278/ 17377/ 2441/ 15625/ 2797/ 16401/ 13572/ 2455/ 5693/ 16808/ 6657/ 5329/ 15568/ 12718/ 18240/ 12091/ 16065/ 7567/ 9347/ 16512/ 13579/ 6456/ 13214/ 10224/ 17771/ 15203/ 9221/ 20968/ 12581/ 18587/ 5894/ 9453/ 853/ 9029/ 9994/ 14673/ 6709/ 14070/ 18189/ 19335/ 5908/ 10355/ 20845/ 20825/ 18400/ 442/ 21188/ 18408/ 1578/ 525/ 6711/ 14534/ 15722/ 16033/ 20869/ 1865/ 2964/ 609/ 9780/ 5448/ 14820/ 12442/ 21081/ 13307/ 7852/ 10901/ 1018/ 15532/ 2610/ 15332/ 2884/ 2729/ 19612/ 19896/ 2503/ 9987/ 1799/ 1101/ 4296/ 20511/ 13800/ 17260/ 11864/ 20083/ 8756/ 13825/ 9584/ 1375/ 15931/ 191/ 18806/ 10317/ 7125/ 12913/ 9125/ 3722/ 14538/ 639/ 2341/ 4881/ 7167/ 20615/ 9602/ 18225/ 16403/ 19000/ 4744/ 15921/ 4964/ 6858/ 16541/ 14459/ 10479/ 10651/ 5422/ 12596/ 4739/ 19436/ 19591/ 2718/ 17478/ 7599/ 16839/ 8603/ 3698/ 18706/ 9268/ 3891/ 12019/ 14907/ 10010/ 7098/ 7816/ 17649/ 13889/ 1603/ 20197/ 5654/ 1180/ 9521/ 1291/ 20587/ 7537/ 10449/ 15168/ 10916/ 8202/ 14536/ 5437/ 10953/ 3952/ 19631/ 2781/ 4732/ 18770/ 13111/ 10617/ 3148/ 965/ 8944/ 20406/ 10288/ 10223/ 820/ 1687/ 17198/ 10343/ 31/ 12954/ 5740/ 13340/ 5218/ 3152/ 10066/ 7042/ 5784/ 14788/ 12835/ 9721/ 1249/ 13773/ 15731/ 12495/ 7549/ 6218/ 16237/ 3272/ 12926/ 7382/ 9849/ 18959/ 4286/ 1877/ 18333/ 14361/ 12817/ 8479/ 19469/ 2555/ 7635/ 19512/ 10073/ 9220/ 11880/ 14084/ 11972/ 948/ 12987/ 13322/ 5973/ 6777/ 9992/ 20473/ 15358/ 18218/ 6121/ 4806/ 12221/ 6018/ 16714/ 18948/ 4491/ 10978/ 1328/ 4320/ 1980/ 7228/ 7557/ 9684/ 14135/ 1042/ 7642/ 688/ 11753/ 20920/ 229/ 11530/ 3405/ 19596/ 18794/ 13829/ 14200/ 17134/ 19005/ 4801/ 19727/ 9480/ 1048/ 16095/ 2719/ 18934/ 12426/ 19214/ 19929/ 8066/ 5452/ 18108/ 10098/ 18398/ 13336/ 10768/ 18219/ 14514/ 20964/ 8059/ 21003/ 264/ 14557/ 1945/ 15231/ 11124/ 19648/ 14113/ 17450/ 3759/ 10737/ 10584/ 2902/ 21119/ 19812/ 2177/ 5015/ 11903/ 57/ 16333/ 19965/ 21118/ 9470/ 2424/ 9998/ 17582/ 15489/ 18871/ 14661/ 14491/ 2843/ 2570/ 4705/ 19959/ 5011/ 3699/ 7088/ 4338/ 2992/ 9183/ 18431/ 9939/ 10606/ 2225/ 6783/ 2802/ 5241/ 6198/ 13037/ 12505/ 19475/ 3469/ 16848/ 6421/ 13548/ 18823/ 20063/ 17636/ 20372/ 17367/ 11303/ 604/ 20175/ 2922/ 3133/ 9348/ 20276/ 16556/ 13790/ 4523/ 10216/ 12840/ 1741/ 15837/ 2271/ 6070/ 13366/ 15948/ 19415/ 718/ 9800/ 4318/ 8818/ 13159/ 19095/ 15574/ 11620/ 10775/ 15388/ 19568/ 6158/ 5833/ 9045/ 398/ 5843/ 20882/ 13897/ 2080/ 9565/ 8916/ 15201/ 2834/ 4831/ 12058/ 18397/ 13104/ 3047/ 8909/ 15476/ 18999/ 7020/ 1337/ 16963/ 1460/ 8091/ 15875/ 1594/ 18737/ 13094/ 15624/ 3440/ 13281/ 20285/ 12768/ 76/ 17362/ 21143/ 10767/ 9582/ 14107/ 2753/ 8121/ 7573/ 16214/ 2863/ 5521/ 20562/ 18355/ 9303/ 6176/ 12663/ 7791/ 11175/ 4973/ 16712/ 18879/ 6435/ 9570/ 12051/ 19429/ 7731/ 1622/ 11217/ 18600/ 20918/ 3565/ 19339/ 18622/ 2053/ 7661/ 20774/ 11723/ 8372/ 9677/ 17054/ 21106/ 5347/ 4128/ 7362/ 19753/ 17454/ 346/ 16911/ 15903/ 1567/ 15103/ 3601/ 20294/ 17849/ 4449/ 8402/ 4424/ 13882/ 268/ 19009/ 1832/ 6655/ 19767/ 7409/ 1842/ 15717/ 4121/ 17213/ 8268/ 10628/ 1467/ 20901/ 5860/ 11970/ 12946/ 16365/ 16893/ 20094/ 276/ 15565/ 13152/ 16804/ 14163/ 10315/ 19097/ 10429/ 8277/ 11710/ 13289/ 715/ 11490/ 2593/ 12689/ 2323/ 12603/ 19611/ 1998/ 5450/ 3342/ 15069/ 9641/ 11237/ 18471/ 16310/ 10684/ 10644/ 4223/ 13596/ 19291/ 116/ 8198/ 17925/ 9786/ 15571/ 6934/ 15451/ 17168/ 4142/ 12792/ 15375/ 5955/ 11336/ 11146/ 20355/ 12588/ 8026/ 12687/ 18685/ 19623/ 6233/ 17264/ 1535/ 575/ 5596/ 14396/ 10835/ 6508/ 1791/ 11524/ 16099/ 17737/ 8913/ 15212/ 14998/ 11153/ 16461/ 14364/ 8165/ 18545/ 5672/ 16527/ 19210/ 6754/ 5837/ 10180/ 20870/ 1601/ 18313/ 2124/ 4666/ 10278/ 10363/ 3895/ 9549/ 11933/ 6300/ 11327/ 5273/ 6132/ 14548/ 2935/ 8395/ 15611/ 20118/ 14389/ 8519/ 11323/ 15012/ 12077/ 3917/ 20032/ 12563/ 8636/ 6013/ 19492/ 10205/ 15058/ 20091/ 17245/ 3960/ 13390/ 17182/ 15535/ 19224/ 14419/ 10813/ 9970/ 20448/ 476/ 3928/ 9697/ 9664/ 6172/ 2099/ 12635/ 8563/ 11996/ 17895/ 20273/ 11442/ 18479/ 1897/ 3936/ 11243/ 13232/ 6103/ 3167/ 2804/ 19179/ 3049/ 6075/ 15471/ 3244/ 11273/ 4037/ 10805/ 1384/ 4504/ 9156/ 5179/ 6189/ 999/ 12400/ 17025/ 18953/ 2860/ 19276/ 8415/ 1024/ 1119/ 7278/ 4245/ 17107/ 10394/ 216/ 8840/ 14775/ 15314/ 6041/ 13431/ 3073/ 944/ 8713/ 2025/ 10792/ 16997/ 747/ 8038/ 5891/ 14653/ 88/ 19755/ 13195/ 7133/ 4279/ 12671/ 15643/ 4233/ 8188/ 5401/ 6567/ 6974/ 17137/ 2794/ 16329/ 2806/ 4637/ 6982/ 222/ 5970/ 10003/ 7308/ 9478/ 8107/ 20892/ 18419/ 20385/ 11561/ 3894/ 2730/ 6003/ 20254/ 18098/ 17344/ 14741/ 13038/ 5612/ 2032/ 10067/ 5461/ 9364/ 10943/ 748/ 277/ 17512/ 20466/ 10081/ 19866/ 1329/ 7354/ 8249/ 19884/ 5153/ 3437/ 19593/ 6160/ 20530/ 3923/ 17463/ 15343/ 18626/ 19897/ 16579/ 9061/ 20707/ 8892/ 16449/ 7087/ 9458/ 14723/ 2483/ 981/ 19643/ 10516/ 2637/ 12571/ 5931/ 14876/ 11957/ 1305/ 12180/ 9900/ 19279/ 19510/ 8170/ 7561/ 13498/ 5486/ 10178/ 4937/ 15915/ 303/ 1511/ 15515/ 5320/ 11189/ 9289/ 15804/ 18260/ 19159/ 6303/ 20200/ 17323/ 6563/ 20128/ 11352/ 15226/ 15600/ 3859/ 20163/ 11441/ 18076/ 1901/ 12592/ 20233/ 6506/ 6512/ 6087/ 10573/ 14286/ 5924/ 8190/ 14742/ 2773/ 21008/ 12354/ 5485/ 5201/ 5444/ 6784/ 10878/ 18815/ 21077/ 13576/ 18491/ 8192/ 943/ 3309/ 1712/ 7837/ 16710/ 17414/ 956/ 791/ 7980/ 16571/ 16405/ 437/ 10331/ 14662/ 2145/ 20265/ 1909/ 8701/ 11649/ 16320/ 1085/ 6566/ 9164/ 14181/ 13669/ 18368/ 15257/ 7552/ 13635/ 17009/ 1143/ 6294/ 10741/ 19352/ 7967/ 17075/ 15916/ 8340/ 17310/ 15035/ 565/ 3216/ 14034/ 3998/ 14761/ 4572/ 2583/ 5299/ 19769/ 11375/ 4921/ 19348/ 20493/ 2319/ 9876/ 11225/ 14966/ 17094/ 19449/ 16270/ 1530/ 9224/ 6098/ 15988/ 9316/ 7444/ 17386/ 15067/ 7736/ 10341/ 8757/ 870/ 18473/ 7029/ 2603/ 8148/ 2017/ 14091/ 13505/ 5077/ 6900/ 16112/ 2351/ 4667/ 5317/ 4787/ 3673/ 12879/ 1275/ 14509/ 19472/ 15181/ 6491/ 15152/ 8632/ 9185/ 3340/ 2419/ 20569/ 7889/ 5687/ 5844/ 9362/ 17939/ 5061/ 16509/ 12218/ 15859/ 16803/ 6342/ 3142/ 13422/ 2291/ 12127/ 4945/ 15336/ 8239/ 11172/ 3298/ 19347/ 1298/ 4931/ 9018/ 8651/ 19309/ 8568/ 15999/ 7652/ 13877/ 13690/ 15491/ 13969/ 11719/ 7913/ 20102/ 3718/ 18983/ 10503/ 17200/ 5997/ 13775/ 11529/ 4555/ 13178/ 5120/ 13821/ 8578/ 15130/ 8626/ 19373/ 17629/ 13706/ 19668/ 18824/ 16519/ 17893/ 14819/ 13332/ 6241/ 13495/ 3102/ 20833/ 10321/ 8078/ 14758/ 19540/ 5745/ 20685/ 11865/ 2546/ 4727/ 649/ 8588/ 643/ 11823/ 5278/ 11844/ 2903/ 6882/ 20019/ 14997/ 20958/ 5293/ 9612/ 19455/ 20222/ 18649/ 3893/ 1032/ 1963/ 3230/ 5827/ 7341/ 3214/ 5481/ 14916/ 5030/ 13771/ 13657/ 1645/ 13310/ 3341/ 13527/ 18809/ 12185/ 17002/ 15424/ 10586/ 17769/ 10461/ 17469/ 8251/ 5719/ 931/ 18264/ 14924/ 10009/ 14056/ 16215/ 5980/ 4484/ 6447/ 6718/ 14902/ 21139/ 2656/ 2087/ 1627/ 3521/ 5760/ 3297/ 19729/ 7769/ 10488/ 6097/ 3237/ 15887/ 17460/ 3404/ 2202/ 3754/ 11702/ 2613/ 1549/ 18890/ 12911/ 17623/ 9464/ 12729/ 20691/ 5708/ 4985/ 21148/ 14693/ 20365/ 355/ 15619/ 4346/ 19814/ 20092/ 17475/ 4584/ 12371/ 3677/ 1058/ 19679/ 261/ 3320/ 20619/ 8968/ 19841/ 9213/ 4663/ 12788/ 19040/ 19765/ 20158/ 12806/ 2160/ 15398/ 20809/ 16467/ 6165/ 15640/ 14289/ 5813/ 11573/ 15744/ 12610/ 16370/ 15699/ 5171/ 5757/ 18062/ 13734/ 6903/ 20627/ 6426/ 2385/ 2476/ 19712/ 18089/ 13048/ 12249/ 19874/ 10968/ 6477/ 5269/ 20898/ 5115/ 1148/ 17513/ 9808/ 18808/ 6038/ 3382/ 18326/ 9337/ 13506/ 12859/ 14855/ 8747/ 4001/ 3264/ 11207/ 14935/ 5905/ 410/ 15366/ 14004/ 20719/ 7814/ 11034/ 11837/ 20260/ 20194/ 11230/ 10177/ 9261/ 5111/ 20433/ 12994/ 14486/ 11832/ 1706/ 4225/ 806/ 15657/ 19547/ 6673/ 12494/ 9613/ 18087/ 8827/ 16231/ 733/ 19997/ 10928/ 3262/ 4295/ 15098/ 2559/ 3615/ 13077/ 17394/ 10862/ 20525/ 10430/ 6235/ 3506/ 20356/ 5125/ 14671/ 18464/ 8617/ 13680/ 9957/ 8360/ 20681/ 7259/ 7067/ 655/ 13367/ 8759/ 17852/ 8007/ 15200/ 11771/ 6389/ 20840/ 11746/ 6137/ 16750/ 2561/ 7129/ 13346/ 2973/ 381/ 9698/ 8050/ 16778/ 16448/ 13025/ 17101/ 7229/ 10687/ 20454/ 1496/ 13030/ 435/ 14397/ 252/ 10258/ 4272/ 5815/ 3012/ 12319/ 3814/ 16227/ 7575/ 11744/ 20960/ 5128/ 7637/ 20035/ 18530/ 6154/ 20160/ 18417/ 12337/ 8549/ 18771/ 2506/ 21038/ 18352/ 1698/ 13139/ 2504/ 13135/ 6881/ 10836/ 9501/ 17165/ 1699/ 10881/ 2063/ 11727/ 6538/ 12409/ 15825/ 3250/ 12046/ 14736/ 1636/ 5763/ 20641/ 4160/ 20550/ 16908/ 15255/ 5767/ 16093/ 18354/ 9920/ 15233/ 18606/ 7438/ 2826/ 14251/ 20483/ 14357/ 13712/ 5739/ 8343/ 18539/ 18297/ 2454/ 5777/ 4423/ 9901/ 4634/ 17747/ 4479/ 18041/ 1808/ 2331/ 17238/ 15621/ 19553/ 5014/ 5928/ 2261/ 8846/ 21178/ 799/ 17121/ 13922/ 11780/ 6692/ 15054/ 3617/ 3537/ 1495/ 2532/ 8333/ 19454/ 12725/ 12499/ 8290/ 20509/ 1892/ 8366/ 9469/ 9171/ 2829/ 16399/ 11089/ 1700/ 8621/ 9795/ 13405/ 6093/ 20237/ 14777/ 18548/ 8075/ 16075/ 5737/ 17772/ 7591/ 16916/ 2283/ 12200/ 13822/ 4795/ 10546/ 14853/ 14954/ 16021/ 1697/ 3827/ 8925/ 11144/ 10590/ 19177/ 3074/ 9585/ 16123/ 857/ 6441/ 12061/ 10327/ 18575/ 16336/ 5967/ 1380/ 16775/ 138/ 3054/ 18584/ 8271/ 5078/ 16393/ 15150/ 18171/ 15709/ 15031/ 12119/ 5743/ 7660/ 16377/ 1371/ 3288/ 1492/ 578/ 7423/ 4180/ 5118/ 3847/ 8420/ 19635/ 4825/ 11782/ 11939/ 18857/ 1653/ 7281/ 3606/ 17741/ 4941/ 14932/ 10024/ 17426/ 14276/ 14322/ 17099/ 20785/ 11359/ 20939/ 959/ 6501/ 19226/ 14445/ 17734/ 19362/ 16407/ 3473/ 11329/ 15687/ 15678/ 9254/ 18975/ 1796/ 4401/ 15117/ 15033/ 9463/ 1122/ 1748/ 13906/ 3445/ 13534/ 10946/ 11474/ 16927/ 3655/ 8288/ 20151/ 13517/ 3448/ 15549/ 9153/ 756/ 19734/ 11791/ 17812/ 6893/ 20109/ 10532/ 20651/ 1358/ 20296/ 4299/ 14454/ 10699/ 11682/ 4375/ 6260/ 21123/ 12430/ 9007/ 15156/ 672/ 13885/ 18495/ 12238/ 18490/ 14433/ 5617/ 13857/ 20288/ 14873/ 3723/ 18964/ 11133/ 3090/ 15520/ 15953/ 7577/ 20182/ 17246/ 19986/ 18898/ 1611/ 8923/ 10490/ 16520/ 7784/ 9413/ 21182/ 4910/ 6141/ 3171/ 2575/ 20717/ 5803/ 6493/ 18831/ 11208/ 12368/ 5275/ 15862/ 14082/ 11729/ 15364/ 11905/ 6775/ 11171/ 1524/ 4628/ 17518/ 6904/ 12347/ 8523/ 10483/ 18967/ 11624/ 18051/ 2940/ 2815/ 16964/ 14713/ 13151/ 12744/ 12385/ 18439/ 4035/ 18646/ 15889/ 14095/ 3829/ 4462/ 6289/ 7884/ 17618/ 19696/ 6507/ 1068/ 3055/ 8376/ 11353/ 13805/ 6995/ 17866/ 15868/ 14944/ 8486/ 12778/ 8945/ 16793/ 1597/ 3086/ 19255/ 10509/ 15330/ 17474/ 20317/ 5064/ 19762/ 17315/ 6804/ 2679/ 20978/ 1015/ 9701/ 15589/ 15283/ 18829/ 9578/ 4010/ 15236/ 18007/ 1922/ 8157/ 20086/ 5365/ 975/ 6963/ 15704/ 4388/ 1771/ 17472/ 17956/ 233/ 5783/ 11308/ 16961/ 4815/ 13377/ 9427/ 14970/ 6429/ 14161/ 3984/ 3408/ 21142/ 12582/ 9431/ 10693/ 16078/ 13261/ 18222/ 20103/ 2803/ 6968/ 572/ 6367/ 6594/ 54/ 2155/ 18850/ 18102/ 7051/ 6672/ 648/ 1379/ 17034/ 15669/ 4987/ 14427/ 20501/ 5478/ 7287/ 6424/ 9575/ 8283/ 21034/ 489/ 7464/ 11271/ 11630/ 4014/ 6357/ 11516/ 1336/ 4741/ 17919/ 7439/ 15753/ 10850/ 15896/ 15081/ 412/ 20589/ 18394/ 14446/ 2020/ 8143/ 3332/ 13755/ 6690/ 16478/ 8786/ 7699/ 1555/ 14105/ 6528/ 4936/ 3447/ 7035/ 19301/ 18478/ 13606/ 20468/ 1545/ 2346/ 7555/ 8594/ 7139/ 13671/ 12463/ 6922/ 12015/ 11711/ 16965/ 3221/ 19613/ 6363/ 14488/ 19314/ 14315/ 12919/ 8826/ 10625/ 14263/ 2912/ 14477/ 6794/ 3772/ 8849/ 18667/ 16265/ 11798/ 9675/ 7159/ 13575/ 5751/ 10398/ 2757/ 21050/ 18112/ 743/ 16584/ 8653/ 6328/ 16101/ 11871/ 10297/ 10379/ 2980/ 15341/ 19434/ 14186/ 16781/ 13915/ 1625/ 16323/ 10993/ 6296/ 6227/ 6175/ 3092/ 19528/ 16490/ 4054/ 10172/ 1732/ 12569/ 21152/ 20513/ 15617/ 16017/ 6959/ 3194/ 10088/ 19256/ 14835/ 20354/ 5944/ 20013/ 12696/ 10295/ 2996/ 4530/ 6180/ 13929/ 14416/ 831/ 18996/ 15127/ 2937/ 13076/ 19026/ 1510/ 14475/ 10936/ 1285/ 9962/ 19451/ 8903/ 18939/ 9235/ 11525/ 14782/ 14786/ 16398/ 18320/ 12614/ 14908/ 5276/ 20361/ 13826/ 5245/ 18126/ 4222/ 16587/ 17077/ 1499/ 9743/ 3830/ 5629/ 8526/ 15906/ 8173/ 14383/ 9276/ 17902/ 279/ 43/ 14797/ 1566/ 6674/ 14562/ 4660/ 5685/ 12436/ 8313/ 7999/ 14081/ 4417/ 14274/ 16628/ 11161/ 6340/ 2361/ 8733/ 10426/ 4455/ 12968/ 1369/ 17236/ 16937/ 15540/ 19920/ 3412/ 13097/ 311/ 3742/ 17175/ 14614/ 15281/ 49/ 17701/ 8995/ 1112/ 9629/ 18052/ 10803/ 18736/ 4860/ 12389/ 16740/ 7703/ 15462/ 13107/ 4591/ 1214/ 300/ 19336/ 8240/ 12001/ 10814/ 12716/ 6733/ 18342/ 12508/ 19563/ 17143/ 15223/ 112/ 12575/ 14250/ 12597/ 17744/ 7929/ 15198/ 20419/ 1893/ 972/ 12574/ 3248/ 18287/ 395/ 10632/ 3258/ 6857/ 3099/ 16367/ 19773/ 18111/ 18375/ 679/ 12407/ 11087/ 6607/ 8125/ 3062/ 14168/ 454/ 336/ 447/ 7513/ 3500/ 6834/ 20654/ 7972/ 5715/ 3277/ 18969/ 3653/ 10293/ 2094/ 9569/ 15802/ 19416/ 8869/ 13044/ 5498/ 11938/ 16292/ 848/ 12053/ 17064/ 8299/ 18577/ 105/ 8425/ 19411/ 11024/ 20131/ 1003/ 19162/ 1072/ 8181/ 19270/ 906/ 17948/ 4917/ 7187/ 253/ 9869/ 13439/ 4551/ 1920/ 5309/ 14923/ 19463/ 11625/ 4381/ 6496/ 11075/ 19557/ 18597/ 18392/ 16647/ 4359/ 2981/ 9598/ 10949/ 6385/ 12087/ 949/ 20462/ 7749/ 12674/ 11110/ 17905/ 13004/ 4228/ 18307/ 20573/ 3876/ 202/ 18031/ 14291/ 18301/ 7527/ 11398/ 19439/ 4220/ 3080/ 8421/ 3689/ 15536/ 18731/ 17313/ 21096/ 18713/ 3737/ 10845/ 4433/ 21051/ 137/ 21184/ 14223/ 17124/ 6939/ 13508/ 11908/ 18543/ 1519/ 19554/ 17764/ 17767/ 4671/ 8339/ 1763/ 5192/ 15966/ 3557/ 14249/ 14934/ 3374/ 17418/ 10669/ 13045/ 10683/ 13876/ 9825/ 17934/ 16429/ 17244/ 14943/ 6760/ 220/ 10181/ 3573/ 4797/ 2643/ 8547/ 6737/ 1413/ 13146/ 18518/ 3687/ 16378/ 15084/ 4486/ 3021/ 11001/ 18735/ 15957/ 18599/ 68/ 1583/ 6265/ 1686/ 20695/ 1178/ 15608/ 19084/ 11311/ 9228/ 20335/ 17318/ 13440/ 3280/ 5633/ 6837/ 12274/ 9955/ 3991/ 14585/ 1383/ 13698/ 9562/ 2849/ 16511/ 5560/ 11212/ 7783/ 7095/ 7901/ 2563/ 3529/ 3872/ 21165/ 2336/ 21068/ 20716/ 11574/ 13154/ 20540/ 14130/ 9681/ 16867/ 13608/ 16741/ 20049/ 18476/ 4169/ 2305/ 21066/ 17756/ 16061/ 15819/ 21058/ 6068/ 8634/ 9646/ 17499/ 2853/ 20607/ 14047/ 11204/ 4099/ 10650/ 2894/ 20152/ 2139/ 19995/ 20993/ 5199/ 242/ 16892/ 8774/ 16154/ 12576/ 1055/ 510/ 17256/ 4840/ 15877/ 2470/ 12941/ 18811/ 1758/ 13385/ 6177/ 18819/ 20715/ 6552/ 3912/ 5502/ 3664/ 8947/ 11338/ 11894/ 6049/ 12928/ 351/ 12282/ 12199/ 16278/ 19774/ 601/ 17728/ 10263/ 18654/ 9098/ 8199/ 4742/ 8855/ 8548/ 3854/ 14523/ 1022/ 5897/ 19556/ 556/ 12515/ 18717/ 14967/ 5253/ 10209/ 1720/ 20223/ 5780/ 4300/ 8008/ 14625/ 4419/ 14465/ 3325/ 8760/ 6433/ 20181/ 3929/ 6142/ 8993/ 17050/ 7393/ 6793/ 12295/ 19799/ 4640/ 1475/ 20136/ 16420/ 14978/ 7934/ 2128/ 11968/ 9700/ 7034/ 14100/ 12259/ 6820/ 7413/ 13519/ 11277/ 6926/ 11527/ 2654/ 1279/ 18745/ 652/ 16914/ 11915/ 16918/ 7576/ 11372/ 19445/ 9428/ 5372/ 13714/ 1961/ 642/ 1273/ 8411/ 6499/ 14031/ 19573/ 2516/ 15604/ 9952/ 5869/ 17161/ 5500/ 10472/ 12666/ 10405/ 17673/ 6579/ 6146/ 1263/ 2707/ 14214/ 9129/ 3850/ 4270/ 7156/ 3684/ 21167/ 14391/ 16600/ 19654/ 6568/ 5364/ 20839/ 8605/ 13010/ 1915/ 3623/ 20010/ 5963/ 17660/ 6355/ 20474/ 8745/ 11104/ 12512/ 20504/ 9671/ 13073/ 20972/ 19647/ 10963/ 16842/ 7404/ 5868/ 12807/ 17612/ 20768/ 10126/ 8245/ 17978/ 15656/ 20209/ 11258/ 11287/ 20816/ 12550/ 17794/ 10296/ 568/ 2842/ 21084/ 19985/ 16255/ 17510/ 14176/ 12002/ 6396/ 7957/ 14470/ 2294/ 13357/ 19614/ 4909/ 1478/ 5786/ 8441/ 3605/ 18477/ 17591/ 2558/ 14121/ 1818/ 9996/ 7604/ 12372/ 18526/ 6817/ 3096/ 8881/ 13880/ 15522/ 10763/ 14320/ 5993/ 960/ 18592/ 21120/ 3423/ 19441/ 12653/ 3169/ 17982/ 19833/ 16697/ 6516/ 13050/ 14521/ 1035/ 15811/ 19120/ 7003/ 15254/ 5267/ 15671/ 3111/ 14849/ 12472/ 204/ 16859/ 20290/ 16254/ 11953/ 6664/ 11645/ 13036/ 14561/ 4278/ 6952/ 12155/ 20805/ 4173/ 3966/ 13362/ 9817/ 14179/ 7926/ 563/ 18650/ 8762/ 11899/ 16594/ 607/ 1480/ 10918/ 19236/ 19708/ 7813/ 12003/ 17249/ 8678/ 15380/ 12013/ 11014/ 20297/ 4297/ 5240/ 15638/ 4302/ 4373/ 3990/ 8356/ 18870/ 7701/ 15160/ 11568/ 16102/ 14423/ 18844/ 5012/ 11093/ 4879/ 8962/ 11669/ 11952/ 8002/ 3302/ 7143/ 13029/ 17449/ 7987/ 403/ 1238/ 12731/ 7666/ 6105/ 10677/ 12299/ 1782/ 6986/ 12004/ 19376/ 388/ 4251/ 11407/ 15038/ 20029/ 18561/ 1715/ 14297/ 14700/ 10799/ 9050/ 9618/ 16124/ 11349/ 12433/ 7680/ 4873/ 10829/ 11438/ 4468/ 10905/ 11707/ 11854/ 11136/ 16266/ 19377/ 19656/ 13257/ 9870/ 16991/ 1614/ 12503/ 19855/ 3281/ 6699/ 3409/ 14422/ 10973/ 12300/ 4404/ 4626/ 9830/ 8754/ 9843/ 19307/ 1066/ 18501/ 6605/ 14089/ 17736/ 444/ 8209/ 18220/ 13802/ 20586/ 14642/ 19682/ 5879/ 297/ 9559/ 18523/ 14939/ 12437/ 1138/ 1108/ 12532/ 6905/ 2911/ 9208/ 14710/ 11478/ 17869/ 17740/ 3373/ 15508/ 17092/ 2640/ 14014/ 19092/ 9500/ 9815/ 9928/ 18628/ 7750/ 11288/ 18508/ 5261/ 4261/ 17404/ 11493/ 18598/ 9662/ 318/ 540/ 4326/ 6174/ 11115/ 2671/ 12678/ 17700/ 20512/ 18942/ 2035/ 4839/ 18204/ 14240/ 11214/ 10727/ 12270/ 12529/ 17482/ 1017/ 10778/ 3234/ 4264/ 6358/ 13267/ 17783/ 15362/ 4078/ 11600/ 13617/ 15605/ 20976/ 8534/ 5131/ 1561/ 20429/ 1887/ 11405/ 12686/ 13750/ 1810/ 14527/ 14328/ 11536/ 20472/ 5635/ 4835/ 17968/ 380/ 1272/ 13791/ 16826/ 20037/ 19284/ 17357/ 21046/ 17147/ 6388/ 9707/ 20683/ 18782/ 14763/ 2931/ 6838/ 17066/ 18997/ 9963/ 16005/ 11997/ 17897/ 15389/ 2278/ 19811/ 16865/ 21150/ 370/ 19242/ 2426/ 17024/ 7271/ 11385/ 8215/ 3924/ 15513/ 10830/ 11299/ 7122/ 9934/ 18634/ 3267/ 5932/ 12634/ 20940/ 12187/ 4052/ 13583/ 19196/ 4227/ 2379/ 20992/ 8690/ 8169/ 6292/ 20656/ 18441/ 19267/ 19522/ 11580/ 19410/ 12872/ 3949/ 2578/ 1278/ 19579/ 11016/ 1067/ 15905/ 16294/ 17725/ 954/ 8079/ 15579/ 6351/ 8418/ 18894/ 12331/ 9918/ 8427/ 17750/ 16794/ 12538/ 6862/ 16862/ 1660/ 15527/ 4668/ 20934/ 2576/ 16006/ 16001/ 12749/ 7184/ 11021/ 11790/ 19027/ 4957/ 18668/ 18035/ 13327/ 15756/ 11737/ 7503/ 10859/ 18457/ 17521/ 7327/ 3501/ 1895/ 15928/ 15021/ 14595/ 5121/ 20018/ 2030/ 239/ 7547/ 14867/ 20912/ 6643/ 7010/ 18432/ 10612/ 16500/ 16604/ 1680/ 11877/ 13580/ 18616/ 7279/ 16201/ 16308/ 12922/ 12813/ 7615/ 16677/ 14748/ 7110/ 8443/ 5019/ 15477/ 20558/ 8233/ 18239/ 12088/ 12169/ 6237/ 20910/ 19419/ 14802/ 6724/ 19313/ 2111/ 12823/ 19175/ 14153/ 19160/ 3838/ 507/ 15793/ 12141/ 11717/ 5811/ 7633/ 11937/ 1075/ 2898/ 10019/ 18017/ 8187/ 1902/ 6908/ 15065/ 6167/ 11876/ 21079/ 6879/ 9437/ 17117/ 7511/ 13860/ 8613/ 7696/ 6819/ 8142/ 2093/ 20431/ 8067/ 8085/ 6134/ 15674/ 10197/ 677/ 20904/ 13647/ 1060/ 13091/ 6519/ 14750/ 17263/ 12531/ 20831/ 6736/ 16441/ 6157/ 16504/ 6171/ 3545/ 1564/ 19581/ 8342/ 13095/ 5127/ 19363/ 16717/ 4135/ 20777/ 6131/ 17152/ 369/ 4577/ 16801/ 13626/ 6832/ 11458/ 12985/ 18759/ 6153/ 4434/ 20123/ 9574/ 8698/ 15264/ 16331/ 19193/ 13670/ 6427/ 16591/ 13082/ 7602/ 16955/ 20141/ 20673/ 5183/ 7786/ 990/ 13398/ 15097/ 14295/ 14221/ 1960/ 8349/ 12395/ 4837/ 19741/ 12410/ 9580/ 10080/ 17856/ 16704/ 2121/ 8426/ 9053/ 18156/ 7454/ 800/ 5504/ 16926/ 1011/ 15433/ 17940/ 13956/ 7947/ 18515/ 6325/ 2738/ 5382/ 12975/ 18918/ 17650/ 6066/ 6393/ 2298/ 10215/ 20598/ 14871/ 6870/ 805/ 4046/ 646/ 11655/ 10879/ 6762/ 4367/ 17592/ 11054/ 17967/ 7912/ 4641/ 15628/ 9102/ 11614/ 5688/ 2227/ 939/ 17104/ 1150/ 2541/ 10123/ 2713/ 5141/ 18442/ 8126/ 1262/ 2720/ 15897/ 14126/ 19132/ 9877/ 1869/ 2143/ 11619/ 9773/ 11178/ 17580/ 20314/ 4447/ 11047/ 18377/ 16055/ 20232/ 14159/ 12930/ 12848/ 1482/ 3042/ 15946/ 20230/ 14860/ 8807/ 503/ 7364/ 9081/ 19707/ 18882/ 15142/ 10872/ 17006/ 5332/ 1343/ 19345/ 9113/ 19589/ 2263/ 11685/ 13620/ 19198/ 20990/ 13828/ 17653/ 14154/ 18988/ 14729/ 4431/ 16073/ 5024/ 7817/ 5217/ 17770/ 8911/ 19199/ 13266/ 21145/ 2142/ 19249/ 372/ 13305/ 4885/ 16335/ 19058/ 13656/ 16058/ 3275/ 6822/ 3343/ 11517/ 15395/ 6178/ 3058/ 4616/ 18585/ 19514/ 11699/ 20422/ 5918/ 6812/ 3474/ 13092/ 13052/ 11183/ 20633/ 20791/ 12444/ 432/ 9554/ 4336/ 16495/ 20228/ 3811/ 16373/ 18433/ 18774/ 6625/ 17483/ 3590/ 7084/ 7592/ 524/ 17284/ 9986/ 16722/ 3003/ 8853/ 8507/ 15083/ 5537/ 13598/ 11443/ 450/ 14164/ 6349/ 8147/ 7782/ 13782/ 8470/ 9640/ 8873/ 15514/ 3127/ 9722/ 8783/ 10023/ 16905/ 385/ 14511/ 20981/ 7609/ 2915/ 5728/ 1335/ 3206/ 5809/ 14571/ 1288/ 9115/ 16060/ 15365/ 2304/ 3375/ 2324/ 2434/ 2808/ 6450/ 20878/ 13287/ 2342/ 16621/ 8191/ 16994/ 8665/ 21122/ 10242/ 18026/ 2190/ 16312/ 17778/ 9200/ 19485/ 1367/ 18761/ 8032/ 6337/ 10473/ 2066/ 316/ 12160/ 18305/ 21088/ 15727/ 19606/ 16635/ 1410/ 18281/ 16780/ 15431/ 8274/ 10105/ 3821/ 17678/ 100/ 458/ 1436/ 10611/ 3825/ 18590/ 2887/ 13776/ 13244/ 6937/ 11906/ 13537/ 4371/ 4379/ 8019/ 18872/ 14570/ 10241/ 18001/ 8950/ 19074/ 12517/ 14242/ 10525/ 8517/ 4743/ 13075/ 19306/ 10636/ 11174/ 11822/ 11945/ 4080/ 19802/ 832/ 12126/ 5363/ 3874/ 16904/ 4908/ 14833/ 11411/ 7515/ 17827/ 2880/ 14915/ 16846/ 520/ 7622/ 17305/ 16809/ 1576/ 17732/ 3091/ 18268/ 10502/ 3624/ 15661/ 4280/ 19326/ 11337/ 15059/ 13323/ 11251/ 201/ 8712/ 1121/ 13003/ 5440/ 59/ 2117/ 11916/ 18359/ 18403/ 20153/ 8845/ 15356/ 10378/ 5331/ 15399/ 4330/ 6438/ 20583/ 17196/ 6463/ 7779/ 14377/ 429/ 8331/ 12308/ 804/ 11512/ 18891/ 4863/ 21173/ 20235/ 15580/ 19402/ 11623/ 7063/ 391/ 13081/ 1409/ 17242/ 14630/ 16389/ 20393/ 9253/ 4494/ 20101/ 13989/ 9145/ 11944/ 270/ 14781/ 4706/ 10911/ 20893/ 20911/ 15964/ 15393/ 10629/ 8337/ 5028/ 13018/ 18145/ 10730/ 9973/ 20169/ 17102/ 20730/ 12834/ 15563/ 6741/ 11537/ 13751/ 11100/ 1819/ 11032/ 5116/ 7427/ 11148/ 2044/ 3767/ 17087/ 2545/ 4751/ 4970/ 20687/ 6234/ 3189/ 10069/ 13158/ 20072/ 17639/ 243/ 20311/ 12604/ 9797/ 6117/ 5838/ 2809/ 7304/ 3084/ 16507/ 13846/ 18061/ 20066/ 10366/ 11766/ 12527/ 16083/ 9616/ 16151/ 1345/ 3402/ 15795/ 6618/ 2302/ 15318/ 16020/ 19046/ 9683/ 19933/ 11088/ 6236/ 19577/ 13406/ 3358/ 13360/ 13913/ 19105/ 9660/ 20140/ 5641/ 6019/ 12584/ 3725/ 14220/ 4093/ 5122/ 3764/ 19185/ 9023/ 12533/ 20611/ 14284/ 10211/ 11196/ 13378/ 12044/ 13910/ 12955/ 16583/ 7634/ 9515/ 1885/ 19262/ 1483/ 4021/ 6035/ 19168/ 2076/ 16682/ 5966/ 15766/ 12017/ 8711/ 5102/ 34/ 17786/ 2367/ 1847/ 20822/ 19426/ 8886/ 10269/ 13713/ 7585/ 18801/ 14182/ 3910/ 6907/ 14166/ 13672/ 8964/ 11197/ 13948/ 3482/ 18047/ 12964/ 5741/ 660/ 16222/ 7836/ 10162/ 21036/ 1062/ 6513/ 14832/ 13060/ 9155/ 14478/ 17159/ 17/ 20104/ 20551/ 7027/ 2925/ 13141/ 3441/ 19633/ 20114/ 1826/ 4627/ 10095/ 18139/ 1996/ 9491/ 7627/ 18608/ 12271/ 4197/ 2674/ 16590/ 13369/ 4765/ 4473/ 6034/ 14815/ 20798/ 8297/ 8750/ 17916/ 20077/ 9512/ 9198/ 17823/ 12469/ 11879/ 17443/ 1536/ 1620/ 4923/ 2848/ 3095/ 7840/ 6823/ 13051/ 12640/ 11634/ 9435/ 3488/ 13730/ 7406/ 1651/ 7220/ 10787/ 15293/ 19212/ 4166/ 16191/ 20499/ 15839/ 16900/ 6106/ 6716/ 17217/ 16232/ 9075/ 1470/ 18725/ 17127/ 11061/ 16081/ 15145/ 1158/ 5265/ 15193/ 4712/ 7981/ 10824/ 15243/ 13188/ 8610/ 8278/ 10887/ 2618/ 3146/ 17497/ 19938/ 20190/ 20171/ 10566/ 17802/ 13326/ 7657/ 3306/ 10752/ 18237/ 7588/ 12770/ 13863/ 3915/ 8344/ 6725/ 19776/ 749/ 16475/ 14737/ 9665/ 19062/ 13359/ 2639/ 1733/ 16172/ 19359/ 20576/ 18991/ 9791/ 10851/ 11176/ 7611/ 17338/ 18729/ 20455/ 18666/ 11141/ 9651/ 1845/ 11253/ 11843/ 8214/ 20626/ 19794/ 17334/ 10900/ 20204/ 18435/ 15716/ 1604/ 19893/ 11419/ 20291/ 8155/ 16616/ 16474/ 12637/ 14122/ 16516/ 8069/ 4114/ 17694/ 12258/ 19885/ 8699/ 20590/ 14933/ 13866/ 19374/ 11245/ 7189/ 15217/ 925/ 2150/ 9568/ 2867/ 4426/ 7789/ 17528/ 3871/ 8991/ 5972/ 18644/ 11111/ 17947/ 21193/ 11045/ 5157/ 5424/ 4380/ 19399/ 6696/ 11914/ 10148/ 5328/ 14604/ 8489/ 5985/ 9937/ 15598/ 10990/ 17633/ 1817/ 12545/ 10309/ 983/ 18655/ 13407/ 19240/ 17335/ 17353/ 2711/ 18833/ 251/ 10208/ 19714/ 523/ 20971/ 18601/ 7706/ 3603/ 2990/ 24/ 7629/ 14549/ 1828/ 2014/ 7665/ 8266/ 4538/ 212/ 9111/ 6586/ 2054/ 13438/ 18987/ 1091/ 9760/ 10323/ 5139/ 13711/ 16870/ 9000/ 768/ 4328/ 3607/ 18399/ 20492/ 12702/ 7937/ 14464/ 7574/ 15961/ 10161/ 20060/ 6302/ 17560/ 9990/ 20766/ 6110/ 1466/ 17081/ 3554/ 19627/ 7043/ 4789/ 16829/ 14697/ 3191/ 3050/ 2373/ 11650/ 4402/ 19231/ 18402/ 15377/ 16767/ 14870/ 766/ 19771/ 18645/ 10518/ 11447/ 13982/ 13419/ 6582/ 18965/ 9787/ 14110/ 12921/ 4254/ 7213/ 4783/ 14760/ 439/ 12256/ 354/ 19135/ 2692/ 11236/ 4064/ 5193/ 16349/ 13117/ 3720/ 19526/ 20346/ 9774/ 15876/ 11291/ 5482/ 17953/ 6449/ 13578/ 15883/ 11278/ 17745/ 4229/ 10369/ 4747/ 11459/ 16109/ 14795/ 11998/ 1756/ 15747/ 4542/ 12794/ 3034/ 14652/ 2043/ 3218/ 17326/ 13944/ 19978/ 17112/ 7849/ 4407/ 18056/ 16670/ 6599/ 13901/ 11875/ 8866/ 553/ 11651/ 19551/ 12659/ 9264/ 13779/ 11482/ 18917/ 19914/ 2919/ 12412/ 13234/ 3676/ 19622/ 3154/ 6317/ 15773/ 1863/ 8058/ 6633/ 3586/ 20523/ 4827/ 20164/ 9921/ 17160/ 10237/ 2521/ 6994/ 14647/ 19100/ 501/ 8659/ 13465/ 3192/ 5207/ 18955/ 5835/ 11626/ 14794/ 4478/ 9631/ 7032/ 12982/ 14290/ 13567/ 2277/ 14597/ 16376/ 18657/ 15824/ 20679/ 16211/ 15880/ 9302/ 1333/ 20807/ 4441/ 3863/ 12699/ 13013/ 16337/ 5953/ 17972/ 17520/ 19852/ 8773/ 16823/ 15294/ 16688/ 10401/ 3100/ 6416/ 17987/ 2695/ 13186/ 6689/ 16136/ 12466/ 13451/ 3314/ 18210/ 18785/ 20526/ 9861/ 5358/ 18738/ 7677/ 14099/ 18941/ 6556/ 9317/ 3208/ 16513/ 14452/ 17466/ 17097/ 13160/ 10506/ 260/ 9065/ 16869/ 807/ 13788/ 5228/ 13273/ 11057/ 365/ 12360/ 17894/ 8207/ 11076/ 12253/ 11722/ 4393/ 833/ 20129/ 14365/ 596/ 12378/ 9905/ 21105/ 5810/ 989/ 8597/ 2648/ 10975/ 16880/ 2581/ 13946/ 16857/ 4189/ 9299/ 773/ 120/ 19021/ 4677/ 7821/ 17371/ 15779/ 3612/ 11913/ 12066/ 6369/ 3743/ 17361/ 7302/ 11570/ 6044/ 2477/ 907/ 14845/ 4761/ 10507/ 17876/ 4044/ 8899/ 19140/ 6076/ 11433/ 5585/ 20763/ 13659/ 2157/ 14658/ 18502/ 11610/ 13264/ 3801/ 697/ 10329/ 5099/ 8401/ 3471/ 10558/ 17220/ 9502/ 10994/ 12224/ 8104/ 11160/ 1270/ 11628/ 19180/ 6056/ 2709/ 1052/ 7258/ 20810/ 18727/ 20736/ 19004/ 16032/ 17203/ 2387/ 226/ 3961/ 16302/ 2770/ 1538/ 13467/ 3741/ 12816/ 16523/ 4467/ 8941/ 18000/ 19433/ 13518/ 1919/ 11539/ 19956/ 12846/ 2959/ 5965/ 9009/ 5172/ 10027/ 4760/ 12241/ 16000/ 13904/ 18875/ 17920/ 5003/ 17272/ 20874/ 1624/ 8787/ 6569/ 8829/ 11657/ 1541/ 15324/ 2819/ 20692/ 4697/ 13535/ 717/ 16692/ 13890/ 18096/ 1711/ 14688/ 15041/ 19828/ 14903/ 1778/ 20313/ 16321/ 6752/ 5842/ 19605/ 16711/ 5861/ 11592/ 1130/ 19728/ 17095/ 19431/ 17998/ 15109/ 11778/ 18946/ 15016/ 16956/ 11838/ 9358/ 19570/ 14494/ 17413/ 20395/ 3939/ 17751/ 9878/ 11807/ 12440/ 9622/ 8234/ 9967/ 6059/ 9982/ 18345/ 9211/ 8570/ 9477/ 14448/ 6208/ 1930/ 4194/ 5271/ 18580/ 11302/ 6084/ 16014/ 5514/ 18231/ 15986/ 10592/ 13693/ 3289/ 8761/ 9258/ 7178/ 15379/ 17983/ 1451/ 1107/ 20873/ 6255/ 19088/ 4056/ 12233/ 1027/ 17180/ 3407/ 7767/ 3734/ 1927/ 10688/ 2854/ 14435/ 16084/ 10179/ 13177/ 9816/ 16989/ 4305/ 1352/ 13874/ 17831/ 10204/ 11551/ 10169/ 2881/ 12380/ 7601/ 4882/ 40/ 961/ 10168/ 1287/ 9308/ 9272/ 6629/ 13570/ 5841/ 11569/ 5778/ 11985/ 2514/ 7580/ 5246/ 16250/ 9393/ 477/ 11473/ 8844/ 13847/ 1506/ 308/ 17731/ 1641/ 10817/ 14827/ 2997/ 13173/ 13358/ 15490/ 3979/ 3948/ 17283/ 20704/ 1830/ 11740/ 179/ 3104/ 10822/ 5580/ 14296/ 5215/ 18223/ 20418/ 1568/ 20034/ 17118/ 8388/ 4405/ 8997/ 7214/ 17173/ 2456/ 10358/ 13165/ 6555/ 5374/ 18388/ 6596/ 9488/ 18930/ 9484/ 4354/ 2846/ 7734/ 8641/ 19783/ 10243/ 14905/ 3266/ 2776/ 3308/ 4068/ 16596/ 3117/ 14520/ 12735/ 9442/ 10952/ 12073/ 16208/ 4475/ 20536/ 1992/ test/ 20864/ 1226/ 14040/ 12916/ 8841/ 18985/ 14779/ 17689/ 17727/ 4291/ 10053/ 785/ 4519/ 20221/ 19253/ 402/ 9266/ 3679/ 10244/ 12664/ 5975/ 19164/ 18499/ 2368/ 21196/ 6412/ 12556/ 17464/ 14708/ 5119/ 11784/ 8211/ 16242/ 19220/ 17206/ 19533/ 19305/ 1765/ 9423/ 4347/ 2638/ 20749/ 7310/ 11073/ 1228/ 7033/ 19303/ 14308/ 19248/ 4443/ 19793/ 7094/ 13480/ 3534/ 8769/ 584/ 16708/ 11509/ 5623/ 6207/ 5889/ 11860/ 16725/ 11149/ 4126/ 18895/ 15224/ 16788/ 18010/ 16279/ 5812/ 1955/ 5725/ 11042/ 5258/ 4709/ 17329/ 18277/ 2429/ 7000/ 4897/ 4444/ 13960/ 13392/ 19206/ 5210/ 5018/ 17930/ 8454/ 1309/ 19080/ 17408/ 9942/ 15161/ 7829/ 517/ 18021/ 20762/ 14896/ 15701/ 12418/ 19877/ 2460/ 8252/ 519/ 9068/ 18412/ 16585/ 4355/ 5736/ 6469/ 5308/ 14145/ 536/ 11123/ 10555/ 878/ 4123/ 11995/ 6387/ 12298/ 9525/ 5697/ 13837/ 6215/ 4578/ 11988/ 13166/ 12016/ 6942/ 4832/ 5828/ 8889/ 12455/ 10246/ 13253/ 20889/ 7563/ 8847/ 13715/ 8408/ 3022/ 7121/ 20203/ 15627/ 20998/ 15684/ 3965/ 5146/ 1503/ 11060/ 19791/ 7483/ 4050/ 4139/ 7244/ 3185/ 4639/ 20003/ 18506/ 15280/ 17693/ 10519/ 8088/ 14888/ 14811/ 515/ 1395/ 10909/ 19401/ 21166/ 7367/ 14426/ 10344/ 10840/ 8070/ 4883/ 15444/ 3914/ 17339/ 7126/ 5311/ 7487/ 11177/ 16477/ 18627/ 6291/ 18682/ 3920/ 18048/ 13614/ 10407/ 10793/ 1043/ 6713/ 3873/ 6133/ 15606/ 10423/ 2286/ 12897/ 3205/ 6144/ 1247/ 670/ 2704/ 5830/ 9232/ 9489/ 10867/ 13348/ 15706/ 19520/ 7059/ 8732/ 3231/ 14356/ 14985/ 16356/ 17790/ 18173/ 2839/ 6786/ 7859/ 8049/ 14680/ 5806/ 2523/ 16883/ 14219/ 2481/ 18152/ 8300/ 19736/ 8957/ 4631/ 4512/ 17514/ 1874/ 2055/ 9561/ 10873/ 9332/ 2621/ 13197/ 8640/ 16067/ 13456/ 7514/ 12909/ 9095/ 8118/ 271/ 10324/ 5389/ 18420/ 3885/ 6442/ 4482/ 16459/ 6457/ 20256/ 20438/ 9071/ 10307/ 3428/ 12096/ 12845/ 14167/ 12056/ 14507/ 10286/ 6686/ 20979/ 13459/ 4153/ 20947/ 1752/ 13162/ 19545/ 6219/ 522/ 1857/ 8917/ 13507/ 3733/ 1714/ 13592/ 11120/ 8012/ 19955/ 17707/ 10706/ 9120/ 1816/ 6005/ 5208/ 10248/ 741/ 2845/ 12031/ 18069/ 2499/ 19984/ 18550/ 8294/ 6120/ 18576/ 1269/ 2626/ 16372/ 19494/ 3494/ 20666/ 1762/ 5025/ 4310/ 17672/ 14719/ 19310/ 16470/ 18483/ 10271/ 19117/ 6445/ 286/ 8692/ 17784/ 10256/ 8080/ 9010/ 15524/ 11643/ 10411/ 849/ 1224/ 15749/ 4500/ 13977/ 14644/ 13571/ 17070/ 6830/ 1569/ 11609/ 3964/ 6375/ 15487/ 3004/ 4562/ 9552/ 14857/ 10732/ 14098/ 14112/ 4217/ 8520/ 15158/ 3476/ 1515/ 20145/ 3968/ 184/ 5298/ 20883/ 6201/ 3745/ 6345/ 9345/ 3153/ 7548/ 8880/ 12269/ 11590/ 1696/ 8449/ 7023/ 12332/ 3913/ 14073/ 15810/ 17328/ 14881/ 10434/ 19296/ 14146/ 19292/ 14927/ 17713/ 8490/ 16469/ 1244/ 19133/ 3495/ 5836/ 15259/ 16118/ 2473/ 21191/ 17929/ 10569/ 8811/ 18586/ 8798/ 781/ 15960/ 18078/ 4594/ 16773/ 18421/ 10947/ 17565/ 15105/ 14086/ 6940/ 7533/ 7675/ 13078/ 18846/ 6323/ 21121/ 20926/ 15913/ 20842/ 15415/ 17668/ 11300/ 18889/ 3107/ 11922/ 301/ 21001/ 4094/ 9913/ 19558/ 16522/ 20922/ 8358/ 14165/ 2391/ 10708/ 541/ 4955/ 5925/ 2660/ 13319/ 7336/ 11342/ 7804/ 5801/ 12723/ 15981/ 16608/ 11605/ 17171/ 693/ 4231/ 2828/ 9275/ 3041/ 17390/ 9628/ 20219/ 10563/ 10523/ 9134/ 8332/ 12034/ 18722/ 9058/ 576/ 16536/ 18429/ 7348/ 19023/ 14156/ 5447/ 15541/ 3147/ 5795/ 13962/ 42/ 15359/ 20552/ 2712/ 18124/ 3815/ 8403/ 2677/ 140/ 5185/ 10556/ 9144/ 10671/ 18284/ 9915/ 16012/ 14096/ 4740/ 686/ 5816/ 11384/ 5421/ 19155/ 4465/ 6051/ 18814/ 8193/ 19659/ 7709/ 3544/ 161/ 11201/ 19535/ 198/ 20215/ 18167/ 12403/ 7140/ 17679/ 7005/ 5559/ 6541/ 19681/ 5770/ 9357/ 4205/ 18562/ 1232/ 9436/ 4288/ 2792/ 1974/ 2382/ 16868/ 6212/ 14814/ 10254/ 20779/ 9330/ 1392/ 19397/ 337/ 4833/ 15256/ 1301/ 10188/ 20471/ 1326/ 3654/ 15772/ 20747/ 7488/ 15216/ 20470/ 2552/ 6734/ 20788/ 14270/ 13886/ 17387/ 2210/ 4753/ 14106/ 11607/ 1203/ 3060/ 10919/ 6123/ 6257/ 11514/ 9872/ 16196/ 18387/ 3660/ 7625/ 10984/ 2783/ 6115/ 14132/ 7145/ 14785/ 11/ 16035/ 8134/ 19225/ 6880/ 17785/ 1879/ 4040/ 20734/ 841/ 8551/ 1389/ 13215/ 2796/ 3903/ 16049/ 605/ 20722/ 9242/ 18873/ 6338/ 5986/ 6112/ 8168/ 6091/ 6406/ 6502/ 12652/ 3144/ 19515/ 9814/ 13309/ 10391/ 4647/ 5476/ 18136/ 11738/ 18572/ 20268/ 19549/ 4193/ 7306/ 1914/ 15272/ 9676/ 15596/ 20347/ 5934/ 13741/ 14442/ 12641/ 20565/ 7047/ 16380/ 18344/ 12358/ 9294/ 10185/ 1719/ 17372/ 6626/ 8606/ 11745/ 5913/ 3255/ 4096/ 7115/ 5922/ 4782/ 12137/ 5507/ 16145/ 16546/ 11943/ 14484/ 6981/ 2259/ 13145/ 5774/ 20283/ 6588/ 12776/ 8980/ 1628/ 13574/ 11523/ 170/ 3934/ 16881/ 1926/ 645/ 3703/ 16680/ 9375/ 13016/ 2579/ 879/ 18064/ 11374/ 2870/ 3123/ 19496/ 324/ 85/ 11845/ 3233/ 14593/ 18184/ 18196/ 19676/ 4216/ 19227/ 14440/ 16601/ 6028/ 3972/ 8931/ 6916/ 7373/ 12083/ 8248/ 14048/ 5888/ 8876/ 7914/ 900/ 12176/ 1518/ 19118/ 5238/ 18258/ 16366/ 5625/ 234/ 15086/ 3877/ 14759/ 20970/ 11038/ 3498/ 12477/ 13953/ 16221/ 16629/ 9415/ 4340/ 17366/ 17936/ 20192/ 18336/ 13476/ 11917/ 14824/ 15813/ 95/ 19386/ 3518/ 3118/ 18632/ 11932/ 1672/ 9948/ 19625/ 13644/ 19934/ 19259/ 3292/ 3514/ 12284/ 20507/ 1304/ 11942/ 19232/ 92/ 10709/ 13858/ 5933/ 8852/ 13995/ 3193/ 62/ 2158/ 10330/ 10017/ 16106/ 15984/ 15458/ 9710/ 16169/ 13736/ 13489/ 20567/ 6517/ 8727/ 2413/ 17665/ 17601/ 17903/ 2624/ 20262/ 17609/ 18907/ 14648/ 19479/ 15429/ 13204/ 20245/ 2722/ 11333/ 16506/ 2795/ 17988/ 5180/ 11446/ 13497/ 4003/ 10015/ 17723/ 8905/ 2395/ 18045/ 16542/ 1396/ 15445/ 4072/ 9150/ 2566/ 19036/ 20051/ 2790/ 17912/ 9389/ 16593/ 4851/ 5400/ 13503/ 2737/ 16746/ 16879/ 11429/ 11768/ 6263/ 3093/ 754/ 15273/ 9809/ 18396/ 20916/ 18245/ 5698/ 13015/ 1281/ 20189/ 9670/ 4757/ 6739/ 3484/ 8018/ 3077/ 3604/ 9403/ 15662/ 4918/ 14462/ 20794/ 3379/ 3609/ 3988/ 293/ 10399/ 4657/ 7333/ 16141/ 10337/ 16751/ 16592/ 17103/ 16025/ 18707/ 6326/ 10700/ 19002/ 19908/ 16535/ 6223/ 6542/ 6539/ 17501/ 15815/ 5000/ 6023/ 13009/ 18687/ 15705/ 20334/ 16180/ 17992/ 2332/ 16126/ 13457/ 16665/ 13834/ 10550/ 18146/ 13394/ 17125/ 14897/ 1590/ 19819/ 3036/ 3681/ 691/ 2343/ 10130/ 12645/ 14626/ 17503/ 15857/ 17907/ 4924/ 18689/ 2789/ 121/ 5642/ 11675/ 14373/ 4168/ 13164/ 6052/ 8346/ 1936/ 20952/ 6096/ 16304/ 15534/ 18494/ 14547/ 18658/ 7621/ 2634/ 17979/ 8043/ 133/ 14627/ 3866/ 6967/ 12712/ 11656/ 509/ 11901/ 10132/ 20669/ 15486/ 2163/ 14387/ 9019/ 19602/ 9493/ 6558/ 9177/ 9089/ 12487/ 4420/ 8496/ 11552/ 2095/ 11083/ 16432/ 1640/ 9806/ 8221/ 11260/ 1135/ 3138/ 14482/ 6329/ 14505/ 14192/ 4834/ 828/ 86/ 9592/ 9388/ 11761/ 13268/ 827/ 16011/ 21087/ 406/ 14224/ 1222/ 12827/ 13868/ 20632/ 2165/ 2073/ 10750/ 10283/ 2878/ 1014/ 7908/ 19408/ 2877/ 3788/ 4214/ 387/ 2383/ 14407/ 11772/ 12143/ 13219/ 10159/ 4559/ 11975/ 2355/ 10761/ 8371/ 3327/ 17228/ 19546/ 17523/ 11344/ 10661/ 6467/ 2327/ 11532/ 5/ 6525/ 15488/ 8932/ 10941/ 11408/ 926/ 730/ 14175/ 19904/ 865/ 11606/ 14029/ 10090/ 8150/ 4164/ 16042/ 13202/ 8648/ 14072/ 19257/ 4187/ 7134/ 7597/ 8208/ 5474/ 12936/ 2771/ 12072/ 17400/ 19405/ 6635/ 87/ 13446/ 470/ 13500/ 19034/ 11434/ 11113/ 21053/ 945/ 18662/ 16744/ 14341/ 2886/ 7860/ 2186/ 18795/ 5316/ 4048/ 2921/ 15983/ 17085/ 1139/ 18105/ 13054/ 2971/ 10725/ 16027/ 17857/ 10279/ 6331/ 19759/ 20568/ 20161/ 12905/ 19782/ 4263/ 16501/ 10692/ 16338/ 11067/ 19798/ 10454/ 13696/ 9885/ 993/ 15044/ 15245/ 1702/ 20518/ 2152/ 7462/ 6391/ 7758/ 8368/ 6381/ 3481/ 6534/ 13552/ 12553/ 11022/ 5998/ 15024/ 3530/ 16720/ 1123/ 8862/ 2908/ 16723/ 15623/ 964/ 1586/ 19658/ 17222/ 3472/ 158/ 10616/ 20174/ 2502/ 11664/ 20475/ 13896/ 14117/ 6608/ 6574/ 13914/ 427/ 13603/ 4333/ 9626/ 10247/ 14620/ 13122/ 11897/ 19493/ 2731/ 21063/ 6886/ 7727/ 3219/ 6717/ 7534/ 18752/ 20600/ 14206/ 15187/ 20908/ 4351/ 20280/ 7531/ 14254/ 21137/ 3951/ 16379/ 667/ 3213/ 4385/ 9823/ 11246/ 4361/ 3336/ 20430/ 7270/ 3105/ 12033/ 2045/ 20399/ 3113/ 15602/ 12513/ 19112/ 3593/ 14489/ 10408/ 6728/ 15289/ 14826/ 5490/ 2993/ 10521/ 10960/ 4285/ 18885/ 4532/ 11695/ 3069/ 19122/ 7626/ 13093/ 16245/ 10883/ 15068/ 14348/ 20648/ 2005/ 3882/ 11453/ 288/ 13907/ 3354/ 8497/ 2830/ 10250/ 6001/ 21149/ 4828/ 13544/ 9344/ 2360/ 1009/ 7349/ 11320/ 16762/ 20527/ 9884/ 2098/ 2173/ 10240/ 15885/ 10071/ 11926/ 13114/ 17319/ 11818/ 10536/ 374/ 5696/ 14417/ 14406/ 23/ 11596/ 18609/ 15050/ 11930/ 5144/ 8394/ 2933/ 20407/ 18086/ 5694/ 13062/ 20241/ 21044/ 21048/ 3901/ 3115/ 10889/ 6129/ 5456/ 20381/ 6735/ 7403/ 7832/ 3377/ 15971/ 12753/ 12174/ 16731/ 16932/ 1221/ 21144/ 8510/ 18127/ 763/ 11583/ 6454/ 17324/ 338/ 13017/ 9285/ 5272/ 12167/ 363/ 2960/ 3751/ 10560/ 17780/ 9783/ 16595/ 305/ 19756/ 14861/ 12135/ 8542/ 19981/ 16243/ 16424/ 1412/ 9977/ 1760/ 2372/ 6020/ 4999/ 20062/ 9770/ 19187/ 16213/ 15175/ 5441/ 330/ 12446/ 4720/ 12608/ 5691/ 1526/ 15765/ 10356/ 12255/ 12357/ 3020/ 19678/ 20849/ 1551/ 4844/ 7130/ 15457/ 2400/ 6306/ 16127/ 11983/ 17045/ 1949/ 12961/ 18812/ 11116/ 20542/ 20887/ 3541/ 12799/ 4575/ 6576/ 7301/ 7546/ 5415/ 18294/ 9503/ 7785/ 6546/ 2147/ 4919/ 15956/ 17258/ 17543/ 15866/ 5890/ 19430/ 17098/ 788/ 12287/ 16219/ 17485/ 14957/ 9655/ 1049/ 15591/ 4817/ 843/ 20709/ 13949/ 11138/ 17039/ 12924/ 16319/ 7841/ 14605/ 14125/ 8959/ 16854/ 8571/ 9277/ 3567/ 2347/ 6738/ 13263/ 7917/ 7135/ 10962/ 10595/ 18560/ 7724/ 18716/ 12984/ 15305/ 7092/ 13072/ 17908/ 2756/ 5606/ 20592/ 149/ 16419/ 4287/ 4120/ 4708/ 11608/ 6955/ 15831/ 12105/ 17833/ 12557/ 5648/ 15027/ 15422/ 2936/ 16992/ 15080/ 10456/ 7726/ 17692/ 6815/ 19807/ 6152/ 13869/ 19075/ 6269/ 7038/ 9993/ 898/ 7512/ 1951/ 16115/ 17488/ 20176/ 10685/ 9834/ 19990/ 5335/ 4996/ 7216/ 5211/ 10762/ 3125/ 12117/ 4749/ 11559/ 8163/ 13878/ 9495/ 18787/ 3762/ 3439/ 7494/ 20647/ 18055/ 4009/ 21199/ 12506/ 13413/ 4150/ 4645/ 5886/ 14639/ 15799/ 13102/ 8296/ 3132/ 18675/ 2923/ 9668/ 8213/ 9750/ 9169/ 2129/ 4084/ 18095/ 1532/ 18328/ 13652/ 6578/ 2015/ 11421/ 12815/ 13491/ 6553/ 13687/ 8676/ 19260/ 4176/ 14971/ 10665/ 2401/ 16444/ 18973/ 7713/ 19525/ 7014/ 20208/ 9288/ 7707/ 15645/ 16410/ 9744/ 10839/ 20554/ 4248/ 1400/ 4246/ 12858/ 8259/ 1454/ 5522/ 4156/ 14342/ 16673/ 11758/ 19788/ 11733/ 11578/ 4865/ 9328/ 20677/ 1289/ 12965/ 19355/ 8456/ 20758/ 12397/ 14210/ 1002/ 7916/ 10945/ 16935/ 16010/ 11015/ 17078/ 11254/ 3089/ 886/ 17431/ 19043/ 8093/ 10513/ 21006/ 19899/ 16113/ 14818/ 19531/ 5090/ 16510/ 10614/ 19860/ 9003/ 15235/ 17537/ 15383/ 8269/ 18841/ 17493/ 6290/ 12675/ 603/ 8722/ 17845/ 2759/ 11180/ 1165/ 445/ 8014/ 8357/ 11199/ 16436/ 14245/ 15858/ 15787/ 9070/ 3434/ 15642/ 1779/ 12839/ 5573/ 6814/ 8720/ 20948/ 9233/ 18718/ 6964/ 15867/ 11227/ 5499/ 9067/ 21064/ 7465/ 11572/ 9898/ 10001/ 16505/ 1208/ 12535/ 20820/ 3505/ 11296/ 18994/ 3486/ 13667/ 16183/ 10046/ 19850/ 19334/ 4624/ 11955/ 11890/ 12841/ 20024/ 14840/ 17830/ 61/ 7428/ 5864/ 17918/ 1231/ 182/ 19470/ 17096/ 3197/ 17970/ 15374/ 14504/ 13247/ 6334/ 20337/ 14318/ 11928/ 282/ 78/ 7226/ 16223/ 4339/ 8090/ 19022/ 14958/ 12026/ 10738/ 21192/ 4203/ 13251/ 10056/ 2740/ 18503/ 13484/ 12611/ 12842/ 12139/ 2644/ 3583/ 18792/ 14533/ 1633/ 1050/ 11373/ 16606/ 15934/ 3629/ 14588/ 11757/ 8053/ 10545/ 19271/ 9262/ 46/ 12340/ 10554/ 10729/ 11948/ 9784/ 19239/ 15385/ 17667/ 8004/ 13463/ 19197/ 8460/ 6408/ 11252/ 6308/ 20634/ 13311/ 14162/ 12335/ 13199/ 6145/ 19477/ 18291/ 6304/ 2384/ 20187/ 18617/ 3656/ 8230/ 14438/ 5994/ 17438/ 4301/ 16045/ 11181/ 15569/ 12473/ 13285/ 10522/ 17829/ 2274/ 19042/ 20413/ 11599/ 3669/ 19287/ 6266/ 342/ 577/ 13746/ 12413/ 1251/ 7031/ 8965/ 19237/ 20173/ 12995/ 15902/ 627/ 6008/ 13058/ 10338/ 13125/ 18796/ 20703/ 13970/ 7653/ 1803/ 600/ 1950/ 4474/ 21070/ 17204/ 13695/ 5080/ 20120/ 7147/ 17254/ 15763/ 674/ 5748/ 7694/ 5995/ 5618/ 18779/ 15767/ 18133/ 20890/ 10955/ 17613/ 11613/ 2969/ 3823/ 8972/ 14492/ 4167/ 4145/ 18322/ 4124/ 14572/ 11145/ 13777/ 16599/ 2328/ 3752/ 6759/ 9984/ 14800/ 20132/ 11819/ 12938/ 19139/ 8174/ 3395/ 10649/ 14212/ 3692/ 9811/ 15241/ 5663/ 3109/ 14913/ 10094/ 18129/ 1253/ 332/ 14136/ 4836/ 12979/ 2741/ 15696/ 389/ 6376/ 13752/ 21133/ 5724/ 12983/ 3468/ 5667/ 2716/ 19375/ 4690/ 19161/ 14694/ 5991/ 11690/ 16733/ 1359/ 10997/ 19778/ 6987/ 20349/ 13732/ 10576/ 7057/ 10562/ 21041/ 4271/ 8212/ 5189/ 18077/ 11696/ 952/ 9846/ 8609/ 21090/ 9093/ 15229/ 3721/ 20584/ 11936/ 14831/ 13744/ 10141/ 19158/ 2983/ 16947/ 10971/ 6371/ 3217/ 13356/ 2978/ 3229/ 18822/ 20095/ 4281/ 2028/ 3284/ 17004/ 15111/ 6099/ 19367/ 16658/ 7495/ 15115/ 20116/ 209/ 4459/ 5511/ 7191/ 4604/ 17406/ 18149/ 15171/ 13605/ 7517/ 2574/ 12856/ 14428/ 11155/ 9223/ 3455/ 19879/ 15652/ 9249/ 7497/ 7055/ 12489/ 5223/ 13461/ 18202/ 19548/ 5674/ 13993/ 2148/ 10689/ 6825/ 10374/ 13811/ 7888/ 20984/ 16610/ 12577/ 180/ 15277/ 11546/ 3016/ 7844/ 14546/ 8715/ 15125/ 3156/ 21076/ 21136/ 13947/ 11399/ 1558/ 7805/ 156/ 20495/ 8709/ 18288/ 4554/ 15463/ 5049/ 6685/ 15279/ 16340/ 7457/ 5956/ 14349/ 3727/ 13845/ 18030/ 7933/ 19244/ 2604/ 640/ 6726/ 2595/ 4553/ 2007/ 18896/ 7209/ 20383/ 13781/ 18166/ 7083/ 11805/ 17846/ 2149/ 11593/ 13945/ 1382/ 5140/ 15516/ 1064/ 1582/ 3398/ 1431/ 5306/ 111/ 18446/ 2479/ 19726/ 14764/ 5203/ 5408/ 21200/ 9609/ 9855/ 5471/ 4537/ 5981/ 10463/ 20115/ 20040/ 13643/ 16699/ 1128/ 5052/ 9283/ 19912/ 9197/ 19731/ 880/ 9874/ 15632/ 4344/ 10500/ 10681/ 18349/ 14602/ 11293/ 8516/ 15290/ 10496/ 6557/ 2037/ 5032/ 1976/ 11921/ 4623/ 3921/ 15306/ 1979/ 12940/ 11502/ 17994/ 12673/ 6891/ 10335/ 9946/ 15528/ 1883/ 13443/ 10266/ 5013/ 15791/ 6902/ 14172/ 8502/ 269/ 16293/ 5352/ 9546/ 4394/ 10465/ 10128/ 17553/ 8721/ 12468/ 6372/ 3044/ 13271/ 752/ 17607/ 19134/ 10886/ 20075/ 20604/ 7395/ 12787/ 4317/ 13547/ 1387/ 1940/ 14937/ 19204/ 4583/ 20866/ 11992/ 16162/ 1041/ 3259/ 5611/ 14898/ 4914/ 12365/ 13815/ 14637/ 734/ 11799/ 16240/ 10099/ 12406/ 7768/ 10964/ 19928/ 4717/ 17617/ 10319/ 16339/ 10452/ 8587/ 17819/ 20368/ 19665/ 5044/ 2788/ 14539/ 17295/ 3436/ 2888/ 7405/ 1674/ 751/ 6400/ 632/ 7936/ 11285/ 11715/ 18131/ 5805/ 17398/ 14743/ 16811/ 5912/ 21189/ 918/ 1669/ 15923/ 2538/ 9038/ 1315/ 18937/ 1952/ 1029/ 8099/ 20506/ 15637/ 12008/ 366/ 20949/ 7587/ 14722/ 9096/ 19883/ 1477/ 1259/ 4809/ 19691/ 21019/ 12438/ 6899/ 2189/ 237/ 5548/ 15205/ 12116/ 11468/ 3418/ 4505/ 9923/ 15576/ 1774/ 7759/ 3523/ 4718/ 1916/ 4670/ 17508/ 5781/ 14563/ 3773/ 18311/ 18187/ 19476/ 17698/ 12054/ 10899/ 17052/ 6293/ 14787/ 6785/ 12861/ 14865/ 20924/ 12733/ 11241/ 8614/ 3339/ 10512/ 16456/ 20020/ 20950/ 5789/ 8554/ 1223/ 11283/ 13754/ 7432/ 12587/ 10894/ 5175/ 13424/ 2380/ 18454/ 17496/ 10791/ 16026/ 9361/ 3883/ 21140/ 19922/ 7927/ 6377/ 19882/ 9084/ 11734/ val/ 17896/ 20486/ 12929/ 8512/ 17322/ 4209/ 14085/ 12118/ 15030/ 20023/ 265/ 7/ 11297/ 21082/ 11660/ 1662/ 7876/ 18252/ 7952/ 8295/ 5818/ 13445/ 17685/ 1938/ 17536/ 11491/ 9158/ 11646/ 8984/ 7262/ 13935/ 19423/ 55/ 15420/ 4695/ 16324/ 17037/ 13959/ 12108/ 9997/ 18512/ 10843/ 19966/ 14339/ 9331/ 13748/ 18168/ 14640/ 12040/ 3232/ 3641/ 18594/ 18604/ 12388/ 15561/ 4119/ 2200/ 7839/ 18827/ 21023/ 2223/ 9741/ 1677/ 20424/ 4522/ 19148/ 5619/ 5076/ 309/ 1386/ 3290/ 19999/ 6824/ 9322/ 20064/ 2724/ 4811/ 4066/ 1373/ 9465/ 9408/ 19174/ 8314/ 7955/ 21040/ 6080/ 4400/ 7152/ 16972/ 18756/ 4813/ 12260/ 6946/ 21049/ 12951/ 1838/ 2669/ 20617/ 18113/ 9390/ 13276/ 11949/ 13521/ 10959/ 11391/ 4676/ 11927/ 12642/ 14936/ 13477/ 16981/ 11117/ 3816/ 15553/ 5509/ 3124/ 13870/ 1299/ 18995/ 13864/ 12889/ 19976/ 19003/ 9674/ 8946/ 17333/ 10458/ 5779/ 13778/ 16573/ 17657/ 5549/ 1875/ 8289/ 18428/ 16687/ 20954/ 13611/ 586/ 18182/ 6623/ 11980/ 10888/ 14209/ 14061/ 19949/ 744/ 18063/ 8098/ 16153/ 13274/ 15454/ 2945/ 20588/ 4841/ 1684/ 11012/ 19498/ 14636/ 14063/ 16889/ 13085/ 20871/ 4109/ 1602/ 9639/ 16453/ 9107/ 19051/ 10603/ 18282/ 18914/ 19183/ 12847/ 984/ 14612/ 8045/ 4011/ 13136/ 15622/ 20761/ 14410/ 3631/ 11435/ 5855/ 19941/ 1102/ 8780/ 15268/ 12193/ 13113/ 4030/ 17586/ 5873/ 9088/ 10078/ 18434/ 14847/ 16098/ 7172/ 7137/ 8006/ 885/ 15174/ 7396/ 6485/ 16313/ 4067/ 19732/ 7268/ 14366/ 1417/ 10826/ 839/ 11595/ 15178/ 2436/ 4842/ 1264/ 3137/ 60/ 6511/ 5750/ 10933/ 3023/ 4036/ 18769/ 15192/ 8830/ 20284/ 10290/ 790/ 5016/ 16789/ 9978/ 2754/ 11712/ 666/ 10213/ 17548/ 12763/ 14674/ 2290/ 14321/ 14672/ 18082/ 17626/ 5295/ 5445/ 21091/ 17297/ 13938/ 358/ 4435/ 1317/ 10082/ 5257/ 6947/ 14752/ 5746/ 101/ 17788/ 1397/ 18004/ 17216/ 20216/ 12189/ 7807/ 16455/ 14333/ 12811/ 20956/ 10735/ 20308/ 3199/ 7492/ 10807/ 17792/ 5350/ 19951/ 16644/ 20186/ 15721/ 11028/ 6544/ 16155/ 9449/ 4541/ 1544/ 4791/ 19506/ 9740/ 6431/ 14583/ 258/ 19847/ 3878/ 16/ 9910/ 11666/ 1284/ 2685/ 7645/ 11792/ 8918/ 422/ 19646/ 16131/ 2874/ 7155/ 13084/ 15102/ 8839/ 17293/ 8095/ 19076/ 17874/ 4905/ 20823/ 1100/ 8784/ 19365/ 9365/ 14960/ 20191/ 20391/ 4499/ 10695/ 18566/ 9426/ 8311/ 2589/ 19980/ 16189/ 15089/ 1805/ 11452/ 2543/ 13089/ 1159/ 19817/ 7294/ 11240/ 2109/ 1145/ 1705/ 7174/ 19028/ 4540/ 3287/ 15397/ 3729/ 17605/ 10806/ 14702/ 12076/ 941/ 12937/ 8927/ 17011/ 1418/ 17730/ 3372/ 10722/ 14045/ 5791/ 10234/ 8429/ 475/ 9042/ 8926/ 5250/ 20961/ 4018/ 11904/ 19056/ 5266/ 12197/ 7824/ 9964/ 6571/ 18556/ 17410/ 1679/ 1667/ 5101/ 11982/ 10571/ 7426/ 4843/ 16488/ 6335/ 10085/ 11025/ 9752/ 17669/ 10425/ 11760/ 9141/ 21061/ 2325/ 5376/ 16341/ 18376/ 19721/ 13722/ 10143/ 1639/ 924/ 13187/ 20360/ 12338/ 12500/ 14231/ 13169/ 20859/ 11101/ 19687/ 3581/ 2338/ 11070/ 8102/ 9327/ 7363/ 6268/ 1489/ 9409/ 17791/ 13212/ 8149/ 8529/ 7111/ 20835/ 8303/ 17021/ 14238/ 14049/ 6101/ 3010/ 13047/ 8246/ 16770/ 16094/ 16415/ 7559/ 15151/ 11031/ 2657/ 5727/ 13851/ 12362/ 5517/ 17301/ 4875/ 13229/ 20591/ 3909/ 20275/ 12583/ 18758/ 10194/ 12679/ 18174/ 17789/ 20969/ 5884/ 2823/ 10662/ 7765/ 6613/ 497/ 5005/ 10715/ 9914/ 10418/ 17945/ 12121/ 9076/ 18283/ 5705/ 15414/ 12519/ 17303/ 4514/ 16716/ 18216/ 6147/ 8329/ 7979/ 2340/ 10118/ 6280/ 14980/ 1688/ 15179/ 6593/ 9124/ 14009/ 2864/ 11508/ 18005/ 1990/ 18926/ 1525/ 7491/ 10567/ 5178/ 11684/ 15937/ 2238/ 20593/ 18623/ 4472/ 11898/ 16637/ 2524/ 7359/ 16192/ 15072/ 17345/ 6969/ 6409/ 20374/ 15416/ 13049/ 1394/ 10544/ 12326/ 12617/ 14959/ 1872/ 5630/ 16466/ 8794/ 7540/ 14461/ 16210/ 7022/ 14264/ 7600/ 20672/ 18290/ 20286/ 891/ 11284/ 12168/ 19977/ 8857/ 7355/ 8318/ 9807/ 20442/ 15078/ 6246/ 7865/ 690/ 8586/ 14379/ 6532/ 11414/ 19110/ 17089/ 7328/ 7562/ 5679/ 1177/ 16394/ 12109/ 4858/ 12520/ 14603/ 13562/ 11466/ 2793/ 17924/ 10184/ 20362/ 11403/ 17991/ 326/ 3198/ 14441/ 8275/ 4635/ 5107/ 10134/ 10444/ 13604/ 1512/ 10152/ 16428/ 606/ 11700/ 165/ 20030/ 10498/ 14984/ 6401/ 15603/ 19041/ 18298/ 17962/ 17544/ 2553/ 6719/ 5853/ 1361/ 9543/ 10316/ 979/ 10833/ 7296/ 1644/ 8016/ 13770/ 10717/ 2534/ 2727/ 11035/ 9776/ 20199/ 16498/ 12732/ 9853/ 18208/ 20644/ 14261/ 8109/ 2602/ 2256/ 2272/ 16999/ 299/ 10376/ 3053/ 14682/ 6597/ 9524/ 420/ 16150/ 20014/ 19704/ 20096/ 3444/ 5768/ 15592/ 3361/ 12522/ 357/ 11402/ 13149/ 12383/ 11521/ 7939/ 361/ 13942/ 13189/ 20572/ 11747/ 13144/ 18271/ 994/ 20847/ 15285/ 8013/ 15963/ 4966/ 20650/ 15344/ 11265/ 16188/ 6896/ 5647/ 8431/ 13108/ 2060/ 14821/ 1827/ 20881/ 10147/ 9838/ 17709/ 8739/ 3001/ 2315/ 7845/ 7050/ 7636/ 6483/ 10809/ 19660/ 6050/ 16007/ 5921/ 17023/ 2276/ 7538/ 18033/ 9755/ 10404/ 12445/ 1040/ 8728/ 2096/ 12544/ 20752/ 6073/ 15873/ 1036/ 3962/ 18732/ 6632/ 10930/ 12296/ 19919/ 18058/ 17624/ 5852/ 11406/ 11009/ 2565/ 13333/ 106/ 5085/ 2868/ 11358/ 7919/ 1587/ 13919/ 15733/ 19754/ 9406/ 7282/ 16212/ 14600/ 9456/ 5706/ 18201/ 19653/ 6918/ 1266/ 4599/ 18888/ 1404/ 18702/ 8027/ 15346/ 19968/ 8996/ 19471/ 13379/ 20720/ 16589/ 12903/ 6480/ 257/ 8182/ 19960/ 18904/ 10691/ 4158/ 11839/ 12138/ 13841/ 17855/ 10863/ 18447/ 529/ 15751/ 4790/ 859/ 16120/ 1783/ 7960/ 6788/ 7941/ 4141/ 12006/ 11636/ 17033/ 19304/ 580/ 10339/ 3527/ 12161/ 15970/ 19340/ 36/ 3420/ 7242/ 18834/ 5495/ 2031/ 664/ 19413/ 10638/ 19518/ 6064/ 5701/ 7868/ 4517/ 9342/ 761/ 15543/ 16174/ 13452/ 7046/ 19543/ 14225/ 7650/ 15197/ 10360/ 16553/ 14938/ 5862/ 19024/ 3693/ 19201/ 15295/ 6772/ 20689/ 776/ 263/ 12888/ 2734/ 160/ 3162/ 8576/ 16128/ 14851/ 4550/ 1844/ 21100/ 20376/ 8513/ 17461/ 3082/ 4793/ 1935/ 3908/ 19722/ 13898/ 14948/ 9586/ 3522/ 6771/ 8110/ 17659/ 2282/ 3651/ 5411/ 11052/ 12854/ 863/ 19763/ 16769/ 15371/ 16960/ 16624/ 2665/ 9292/ 17722/ 12915/ 8960/ 13317/ 13479/ 2592/ 1681/ 7800/ 4777/ 19181/ 6010/ 2275/ 2749/ 7962/ 3560/ 8649/ 8956/ 12959/ 2393/ 21099/ 6855/ 7760/ 13468/ 14062/ 11167/ 11716/ 18081/ 8231/ 1182/ 20206/ 10368/ 13414/ 6311/ 15998/ 15113/ 16457/ 12486/ 20731/ 2493/ 9571/ 77/ 7723/ 1033/ 8097/ 262/ 13282/ 6298/ 2427/ 698/ 20737/ 6170/ 12812/ 10373/ 9945/ 21021/ 13613/ 16013/ 780/ 8612/ 17074/ 14925/ 9769/ 6033/ 16813/ 241/ 12745/ 591/ 15141/ 8940/ 10092/ 7799/ 2766/ 6742/ 11750/ 18367/ 13992/ 15237/ 12132/ 18820/ 15629/ 20739/ 15918/ 14415/ 3658/ 20756/ 6654/ 3359/ 3018/ 6048/ 19552/ 20167/ 20601/ 13716/ 19053/ 3390/ 5964/ 7684/ 9951/ 2916/ 7843/ 4738/ 16076/ 8323/ 16864/ 13701/ 7794/ 15207/ 10198/ 2459/ 9534/ 13286/ 4442/ 12910/ 21103/ 14955/ 21080/ 19661/ 711/ 4693/ 4887/ 17666/ 737/ 2646/ 17574/ 13042/ 7237/ 17043/ 10079/ 17670/ 20547/ 20358/ 3553/ 2824/ 9715/ 15869/ 4769/ 19108/ 1543/ 9617/ 17368/ 19953/ 3424/ 17853/ 2070/ 3922/ 20705/ 10038/ 18798/ 3591/ 17690/ 3761/ 662/ 15526/ 4592/ 14381/ 16363/ 20610/ 17710/ 17859/ 9696/ 2975/ 12518/ 9708/ 19266/ 13803/ 6721/ 1325/ 17865/ 19890/ 18234/ 4781/ 15148/ 2659/ 14083/ 8284/ 15244/ 11107/ 5344/ 12900/ 12601/ 17071/ 13375/ 14313/ 12898/ 1585/ 12479/ 5508/ 14744/ 571/ 9333/ 18851/ 14065/ 2475/ 19575/ 16550/ 14157/ 12265/ 20596/ 12853/ 6135/ 15954/ 14217/ 18038/ 2708/ 12691/ 2537/ 11387/ 10986/ 17452/ 10891/ 10182/ 6213/ 9820/ 5735/ 16079/ 11066/ 10559/ 15310/ 12820/ 14380/ 3176/ 11558/ 2183/ 150/ 4794/ 5136/ 11681/ 1230/ 2437/ 3517/ 13265/ 1408/ 16207/ 12688/ 15655/ 19921/ 6403/ 10910/ 2176/ 6583/ 1307/ 11882/ 14991/ 20111/ 13689/ 2136/ 6444/ 16948/ 19380/ 5686/ 13955/ 20614/ 12621/ 16258/ 4051/ 8316/ 19037/ 13220/ 16819/ 12631/ 10903/ 6419/ 18462/ 19901/ 16847/ 13827/ 15019/ 3294/ 9359/ 13707/ 6228/ 82/ 7953/ 7234/ 12122/ 16721/ 10912/ 6430/ 16605/ 9496/ 4418/ 10116/ 6813/ 19803/ 4982/ 8914/ 927/ 1215/ 11274/ 917/ 15650/ 3462/ 13933/ 12310/ 13270/ 16036/ 323/ 11463/ 16753/ 6088/ 12721/ 5206/ 12772/ 3812/ 7605/ 6366/ 10026/ 273/ 570/ 10897/ 5353/ 15191/ 7899/ 18369/ 18164/ 17880/ 1678/ 17421/ 9296/ 4687/ 9930/ 1716/ 5624/ 8084/ 11091/ 5068/ 12773/ 3410/ 6251/ 5756/ 13331/ 6676/ 20279/ 12313/ 9819/ 3712/ 12742/ 7158/ 14791/ 995/ 6621/ 12697/ 20371/ 17058/ 16575/ 19856/ 19407/ 5108/ 14848/ 10596/ 1330/ 15455/ 3796/ 14842/ 12205/ 1302/ 6336/ 14691/ 9577/ 17966/ 11382/ 779/ 3625/ 12860/ 20879/ 9417/ 20025/ 13061/ 1789/ 16435/ 8361/ 1457/ 13951/ 11147/ 12039/ 19962/ 4807/ 2071/ 13808/ 20645/ 13848/ 6871/ 1881/ 14282/ 3282/ 4085/ 16468/ 17712/ 18485/ 12863/ 9730/ 5848/ 12276/ 813/ 3005/ 7101/ 13426/ 15865/ 6641/ 16085/ 17336/ 1490/ 17453/ 3207/ 1991/ 20661/ 11616/ 3489/ 20577/ 4450/ 17470/ 20055/ 10255/ 9110/ 6440/ 9271/ 16774/ 6359/ 9856/ 20801/ 19481/ 2407/ 11166/ 7230/ 17743/ 9015/ 9745/ 14632/ 10466/ 16652/ 2083/ 14922/ 9181/ 9863/ 19939/ 4580/ 704/ 13335/ 1759/ 5435/ 13909/ 10520/ 15518/ 1523/ 20302/ 2458/ 14260/ 13121/ 2193/ 8061/ 7375/ 10441/ 8042/ 19994/ 1911/ 11431/ 9925/ 12685/ 10422/ 11847/ 17807/ 1365/ 9991/ 8973/ 19954/ 4421/ 958/ 17662/ 16044/ 3186/ 16472/ 16287/ 17917/ 8596/ 9919/ 8871/ 11488/ 5368/ 21114/ 19081/ 3927/ 13454/ 5883/ 14285/ 3953/ 14733/ 17346/ 4549/ 10511/ 19873/ 20210/ 2761/ 21168/ 1498/ 18363/ 11642/ 5602/ 2821/ 656/ 19902/ 17492/ 6612/ 3561/ 13155/ 10014/ 1925/ 7728/ 13396/ 4509/ 12022/ 1866/ 2381/ 4256/ 3029/ 18443/ 1124/ 8309/ 992/ 15688/ 4236/ 919/ 14455/ 1997/ 9911/ 16247/ 2673/ 7971/ 19059/ 10007/ 18974/ 7149/ 590/ 13404/ 7662/ 19675/ 7697/ 317/ 3380/ 20612/ 4799/ 5094/ 8103/ 2611/ 7162/ 11638/ 13225/ 9989/ 13339/ 6111/ 19495/ 2587/ 15997/ 17221/ 13079/ 5579/ 5296/ 20725/ 2910/ 19172/ 13692/ 3417/ 17073/ 16524/ 19839/ 16875/ 15460/ 10383/ 17927/ 15559/ 17382/ 11720/ 7811/ 11538/ 16358/ 4137/ 5572/ 7397/ 20250/ 1196/ 19452/ 15584/ 20597/ 15468/ 18384/ 12153/ 9195/ 13862/ 2642/ 20274/ 13588/ 4585/ 17898/ 1353/ 716/ 2402/ 1152/ 11708/ 2061/ 7076/ 1850/ 14615/ 2622/ 16551/ 2861/ 19752/ 20038/ 20434/ 9291/ 4469/ 7961/ 15184/ 11334/ 14046/ 610/ 467/ 3164/ 15118/ 2838/ 8522/ 340/ 4107/ 17821/ 2185/ 2918/ 5532/ 13905/ 16901/ 2074/ 17766/ 10077/ 16228/ 18347/ 5550/ 15373/ 10135/ 11889/ 9346/ 15653/ 12730/ 16694/ 16307/ 11401/ 1280/ 9238/ 1968/ 1013/ 13835/ 18755/ 18643/ 8369/ 7745/ 18534/ 19372/ 28/ 16397/ 17526/ 14837/ 1770/ 19816/ 14259/ 11902/ 20259/ 1574/ 1216/ 11803/ 20655/ 3475/ 421/ 9782/ 17455/ 16835/ 9273/ 13561/ 17552/ 20599/ 17495/ 10958/ 11413/ 8731/ 18855/ 14367/ 7011/ 3483/ 2162/ 2461/ 1283/ 6765/ 17997/ 8219/ 148/ 16663/ 5523/ 12705/ 18228/ 10659/ 8159/ 10497/ 2312/ 1077/ 11129/ 1487/ 10733/ 16353/ 14052/ 14497/ 10157/ 2684/ 829/ 1136/ 8480/ 3228/ 15448/ 4369/ 18940/ 9711/ 8615/ 16800/ 19975/ 9487/ 5235/ 20671/ 17210/ 14350/ 2175/ 9553/ 2376/ 11479/ 20464/ 11973/ 10956/ 3584/ 14451/ 9965/ 11432/ 14127/ 11462/ 5089/ 8907/ 17913/ 19598/ 18046/ 19815/ 4536/ 19750/ 14243/ 6077/ 19871/ 8488/ 5196/ 16627/ 4728/ 5007/ 8832/ 12752/ 7019/ 12762/ 4103/ 6486/ 7071/ 7628/ 4983/ 3662/ 18034/ 15816/ 18866/ 15430/ 1957/ 426/ 16408/ 17989/ 9771/ 12152/ 14363/ 13836/ 4200/ 8591/ 5357/ 3265/ 687/ 16734/ 11873/ 1969/ 14703/ 9972/ 8734/ 20074/ 17938/ 13940/ 18065/ 5785/ 19657/ 3697/ 1999/ 11376/ 10333/ 2019/ 18331/ 13415/ 1664/ 9983/ 6343/ 1057/ 2270/ 19835/ 15051/ 9679/ 8624/ 124/ 5916/ 19048/ 940/ 20817/ 7718/ 6791/ 8680/ 9379/ 17068/ 20105/ 5492/ 10594/ 14917/ 14128/ 5340/ 11128/ 13183/ 19958/ 2187/ 8724/ 4547/ 10780/ 10260/ 81/ 2199/ 15851/ 4545/ 19285/ 11423/ 12175/ 16921/ 7516/ 5187/ 17252/ 12952/ 12578/ 13936/ 10055/ 19322/ 4038/ 10871/ 20484/ 1876/ 3628/ 15092/ 9309/ 626/ 4552/ 1149/ 15432/ 11026/ 3666/ 15777/ 3818/ 7803/ 13569/ 2115/ 3757/ 18200/ 8776/ 7171/ 7481/ 6627/ 12525/ 1219/ 16514/ 3695/ 19332/ 19983/ 2897/ 14097/ 12063/ 18748/ 11295/ 418/ 7742/ 19805/ 399/ 20478/ 3033/ 16515/ 5538/ 9685/ 12906/ 5315/ 14732/ 8582/ 13681/ 18186/ 13341/ 12850/ 4105/ 13920/ 13797/ 4268/ 19468/ 4766/ 5819/ 72/ 9981/ 10848/ 7411/ 5001/ 8439/ 13427/ 2550/ 17681/ 14660/ 4290/ 20792/ 5360/ 7346/ 20411/ 17614/ 12866/ 19970/ 11774/ 16645/ 1880/ 1728/ 20658/ 9716/ 11506/ 4212/ 11078/ 12315/ 3364/ 12349/ 19503/ 16938/ 12384/ 20832/ 3987/ 13342/ 9201/ 17197/ 20663/ 1010/ 11190/ 18180/ 9462/ 17174/ 7942/ 4192/ 11808/ 1277/ 1906/ 3588/ 2209/ 15641/ 20793/ 9338/ 6966/ 13616/ 15977/ 1975/ 5079/ 6272/ 7801/ 15401/ 3667/ 206/ 15338/ 12546/ 3356/ 5765/ 12424/ 759/ 10459/ 2326/ 18500/ 14569/ 7630/ 6887/ 12891/ 8414/ 5520/ 18863/ 1191/ 16369/ 1956/ 8707/ 19742/ 12534/ 11587/ 5565/ 20863/ 4457/ 10382/ 19282/ 11268/ 15090/ 5247/ 12369/ 9658/ 1870/ 8532/ 16359/ 9956/ 18842/ 4884/ 17620/ 13619/ 9680/ 10893/ 6518/ 16187/ 20451/ 6866/ 19013/ 4292/ 18893/ 12838/ 6714/ 1638/ 5132/ 4198/ 4143/ 14109/ 4304/ 1342/ 17490/ 9148/ 13676/ 6490/ 17195/ 13694/ 17805/ 20919/ 6640/ 17402/ 11170/ 5601/ 14517/ 6979/ 12595/ 14619/ 5949/ 7338/ 12277/ 6108/ 6194/ 11314/ 20830/ 8575/ 13361/ 7858/ 3366/ 9545/ 20251/ 2985/ 10599/ 1575/ 18961/ 20580/ 19906/ 17975/ 8434/ 13453/ 15392/ 6781/ 15419/ 5600/ 11673/ 16656/ 6523/ 4356/ 19238/ 16479/ 6305/ 8379/ 9159/ 12439/ 7641/ 5605/ 2517/ 1692/ 11547/ 12356/ 16464/ 4539/ 8983/ 4913/ 1071/ 7443/ 20861/ 11848/ 8499/ 19560/ 3975/ 19588/ 12239/ 8988/ 7739/ 16023/ 15742/ 5604/ 1332/ 14528/ 7343/ 16532/ 14228/ 7639/ 2415/ 10856/ 20693/ 2941/ 19945/ 11533/ 5088/ 15586/ 12194/ 10834/ 12599/ 7217/ 10326/ 20028/ 5652/ 20229/ 3782/ 7543/ 12341/ 2320/ 16082/ 20741/ 4184/ 14510/ 19674/ 14027/ 16988/ 13699/ 5935/ 15583/ 7603/ 15647/ 8635/ 2184/ 13708/ 3453/ 2934/ 18513/ 7442/ 416/ 12871/ 18721/ 2606/ 8799/ 4612/ 278/ 17868/ 12229/ 8378/ 3098/ 14730/ 3425/ 9209/ 5384/ 17777/ 8767/ 10059/ 13850/ 17554/ 1812/ 12665/ 5289/ 12602/ 1274/ 14940/ 8328/ 15124/ 1356/ 17451/ 16531/ 8112/ 17105/ 2672/ 19744/ 17028/ 12536/ 16783/ 12032/ 20639/ 17890/ 1265/ 19450/ 9122/ 14111/ 17584/ 14395/ 16679/ 3172/ 8654/ 18379/ 1381/ 10455/ 12480/ 19356/ 4283/ 9178/ 6113/ 16345/ 18635/ 5544/ 10718/ 20738/ 16267/ 8404/ 8009/ 4047/ 13515/ 15247/ 19038/ 4932/ 3112/ 5406/ 12541/ 15770/ 8688/ 18360/ 4201/ 376/ 8511/ 4892/ 16681/ 9335/ 896/ 19854/ 19808/ 3499/ 12488/ 547/ 9699/ 5586/ 13622/ 14078/ 2203/ 745/ 20723/ 15315/ 8663/ 16617/ 20846/ 10811/ 13217/ 560/ 7392/ 8131/ 12408/ 9121/ 1162/ 9182/ 1327/ 2655/ 15405/ 6488/ 1801/ 6011/ 10284/ 2489/ 2399/ 17360/ 15996/ 18629/ 12420/ 11627/ 8601/ 17587/ 1308/ 6288/ 9507/ 9793/ 920/ 1241/ 725/ 815/ 15204/ 2465/ 809/ 1414/ 7570/ 12681/ 8558/ 13661/ 15703/ 13740/ 7712/ 18075/ 15328/ 17192/ 7461/ 12422/ 17564/ 16765/ 867/ 17292/ 14216/ 10944/ 2191/ 14963/ 20570/ 18489/ 10904/ 19693/ 20489/ 2991/ 3890/ 8051/ 19346/ 19694/ 1807/ 8365/ 19931/ 9097/ 8306/ 5982/ 11884/ 20571/ 4016/ 1256/ 15551/ 19870/ 3652/ 10145/ 15992/ 449/ 12361/ 2508/ 7704/ 4219/ 20069/ 12181/ 11080/ 14987/ 16700/ 17674/ 1855/ 11409/ 11428/ 9215/ 10372/ 3251/ 11364/ 3293/ 13/ 12009/ 20310/ 1213/ 5106/ 19915/ 11789/ 12252/ 15459/ 921/ 4511/ 7024/ 18037/ 17765/ 21183/ 1534/ 9241/ 7180/ 5114/ 8501/ 384/ 1616/ 598/ 7105/ 7930/ 8981/ 11618/ 2774/ 394/ 8073/ 17257/ 4454/ 14668/ 4480/ 12628/ 16582/ 13702/ 505/ 5646/ 9234/ 12669/ 1441/ 17308/ 9037/ 14393/ 9532/ 14032/ 12775/ 8922/ 17080/ 2540/ 20595/ 17729/ 45/ 14302/ 4516/ 249/ 3108/ 18315/ 6249/ 16357/ answers/ llava-v1.5-13b_result_coco_gen_558k_ft.json llava-v1.5-13b.jsonl llava-v1.5-13b_result_select_gen_200k.json llava-v1.5-13b_coco_gen_558k.jsonl llava-v1.5-13b_llava_gen_558k.jsonl llava-v1.5-13b_select_gen_200k.jsonl llava-v1.5-13b_result_coco_gen_200k_ft_200k.json llava-v1.5-13b_output_select_gen_200k_ft.jsonl llava-v1.5-13b_output_llava_gen_558k.jsonl llava-v1.5-13b_llava_558k.jsonl llava-v1.5-13b_select_raw_100k_ft.jsonl llava-v1.5-13b_result_llava_raw_coco_gen.json llava-v1.5-13b_coco_gen.jsonl llava-v1.5-13b_select_gen_100k_ft.jsonl llava-v1.5-13b_output_llava_gen_200k_ft_865k.jsonl llava-v1.5-13b_output_pure_gen_558k_ft.jsonl llava-v1.5-13b_llava_gen_200k_ft_200k.jsonl llava-v1.5-13b_pure_gen_558k_ft.jsonl llava-v1.5-13b_output_llava_gen_200k_ft_200k.jsonl llava-v1.5-13b_coco_gen_558k_ft_200k.jsonl llava-v1.5-13b_llava_gen_200k.jsonl llava-v1.5-13b_output_llava_coco_raw.jsonl llava-v1.5-13b_result_mixed_200k_ft.json llava-v1.5-13b_result_select_raw_200k.json llava-v1.5-13b_result_coco_raw.json llava-v1.5-13b_output_mixed_200k.jsonl llava-v1.5-13b_result_select_raw_100k.json llava-v1.5-13b_output_llava_gen_200k.jsonl llava-v1.5-13b_result_pure_gen_200k_ft.json llava-v1.5-13b_result_coco_gen_558k.json llava-v1.5-13b_output_coco_raw.jsonl llava-v1.5-13b_output_llava_coco_raw_758k_ft.jsonl llava-v1.5-13b_result_coco_gen_200k.json llava-v1.5-13b_result_coco_gen_558k_ft_200k.json llava-v1.5-13b_coco_gen_llava_raw.jsonl llava-v1.5-13b_llava_coco_raw.jsonl llava-v1.5-13b_output_random_ft.jsonl llava-v1.5-7b_select_gen_100k.jsonl llava-v1.5-13b_coco_gen_200k_ft_865k.jsonl llava-v1.5-13b_coco_gen_200k_ft.jsonl llava-v1.5-13b_select_gen_50k.jsonl llava-v1.5-13b_output_llava_raw_558k_ft.jsonl llava-v1.5-13b_output_coco_raw_558k.jsonl llava-v1.5-13b_output_select_gen_100k_ft.jsonl llava-v1.5-13b_result_llava_558k.json llava-v1.5-13b_pure_gen_200k_ft.jsonl llava-v1.5-13b_result_select_gen_50k.json llava-v1.5-13b_output_coco_raw_200k_ft.jsonl llava-v1.5-13b_result_llava_gen_200k.json llava-v1.5-13b_output_llava_gen_200k_ft.jsonl llava-v1.5-7b_llava_gen_200k.jsonl llava-v1.5-13b_coco_raw_200k_ft_200k.jsonl llava-v1.5-7b_output_select_raw_100k.jsonl llava-v1.5-13b_llava_coco_gen_758k_ft.jsonl llava-v1.5-13b_result_llava_gen_200k_ft_200k.json llava-v1.5-13b_result_coco_gen.json llava-v1.5-13b_output_pure_gen_200k_ft.jsonl llava-v1.5-13b_output_select_gen_200k.jsonl llava-v1.5-13b_result_select_raw_100k_ft.json llava-v1.5-7b_output_llava_raw_558k.jsonl llava-v1.5-13b_output_coco_gen_558k.jsonl llava-v1.5-13b_result_llava_coco_gen_758k_ft_200k.json llava-v1.5-13b_output_select_gen_100k.jsonl llava-v1.5-13b_result_coco_gen_llava_raw.json llava-v1.5-13b_random_ft.jsonl llava-v1.5-13b_llava_coco_raw_758k_ft_200k.jsonl llava-v1.5-7b_output_select_gen_100k.jsonl llava-v1.5-13b_select_raw_200k_ft.jsonl llava-v1.5-13b_output_select_raw_200k.jsonl llava-v1.5-13b_output_pure_gen_558k.jsonl llava-v1.5-7b_result_select_raw_100k.json llava-v1.5-13b_result_llava_coco_gen_758k_ft.json llava-v1.5-13b_output_llava_coco_gen_758k_ft_200k.jsonl llava-v1.5-13b_result_llava_raw_558k_ft_200k.json llava-v1.5-13b_llava_coco_gen_758k_ft_200k.jsonl llava-v1.5-13b_llava_gen_200k_ft.jsonl llava-v1.5-13b_coco_raw.jsonl llava-v1.5-13b_result_coco_raw_558k_ft.json llava-v1.5-13b_output_select_raw_200k_ft.jsonl llava-v1.5-13b_output_coco_gen_200k_ft.jsonl llava-v1.5-13b_result.json llava-v1.5-13b_result_coco_gen_200k_ft.json llava-v1.5-13b_coco_raw_558k_ft.jsonl llava-v1.5-13b_output_select_gen_50k.jsonl llava-v1.5-13b_result_coco_raw_200k_ft.json llava-v1.5-13b_mixed_200k_ft.jsonl llava-v1.5-13b_result_llava_coco_raw_758k_ft.json llava-v1.5-13b_select_raw_200k.jsonl llava-v1.5-13b_output_coco_raw_200k_ft_200k.jsonl llava-v1.5-13b_llava_gen_200k_ft_865k.jsonl llava-v1.5-13b_result_select_gen_100k_ft.json llava-v1.5-13b_result_pure_gen_558k.json llava-v1.5-13b_output_pure_gen_200k.jsonl llava-v1.5-13b_select_raw_100k.jsonl llava-v1.5-13b_pure_gen_200k.jsonl llava-v1.5-13b_result_llava_coco_raw.json llava-v1.5-13b_output_llava_200k.jsonl llava-v1.5-13b_coco_gen_558k_ft.jsonl llava-v1.5-13b_coco_gen_336px.jsonl llava-v1.5-13b_select_gen_200k_ft.jsonl llava-v1.5-13b_coco_raw_200k_ft.jsonl llava-v1.5-13b_result_llava_gen_558k.json llava-v1.5-13b_result_llava_coco_raw_758k_ft_200k.json llava-v1.5-13b_result_coco_gen_200k_ft_865k.json llava-v1.5-13b_coco_gen_200k_ft_200k.jsonl llava-v1.5-13b_output_coco_gen_200k_ft_200k.jsonl llava-v1.5-13b_result_coco_raw_200k_ft_200k.json llava-v1.5-13b_llava_raw_558k_ft.jsonl llava-v1.5-13b_output_llava_raw_coco_gen.jsonl llava-v1.5-7b_output_sharegpt4v_100k.jsonl llava-v1.5-13b_output.jsonl llava-v1.5-13b_result_llava_gen_200k_ft.json llava-v1.5-13b_output_mixed_200k_ft.jsonl llava-v1.5-7b_result_sharegpt4v_100k.json llava-v1.5-13b_llava_raw_558k_ft_200k.jsonl llava-v1.5-13b_coco_raw_558k.jsonl llava-v1.5-13b_output_select_raw_100k_ft.jsonl llava-v1.5-13b_mixed_200k.jsonl llava-v1.5-13b_result_pure_gen_558k_ft.json llava-v1.5-13b_result_coco_raw_558k_ft_200k.json llava-v1.5-13b_result_select_gen_200k_ft.json llava-v1.5-13b_result_llava_gen_200k_ft_865k.json llava-v1.5-13b_result_select_gen_100k.json llava-v1.5-13b_output_coco_gen.jsonl llava-v1.5-13b_select_gen_100k.jsonl llava-v1.5-13b_result_coco_raw_558k.json llava-v1.5-13b_output_coco_raw_558k_ft_200k.jsonl llava-v1.5-7b_sharegpt4v_100k.jsonl llava-v1.5-13b_output_coco_gen_558k_ft.jsonl llava-v1.5-13b_pure_gen_558k.jsonl llava-v1.5-13b_coco_gen_200k.jsonl llava-v1.5-13b_output_coco_raw_558k_ft.jsonl llava-v1.5-13b_result_random_ft.json llava-v1.5-13b_output_select_raw_100k.jsonl llava-v1.5-13b_coco_raw_558k_ft_200k.jsonl llava-v1.5-13b_result_llava_200k.json llava-v1.5-13b_llava_coco_raw_758k_ft.jsonl llava-v1.5-7b_llava_raw_558k.jsonl llava-v1.5-13b_output_llava_coco_gen_758k_ft.jsonl llava-v1.5-13b_output_select_mscoco_200k.jsonl llava-v1.5-13b_llava_raw_coco_gen.jsonl llava-v1.5-13b_output_llava_coco_raw_758k_ft_200k.jsonl llava-v1.5-13b_result_llava_raw_558k_ft.json llava-v1.5-13b_output_coco_gen_llava_raw.jsonl llava-v1.5-13b_result_coco_gen_336px.json llava-v1.5-13b_output_coco_gen_336px.jsonl llava-v1.5-13b_output_coco_gen_200k_ft_865k.jsonl llava-v1.5-13b_result_select_mscoco_200k.json llava-v1.5-13b_result_mixed_200k.json llava-v1.5-13b_output_llava_558k.jsonl llava-v1.5-13b_output_llava_raw_558k_ft_200k.jsonl llava-v1.5-13b_llava_200k.jsonl llava-v1.5-13b_result_pure_gen_200k.json llava-v1.5-7b_select_raw_100k.jsonl llava-v1.5-13b_output_coco_gen_558k_ft_200k.jsonl llava-v1.5-13b_select_mscoco_200k.jsonl llava-v1.5-13b_output_coco_gen_200k.jsonl llava-v1.5-7b_result_select_gen_100k.json llava-v1.5-7b_result_llava_raw_558k.json llava-v1.5-13b_result_select_raw_200k_ft.json MMLU/ results_coco_gen_558k_200k/ results_/ mnt/ petrelfs/ zhuchenglin/ LLaVA/ checkpoints_ft/ coco_gen_558k/ llava-v1.5-13b/ astronomy.csv college_medicine.csv electrical_engineering.csv high_school_government_and_politics.csv global_facts.csv college_mathematics.csv abstract_algebra.csv machine_learning.csv conceptual_physics.csv econometrics.csv high_school_physics.csv human_sexuality.csv jurisprudence.csv management.csv world_religions.csv business_ethics.csv high_school_statistics.csv international_law.csv high_school_chemistry.csv professional_law.csv clinical_knowledge.csv high_school_european_history.csv high_school_macroeconomics.csv moral_scenarios.csv elementary_mathematics.csv professional_accounting.csv public_relations.csv college_biology.csv high_school_microeconomics.csv logical_fallacies.csv high_school_mathematics.csv high_school_computer_science.csv medical_genetics.csv human_aging.csv virology.csv nutrition.csv college_chemistry.csv professional_psychology.csv miscellaneous.csv moral_disputes.csv college_physics.csv college_computer_science.csv high_school_geography.csv philosophy.csv us_foreign_policy.csv high_school_biology.csv high_school_world_history.csv professional_medicine.csv formal_logic.csv anatomy.csv high_school_us_history.csv security_studies.csv marketing.csv sociology.csv high_school_psychology.csv prehistory.csv computer_security.csv results_pure_gen_558k/ results_/ mnt/ petrelfs/ zhuchenglin/ LLaVA/ checkpoints_ft/ pure_gen_558k/ llava-v1.5-13b/ high_school_physics.csv high_school_world_history.csv college_biology.csv high_school_us_history.csv elementary_mathematics.csv formal_logic.csv professional_medicine.csv moral_scenarios.csv us_foreign_policy.csv high_school_macroeconomics.csv college_computer_science.csv college_mathematics.csv college_physics.csv high_school_psychology.csv logical_fallacies.csv security_studies.csv anatomy.csv public_relations.csv philosophy.csv high_school_government_and_politics.csv human_aging.csv miscellaneous.csv high_school_statistics.csv management.csv jurisprudence.csv business_ethics.csv high_school_biology.csv electrical_engineering.csv high_school_microeconomics.csv professional_psychology.csv nutrition.csv conceptual_physics.csv high_school_geography.csv high_school_computer_science.csv marketing.csv high_school_chemistry.csv prehistory.csv high_school_mathematics.csv computer_security.csv moral_disputes.csv abstract_algebra.csv econometrics.csv sociology.csv clinical_knowledge.csv machine_learning.csv professional_law.csv world_religions.csv global_facts.csv college_medicine.csv virology.csv astronomy.csv human_sexuality.csv college_chemistry.csv high_school_european_history.csv medical_genetics.csv international_law.csv professional_accounting.csv results_llava_raw_558k_200k/ results_/ mnt/ petrelfs/ zhuchenglin/ LLaVA/ checkpoints_ft/ llava_raw_558k/ llava-v1.5-13b/ professional_medicine.csv professional_accounting.csv nutrition.csv medical_genetics.csv high_school_physics.csv philosophy.csv high_school_world_history.csv college_biology.csv high_school_biology.csv high_school_mathematics.csv high_school_microeconomics.csv college_computer_science.csv college_medicine.csv college_physics.csv conceptual_physics.csv us_foreign_policy.csv miscellaneous.csv college_chemistry.csv high_school_european_history.csv high_school_chemistry.csv high_school_government_and_politics.csv high_school_psychology.csv world_religions.csv logical_fallacies.csv elementary_mathematics.csv high_school_us_history.csv electrical_engineering.csv astronomy.csv international_law.csv public_relations.csv professional_law.csv machine_learning.csv marketing.csv jurisprudence.csv moral_scenarios.csv management.csv computer_security.csv abstract_algebra.csv security_studies.csv professional_psychology.csv clinical_knowledge.csv business_ethics.csv high_school_macroeconomics.csv moral_disputes.csv sociology.csv college_mathematics.csv human_sexuality.csv human_aging.csv anatomy.csv high_school_computer_science.csv high_school_statistics.csv formal_logic.csv econometrics.csv global_facts.csv prehistory.csv virology.csv high_school_geography.csv results_without_sft/ results_/ mnt/ petrelfs/ zhuchenglin/ LLaVA/ checkpoints_ft/ coco_gen_200k/ llava-v1.5-13b-pretrain/ logical_fallacies.csv college_mathematics.csv security_studies.csv us_foreign_policy.csv professional_medicine.csv high_school_mathematics.csv anatomy.csv international_law.csv world_religions.csv human_sexuality.csv high_school_microeconomics.csv moral_disputes.csv high_school_world_history.csv virology.csv high_school_biology.csv computer_security.csv high_school_physics.csv college_physics.csv global_facts.csv high_school_european_history.csv college_computer_science.csv marketing.csv elementary_mathematics.csv high_school_macroeconomics.csv abstract_algebra.csv miscellaneous.csv econometrics.csv professional_accounting.csv business_ethics.csv high_school_statistics.csv medical_genetics.csv conceptual_physics.csv jurisprudence.csv college_chemistry.csv clinical_knowledge.csv high_school_geography.csv college_medicine.csv college_biology.csv human_aging.csv management.csv electrical_engineering.csv high_school_psychology.csv high_school_government_and_politics.csv nutrition.csv public_relations.csv machine_learning.csv sociology.csv prehistory.csv high_school_chemistry.csv high_school_computer_science.csv philosophy.csv astronomy.csv formal_logic.csv professional_law.csv professional_psychology.csv high_school_us_history.csv moral_scenarios.csv results_llava_coco_gen_758k/ results_/ mnt/ petrelfs/ zhuchenglin/ LLaVA/ checkpoints_ft/ llava_coco_gen_758k/ llava-v1.5-13b/ public_relations.csv high_school_computer_science.csv logical_fallacies.csv econometrics.csv high_school_world_history.csv human_aging.csv nutrition.csv high_school_physics.csv astronomy.csv us_foreign_policy.csv college_mathematics.csv world_religions.csv high_school_us_history.csv abstract_algebra.csv high_school_microeconomics.csv moral_scenarios.csv college_chemistry.csv human_sexuality.csv jurisprudence.csv formal_logic.csv international_law.csv high_school_psychology.csv management.csv high_school_mathematics.csv college_physics.csv high_school_macroeconomics.csv medical_genetics.csv marketing.csv college_medicine.csv professional_psychology.csv high_school_chemistry.csv clinical_knowledge.csv business_ethics.csv virology.csv professional_accounting.csv philosophy.csv college_biology.csv professional_law.csv computer_security.csv professional_medicine.csv security_studies.csv sociology.csv machine_learning.csv global_facts.csv electrical_engineering.csv miscellaneous.csv anatomy.csv college_computer_science.csv prehistory.csv high_school_biology.csv moral_disputes.csv conceptual_physics.csv high_school_statistics.csv elementary_mathematics.csv high_school_government_and_politics.csv high_school_geography.csv high_school_european_history.csv results_llava_coco_raw_758k_200k/ results_/ mnt/ petrelfs/ zhuchenglin/ LLaVA/ checkpoints_ft/ llava_coco_raw_758k/ llava-v1.5-13b/ college_mathematics.csv logical_fallacies.csv high_school_microeconomics.csv college_computer_science.csv world_religions.csv high_school_macroeconomics.csv professional_psychology.csv high_school_government_and_politics.csv high_school_european_history.csv management.csv high_school_us_history.csv computer_security.csv public_relations.csv human_aging.csv miscellaneous.csv high_school_physics.csv virology.csv us_foreign_policy.csv econometrics.csv moral_scenarios.csv moral_disputes.csv college_biology.csv nutrition.csv sociology.csv high_school_statistics.csv college_chemistry.csv international_law.csv high_school_mathematics.csv conceptual_physics.csv professional_medicine.csv philosophy.csv electrical_engineering.csv business_ethics.csv abstract_algebra.csv medical_genetics.csv high_school_biology.csv elementary_mathematics.csv high_school_geography.csv clinical_knowledge.csv security_studies.csv college_medicine.csv formal_logic.csv global_facts.csv prehistory.csv anatomy.csv marketing.csv jurisprudence.csv human_sexuality.csv professional_accounting.csv high_school_world_history.csv college_physics.csv high_school_chemistry.csv high_school_psychology.csv machine_learning.csv astronomy.csv professional_law.csv high_school_computer_science.csv results_select_raw_200k/ results_/ mnt/ petrelfs/ zhuchenglin/ LLaVA/ checkpoints_ft/ select_raw_200k/ llava-v1.5-13b/ astronomy.csv college_medicine.csv electrical_engineering.csv high_school_government_and_politics.csv global_facts.csv college_mathematics.csv abstract_algebra.csv machine_learning.csv conceptual_physics.csv econometrics.csv high_school_physics.csv human_sexuality.csv jurisprudence.csv management.csv world_religions.csv business_ethics.csv high_school_statistics.csv international_law.csv high_school_chemistry.csv professional_law.csv clinical_knowledge.csv high_school_european_history.csv high_school_macroeconomics.csv moral_scenarios.csv elementary_mathematics.csv professional_accounting.csv public_relations.csv college_biology.csv high_school_microeconomics.csv logical_fallacies.csv high_school_mathematics.csv high_school_computer_science.csv medical_genetics.csv human_aging.csv virology.csv nutrition.csv college_chemistry.csv professional_psychology.csv miscellaneous.csv moral_disputes.csv college_physics.csv college_computer_science.csv high_school_geography.csv philosophy.csv us_foreign_policy.csv high_school_biology.csv high_school_world_history.csv professional_medicine.csv formal_logic.csv anatomy.csv high_school_us_history.csv security_studies.csv marketing.csv sociology.csv high_school_psychology.csv prehistory.csv computer_security.csv results_coco_gen_200k/ results_/ mnt/ petrelfs/ zhuchenglin/ LLaVA/ checkpoints_ft/ coco_gen_200k/ llava-v1.5-13b/ high_school_physics.csv high_school_world_history.csv college_biology.csv high_school_us_history.csv elementary_mathematics.csv formal_logic.csv professional_medicine.csv moral_scenarios.csv us_foreign_policy.csv high_school_macroeconomics.csv college_computer_science.csv college_mathematics.csv college_physics.csv high_school_psychology.csv logical_fallacies.csv security_studies.csv anatomy.csv public_relations.csv philosophy.csv high_school_government_and_politics.csv human_aging.csv miscellaneous.csv high_school_statistics.csv management.csv jurisprudence.csv business_ethics.csv high_school_biology.csv electrical_engineering.csv high_school_microeconomics.csv professional_psychology.csv nutrition.csv conceptual_physics.csv high_school_geography.csv high_school_computer_science.csv marketing.csv high_school_chemistry.csv prehistory.csv high_school_mathematics.csv computer_security.csv moral_disputes.csv abstract_algebra.csv econometrics.csv sociology.csv clinical_knowledge.csv machine_learning.csv professional_law.csv world_religions.csv global_facts.csv college_medicine.csv virology.csv astronomy.csv human_sexuality.csv college_chemistry.csv high_school_european_history.csv medical_genetics.csv international_law.csv professional_accounting.csv results_coco_raw_200k/ results_/ mnt/ petrelfs/ zhuchenglin/ LLaVA/ checkpoints_ft/ coco_raw_200k/ llava-v1.5-13b/ anatomy.csv marketing.csv public_relations.csv high_school_psychology.csv high_school_macroeconomics.csv conceptual_physics.csv college_chemistry.csv high_school_microeconomics.csv management.csv high_school_world_history.csv virology.csv miscellaneous.csv formal_logic.csv clinical_knowledge.csv professional_psychology.csv human_sexuality.csv abstract_algebra.csv college_biology.csv econometrics.csv high_school_statistics.csv moral_disputes.csv high_school_geography.csv philosophy.csv prehistory.csv computer_security.csv human_aging.csv nutrition.csv elementary_mathematics.csv professional_law.csv professional_accounting.csv moral_scenarios.csv electrical_engineering.csv world_religions.csv high_school_us_history.csv security_studies.csv high_school_computer_science.csv logical_fallacies.csv high_school_european_history.csv college_medicine.csv high_school_mathematics.csv professional_medicine.csv astronomy.csv jurisprudence.csv medical_genetics.csv high_school_physics.csv high_school_government_and_politics.csv us_foreign_policy.csv sociology.csv college_mathematics.csv high_school_chemistry.csv college_computer_science.csv college_physics.csv business_ethics.csv international_law.csv global_facts.csv high_school_biology.csv machine_learning.csv results_llava_gen_200k/ results_/ mnt/ petrelfs/ zhuchenglin/ LLaVA/ checkpoints_ft/ llava_gen_200k/ llava-v1.5-13b/ astronomy.csv college_chemistry.csv high_school_microeconomics.csv human_sexuality.csv high_school_psychology.csv high_school_mathematics.csv elementary_mathematics.csv high_school_us_history.csv clinical_knowledge.csv college_physics.csv international_law.csv high_school_world_history.csv professional_medicine.csv electrical_engineering.csv high_school_chemistry.csv global_facts.csv college_biology.csv formal_logic.csv public_relations.csv prehistory.csv business_ethics.csv high_school_macroeconomics.csv high_school_computer_science.csv college_computer_science.csv computer_security.csv philosophy.csv professional_law.csv professional_psychology.csv college_mathematics.csv nutrition.csv human_aging.csv moral_scenarios.csv professional_accounting.csv security_studies.csv college_medicine.csv high_school_european_history.csv machine_learning.csv conceptual_physics.csv us_foreign_policy.csv high_school_physics.csv world_religions.csv management.csv high_school_biology.csv virology.csv medical_genetics.csv high_school_government_and_politics.csv logical_fallacies.csv moral_disputes.csv sociology.csv abstract_algebra.csv marketing.csv anatomy.csv high_school_geography.csv high_school_statistics.csv jurisprudence.csv econometrics.csv miscellaneous.csv results_select_raw_100k/ results_/ mnt/ petrelfs/ zhuchenglin/ LLaVA/ checkpoints_ft/ select_raw_100k/ llava-v1.5-13b/ college_mathematics.csv logical_fallacies.csv high_school_microeconomics.csv college_computer_science.csv world_religions.csv high_school_macroeconomics.csv professional_psychology.csv high_school_government_and_politics.csv high_school_european_history.csv management.csv high_school_us_history.csv computer_security.csv public_relations.csv human_aging.csv miscellaneous.csv high_school_physics.csv virology.csv us_foreign_policy.csv econometrics.csv moral_scenarios.csv moral_disputes.csv college_biology.csv nutrition.csv sociology.csv high_school_statistics.csv college_chemistry.csv international_law.csv high_school_mathematics.csv conceptual_physics.csv professional_medicine.csv philosophy.csv electrical_engineering.csv business_ethics.csv abstract_algebra.csv medical_genetics.csv high_school_biology.csv elementary_mathematics.csv high_school_geography.csv clinical_knowledge.csv security_studies.csv college_medicine.csv formal_logic.csv global_facts.csv prehistory.csv anatomy.csv marketing.csv jurisprudence.csv human_sexuality.csv professional_accounting.csv high_school_world_history.csv college_physics.csv high_school_chemistry.csv high_school_psychology.csv machine_learning.csv astronomy.csv professional_law.csv high_school_computer_science.csv result/ coco_raw_558k.txt llava_gen_200k_200k.txt coco_raw_200k_200k.txt coco_gen_200k_200k.txt coco_gen_558k.txt coco_raw_558k_200k.txt llava_coco_gen_758k_200k.txt coco_gen_200k.txt llava_coco_raw_758k.txt llava_coco_gen_758k.txt llava_gen_200k.txt coco_gen_558k_200k.txt without_sft.txt coco_raw_200k.txt pure_gen_558k.txt llava_coco_raw_758k_200k.txt pure_gen_200k.txt llava_raw_558k.txt llava_raw_558k_200k.txt results_pure_gen_200k/ results_/ mnt/ petrelfs/ zhuchenglin/ LLaVA/ checkpoints_ft/ pure_gen_200k/ llava-v1.5-13b/ electrical_engineering.csv high_school_biology.csv prehistory.csv high_school_psychology.csv high_school_macroeconomics.csv high_school_physics.csv jurisprudence.csv high_school_statistics.csv abstract_algebra.csv global_facts.csv formal_logic.csv human_aging.csv elementary_mathematics.csv high_school_computer_science.csv high_school_us_history.csv computer_security.csv college_biology.csv anatomy.csv virology.csv high_school_chemistry.csv philosophy.csv college_physics.csv business_ethics.csv us_foreign_policy.csv econometrics.csv human_sexuality.csv logical_fallacies.csv public_relations.csv marketing.csv world_religions.csv sociology.csv international_law.csv high_school_microeconomics.csv high_school_geography.csv professional_psychology.csv miscellaneous.csv clinical_knowledge.csv college_medicine.csv college_mathematics.csv professional_accounting.csv astronomy.csv management.csv conceptual_physics.csv machine_learning.csv college_computer_science.csv high_school_mathematics.csv security_studies.csv professional_law.csv high_school_government_and_politics.csv college_chemistry.csv medical_genetics.csv nutrition.csv high_school_european_history.csv high_school_world_history.csv moral_scenarios.csv moral_disputes.csv professional_medicine.csv results_select_gen_200k/ results_/ mnt/ petrelfs/ zhuchenglin/ LLaVA/ checkpoints_ft/ select_gen_200k/ llava-v1.5-13b/ logical_fallacies.csv college_mathematics.csv security_studies.csv us_foreign_policy.csv professional_medicine.csv high_school_mathematics.csv anatomy.csv international_law.csv world_religions.csv human_sexuality.csv high_school_microeconomics.csv moral_disputes.csv high_school_world_history.csv virology.csv high_school_biology.csv computer_security.csv high_school_physics.csv college_physics.csv global_facts.csv high_school_european_history.csv college_computer_science.csv marketing.csv elementary_mathematics.csv high_school_macroeconomics.csv abstract_algebra.csv miscellaneous.csv econometrics.csv professional_accounting.csv business_ethics.csv high_school_statistics.csv medical_genetics.csv conceptual_physics.csv jurisprudence.csv college_chemistry.csv clinical_knowledge.csv high_school_geography.csv college_medicine.csv college_biology.csv human_aging.csv management.csv electrical_engineering.csv high_school_psychology.csv high_school_government_and_politics.csv nutrition.csv public_relations.csv machine_learning.csv sociology.csv prehistory.csv high_school_chemistry.csv high_school_computer_science.csv philosophy.csv astronomy.csv formal_logic.csv professional_law.csv professional_psychology.csv high_school_us_history.csv moral_scenarios.csv results_select_gen_100k/ results_/ mnt/ petrelfs/ zhuchenglin/ LLaVA/ checkpoints_ft/ select_gen_100k/ llava-v1.5-13b/ college_mathematics.csv logical_fallacies.csv high_school_microeconomics.csv college_computer_science.csv world_religions.csv high_school_macroeconomics.csv professional_psychology.csv high_school_government_and_politics.csv high_school_european_history.csv management.csv high_school_us_history.csv computer_security.csv public_relations.csv human_aging.csv miscellaneous.csv high_school_physics.csv virology.csv us_foreign_policy.csv econometrics.csv moral_scenarios.csv moral_disputes.csv college_biology.csv nutrition.csv sociology.csv high_school_statistics.csv college_chemistry.csv international_law.csv high_school_mathematics.csv conceptual_physics.csv professional_medicine.csv philosophy.csv electrical_engineering.csv business_ethics.csv abstract_algebra.csv medical_genetics.csv high_school_biology.csv elementary_mathematics.csv high_school_geography.csv clinical_knowledge.csv security_studies.csv college_medicine.csv formal_logic.csv global_facts.csv prehistory.csv anatomy.csv marketing.csv jurisprudence.csv human_sexuality.csv professional_accounting.csv high_school_world_history.csv college_physics.csv high_school_chemistry.csv high_school_psychology.csv machine_learning.csv astronomy.csv professional_law.csv high_school_computer_science.csv results_llava_coco_raw_758k/ results_/ mnt/ petrelfs/ zhuchenglin/ LLaVA/ checkpoints_ft/ llava_coco_raw_758k/ llava-v1.5-13b/ college_mathematics.csv logical_fallacies.csv high_school_microeconomics.csv college_computer_science.csv world_religions.csv high_school_macroeconomics.csv professional_psychology.csv high_school_government_and_politics.csv high_school_european_history.csv management.csv high_school_us_history.csv computer_security.csv public_relations.csv human_aging.csv miscellaneous.csv high_school_physics.csv virology.csv us_foreign_policy.csv econometrics.csv moral_scenarios.csv moral_disputes.csv college_biology.csv nutrition.csv sociology.csv high_school_statistics.csv college_chemistry.csv international_law.csv high_school_mathematics.csv conceptual_physics.csv professional_medicine.csv philosophy.csv electrical_engineering.csv business_ethics.csv abstract_algebra.csv medical_genetics.csv high_school_biology.csv elementary_mathematics.csv high_school_geography.csv clinical_knowledge.csv security_studies.csv college_medicine.csv formal_logic.csv global_facts.csv prehistory.csv anatomy.csv marketing.csv jurisprudence.csv human_sexuality.csv professional_accounting.csv high_school_world_history.csv college_physics.csv high_school_chemistry.csv high_school_psychology.csv machine_learning.csv astronomy.csv professional_law.csv high_school_computer_science.csv results_coco_raw_558k/ results_/ mnt/ petrelfs/ zhuchenglin/ LLaVA/ checkpoints_ft/ coco_raw_558k/ llava-v1.5-13b/ electrical_engineering.csv high_school_biology.csv prehistory.csv high_school_psychology.csv high_school_macroeconomics.csv high_school_physics.csv jurisprudence.csv high_school_statistics.csv abstract_algebra.csv global_facts.csv formal_logic.csv human_aging.csv elementary_mathematics.csv high_school_computer_science.csv high_school_us_history.csv computer_security.csv college_biology.csv anatomy.csv virology.csv high_school_chemistry.csv philosophy.csv college_physics.csv business_ethics.csv us_foreign_policy.csv econometrics.csv human_sexuality.csv logical_fallacies.csv public_relations.csv marketing.csv world_religions.csv sociology.csv international_law.csv high_school_microeconomics.csv high_school_geography.csv professional_psychology.csv miscellaneous.csv clinical_knowledge.csv college_medicine.csv college_mathematics.csv professional_accounting.csv astronomy.csv management.csv conceptual_physics.csv machine_learning.csv college_computer_science.csv high_school_mathematics.csv security_studies.csv professional_law.csv high_school_government_and_politics.csv college_chemistry.csv medical_genetics.csv nutrition.csv high_school_european_history.csv high_school_world_history.csv moral_scenarios.csv moral_disputes.csv professional_medicine.csv results_llava_coco_gen_758k_200k/ results_/ mnt/ petrelfs/ zhuchenglin/ LLaVA/ checkpoints_ft/ llava_coco_gen_758k/ llava-v1.5-13b/ high_school_physics.csv high_school_world_history.csv college_biology.csv high_school_us_history.csv elementary_mathematics.csv formal_logic.csv professional_medicine.csv moral_scenarios.csv us_foreign_policy.csv high_school_macroeconomics.csv college_computer_science.csv college_mathematics.csv college_physics.csv high_school_psychology.csv logical_fallacies.csv security_studies.csv anatomy.csv public_relations.csv philosophy.csv high_school_government_and_politics.csv human_aging.csv miscellaneous.csv high_school_statistics.csv management.csv jurisprudence.csv business_ethics.csv high_school_biology.csv electrical_engineering.csv high_school_microeconomics.csv professional_psychology.csv nutrition.csv conceptual_physics.csv high_school_geography.csv high_school_computer_science.csv marketing.csv high_school_chemistry.csv prehistory.csv high_school_mathematics.csv computer_security.csv moral_disputes.csv abstract_algebra.csv econometrics.csv sociology.csv clinical_knowledge.csv machine_learning.csv professional_law.csv world_religions.csv global_facts.csv college_medicine.csv virology.csv astronomy.csv human_sexuality.csv college_chemistry.csv high_school_european_history.csv medical_genetics.csv international_law.csv professional_accounting.csv results_llava_gen_200k_200k/ results_/ mnt/ petrelfs/ zhuchenglin/ LLaVA/ checkpoints_ft/ llava_gen_200k/ llava-v1.5-13b/ professional_medicine.csv formal_logic.csv sociology.csv high_school_macroeconomics.csv econometrics.csv virology.csv public_relations.csv nutrition.csv philosophy.csv college_biology.csv medical_genetics.csv anatomy.csv high_school_chemistry.csv international_law.csv human_sexuality.csv high_school_biology.csv high_school_world_history.csv professional_accounting.csv college_computer_science.csv us_foreign_policy.csv clinical_knowledge.csv high_school_computer_science.csv high_school_microeconomics.csv astronomy.csv professional_law.csv electrical_engineering.csv high_school_psychology.csv high_school_us_history.csv college_physics.csv high_school_government_and_politics.csv logical_fallacies.csv computer_security.csv high_school_physics.csv professional_psychology.csv human_aging.csv jurisprudence.csv business_ethics.csv marketing.csv prehistory.csv high_school_mathematics.csv machine_learning.csv elementary_mathematics.csv abstract_algebra.csv high_school_geography.csv miscellaneous.csv college_mathematics.csv global_facts.csv college_medicine.csv high_school_statistics.csv management.csv security_studies.csv high_school_european_history.csv world_religions.csv college_chemistry.csv moral_scenarios.csv moral_disputes.csv conceptual_physics.csv results_coco_raw_558k_200k/ results_/ mnt/ petrelfs/ zhuchenglin/ LLaVA/ checkpoints_ft/ coco_raw_558k/ llava-v1.5-13b/ electrical_engineering.csv high_school_biology.csv prehistory.csv high_school_psychology.csv high_school_macroeconomics.csv high_school_physics.csv jurisprudence.csv high_school_statistics.csv abstract_algebra.csv global_facts.csv formal_logic.csv human_aging.csv elementary_mathematics.csv high_school_computer_science.csv high_school_us_history.csv computer_security.csv college_biology.csv anatomy.csv virology.csv high_school_chemistry.csv philosophy.csv college_physics.csv business_ethics.csv us_foreign_policy.csv econometrics.csv human_sexuality.csv logical_fallacies.csv public_relations.csv marketing.csv world_religions.csv sociology.csv international_law.csv high_school_microeconomics.csv high_school_geography.csv professional_psychology.csv miscellaneous.csv clinical_knowledge.csv college_medicine.csv college_mathematics.csv professional_accounting.csv astronomy.csv management.csv conceptual_physics.csv machine_learning.csv college_computer_science.csv high_school_mathematics.csv security_studies.csv professional_law.csv high_school_government_and_politics.csv college_chemistry.csv medical_genetics.csv nutrition.csv high_school_european_history.csv high_school_world_history.csv moral_scenarios.csv moral_disputes.csv professional_medicine.csv results_mixed_200k/ results_/ mnt/ petrelfs/ zhuchenglin/ LLaVA/ checkpoints_ft/ mixed_200k/ llava-v1.5-13b/ high_school_macroeconomics.csv elementary_mathematics.csv college_physics.csv high_school_government_and_politics.csv medical_genetics.csv moral_disputes.csv international_law.csv professional_accounting.csv machine_learning.csv high_school_us_history.csv global_facts.csv high_school_european_history.csv high_school_world_history.csv professional_psychology.csv nutrition.csv miscellaneous.csv abstract_algebra.csv high_school_psychology.csv management.csv electrical_engineering.csv astronomy.csv public_relations.csv security_studies.csv high_school_chemistry.csv human_sexuality.csv high_school_statistics.csv high_school_computer_science.csv jurisprudence.csv high_school_microeconomics.csv college_mathematics.csv us_foreign_policy.csv econometrics.csv college_medicine.csv virology.csv human_aging.csv formal_logic.csv conceptual_physics.csv logical_fallacies.csv marketing.csv world_religions.csv prehistory.csv professional_medicine.csv sociology.csv clinical_knowledge.csv philosophy.csv high_school_biology.csv high_school_physics.csv college_chemistry.csv college_biology.csv college_computer_science.csv moral_scenarios.csv professional_law.csv business_ethics.csv high_school_mathematics.csv high_school_geography.csv computer_security.csv anatomy.csv eval/ crop.py LICENSE README.md evaluate_flan1.py categories.py test_calibration.py mmlu.sh calib_tools.py evaluate_flan.py evaluate.py __pycache__/ categories.cpython-310.pyc data/ README.txt possibly_contaminated_urls.txt val/ high_school_world_history_val.csv high_school_biology_val.csv international_law_val.csv business_ethics_val.csv high_school_microeconomics_val.csv college_mathematics_val.csv econometrics_val.csv management_val.csv abstract_algebra_val.csv miscellaneous_val.csv high_school_psychology_val.csv anatomy_val.csv us_foreign_policy_val.csv prehistory_val.csv high_school_government_and_politics_val.csv professional_law_val.csv logical_fallacies_val.csv machine_learning_val.csv high_school_statistics_val.csv public_relations_val.csv college_biology_val.csv global_facts_val.csv formal_logic_val.csv high_school_computer_science_val.csv human_sexuality_val.csv high_school_physics_val.csv high_school_us_history_val.csv high_school_mathematics_val.csv human_aging_val.csv jurisprudence_val.csv moral_disputes_val.csv high_school_chemistry_val.csv virology_val.csv college_medicine_val.csv moral_scenarios_val.csv nutrition_val.csv professional_medicine_val.csv clinical_knowledge_val.csv college_computer_science_val.csv high_school_geography_val.csv computer_security_val.csv philosophy_val.csv world_religions_val.csv high_school_european_history_val.csv elementary_mathematics_val.csv conceptual_physics_val.csv professional_accounting_val.csv electrical_engineering_val.csv sociology_val.csv security_studies_val.csv college_chemistry_val.csv marketing_val.csv college_physics_val.csv professional_psychology_val.csv medical_genetics_val.csv high_school_macroeconomics_val.csv astronomy_val.csv dev/ high_school_biology_dev.csv high_school_us_history_dev.csv global_facts_dev.csv virology_dev.csv human_aging_dev.csv college_medicine_dev.csv high_school_physics_dev.csv philosophy_dev.csv high_school_european_history_dev.csv nutrition_dev.csv moral_scenarios_dev.csv prehistory_dev.csv college_computer_science_dev.csv high_school_macroeconomics_dev.csv miscellaneous_dev.csv professional_psychology_dev.csv us_foreign_policy_dev.csv jurisprudence_dev.csv college_biology_dev.csv business_ethics_dev.csv clinical_knowledge_dev.csv management_dev.csv college_chemistry_dev.csv public_relations_dev.csv conceptual_physics_dev.csv professional_law_dev.csv machine_learning_dev.csv sociology_dev.csv marketing_dev.csv college_mathematics_dev.csv college_physics_dev.csv high_school_mathematics_dev.csv computer_security_dev.csv medical_genetics_dev.csv international_law_dev.csv moral_disputes_dev.csv elementary_mathematics_dev.csv formal_logic_dev.csv human_sexuality_dev.csv astronomy_dev.csv world_religions_dev.csv high_school_statistics_dev.csv logical_fallacies_dev.csv security_studies_dev.csv high_school_chemistry_dev.csv high_school_geography_dev.csv high_school_microeconomics_dev.csv high_school_world_history_dev.csv anatomy_dev.csv econometrics_dev.csv professional_accounting_dev.csv professional_medicine_dev.csv abstract_algebra_dev.csv high_school_psychology_dev.csv high_school_government_and_politics_dev.csv electrical_engineering_dev.csv high_school_computer_science_dev.csv test/ college_biology_test.csv high_school_us_history_test.csv econometrics_test.csv high_school_mathematics_test.csv jurisprudence_test.csv marketing_test.csv international_law_test.csv us_foreign_policy_test.csv professional_psychology_test.csv professional_accounting_test.csv high_school_government_and_politics_test.csv formal_logic_test.csv moral_disputes_test.csv philosophy_test.csv electrical_engineering_test.csv business_ethics_test.csv management_test.csv human_aging_test.csv college_medicine_test.csv prehistory_test.csv anatomy_test.csv high_school_computer_science_test.csv professional_medicine_test.csv high_school_macroeconomics_test.csv public_relations_test.csv college_computer_science_test.csv astronomy_test.csv high_school_european_history_test.csv high_school_microeconomics_test.csv moral_scenarios_test.csv logical_fallacies_test.csv clinical_knowledge_test.csv nutrition_test.csv high_school_geography_test.csv high_school_biology_test.csv computer_security_test.csv medical_genetics_test.csv college_mathematics_test.csv security_studies_test.csv sociology_test.csv high_school_physics_test.csv abstract_algebra_test.csv elementary_mathematics_test.csv world_religions_test.csv global_facts_test.csv professional_law_test.csv high_school_world_history_test.csv miscellaneous_test.csv machine_learning_test.csv virology_test.csv high_school_statistics_test.csv high_school_psychology_test.csv human_sexuality_test.csv college_chemistry_test.csv conceptual_physics_test.csv college_physics_test.csv high_school_chemistry_test.csv auxiliary_train/ arc_hard.csv race.csv aux_law_90s.csv science_middle.csv obqa.csv arc_easy.csv science_elementary.csv mc_test.csv results_coco_raw_200k_200k/ results_/ mnt/ petrelfs/ zhuchenglin/ LLaVA/ checkpoints_ft/ coco_raw_200k/ llava-v1.5-13b/ professional_medicine.csv formal_logic.csv sociology.csv high_school_macroeconomics.csv econometrics.csv virology.csv public_relations.csv nutrition.csv philosophy.csv college_biology.csv medical_genetics.csv anatomy.csv high_school_chemistry.csv international_law.csv human_sexuality.csv high_school_biology.csv high_school_world_history.csv professional_accounting.csv college_computer_science.csv us_foreign_policy.csv clinical_knowledge.csv high_school_computer_science.csv high_school_microeconomics.csv astronomy.csv professional_law.csv electrical_engineering.csv high_school_psychology.csv high_school_us_history.csv college_physics.csv high_school_government_and_politics.csv logical_fallacies.csv computer_security.csv high_school_physics.csv professional_psychology.csv human_aging.csv jurisprudence.csv business_ethics.csv marketing.csv prehistory.csv high_school_mathematics.csv machine_learning.csv elementary_mathematics.csv abstract_algebra.csv high_school_geography.csv miscellaneous.csv college_mathematics.csv global_facts.csv college_medicine.csv high_school_statistics.csv management.csv security_studies.csv high_school_european_history.csv world_religions.csv college_chemistry.csv moral_scenarios.csv moral_disputes.csv conceptual_physics.csv results_coco_gen_558k/ results_/ mnt/ petrelfs/ zhuchenglin/ LLaVA/ checkpoints_ft/ coco_gen_558k/ llava-v1.5-13b/ anatomy.csv marketing.csv public_relations.csv high_school_psychology.csv high_school_macroeconomics.csv conceptual_physics.csv college_chemistry.csv high_school_microeconomics.csv management.csv high_school_world_history.csv virology.csv miscellaneous.csv formal_logic.csv clinical_knowledge.csv professional_psychology.csv human_sexuality.csv abstract_algebra.csv college_biology.csv econometrics.csv high_school_statistics.csv moral_disputes.csv high_school_geography.csv philosophy.csv prehistory.csv computer_security.csv human_aging.csv nutrition.csv elementary_mathematics.csv professional_law.csv professional_accounting.csv moral_scenarios.csv electrical_engineering.csv world_religions.csv high_school_us_history.csv security_studies.csv high_school_computer_science.csv logical_fallacies.csv high_school_european_history.csv college_medicine.csv high_school_mathematics.csv professional_medicine.csv astronomy.csv jurisprudence.csv medical_genetics.csv high_school_physics.csv high_school_government_and_politics.csv us_foreign_policy.csv sociology.csv college_mathematics.csv high_school_chemistry.csv college_computer_science.csv college_physics.csv business_ethics.csv international_law.csv global_facts.csv high_school_biology.csv machine_learning.csv results_llava_raw_558k/ results_/ mnt/ petrelfs/ zhuchenglin/ LLaVA/ checkpoints_ft/ llava_raw_558k/ llava-v1.5-13b/ professional_medicine.csv formal_logic.csv sociology.csv high_school_macroeconomics.csv econometrics.csv virology.csv public_relations.csv nutrition.csv philosophy.csv college_biology.csv medical_genetics.csv anatomy.csv high_school_chemistry.csv international_law.csv human_sexuality.csv high_school_biology.csv high_school_world_history.csv professional_accounting.csv college_computer_science.csv us_foreign_policy.csv clinical_knowledge.csv high_school_computer_science.csv high_school_microeconomics.csv astronomy.csv professional_law.csv electrical_engineering.csv high_school_psychology.csv high_school_us_history.csv college_physics.csv high_school_government_and_politics.csv logical_fallacies.csv computer_security.csv high_school_physics.csv professional_psychology.csv human_aging.csv jurisprudence.csv business_ethics.csv marketing.csv prehistory.csv high_school_mathematics.csv machine_learning.csv elementary_mathematics.csv abstract_algebra.csv high_school_geography.csv miscellaneous.csv college_mathematics.csv global_facts.csv college_medicine.csv high_school_statistics.csv management.csv security_studies.csv high_school_european_history.csv world_religions.csv college_chemistry.csv moral_scenarios.csv moral_disputes.csv conceptual_physics.csv results_coco_gen_200k_200k/ results_/ mnt/ petrelfs/ zhuchenglin/ LLaVA/ checkpoints_ft/ coco_gen_200k/ llava-v1.5-13b/ high_school_european_history.csv professional_law.csv prehistory.csv us_foreign_policy.csv astronomy.csv management.csv professional_medicine.csv international_law.csv virology.csv miscellaneous.csv professional_accounting.csv medical_genetics.csv high_school_geography.csv college_biology.csv anatomy.csv jurisprudence.csv clinical_knowledge.csv security_studies.csv college_mathematics.csv college_chemistry.csv human_sexuality.csv world_religions.csv machine_learning.csv high_school_us_history.csv college_computer_science.csv abstract_algebra.csv high_school_microeconomics.csv electrical_engineering.csv conceptual_physics.csv marketing.csv global_facts.csv high_school_computer_science.csv college_physics.csv philosophy.csv high_school_macroeconomics.csv business_ethics.csv high_school_government_and_politics.csv high_school_mathematics.csv logical_fallacies.csv formal_logic.csv moral_scenarios.csv high_school_physics.csv college_medicine.csv computer_security.csv nutrition.csv sociology.csv human_aging.csv public_relations.csv high_school_statistics.csv high_school_biology.csv high_school_chemistry.csv moral_disputes.csv high_school_psychology.csv professional_psychology.csv high_school_world_history.csv econometrics.csv elementary_mathematics.csv gqa/ llava_gqa_testdev_balanced.jsonl answers/ llava_gqa_testdev_balanced/ llava-v1.5-13b.jsonl llava-v1.5-7b_llava_gen_200k/ 4_0.jsonl 4_1.jsonl 4_3.jsonl 4_2.jsonl merge.jsonl llava-v1.5-7b_select_gen_100k/ 4_2.jsonl 4_1.jsonl 4_0.jsonl merge.jsonl 4_3.jsonl llava-v1.5-7b_select_raw_100k/ merge.jsonl 4_3.jsonl 4_0.jsonl 4_1.jsonl 4_2.jsonl llava-v1.5-7b_sharegpt4v_100k/ 4_3.jsonl 4_0.jsonl 4_1.jsonl 4_2.jsonl merge.jsonl llava-v1.5-7b_llava_raw_558k/ 4_0.jsonl 4_2.jsonl merge.jsonl 4_1.jsonl 4_3.jsonl data/ val_all_questions.json testdev_balanced_questions.json challenge_balanced_questions.json val_choices.json test_balanced_questions.json testdev_all_questions.json submission_all_questions.json val_balanced_questions.json test_all_questions.json readme.txt train_balanced_questions.json testdev_balanced_predictions.json challenge_all_questions.json eval/ eval.py readme.txt train_choices/ train_all_questions_4.json train_all_questions_6.json train_all_questions_2.json train_all_questions_1.json train_all_questions_8.json train_all_questions_7.json train_all_questions_9.json train_all_questions_0.json train_all_questions_5.json train_all_questions_3.json images/ train_all_questions/ train_all_questions_7.json train_all_questions_1.json train_all_questions_0.json train_all_questions_2.json train_all_questions_9.json train_all_questions_4.json train_all_questions_8.json train_all_questions_3.json train_all_questions_5.json train_all_questions_6.json mmbench_cn/ mmbench_dev_20230712.tsv mmbench_dev_cn_20231003.tsv answers_upload/ mmbench_dev_cn_20231003_model_zoo/ llava-v1.5-13b_model_zoo.xlsx mmbench_dev_cn_20231003_coco_raw_558k/ llava-v1.5-13b_coco_raw_558k.xlsx mmbench_dev_cn_20231003_select_gen_100k_ft/ llava-v1.5-13b_select_gen_100k_ft.xlsx mmbench_dev_cn_20231003_coco_raw_200k_ft/ llava-v1.5-13b_coco_raw_200k_ft.xlsx mmbench_dev_20230712_coco_raw_558k_ft/ mmbench_dev_cn_20231003_llava_gen_200k_ft/ llava-v1.5-13b_llava_gen_200k_ft.xlsx mmbench_dev_cn_20231003_llava_raw_558k_ft_200k/ llava-v1.5-13b_llava_raw_558k_ft_200k.xlsx mmbench_dev_cn_20231003_coco_raw_558k_ft/ llava-v1.5-13b_coco_raw_558k_ft.xlsx mmbench_dev_cn_20231003_pure_gen_200k/ llava-v1.5-13b_pure_gen_200k.xlsx mmbench_dev_cn_20231003_select_gen_200k/ llava-v1.5-13b_select_gen_200k.xlsx mmbench_dev_cn_20231003_pure_gen_558k_ft/ llava-v1.5-13b_pure_gen_558k_ft.xlsx mmbench_dev_cn_20231003_llava_coco_raw_758k_ft_200k/ llava-v1.5-13b_llava_coco_raw_758k_ft_200k.xlsx mmbench_dev_cn_20231003_coco_gen_200k_ft_200k/ llava-v1.5-13b_coco_gen_200k_ft_200k.xlsx mmbench_dev_cn_20231003_mixed_200k_ft/ llava-v1.5-13b_mixed_200k_ft.xlsx mmbench_dev_cn_20231003_llava_gen_558k/ llava-v1.5-13b_llava_gen_558k.xlsx mmbench_dev_cn_20231003_llava_coco_gen_758k/ llava-v1.5-13b_llava_coco_gen_758k.xlsx mmbench_dev_cn_20231003_llava_coco_gen_758k_ft_200k/ llava-v1.5-13b_llava_coco_gen_758k_ft_200k.xlsx mmbench_dev_cn_20231003_random_ft/ llava-v1.5-13b_random_ft.xlsx mmbench_dev_cn_20231003_select_raw_100k/ llava-v1.5-7b_select_raw_100k.xlsx llava-v1.5-13b_select_raw_100k.xlsx mmbench_dev_20230712/ mmbench_dev_cn_20231003_coco_raw_200k_ft_200k/ llava-v1.5-13b_coco_raw_200k_ft_200k.xlsx mmbench_dev_cn_20231003_coco_raw_558k_ft_200k/ llava-v1.5-13b_coco_raw_558k_ft_200k.xlsx mmbench_dev_cn_20231003_select_raw_100k_ft/ llava-v1.5-13b_select_raw_100k_ft.xlsx mmbench_dev_cn_20231003/ llava-v1.5-13b_coco_gen_558k.xlsx llava-v1.5-13b_coco_raw_200k.xlsx llava-v1.5-13b_coco_gen_200k.xlsx mmbench_dev_cn_20231003_sharegpt4v_100k/ llava-v1.5-7b_sharegpt4v_100k.xlsx mmbench_dev_cn_20231003_coco_gen_llava_raw/ llava-v1.5-13b_coco_gen_llava_raw.xlsx mmbench_dev_cn_20231003_select_gen_100k/ llava-v1.5-13b_select_gen_100k.xlsx llava-v1.5-7b_select_gen_100k.xlsx mmbench_dev_cn_20231003_pure_gen_200k_ft/ llava-v1.5-13b_pure_gen_200k_ft.xlsx mmbench_dev_cn_20231003_pure_gen_558k/ llava-v1.5-13b_pure_gen_558k.xlsx mmbench_dev_cn_20231003_llava_coco_gen_758k_ft/ llava-v1.5-13b_llava_coco_gen_758k_ft.xlsx mmbench_dev_cn_20231003_select_raw_200k_ft/ llava-v1.5-13b_select_raw_200k_ft.xlsx mmbench_dev_cn_20231003_coco_gen_200k_ft/ llava-v1.5-13b_coco_gen_200k_ft.xlsx mmbench_dev_cn_20231003_select_gen_200k_ft/ llava-v1.5-13b_select_gen_200k_ft.xlsx mmbench_dev_cn_20231003_select_raw_200k/ llava-v1.5-13b_select_raw_200k.xlsx mmbench_dev_cn_20231003_llava_raw_558k_ft/ llava-v1.5-13b_llava_raw_558k_ft.xlsx mmbench_dev_cn_20231003_llava_coco_raw_758k/ llava-v1.5-13b_llava_coco_raw_758k.xlsx mmbench_dev_cn_20231003_llava_coco_raw_758k_ft/ llava-v1.5-13b_llava_coco_raw_758k_ft.xlsx mmbench_dev_cn_20231003_llava_gen_200k_ft_200k/ llava-v1.5-13b_llava_gen_200k_ft_200k.xlsx mmbench_dev_cn_20231003_llava_raw_558k/ llava-v1.5-7b_llava_raw_558k.xlsx llava-v1.5-13b_llava_raw_558k.xlsx mmbench_dev_cn_20231003_coco_gen_558k_ft_200k/ llava-v1.5-13b_coco_gen_558k_ft_200k.xlsx mmbench_dev_cn_20231003_llava_raw_200k/ llava-v1.5-13b_llava_raw_200k.xlsx mmbench_dev_cn_20231003_coco_gen_558k_ft/ llava-v1.5-13b_coco_gen_558k_ft.xlsx mmbench_dev_cn_20231003_coco_select_200k/ llava-v1.5-13b_coco_select_200k.xlsx mmbench_dev_cn_20231003_llava_gen_200k/ llava-v1.5-13b_llava_gen_200k.xlsx llava-v1.5-7b_llava_gen_200k.xlsx mmbench_dev_cn_20231003_llava_gen_558k_ft/ mmbench_dev_cn_20231003_mixed_200k/ llava-v1.5-13b_mixed_200k.xlsx answers/ mmbench_dev_cn_20231003/ llava-v1.5-13b.jsonl llava-v1.5-13b_llava_gen_558k.jsonl llava-v1.5-13b_select_gen_200k.jsonl llava-v1.5-13b_select_raw_100k_ft.jsonl llava-v1.5-13b_select_gen_100k_ft.jsonl llava-v1.5-13b_llava_gen_200k_ft_200k.jsonl llava-v1.5-13b_pure_gen_558k_ft.jsonl llava-v1.5-13b_coco_gen_558k_ft_200k.jsonl llava-v1.5-13b_llava_gen_200k.jsonl llava-v1.5-13b_coco_gen_llava_raw.jsonl llava-v1.5-7b_select_gen_100k.jsonl llava-v1.5-13b_coco_gen_200k_ft.jsonl llava-v1.5-13b_pure_gen_200k_ft.jsonl llava-v1.5-13b_llava_raw_558k.jsonl llava-v1.5-7b_llava_gen_200k.jsonl llava-v1.5-13b_coco_raw_200k_ft_200k.jsonl llava-v1.5-13b_llava_coco_gen_758k_ft.jsonl llava-v1.5-13b_llava_coco_gen_758k.jsonl llava-v1.5-13b_random_ft.jsonl llava-v1.5-13b_llava_coco_raw_758k_ft_200k.jsonl llava-v1.5-13b_select_raw_200k_ft.jsonl llava-v1.5-13b_llava_coco_gen_758k_ft_200k.jsonl llava-v1.5-13b_llava_gen_200k_ft.jsonl llava-v1.5-13b_coco_raw_558k_ft.jsonl llava-v1.5-13b_mixed_200k_ft.jsonl llava-v1.5-13b_select_raw_200k.jsonl llava-v1.5-13b_select_raw_100k.jsonl llava-v1.5-13b_pure_gen_200k.jsonl llava-v1.5-13b_coco_gen_558k_ft.jsonl llava-v1.5-13b_select_gen_200k_ft.jsonl llava-v1.5-13b_coco_raw_200k_ft.jsonl llava-v1.5-13b_coco_gen_200k_ft_200k.jsonl llava-v1.5-13b_llava_raw_558k_ft.jsonl llava-v1.5-13b_coco_select_200k.jsonl llava-v1.5-13b_llava_coco_raw_758k.jsonl llava-v1.5-13b_llava_raw_558k_ft_200k.jsonl llava-v1.5-13b_coco_raw_558k.jsonl llava-v1.5-13b_mixed_200k.jsonl llava-v1.5-13b_select_gen_100k.jsonl llava-v1.5-7b_sharegpt4v_100k.jsonl llava-v1.5-13b_pure_gen_558k.jsonl llava-v1.5-13b_coco_raw_558k_ft_200k.jsonl llava-v1.5-13b_llava_coco_raw_758k_ft.jsonl llava-v1.5-7b_llava_raw_558k.jsonl llava-v1.5-13b_llava_raw_coco_gen.jsonl llava-v1.5-13b_llava_raw_200k.jsonl llava-v1.5-7b_select_raw_100k.jsonl llava-v1.5-13b_model_zoo.jsonl mmbench_dev_20230712/ llava-v1.5-13b.jsonl textvqa/ llava_textvqa_val_v051_ocr.jsonl TextVQA_0.5.1_val.json answers/ llava-v1.5-13b_llava_gen_558k.jsonl llava-v1.5-13b_llava_gen_200k_ft_200k.jsonl llava-v1.5-13b_select_mscoco_200k.jsonl llava-v1.5-13b_mixed_200k_ft.jsonl llava-v1.5-13b_select_raw_100k_ft.jsonl llava-v1.5-13b_llava_coco_gen_758k_ft_200k.jsonl llava-v1.5-13b_pure_gen_200k_ft.jsonl llava-v1.5-7b_llava_gen_200k.jsonl llava-v1.5-13b_llava_raw_558k_ft_200k.jsonl llava-v1.5-13b_coco_raw_558k_ft.jsonl llava-v1.5-13b_llava_coco_raw.jsonl llava-v1.5-13b_select_raw_200k.jsonl llava-v1.5-13b_llava_raw_coco_gen.jsonl llava-v1.5-13b_llava_200k.jsonl llava-v1.5-13b_select_gen_50k.jsonl llava-v1.5-13b_random_ft.jsonl llava-v1.5-13b_llava_gen_200k.jsonl llava-v1.5-13b_llava_gen_200k_ft.jsonl llava-v1.5-13b_coco_gen_200k_ft.jsonl llava-v1.5-13b_coco_gen.jsonl llava-v1.5-13b_llava_coco_raw_758k_ft_200k.jsonl llava-v1.5-13b_coco_gen_558k_ft_200k.jsonl llava-v1.5-13b_pure_gen_558k.jsonl llava-v1.5-13b_select_gen_100k.jsonl llava-v1.5-13b_coco_raw_558k_ft_200k.jsonl llava-v1.5-13b_coco_raw_200k_ft.jsonl llava-v1.5-13b_mixed_200k.jsonl llava-v1.5-13b_select_raw_200k_ft.jsonl llava-v1.5-13b_llava_558k.jsonl llava-v1.5-7b_sharegpt4v_100k.jsonl llava-v1.5-13b_llava_raw_558k_ft.jsonl llava-v1.5-13b_coco_raw_558k.jsonl llava-v1.5-13b_select_gen_200k_ft.jsonl llava-v1.5-7b_llava_raw_558k.jsonl llava-v1.5-13b_coco_gen_336px.jsonl llava-v1.5-13b.jsonl llava-v1.5-13b_coco_gen_llava_raw.jsonl llava-v1.5-13b_select_gen_200k.jsonl llava-v1.5-13b_coco_gen_200k_ft_200k.jsonl llava-v1.5-7b_select_raw_100k.jsonl llava-v1.5-7b_select_gen_100k.jsonl llava-v1.5-13b_select_raw_100k.jsonl llava-v1.5-13b_llava_coco_gen_758k_ft.jsonl llava-v1.5-13b_coco_raw_200k_ft_200k.jsonl llava-v1.5-13b_pure_gen_558k_ft.jsonl llava-v1.5-13b_coco_raw.jsonl llava-v1.5-13b_llava_coco_raw_758k_ft.jsonl llava-v1.5-13b_select_gen_100k_ft.jsonl llava-v1.5-13b_coco_gen_200k_ft_865k.jsonl llava-v1.5-13b_coco_gen_558k.jsonl llava-v1.5-13b_llava_gen_200k_ft_865k.jsonl llava-v1.5-13b_coco_gen_558k_ft.jsonl llava-v1.5-13b_coco_gen_200k.jsonl train_images/ MME/ llava_mme.jsonl convert_answer_to_mme.py eval_tool/ .DS_Store calculation.py readme.txt answers/ llava-v1.5-13b_select_raw_200k_ft/ celebrity.txt code_reasoning.txt landmark.txt commonsense_reasoning.txt position.txt color.txt count.txt OCR.txt posters.txt scene.txt numerical_calculation.txt artwork.txt existence.txt text_translation.txt llava-v1.5-13b_coco_gen_200k_ft_865k/ commonsense_reasoning.txt landmark.txt OCR.txt artwork.txt existence.txt posters.txt color.txt scene.txt numerical_calculation.txt position.txt count.txt code_reasoning.txt text_translation.txt celebrity.txt llava-v1.5-13b_llava_raw_200k/ posters.txt artwork.txt count.txt scene.txt OCR.txt code_reasoning.txt color.txt celebrity.txt landmark.txt numerical_calculation.txt position.txt commonsense_reasoning.txt text_translation.txt existence.txt llava-v1.5-7b_llava_raw_558k/ numerical_calculation.txt existence.txt scene.txt posters.txt commonsense_reasoning.txt color.txt count.txt OCR.txt position.txt celebrity.txt text_translation.txt artwork.txt code_reasoning.txt landmark.txt llava-v1.5-13b_pure_gen_558k/ celebrity.txt artwork.txt existence.txt position.txt code_reasoning.txt OCR.txt scene.txt commonsense_reasoning.txt landmark.txt color.txt numerical_calculation.txt posters.txt text_translation.txt count.txt llava-v1.5-13b_coco_gen_llava_raw/ color.txt code_reasoning.txt count.txt landmark.txt commonsense_reasoning.txt existence.txt posters.txt position.txt text_translation.txt celebrity.txt artwork.txt scene.txt numerical_calculation.txt OCR.txt llava-v1.5-13b_coco_gen_200k_ft_200k/ numerical_calculation.txt existence.txt scene.txt posters.txt commonsense_reasoning.txt color.txt count.txt OCR.txt position.txt celebrity.txt text_translation.txt artwork.txt code_reasoning.txt landmark.txt llava-v1.5-13b_llava_coco_gen_758k_ft/ color.txt code_reasoning.txt count.txt landmark.txt commonsense_reasoning.txt existence.txt posters.txt position.txt text_translation.txt celebrity.txt artwork.txt scene.txt numerical_calculation.txt OCR.txt llava-v1.5-13b_coco_raw_558k/ text_translation.txt code_reasoning.txt numerical_calculation.txt scene.txt posters.txt celebrity.txt position.txt count.txt existence.txt landmark.txt artwork.txt color.txt commonsense_reasoning.txt OCR.txt llava-v1.5-13b_llava_coco_raw_758k_ft_200k/ position.txt OCR.txt posters.txt commonsense_reasoning.txt count.txt scene.txt landmark.txt existence.txt color.txt artwork.txt celebrity.txt text_translation.txt numerical_calculation.txt code_reasoning.txt llava-v1.5-13b_select_raw_200k/ text_translation.txt code_reasoning.txt numerical_calculation.txt scene.txt posters.txt celebrity.txt position.txt count.txt existence.txt landmark.txt artwork.txt color.txt commonsense_reasoning.txt OCR.txt llava-v1.5-13b_coco_select_200k/ artwork.txt posters.txt scene.txt text_translation.txt position.txt existence.txt celebrity.txt code_reasoning.txt landmark.txt OCR.txt color.txt count.txt numerical_calculation.txt commonsense_reasoning.txt llava-v1.5-13b_llava_gen_200k_ft_200k/ commonsense_reasoning.txt landmark.txt OCR.txt artwork.txt existence.txt posters.txt color.txt scene.txt numerical_calculation.txt position.txt count.txt code_reasoning.txt text_translation.txt celebrity.txt llava-v1.5-13b_select_gen_100k/ existence.txt landmark.txt numerical_calculation.txt count.txt text_translation.txt celebrity.txt color.txt posters.txt scene.txt OCR.txt position.txt artwork.txt code_reasoning.txt commonsense_reasoning.txt llava-v1.5-13b_llava_gen_200k/ celebrity.txt artwork.txt existence.txt position.txt code_reasoning.txt OCR.txt scene.txt commonsense_reasoning.txt landmark.txt color.txt numerical_calculation.txt posters.txt text_translation.txt count.txt llava-v1.5-13b_coco_raw_200k_ft_200k/ text_translation.txt code_reasoning.txt numerical_calculation.txt scene.txt posters.txt celebrity.txt position.txt count.txt existence.txt landmark.txt artwork.txt color.txt commonsense_reasoning.txt OCR.txt llava-v1.5-13b_llava_gen_558k/ commonsense_reasoning.txt landmark.txt OCR.txt artwork.txt existence.txt posters.txt color.txt scene.txt numerical_calculation.txt position.txt count.txt code_reasoning.txt text_translation.txt celebrity.txt llava-v1.5-13b_coco_gen_558k_ft_200k/ landmark.txt artwork.txt text_translation.txt OCR.txt position.txt posters.txt celebrity.txt count.txt code_reasoning.txt color.txt scene.txt numerical_calculation.txt existence.txt commonsense_reasoning.txt llava-v1.5-13b_select_gen_200k/ color.txt code_reasoning.txt count.txt landmark.txt commonsense_reasoning.txt existence.txt posters.txt position.txt text_translation.txt celebrity.txt artwork.txt scene.txt numerical_calculation.txt OCR.txt llava-v1.5-13b_mixed_200k/ celebrity.txt code_reasoning.txt landmark.txt commonsense_reasoning.txt position.txt color.txt count.txt OCR.txt posters.txt scene.txt numerical_calculation.txt artwork.txt existence.txt text_translation.txt llava-v1.5-13b_llava_coco_gen_758k_ft_200k/ existence.txt code_reasoning.txt commonsense_reasoning.txt color.txt count.txt artwork.txt celebrity.txt posters.txt scene.txt numerical_calculation.txt text_translation.txt OCR.txt landmark.txt position.txt llava-v1.5-13b_coco_gen_200k/ celebrity.txt code_reasoning.txt landmark.txt commonsense_reasoning.txt position.txt color.txt count.txt OCR.txt posters.txt scene.txt numerical_calculation.txt artwork.txt existence.txt text_translation.txt llava-v1.5-13b_llava_gen_200k_ft/ celebrity.txt artwork.txt existence.txt position.txt code_reasoning.txt OCR.txt scene.txt commonsense_reasoning.txt landmark.txt color.txt numerical_calculation.txt posters.txt text_translation.txt count.txt llava-v1.5-13b_select_gen_200k_ft/ color.txt code_reasoning.txt count.txt landmark.txt commonsense_reasoning.txt existence.txt posters.txt position.txt text_translation.txt celebrity.txt artwork.txt scene.txt numerical_calculation.txt OCR.txt llava-v1.5-13b_pure_gen_200k_ft/ text_translation.txt code_reasoning.txt numerical_calculation.txt scene.txt posters.txt celebrity.txt position.txt count.txt existence.txt landmark.txt artwork.txt color.txt commonsense_reasoning.txt OCR.txt llava-v1.5-13b_pure_gen_200k/ existence.txt code_reasoning.txt commonsense_reasoning.txt color.txt count.txt artwork.txt celebrity.txt posters.txt scene.txt numerical_calculation.txt text_translation.txt OCR.txt landmark.txt position.txt llava-v1.5-13b_llava_coco_gen_758k/ commonsense_reasoning.txt landmark.txt OCR.txt artwork.txt existence.txt posters.txt color.txt scene.txt numerical_calculation.txt position.txt count.txt code_reasoning.txt text_translation.txt celebrity.txt llava-v1.5-13b_coco_raw_558k_ft_200k/ color.txt code_reasoning.txt count.txt landmark.txt commonsense_reasoning.txt existence.txt posters.txt position.txt text_translation.txt celebrity.txt artwork.txt scene.txt numerical_calculation.txt OCR.txt llava-v1.5-7b_select_gen_100k/ commonsense_reasoning.txt OCR.txt text_translation.txt scene.txt artwork.txt landmark.txt posters.txt code_reasoning.txt count.txt existence.txt numerical_calculation.txt color.txt position.txt celebrity.txt llava-v1.5-13b_select_gen_50k/ numerical_calculation.txt existence.txt scene.txt posters.txt commonsense_reasoning.txt color.txt count.txt OCR.txt position.txt celebrity.txt text_translation.txt artwork.txt code_reasoning.txt landmark.txt llava-v1.5-13b_llava_coco_raw_758k_ft/ text_translation.txt code_reasoning.txt numerical_calculation.txt scene.txt posters.txt celebrity.txt position.txt count.txt existence.txt landmark.txt artwork.txt color.txt commonsense_reasoning.txt OCR.txt llava-v1.5-7b_sharegpt4v_100k/ numerical_calculation.txt existence.txt scene.txt posters.txt commonsense_reasoning.txt color.txt count.txt OCR.txt position.txt celebrity.txt text_translation.txt artwork.txt code_reasoning.txt landmark.txt llava-v1.5-13b_random_ft_200k/ llava-v1.5-13b_llava_raw_coco_gen/ commonsense_reasoning.txt OCR.txt text_translation.txt scene.txt artwork.txt landmark.txt posters.txt code_reasoning.txt count.txt existence.txt numerical_calculation.txt color.txt position.txt celebrity.txt llava-v1.5-13b_pure_gen_558k_ft_200k/ llava-v1.5-7b_llava_gen_200k/ llava-v1.5-13b_pure_gen_558k_ft/ posters.txt artwork.txt count.txt scene.txt OCR.txt code_reasoning.txt color.txt celebrity.txt landmark.txt numerical_calculation.txt position.txt commonsense_reasoning.txt text_translation.txt existence.txt llava-v1.5-13b_llava_coco_raw_758k/ celebrity.txt artwork.txt existence.txt position.txt code_reasoning.txt OCR.txt scene.txt commonsense_reasoning.txt landmark.txt color.txt numerical_calculation.txt posters.txt text_translation.txt count.txt llava-v1.5-13b_coco_gen_558k_sft/ commonsense_reasoning.txt OCR.txt text_translation.txt scene.txt artwork.txt landmark.txt posters.txt code_reasoning.txt count.txt existence.txt numerical_calculation.txt color.txt position.txt celebrity.txt llava-v1.5-13b_llava_gen_200k_ft_865k/ existence.txt landmark.txt numerical_calculation.txt count.txt text_translation.txt celebrity.txt color.txt posters.txt scene.txt OCR.txt position.txt artwork.txt code_reasoning.txt commonsense_reasoning.txt llava-v1.5-13b_select_raw_100k_ft/ artwork.txt text_translation.txt position.txt color.txt numerical_calculation.txt celebrity.txt count.txt code_reasoning.txt scene.txt landmark.txt OCR.txt commonsense_reasoning.txt posters.txt existence.txt llava-v1.5-13b_coco_raw_558k_sft/ numerical_calculation.txt existence.txt scene.txt posters.txt commonsense_reasoning.txt color.txt count.txt OCR.txt position.txt celebrity.txt text_translation.txt artwork.txt code_reasoning.txt landmark.txt llava-v1.5-13b_coco_raw_200k/ position.txt OCR.txt posters.txt commonsense_reasoning.txt count.txt scene.txt landmark.txt existence.txt color.txt artwork.txt celebrity.txt text_translation.txt numerical_calculation.txt code_reasoning.txt llava-v1.5-13b_select_gen_100k_ft/ landmark.txt artwork.txt text_translation.txt OCR.txt position.txt posters.txt celebrity.txt count.txt code_reasoning.txt color.txt scene.txt numerical_calculation.txt existence.txt commonsense_reasoning.txt llava-v1.5-7b_select_raw_100k/ existence.txt code_reasoning.txt commonsense_reasoning.txt color.txt count.txt artwork.txt celebrity.txt posters.txt scene.txt numerical_calculation.txt text_translation.txt OCR.txt landmark.txt position.txt llava-v1.5-13b_random_ft_865k/ numerical_calculation.txt existence.txt scene.txt posters.txt commonsense_reasoning.txt color.txt count.txt OCR.txt position.txt celebrity.txt text_translation.txt artwork.txt code_reasoning.txt landmark.txt llava-v1.5-13b_coco_gen_200k_ft/ commonsense_reasoning.txt landmark.txt OCR.txt artwork.txt existence.txt posters.txt color.txt scene.txt numerical_calculation.txt position.txt count.txt code_reasoning.txt text_translation.txt celebrity.txt llava-v1.5-13b_llava_raw_558k_ft_200k/ commonsense_reasoning.txt OCR.txt text_translation.txt scene.txt artwork.txt landmark.txt posters.txt code_reasoning.txt count.txt existence.txt numerical_calculation.txt color.txt position.txt celebrity.txt llava-v1.5-13b_llava_raw_558k/ posters.txt artwork.txt count.txt scene.txt OCR.txt code_reasoning.txt color.txt celebrity.txt landmark.txt numerical_calculation.txt position.txt commonsense_reasoning.txt text_translation.txt existence.txt llava-v1.5-13b_mixed_200k_ft/ existence.txt code_reasoning.txt commonsense_reasoning.txt color.txt count.txt artwork.txt celebrity.txt posters.txt scene.txt numerical_calculation.txt text_translation.txt OCR.txt landmark.txt position.txt llava-v1.5-13b_llava_raw_558k_ft/ celebrity.txt artwork.txt existence.txt position.txt code_reasoning.txt OCR.txt scene.txt commonsense_reasoning.txt landmark.txt color.txt numerical_calculation.txt posters.txt text_translation.txt count.txt llava-v1.5-13b_coco_gen_558k/ landmark.txt artwork.txt text_translation.txt OCR.txt position.txt posters.txt celebrity.txt count.txt code_reasoning.txt color.txt scene.txt numerical_calculation.txt existence.txt commonsense_reasoning.txt llava-v1.5-13b_select_raw_100k/ commonsense_reasoning.txt OCR.txt text_translation.txt scene.txt artwork.txt landmark.txt posters.txt code_reasoning.txt count.txt existence.txt numerical_calculation.txt color.txt position.txt celebrity.txt llava-v1.5-13b_coco_raw_200k_ft/ color.txt code_reasoning.txt count.txt landmark.txt commonsense_reasoning.txt existence.txt posters.txt position.txt text_translation.txt celebrity.txt artwork.txt scene.txt numerical_calculation.txt OCR.txt llava-v1.5-13b_random_ft/ posters.txt artwork.txt count.txt scene.txt OCR.txt code_reasoning.txt color.txt celebrity.txt landmark.txt numerical_calculation.txt position.txt commonsense_reasoning.txt text_translation.txt existence.txt LaVIN/ artwork.txt text_translation.txt position.txt color.txt numerical_calculation.txt celebrity.txt count.txt code_reasoning.txt scene.txt landmark.txt OCR.txt commonsense_reasoning.txt posters.txt existence.txt Your_Results/ landmark.txt artwork.txt text_translation.txt OCR.txt position.txt posters.txt celebrity.txt count.txt code_reasoning.txt color.txt scene.txt numerical_calculation.txt existence.txt commonsense_reasoning.txt answers/ llava-v1.5-13b.jsonl llava-v1.5-13b_coco_gen_558k.jsonl llava-v1.5-13b_llava_gen_558k.jsonl llava-v1.5-13b_select_gen_200k.jsonl llava-v1.5-13b_select_raw_100k_ft.jsonl llava-v1.5-13b_select_gen_100k_ft.jsonl llava-v1.5-13b_llava_gen_200k_ft_200k.jsonl llava-v1.5-13b_pure_gen_558k_ft.jsonl llava-v1.5-13b_coco_gen_558k_ft_200k.jsonl llava-v1.5-13b_llava_gen_200k.jsonl llava-v1.5-13b_coco_gen_llava_raw.jsonl llava-v1.5-7b_select_gen_100k.jsonl llava-v1.5-13b_coco_gen_200k_ft_865k.jsonl llava-v1.5-13b_coco_gen_200k_ft.jsonl llava-v1.5-13b_select_gen_50k.jsonl llava-v1.5-13b_pure_gen_200k_ft.jsonl llava-v1.5-13b_llava_raw_558k.jsonl llava-v1.5-7b_llava_gen_200k.jsonl llava-v1.5-13b_coco_raw_200k_ft_200k.jsonl llava-v1.5-13b_llava_coco_gen_758k_ft.jsonl llava-v1.5-13b_random_ft_865k.jsonl llava-v1.5-13b_llava_coco_gen_758k.jsonl llava-v1.5-13b_random_ft.jsonl llava-v1.5-13b_llava_coco_raw_758k_ft_200k.jsonl llava-v1.5-13b_select_raw_200k_ft.jsonl llava-v1.5-13b_llava_coco_gen_758k_ft_200k.jsonl llava-v1.5-13b_llava_gen_200k_ft.jsonl llava-v1.5-13b_random_ft_200k.jsonl llava-v1.5-13b_mixed_200k_ft.jsonl llava-v1.5-13b_select_raw_200k.jsonl llava-v1.5-13b_llava_gen_200k_ft_865k.jsonl llava-v1.5-13b_select_raw_100k.jsonl llava-v1.5-13b_pure_gen_200k.jsonl llava-v1.5-13b_select_gen_200k_ft.jsonl llava-v1.5-13b_coco_raw_200k_ft.jsonl llava-v1.5-13b_coco_gen_200k_ft_200k.jsonl llava-v1.5-13b_llava_raw_558k_ft.jsonl llava-v1.5-13b_coco_select_200k.jsonl llava-v1.5-13b_llava_coco_raw_758k.jsonl llava-v1.5-13b_llava_raw_558k_ft_200k.jsonl llava-v1.5-13b_coco_raw_558k.jsonl llava-v1.5-13b_mixed_200k.jsonl llava-v1.5-13b_select_gen_100k.jsonl llava-v1.5-7b_sharegpt4v_100k.jsonl llava-v1.5-13b_pure_gen_558k.jsonl llava-v1.5-13b_coco_gen_200k.jsonl llava-v1.5-13b_coco_raw_558k_ft_200k.jsonl llava-v1.5-13b_llava_coco_raw_758k_ft.jsonl llava-v1.5-7b_llava_raw_558k.jsonl llava-v1.5-13b_llava_raw_coco_gen.jsonl llava-v1.5-13b_llava_raw_200k.jsonl llava-v1.5-7b_select_raw_100k.jsonl llava-v1.5-13b_coco_raw_200k.jsonl llava-v1.5-13b_coco_raw_558k_sft.jsonl llava-v1.5-13b_coco_gen_558k_sft.jsonl MME_Benchmark_release_version/ readme.txt position/ 000000031248.txt 000000206487.txt 000000007281.txt 000000006471.txt 000000482585.txt 000000494869.txt 000000551660.txt 000000048504.txt 000000395801.txt 000000405970.txt 000000477955.txt 000000519569.txt 000000450303.txt 000000426241.txt 000000056127.txt 000000062025.txt 000000458410.txt 000000472046.txt 000000052007.txt 000000097994.txt 000000212800.txt 000000211825.txt 000000204871.txt 000000014038.txt 000000509699.txt 000000578922.txt 000000395701.txt 000000067213.txt 000000062808.txt 000000530162.txt text_translation/ 0009.txt 0013.txt 0002.txt 0017.txt 0014.txt 0003.txt 0019.txt 0001.txt 0020.txt 0018.txt 0016.txt 0007.txt 0006.txt 0011.txt 0008.txt 0005.txt 0015.txt 0012.txt 0010.txt 0004.txt OCR/ 0003.txt 0019.txt 0005.txt 0018.txt 0015.txt 0002.txt 0011.txt 0010.txt 0017.txt 0004.txt 0014.txt 0008.txt 0016.txt 0007.txt 0009.txt 0013.txt 0012.txt 0001.txt 0020.txt 0006.txt celebrity/ questions_answers_YN/ tt0118655_shot_1152_img_2.txt tt0070047_shot_0255_img_0.txt tt0103064_shot_1206_img_0.txt tt0087469_shot_0049_img_2.txt tt0068646_shot_0166_img_0.txt tt0078841_shot_0692_img_0.txt tt0118636_shot_0344_img_0.txt tt0064665_shot_0300_img_0.txt tt0099423_shot_1010_img_0.txt tt0100405_shot_0786_img_0.txt tt0052357_shot_0511_img_0.txt tt0081505_shot_0449_img_0.txt tt0093748_shot_0346_img_0.txt tt0117060_shot_1401_img_0.txt tt0100403_shot_0517_img_0.txt tt0119094_shot_0446_img_2.txt tt0077402_shot_1220_img_0.txt tt0119528_shot_0171_img_0.txt tt0058331_shot_0353_img_0.txt tt0106977_shot_1604_img_0.txt tt0047396_shot_0333_img_0.txt tt0056869_shot_0320_img_0.txt tt0109831_shot_0298_img_0.txt tt0090022_shot_0464_img_0.txt tt0069762_shot_0723_img_0.txt tt0102492_shot_0086_img_0.txt tt0099810_shot_0285_img_0.txt tt0065724_shot_0320_img_1.txt tt0094226_shot_0237_img_2.txt tt0099674_shot_1356_img_0.txt tt0116629_shot_1570_img_2.txt tt0082971_shot_0831_img_0.txt tt0119008_shot_0979_img_0.txt tt0117500_shot_2467_img_0.txt tt0118883_shot_0691_img_1.txt tt0079417_shot_0735_img_0.txt tt0032138_shot_0395_img_0.txt tt0094737_shot_0567_img_0.txt tt0053221_shot_0197_img_0.txt tt0079470_shot_0798_img_0.txt tt0098635_shot_0556_img_0.txt tt0083866_shot_0364_img_0.txt tt0083907_shot_0633_img_0.txt tt0049730_shot_0273_img_0.txt tt0082089_shot_0046_img_0.txt tt0077405_shot_0150_img_0.txt tt0108399_shot_0778_img_0.txt tt0071315_shot_0153_img_0.txt tt0095016_shot_1170_img_0.txt tt0095250_shot_0509_img_0.txt tt0073629_shot_0700_img_0.txt tt0077416_shot_1442_img_0.txt tt0111280_shot_1479_img_2.txt tt0099487_shot_0123_img_0.txt tt0070735_shot_0818_img_0.txt tt0112384_shot_0878_img_0.txt tt0079945_shot_1411_img_0.txt tt0093779_shot_1047_img_0.txt tt0114388_shot_0162_img_0.txt tt0076729_shot_0451_img_0.txt tt0089881_shot_0034_img_0.txt tt0088993_shot_0569_img_0.txt tt0049470_shot_0279_img_0.txt tt0087332_shot_0798_img_0.txt tt0054167_shot_0122_img_0.txt tt0118571_shot_0627_img_0.txt tt0117571_shot_0475_img_0.txt tt0117731_shot_0300_img_0.txt tt0090605_shot_0344_img_0.txt tt0070849_shot_0021_img_1.txt tt0107614_shot_0116_img_0.txt tt0048545_shot_0124_img_0.txt tt0086190_shot_0815_img_0.txt tt0070511_shot_0639_img_0.txt tt0092099_shot_0455_img_1.txt tt0035423_shot_0464_img_0.txt tt0114369_shot_1138_img_0.txt tt0073195_shot_0280_img_0.txt tt0062622_shot_0291_img_0.txt tt0099685_shot_1132_img_0.txt tt0056923_shot_0835_img_0.txt tt0091867_shot_0422_img_2.txt tt0114388_shot_1207_img_1.txt tt0093773_shot_0212_img_0.txt tt0120338_shot_1130_img_2.txt tt0091042_shot_0098_img_0.txt tt0086879_shot_0158_img_0.txt tt0063442_shot_0702_img_0.txt tt0058461_shot_0901_img_0.txt tt0096874_shot_0647_img_0.txt tt0105695_shot_1436_img_1.txt tt0072684_shot_0512_img_1.txt tt0116695_shot_0343_img_0.txt tt0077651_shot_0133_img_0.txt tt0075686_shot_0373_img_0.txt tt0118715_shot_0079_img_0.txt tt0119116_shot_0721_img_0.txt tt0091738_shot_0073_img_1.txt tt0117509_shot_0041_img_0.txt tt0038650_shot_0737_img_1.txt tt0083929_shot_0405_img_0.txt tt0093565_shot_0409_img_0.txt tt0117731_shot_1067_img_0.txt tt0112641_shot_0412_img_1.txt tt0096895_shot_0819_img_1.txt tt0098724_shot_0474_img_0.txt tt0103064_shot_2602_img_1.txt tt0092699_shot_0208_img_0.txt tt0096754_shot_0570_img_1.txt tt0097576_shot_1010_img_2.txt tt0105236_shot_0193_img_0.txt tt0061722_shot_0259_img_0.txt tt0061418_shot_0148_img_0.txt tt0117381_shot_0798_img_1.txt tt0119643_shot_0330_img_0.txt tt0104257_shot_0477_img_0.txt tt0076759_shot_0930_img_0.txt tt0118749_shot_0795_img_0.txt tt0100157_shot_0365_img_0.txt tt0095765_shot_0008_img_0.txt tt0116367_shot_0755_img_0.txt tt0103776_shot_0719_img_0.txt tt0057115_shot_0686_img_0.txt tt0078788_shot_1434_img_0.txt tt0119528_shot_0761_img_1.txt tt0113101_shot_0547_img_0.txt tt0086856_shot_0929_img_0.txt tt0080684_shot_1574_img_2.txt tt0090756_shot_0135_img_0.txt tt0070379_shot_0569_img_0.txt tt0080339_shot_0711_img_0.txt tt0065214_shot_0366_img_0.txt tt0101410_shot_0105_img_0.txt tt0067116_shot_0122_img_0.txt tt0112740_shot_1056_img_0.txt tt0074285_shot_0535_img_1.txt tt0118548_shot_1296_img_0.txt tt0064115_shot_0367_img_0.txt tt0088944_shot_0634_img_0.txt tt0118689_shot_0969_img_2.txt tt0088847_shot_0109_img_0.txt tt0095953_shot_0412_img_0.txt tt0074119_shot_0814_img_0.txt tt0084726_shot_0283_img_0.txt tt0120338_shot_0444_img_2.txt tt0104348_shot_0340_img_0.txt tt0086250_shot_1079_img_0.txt tt0066921_shot_0631_img_0.txt tt0104036_shot_0336_img_1.txt tt0118655_shot_0279_img_0.txt tt0097216_shot_0381_img_0.txt tt0119174_shot_0439_img_0.txt tt0115798_shot_0844_img_1.txt tt0119314_shot_0572_img_0.txt tt0097428_shot_0106_img_0.txt tt0096320_shot_0085_img_0.txt tt0117060_shot_0412_img_0.txt tt0118689_shot_0706_img_0.txt tt0119738_shot_0201_img_0.txt tt0105665_shot_0351_img_0.txt tt0118971_shot_0679_img_0.txt tt0075148_shot_0618_img_0.txt tt0089218_shot_0327_img_0.txt tt0066026_shot_0085_img_0.txt tt0119822_shot_0878_img_0.txt tt0082198_shot_1353_img_0.txt tt0118636_shot_0007_img_1.txt tt0071562_shot_0684_img_0.txt tt0111280_shot_0258_img_0.txt tt0083658_shot_0963_img_0.txt images/ existence/ 000000537812.txt 000000494427.txt 000000007816.txt 000000519039.txt 000000572956.txt 000000006471.txt 000000541952.txt 000000009590.txt 000000546626.txt 000000010363.txt 000000015254.txt 000000424521.txt 000000523241.txt 000000498463.txt 000000557258.txt 000000006040.txt 000000495448.txt 000000007108.txt 000000007977.txt 000000050145.txt 000000061418.txt 000000556000.txt 000000015746.txt 000000438304.txt 000000011197.txt 000000530162.txt 000000015517.txt 000000037751.txt 000000008844.txt 000000417779.txt commonsense_reasoning/ 0027.txt 0070.txt 0024.txt 0045.txt 0039.txt 0069.txt 0029.txt 0017.txt 0052.txt 0058.txt 0001.txt 0057.txt 0047.txt 0056.txt 0020.txt 0033.txt 0030.txt 0021.txt 0028.txt 0008.txt 0022.txt 0034.txt 0062.txt 0064.txt 0031.txt 0023.txt 0061.txt 0012.txt 0054.txt 0051.txt 0042.txt 0007.txt 0055.txt 0013.txt 0067.txt 0038.txt 0018.txt 0066.txt 0037.txt 0046.txt 0006.txt 0010.txt 0049.txt 0041.txt 0004.txt 0050.txt 0036.txt 0016.txt 0048.txt 0059.txt 0040.txt 0063.txt 0026.txt 0044.txt 0060.txt 0015.txt 0014.txt 0019.txt 0002.txt 0043.txt 0009.txt 0003.txt 0068.txt 0035.txt 0032.txt 0025.txt 0005.txt 0053.txt 0065.txt 0011.txt count/ 000000410612.txt 000000438304.txt 000000430286.txt 000000044279.txt 000000357816.txt 000000274066.txt 000000006040.txt 000000432468.txt 000000335954.txt 000000423944.txt 000000289059.txt 000000097994.txt 000000556000.txt 000000236721.txt 000000195918.txt 000000261712.txt 000000071226.txt 000000450303.txt 000000476215.txt 000000427034.txt 000000482100.txt 000000067213.txt 000000565045.txt 000000470121.txt 000000276434.txt 000000372819.txt 000000290081.txt 000000491867.txt 000000301867.txt 000000434479.txt posters/ images/ questions_answers_YN/ tt0093773.txt tt0094291.txt tt1564367.txt tt0993846.txt tt0264395.txt tt1971325.txt tt0096446.txt tt0107808.txt tt3700804.txt tt5726086.txt tt0829482.txt tt0053221.txt tt1057500.txt tt4046784.txt tt6788942.txt tt1124037.txt tt1284575.txt tt0113497.txt tt0163025.txt tt4721400.txt tt0268978.txt tt0393109.txt tt0074119.txt tt4242158.txt tt0780653.txt tt0097576.txt tt2788732.txt tt0425210.txt tt0244244.txt tt0071315.txt tt0369702.txt tt0112740.txt tt2078768.txt tt1068680.txt tt0499549.txt tt0114369.txt tt5688868.txt tt0118655.txt tt1119646.txt tt0116209.txt tt1343092.txt tt0195714.txt tt0443680.txt tt0098724.txt tt2908856.txt tt0399201.txt tt0062622.txt tt0166924.txt tt0116629.txt tt0433035.txt tt1974419.txt tt1800241.txt tt3316960.txt tt0118636.txt tt0232500.txt tt0107653.txt tt0351977.txt tt1454029.txt tt0067185.txt tt0449088.txt tt3860916.txt tt0338751.txt tt0093565.txt tt2980516.txt tt0328107.txt tt0086250.txt tt2017561.txt tt5564148.txt tt0133093.txt tt0070291.txt tt7055592.txt tt0242653.txt tt1017460.txt tt1438176.txt tt0240772.txt tt0074749.txt tt0048028.txt tt1722484.txt tt0068646.txt tt0101889.txt tt1606378.txt tt0266697.txt tt0182789.txt tt0098635.txt tt0096895.txt tt1403865.txt tt0100150.txt tt0119303.txt tt0100112.txt tt0341495.txt tt2334873.txt tt0067140.txt tt4273292.txt tt2132285.txt tt1229822.txt tt0898367.txt tt3495026.txt tt1385826.txt tt1703957.txt tt1670345.txt tt4520364.txt tt0848228.txt tt3077214.txt tt1300851.txt tt0099653.txt tt0187078.txt tt3824458.txt tt0167261.txt tt0114388.txt tt1560747.txt tt0082186.txt tt0118715.txt tt4972062.txt tt0318627.txt tt4651520.txt tt0129387.txt tt7131870.txt tt0067116.txt tt2238032.txt tt0261392.txt tt0096463.txt tt0101921.txt tt0084787.txt tt0110201.txt tt0063442.txt tt0083907.txt tt0942385.txt tt1809398.txt tt4501454.txt tt1305806.txt tt0209958.txt tt0083946.txt tt0450259.txt tt2802144.txt tt0120738.txt tt0378194.txt tt0258463.txt tt0379786.txt tt3498820.txt tt1637725.txt tt0100935.txt tt0373469.txt tt3465916.txt tt1099212.txt tt0065724.txt tt1291150.txt tt0462499.txt scene/ questions_answers_YN/ Places365_val_00000046.txt Places365_val_00000081.txt Places365_val_00000191.txt Places365_val_00000060.txt Places365_val_00000048.txt Places365_val_00000103.txt Places365_val_00000099.txt Places365_val_00000040.txt Places365_val_00000070.txt Places365_val_00000021.txt Places365_val_00000169.txt Places365_val_00000158.txt Places365_val_00000035.txt Places365_val_00000173.txt Places365_val_00000036.txt Places365_val_00000105.txt Places365_val_00000095.txt Places365_val_00000150.txt Places365_val_00000124.txt Places365_val_00000166.txt Places365_val_00000067.txt Places365_val_00000189.txt Places365_val_00000167.txt Places365_val_00000129.txt Places365_val_00000024.txt Places365_val_00000026.txt Places365_val_00000031.txt Places365_val_00000146.txt Places365_val_00000174.txt Places365_val_00000042.txt Places365_val_00000034.txt Places365_val_00000170.txt Places365_val_00000145.txt Places365_val_00000004.txt Places365_val_00000030.txt Places365_val_00000138.txt Places365_val_00000101.txt Places365_val_00000074.txt Places365_val_00000199.txt Places365_val_00000094.txt Places365_val_00000041.txt Places365_val_00000090.txt Places365_val_00000161.txt Places365_val_00000121.txt Places365_val_00000017.txt Places365_val_00000087.txt Places365_val_00000007.txt Places365_val_00000015.txt Places365_val_00000016.txt Places365_val_00000187.txt Places365_val_00000076.txt Places365_val_00000132.txt Places365_val_00000092.txt Places365_val_00000127.txt Places365_val_00000020.txt Places365_val_00000085.txt Places365_val_00000006.txt Places365_val_00000118.txt Places365_val_00000098.txt Places365_val_00000075.txt Places365_val_00000003.txt Places365_val_00000013.txt Places365_val_00000044.txt Places365_val_00000066.txt Places365_val_00000096.txt Places365_val_00000164.txt Places365_val_00000165.txt Places365_val_00000130.txt Places365_val_00000027.txt Places365_val_00000171.txt Places365_val_00000002.txt Places365_val_00000198.txt Places365_val_00000008.txt Places365_val_00000051.txt Places365_val_00000091.txt Places365_val_00000154.txt Places365_val_00000172.txt Places365_val_00000196.txt Places365_val_00000102.txt Places365_val_00000054.txt Places365_val_00000023.txt Places365_val_00000176.txt Places365_val_00000152.txt Places365_val_00000079.txt Places365_val_00000108.txt Places365_val_00000062.txt Places365_val_00000119.txt Places365_val_00000012.txt Places365_val_00000043.txt Places365_val_00000184.txt Places365_val_00000052.txt Places365_val_00000137.txt Places365_val_00000086.txt Places365_val_00000140.txt Places365_val_00000093.txt Places365_val_00000151.txt Places365_val_00000188.txt Places365_val_00000106.txt Places365_val_00000148.txt Places365_val_00000143.txt Places365_val_00000179.txt Places365_val_00000153.txt Places365_val_00000175.txt Places365_val_00000107.txt Places365_val_00000011.txt Places365_val_00000049.txt Places365_val_00000064.txt Places365_val_00000047.txt Places365_val_00000182.txt Places365_val_00000192.txt Places365_val_00000063.txt Places365_val_00000088.txt Places365_val_00000123.txt Places365_val_00000185.txt Places365_val_00000194.txt Places365_val_00000032.txt Places365_val_00000139.txt Places365_val_00000072.txt Places365_val_00000134.txt Places365_val_00000114.txt Places365_val_00000133.txt Places365_val_00000055.txt Places365_val_00000104.txt Places365_val_00000082.txt Places365_val_00000045.txt Places365_val_00000083.txt Places365_val_00000163.txt Places365_val_00000168.txt Places365_val_00000014.txt Places365_val_00000120.txt Places365_val_00000113.txt Places365_val_00000195.txt Places365_val_00000117.txt Places365_val_00000125.txt Places365_val_00000037.txt Places365_val_00000010.txt Places365_val_00000009.txt Places365_val_00000109.txt Places365_val_00000177.txt Places365_val_00000001.txt Places365_val_00000077.txt Places365_val_00000065.txt Places365_val_00000155.txt Places365_val_00000089.txt Places365_val_00000157.txt Places365_val_00000147.txt Places365_val_00000135.txt Places365_val_00000097.txt Places365_val_00000200.txt Places365_val_00000128.txt Places365_val_00000159.txt Places365_val_00000073.txt Places365_val_00000183.txt Places365_val_00000162.txt Places365_val_00000029.txt Places365_val_00000019.txt Places365_val_00000059.txt Places365_val_00000116.txt Places365_val_00000149.txt Places365_val_00000053.txt Places365_val_00000050.txt Places365_val_00000131.txt Places365_val_00000160.txt Places365_val_00000038.txt Places365_val_00000039.txt Places365_val_00000080.txt Places365_val_00000144.txt Places365_val_00000178.txt Places365_val_00000028.txt Places365_val_00000126.txt Places365_val_00000142.txt Places365_val_00000136.txt Places365_val_00000056.txt Places365_val_00000115.txt Places365_val_00000005.txt Places365_val_00000025.txt Places365_val_00000156.txt Places365_val_00000022.txt Places365_val_00000078.txt Places365_val_00000068.txt Places365_val_00000180.txt Places365_val_00000033.txt Places365_val_00000061.txt Places365_val_00000193.txt Places365_val_00000197.txt Places365_val_00000181.txt Places365_val_00000112.txt Places365_val_00000190.txt Places365_val_00000100.txt Places365_val_00000122.txt Places365_val_00000186.txt Places365_val_00000084.txt Places365_val_00000110.txt Places365_val_00000069.txt Places365_val_00000058.txt Places365_val_00000057.txt Places365_val_00000111.txt Places365_val_00000018.txt Places365_val_00000141.txt Places365_val_00000071.txt images/ numerical_calculation/ 0009.txt 0017.txt 0015.txt 0020.txt 0002.txt 0014.txt 0005.txt 0012.txt 0011.txt 0007.txt 0010.txt 0001.txt 0016.txt 0006.txt 0004.txt 0013.txt 0019.txt 0003.txt 0018.txt 0008.txt artwork/ .DS_Store questions_answers_YN/ 39556.txt 42956.txt 15246.txt 30443.txt 13091.txt 7702.txt 24260.txt 6297.txt 995.txt 16538.txt 16835.txt 10581.txt 8797.txt 10543.txt 42905.txt 25476.txt 18902.txt 37077.txt 16249.txt 22366.txt 10358.txt 6969.txt 8101.txt 12736.txt 23824.txt 35345.txt 18926.txt 11724.txt 20490.txt 42401.txt 28039.txt 41653.txt 3114.txt 22842.txt 12652.txt 416.txt 38993.txt 21469.txt 17317.txt 19993.txt 18604.txt 42941.txt 42152.txt 30875.txt 17838.txt 37819.txt 17535.txt 14283.txt 26973.txt 33854.txt 34669.txt 19154.txt 2507.txt 9395.txt 38881.txt 20724.txt 39124.txt 35658.txt 42585.txt 22329.txt 37439.txt 28698.txt 19417.txt 35736.txt 28974.txt 19452.txt 5906.txt 6478.txt 11276.txt 29266.txt 36805.txt 38178.txt 12439.txt 43175.txt 33173.txt 38546.txt 26521.txt 12908.txt 27936.txt 5227.txt 11488.txt 28345.txt 21712.txt 27662.txt 526.txt 28758.txt 17823.txt 20455.txt 34638.txt 41371.txt 381.txt 10881.txt 15028.txt 24723.txt 42288.txt 21244.txt 38740.txt 34109.txt 20176.txt 28400.txt 39188.txt 15232.txt 15989.txt 25513.txt 34363.txt 13760.txt 23427.txt 20551.txt 19839.txt 13821.txt 42987.txt 15311.txt 18722.txt 38536.txt 8885.txt 31808.txt 35486.txt 43349.txt 33753.txt 36966.txt 42857.txt 18566.txt 10049.txt 16006.txt 9405.txt 24122.txt 16911.txt 20651.txt 42303.txt 41484.txt 41594.txt 12902.txt 14777.txt 12561.txt 33069.txt 3085.txt 815.txt 20483.txt 3241.txt 6168.txt 10970.txt 22760.txt 13239.txt 339.txt 19087.txt 3404.txt 42447.txt 13696.txt 701.txt 19863.txt 21048.txt 25492.txt 11331.txt 41944.txt 10256.txt 42706.txt 35861.txt 10002.txt 17998.txt 43142.txt 33933.txt 35439.txt 13901.txt 34539.txt 20442.txt 37866.txt 24291.txt 35513.txt 35460.txt 9599.txt 14499.txt 32147.txt 1060.txt 34627.txt 23465.txt 21097.txt 13288.txt 17311.txt 22667.txt 33017.txt 43445.txt 41036.txt 37010.txt 3552.txt 38694.txt 1873.txt 21580.txt 25312.txt 2490.txt 13174.txt 20437.txt 4836.txt 39026.txt 39482.txt 23229.txt 11726.txt 42796.txt 9153.txt 12133.txt 27021.txt images/ color/ 000000370208.txt 000000053529.txt 000000053994.txt 000000530457.txt 000000338560.txt 000000047121.txt 000000057597.txt 000000532761.txt 000000442456.txt 000000427034.txt 000000006723.txt 000000492362.txt 000000564280.txt 000000055072.txt 000000047112.txt 000000512929.txt 000000029393.txt 000000035770.txt 000000563758.txt 000000061658.txt 000000492992.txt 000000012120.txt 000000410612.txt 000000405205.txt 000000014831.txt 000000028993.txt 000000377723.txt 000000534041.txt 000000008277.txt 000000038118.txt code_reasoning/ 0014.txt 0020.txt 0019.txt 0003.txt 0007.txt 0009.txt 0001.txt 0017.txt 0002.txt 0004.txt 0006.txt 0015.txt 0012.txt 0016.txt 0013.txt 0011.txt 0008.txt 0010.txt 0018.txt 0005.txt landmark/ images/ questions_answers_YN/ 0317376043fb00eb.txt 03f873280d814ae7.txt 1ac0e3c493073995.txt 0200cce957e9c4a6.txt 04d67117549e07a8.txt 07b04584e67cb39d.txt 0205343362e60daf.txt 02b7f3ae549582f1.txt 15b75eb6fca4aeb6.txt 070c8d6326a87397.txt 0022666a36b80ea5.txt 05c3aa404351f407.txt 02e38cd5a3850f60.txt 16b76bdd7eaaef1b.txt 03c8b2c1306c0038.txt 04a5226570dce6c3.txt 01bc5557ed2616ad.txt 0d7716f4aed0c9fa.txt 0d23f6c345b68c05.txt 050464e4ebc0b36d.txt 17e0cd732e35d4aa.txt 0adb088e24d88123.txt 004543cec064cd0b.txt 197e440391d309f8.txt 003f8af9477a8eb8.txt 03729394d18f7e9a.txt 036b60d84c6ebc63.txt 01e198bea8285816.txt 0006adf999ccc899.txt 01114538f95f1ce8.txt 0273f127895337be.txt 045ec5631638d290.txt 0237fc92f6b31aeb.txt 02e3e418198427e7.txt 01b715ceb7050bce.txt 02259144c3f094f0.txt 0fc48f210ea7d363.txt 014c50e91cf799c7.txt 07ac52cf4620519f.txt 09b94a2f304a540c.txt 002ae473a76362a6.txt 04590c1648dd25a0.txt 02545ca051c6c480.txt 01aca2d30b43d05f.txt 0d89a8a5e8c269e4.txt 19fe04377265454e.txt 3c89eb4043bcefac.txt 03aa5dd2e3aab548.txt 0443da4f4fcdea52.txt 08c43cd8f2be6709.txt 0ae3355e0a54db21.txt 00fa476690a260a8.txt 04ebe2885134597f.txt 03fb778d388ad9a0.txt 10b2b8741f283a3c.txt 13a563a1a8ef38ae.txt 1d4be36153741972.txt 092d0859ff6424de.txt 16d55614b78b6b8b.txt 067ea27ec08c9354.txt 01d6e386c4a01ab3.txt 101786bd2ec5800e.txt 0e04b4f7f9801ea9.txt 06ab45292ecd8bf7.txt 042ca5291cefe0b2.txt 01928acd6dfe6cdd.txt 06b6531dab42ccab.txt 130846b4f29fe4ba.txt 020ae4dd487a8ab0.txt 06d039ff97afef04.txt 05095dd2b6715fc3.txt 0169c4235270f65b.txt 00261324328490fc.txt 27a4267b9ea26cd0.txt 00c1349a9622390c.txt 093ad5564a004653.txt 0e553d5d99e21c32.txt 0cc5201e37961a1d.txt 15ec5d2c0898a56e.txt 04534ba775aa38ad.txt 013e1a1e887cb915.txt 2f25654bcb445452.txt 0186742e7963fb3c.txt 083dd5a3ba3d96dc.txt 15f326a030396dba.txt 03f8abf9f8473a6f.txt 09ae0628a75e4fcc.txt 2a895eb889d6fd99.txt 01a6842099d62f22.txt 0d70bceb2557d1f4.txt 01c0e0ff84631905.txt 03dc7df1f1df7b8f.txt 0713451824a443d4.txt 14d3aba340d2fba9.txt 005150f80de6f487.txt 0a3035bfca2ab920.txt 045b65ea196dac3f.txt 06e453b06a3e4054.txt 012856462a95ada9.txt 06e927f784642ce4.txt 0015309638e5a9b1.txt 004beea6937b3a8c.txt 100e5402cfb2dfcf.txt 08a0d2fd3fe6dc95.txt 0cf48b827c9c99de.txt 01121b9b3c79afc4.txt 075264ec41057049.txt 162a77504f4e686e.txt 0613d7e8f292ee15.txt 04531b37dfe5c991.txt 18608ca3b785abf8.txt 11b6bb2c35f4ee22.txt 05d56e249af839e7.txt 01425c4d35880aad.txt 0eb857c972ddc4c8.txt 0c06fe97f38f6f88.txt 016e68628ea6c7ee.txt 04b6c84ce89461ec.txt 01862535ce8961ee.txt 06483ba2bff074bc.txt 05b01b255cec2bfb.txt 0f92862c0366ab60.txt 00f4fb71575efb0b.txt 01b9b58a573c45f0.txt 03d5e3bfc958be38.txt 1a32959819038291.txt 038bdff81be029a6.txt 02598153523880aa.txt 1f233b807b660d25.txt 041da60e053c5906.txt 008053e6bb5afa33.txt 09b7acf87c8046ec.txt 07ed43dd266b669b.txt 062298815e9197e7.txt 0b64944086932c90.txt 010260e62e7d847d.txt 0743e58605497887.txt 02785530b6ac4f56.txt 001f0bfe8464254a.txt 01f23b4c5253e9c6.txt 06a85d0b5d70881d.txt 0b4240b5ef69362e.txt 1053f4cebfceabd8.txt 0384fd0664c0ca62.txt 08442f24f3c25565.txt 07551cf96af77299.txt 0cf2e28266a0f1a1.txt 0bdd954254310e73.txt 01b12048bab7439f.txt 0023bd687cbc0a44.txt 006e3342b57aa3b4.txt 02737bb70957827d.txt 028348883685db69.txt 03f65f52c0077b6c.txt 00cae9f165d8d2cc.txt 0bd72080836eac97.txt 012ea376a16f17bf.txt 0acc12d1261d99ca.txt 0202aac6b0bfbcd8.txt 0075a4d212539625.txt 0cd8fda9668b3ed2.txt 030d9a26b7d5755e.txt 034d066523bb20d1.txt 0059fc817c5fd5b7.txt 0b8fa4152f1bc3ed.txt 09ce89cbf237da03.txt 0053894534d1e259.txt 03c4b1901e4195f4.txt 0140a7d5446719c3.txt 127be7d34a21e5ed.txt 05bcf05b4460d2c3.txt 02b16429304b00b7.txt 0240727dbd2b8531.txt 06740b93ad1f6c02.txt 09232aeaf46dec64.txt 01416124a7ab211a.txt 1023b7ec812bb4c6.txt 011a19afda5df3c7.txt 075f8d86303a020e.txt 10a944858a4283e0.txt 09a51d517f1a72d5.txt 010b5b5c9c461f65.txt 092e075e8e44c228.txt 05685b1070b828f5.txt 0ba6fa7ade050d49.txt 0e0511c6e33636ca.txt 06134984e2aa9bcc.txt 005c68530bb6ed7c.txt 0ab2ed007db301d5.txt 0962855b67159733.txt 01d9bef0120557a5.txt 0295877d5cd76190.txt 029431b10472c228.txt 02d11e392d3ab93f.txt 0c6b0c5d2a401285.txt 015543ddea466c54.txt 034733eb61d663cd.txt 039bbdf71cd17b3f.txt 03280db41fd4e4f5.txt 01ffc77bdf7fe084.txt vizwiz/ llava_test.jsonl test.json train.json val.json answers_upload/ llava-v1.5-13b_select_gen_200k.json llava-v1.5-13b_llava_gen_200k_ft.json llava-v1.5-13b_mixed_200k.json llava-v1.5-13b_coco_gen_200k_ft.json llava-v1.5-13b_select_gen_100k_ft.json llava-v1.5-13b_pure_gen_558k_ft.json llava-v1.5-13b_select_raw_200k_ft.json llava-v1.5-13b_coco_gen_200k_ft_200k.json llava-v1.5-13b_pure_gen_200k.json llava-v1.5-13b_coco_gen_llava_raw.json llava-v1.5-13b_select_raw_200k.json llava-v1.5-7b_sharegpt4v_100k.json llava-v1.5-13b_select_gen_200k_ft.json llava-v1.5-13b_coco_raw_558k.json llava-v1.5-13b_llava_coco_gen_758k_ft_200k.json llava-v1.5-13b_coco_gen.json llava-v1.5-13b_random_ft.json llava-v1.5-13b_coco_gen_558k.json llava-v1.5-13b_llava_gen_200k.json llava-v1.5-13b_llava_coco_gen_758k.json llava-v1.5-13b_llava_gen_200k_ft_200k.json llava-v1.5-13b_coco_raw_200k_ft.json llava-v1.5-13b_llava_200k.json llava-v1.5-13b_coco_gen1.json llava-v1.5-13b_coco_raw.json llava-v1.5-13b_llava_coco_raw_758k_ft.json llava-v1.5-13b_llava_558k.json llava-v1.5-13b_select_mscoco_200k.json llava-v1.5-13b_coco_gen_558k_ft_200k.json llava-v1.5-13b_mixed_200k_ft.json llava-v1.5-13b_llava_coco_raw_758k_ft_200k.json llava-v1.5-7b_llava_gen_200k.json llava-v1.5-13b_pure_gen_200k_ft.json llava-v1.5-7b_select_raw_100k.json llava-v1.5-13b_llava_raw_558k_ft.json llava-v1.5-13b_coco_gen_558k_ft.json llava-v1.5-13b_select_raw_100k_ft.json llava-v1.5-13b_llava_gen_558k.json llava-v1.5-13b_coco_raw_558k_ft_200k.json llava-v1.5-13b_model_zoo.json llava-v1.5-13b_coco_raw_200k_ft_200k.json llava-v1.5-13b_llava_coco_raw.json llava-v1.5-13b_select_gen_100k.json llava-v1.5-13b_coco_raw_558k_ft.json llava-v1.5-7b_llava_raw_558k.json llava-v1.5-13b_pure_gen_558k.json llava-v1.5-13b_llava_coco_gen_758k_ft.json llava-v1.5-13b_select_raw_100k.json llava-v1.5-13b_llava_raw_558k_ft_200k.json llava-v1.5-7b_select_gen_100k.json answers/ llava-v1.5-13b_llava_coco_raw_758k_ft_200k.jsonl llava-v1.5-13b_select_raw_200k.jsonl llava-v1.5-13b_mixed_200k.jsonl llava-v1.5-13b_coco_raw_200k_ft.jsonl llava-v1.5-13b_coco_gen_558k_ft.jsonl llava-v1.5-13b_select_gen_200k.jsonl llava-v1.5-13b_coco_gen_200k_ft.jsonl llava-v1.5-13b_select_raw_100k.jsonl llava-v1.5-13b_llava_coco_raw_758k_ft.jsonl llava-v1.5-13b_llava_558k.jsonl llava-v1.5-13b_llava_200k.jsonl llava-v1.5-13b_llava_raw_558k_ft_200k.jsonl llava-v1.5-13b_coco_raw.jsonl llava-v1.5-13b_coco_gen.jsonl llava-v1.5-13b_random_ft.jsonl llava-v1.5-13b_pure_gen_200k.jsonl llava-v1.5-13b_coco_gen_558k_ft_200k.jsonl llava-v1.5-13b_llava_raw_coco_gen.jsonl llava-v1.5-13b_pure_gen_200k_ft.jsonl llava-v1.5-13b_llava_gen_200k.jsonl llava-v1.5-13b_select_gen_100k.jsonl llava-v1.5-13b_llava_gen_558k.jsonl llava-v1.5-13b_coco_raw_558k.jsonl llava-v1.5-7b_llava_gen_200k.jsonl llava-v1.5-13b_coco_raw_200k_ft_200k.jsonl llava-v1.5-13b_coco_raw_558k_ft.jsonl llava-v1.5-13b_coco_gen_200k_ft_200k.jsonl llava-v1.5-13b_mixed_200k_ft.jsonl llava-v1.5-13b_select_gen_200k_ft.jsonl llava-v1.5-13b_llava_gen_200k_ft_200k.jsonl llava-v1.5-13b_select_raw_100k_ft.jsonl llava-v1.5-13b.jsonl llava-v1.5-13b_coco_gen_llava_raw.jsonl llava-v1.5-13b_llava_coco_gen_758k_ft.jsonl llava-v1.5-7b_select_gen_100k.jsonl llava-v1.5-7b_select_raw_100k.jsonl llava-v1.5-13b_llava_coco_raw.jsonl llava-v1.5-7b_llava_raw_558k.jsonl llava-v1.5-13b_select_gen_100k_ft.jsonl llava-v1.5-13b_coco_raw_558k_ft_200k.jsonl llava-v1.5-13b_select_mscoco_200k.jsonl llava-v1.5-13b_select_raw_200k_ft.jsonl llava-v1.5-13b_llava_coco_gen_758k_ft_200k.jsonl llava-v1.5-13b_llava_raw_558k_ft.jsonl llava-v1.5-13b_pure_gen_558k.jsonl llava-v1.5-13b_llava_gen_200k_ft.jsonl llava-v1.5-13b_pure_gen_558k_ft.jsonl llava-v1.5-13b_coco_gen_558k.jsonl llava-v1.5-7b_sharegpt4v_100k.jsonl test/ seed_bench/ llava-seed-bench.jsonl extract_video_frames.py answers/ llava-v1.5-13b/ merge.jsonl answers_upload/ llava-v1.5-13b.jsonl pope/ llava_pope_test.jsonl val2014/ coco/ coco_pope_adversarial.json coco_pope_popular.json coco_pope_random.json answers/ llava-v1.5-13b_coco_select_200k.jsonl llava-v1.5-7b_select_raw_100k.jsonl llava-v1.5-13b_llava_gen_200k_ft_200k.jsonl llava-v1.5-13b_llava_gen_558k.jsonl llava-v1.5-13b_llava_raw_558k_ft.jsonl llava-v1.5-13b_select_gen_50k.jsonl llava-v1.5-13b_random_ft.jsonl llava-v1.5-13b_llava_raw_558k_ft_200k.jsonl llava-v1.5-13b_coco_gen_558k_ft_200k.jsonl llava-v1.5-13b_llava_gen_200k_ft.jsonl llava-v1.5-13b_select_gen_100k_ft.jsonl llava-v1.5-7b_llava_gen_200k.jsonl llava-v1.5-7b_llava_raw_558k.jsonl llava-v1.5-13b_coco_gen_200k_ft_865k.jsonl llava-v1.5-13b_llava_gen_200k_ft_865k.jsonl llava-v1.5-13b_llava_coco_raw_758k.jsonl llava-v1.5-7b_select_gen_100k.jsonl llava-v1.5-13b_coco_gen_200k_ft.jsonl llava-v1.5-13b_coco_raw_200k_ft.jsonl llava-v1.5-13b_llava_coco_gen_758k.jsonl llava-v1.5-13b_coco_gen_200k_ft_200k.jsonl llava-v1.5-13b_llava_raw_coco_gen.jsonl llava-v1.5-13b_select_raw_200k_ft.jsonl llava-v1.5-13b_select_raw_200k.jsonl llava-v1.5-13b_coco_gen_558k.jsonl llava-v1.5-13b_select_gen_100k.jsonl llava-v1.5-13b_llava_coco_gen_758k_ft.jsonl llava-v1.5-13b_coco_raw_200k.jsonl llava-v1.5-13b_llava_raw_558k.jsonl llava-v1.5-13b_mixed_200k.jsonl llava-v1.5-13b_coco_raw_558k_ft_200k.jsonl llava-v1.5-13b_llava_gen_200k.jsonl llava-v1.5-13b_coco_raw_558k.jsonl llava-v1.5-13b_pure_gen_200k_ft.jsonl llava-v1.5-13b_select_gen_200k_ft.jsonl llava-v1.5-13b_llava_coco_gen_758k_ft_200k.jsonl llava-v1.5-13b_mixed_200k_ft.jsonl llava-v1.5-13b_llava_coco_raw_758k_ft.jsonl llava-v1.5-7b_sharegpt4v_100k.jsonl llava-v1.5-13b_llava_raw_200k.jsonl llava-v1.5-13b.jsonl llava-v1.5-13b_pure_gen_558k.jsonl llava-v1.5-13b_coco_gen_558k_ft.jsonl llava-v1.5-13b_select_raw_100k.jsonl llava-v1.5-13b_coco_gen_llava_raw.jsonl llava-v1.5-13b_select_gen_200k.jsonl llava-v1.5-13b_llava_coco_raw_758k_ft_200k.jsonl llava-v1.5-13b_coco_gen_200k.jsonl llava-v1.5-13b_coco_raw_558k_ft.jsonl llava-v1.5-13b_pure_gen_558k_ft.jsonl llava-v1.5-13b_select_raw_100k_ft.jsonl llava-v1.5-13b_coco_raw_200k_ft_200k.jsonl mmbench/ mmbench_dev_cn_20231003.tsv mmbench_dev_20230712.tsv answers_upload/ mmbench_dev_20230712_coco_raw_200k_ft/ llava-v1.5-13b_coco_raw_200k_ft.xlsx mmbench_dev_20230712_mixed_200k/ llava-v1.5-13b_mixed_200k.xlsx mmbench_dev_20230712_coco_gen_558k_ft_200k/ llava-v1.5-13b_coco_gen_558k_ft_200k.xlsx mmbench_dev_20230712_llava_gen_558k/ llava-v1.5-13b_llava_gen_558k.xlsx mmbench_dev_20230712_select_gen_200k/ llava-v1.5-13b_select_gen_200k.xlsx mmbench_dev_20230712_llava_gen_200k/ llava-v1.5-7b_llava_gen_200k.xlsx mmbench_dev_20230712/ llava-v1.5-13b_coco_raw_558k.xlsx llava-v1.5-13b_llava_coco_raw_758k.xlsx llava-v1.5-13b_coco_raw_200k.xlsx llava-v1.5-13b_llava_gen_200k.xlsx llava-v1.5-13b_coco_gen_200k.xlsx llava-v1.5-13b_llava_coco_gen_758k.xlsx llava-v1.5-13b_coco_gen_558k.xlsx llava-v1.5-13b_llava_raw_558k.xlsx llava-v1.5-13b_llava_raw_200k.xlsx llava-v1.5-13b_coco_select_200k.xlsx llava-v1.5-13b_model_zoo.xlsx mmbench_dev_20230712_coco_raw_558k_ft/ llava-v1.5-13b_coco_raw_558k_ft.xlsx mmbench_dev_20230712_select_raw_100k_ft/ llava-v1.5-13b_select_raw_100k_ft.xlsx mmbench_dev_20230712_llava_coco_raw_758k_ft/ llava-v1.5-13b_llava_coco_raw_758k_ft.xlsx mmbench_dev_20230712_pure_gen_200k_ft/ llava-v1.5-13b_pure_gen_200k_ft.xlsx mmbench_dev_20230712_llava_coco_gen_758k_ft/ llava-v1.5-13b_llava_coco_gen_758k_ft.xlsx mmbench_dev_cn_20231003_coco_raw_558k/ mmbench_dev_20230712_coco_raw_200k_ft_200k/ llava-v1.5-13b_coco_raw_200k_ft_200k.xlsx mmbench_dev_20230712_pure_gen_200k/ llava-v1.5-13b_pure_gen_200k.xlsx mmbench_dev_20230712_select_gen_100k/ llava-v1.5-13b_select_gen_100k.xlsx llava-v1.5-7b_select_gen_100k.xlsx mmbench_dev_20230712_select_gen_200k_ft/ llava-v1.5-13b_select_gen_200k_ft.xlsx mmbench_dev_cn_20231003/ mmbench_dev_20230712_select_gen_100k_ft/ llava-v1.5-13b_select_gen_100k_ft.xlsx mmbench_dev_20230712_llava_coco_raw_758k_ft_200k/ llava-v1.5-13b_llava_coco_raw_758k_ft_200k.xlsx mmbench_dev_20230712_llava_raw_558k/ llava-v1.5-7b_llava_raw_558k.xlsx mmbench_dev_20230712_coco_gen_200k_ft/ llava-v1.5-13b_coco_gen_200k_ft.xlsx mmbench_dev_20230712_sharegpt4v_100k/ llava-v1.5-7b_sharegpt4v_100k.xlsx mmbench_dev_20230712_select_raw_200k_ft/ llava-v1.5-13b_select_raw_200k_ft.xlsx mmbench_dev_20230712_coco_gen_llava_raw/ llava-v1.5-13b_coco_gen_llava_raw.xlsx mmbench_dev_20230712_coco_raw_558k_ft_200k/ llava-v1.5-13b_coco_raw_558k_ft_200k.xlsx mmbench_dev_20230712_coco_gen_200k_ft_200k/ llava-v1.5-13b_coco_gen_200k_ft_200k.xlsx mmbench_dev_20230712_coco_gen_558k_ft/ llava-v1.5-13b_coco_gen_558k_ft.xlsx mmbench_dev_20230712_pure_gen_558k/ llava-v1.5-13b_pure_gen_558k.xlsx mmbench_dev_20230712_llava_raw_558k_ft/ llava-v1.5-13b_llava_raw_558k_ft.xlsx mmbench_dev_20230712_llava_raw_558k_ft_200k/ llava-v1.5-13b_llava_raw_558k_ft_200k.xlsx mmbench_dev_20230712_llava_gen_200k_ft_200k/ llava-v1.5-13b_llava_gen_200k_ft_200k.xlsx mmbench_dev_20230712_pure_gen_558k_ft/ llava-v1.5-13b_pure_gen_558k_ft.xlsx mmbench_dev_20230712_select_raw_200k/ llava-v1.5-13b_select_raw_200k.xlsx mmbench_dev_20230712_select_raw_100k/ llava-v1.5-13b_select_raw_100k.xlsx llava-v1.5-7b_select_raw_100k.xlsx mmbench_dev_20230712_llava_gen_200k_ft/ llava-v1.5-13b_llava_gen_200k_ft.xlsx mmbench_dev_20230712_llava_coco_gen_758k_ft_200k/ llava-v1.5-13b_llava_coco_gen_758k_ft_200k.xlsx mmbench_dev_20230712_mixed_200k_ft/ llava-v1.5-13b_mixed_200k_ft.xlsx mmbench_dev_20230712_random_ft/ llava-v1.5-13b_random_ft.xlsx answers/ mmbench_dev_20230712/ llava-v1.5-13b_llava_gen_558k.jsonl llava-v1.5-13b_llava_gen_200k_ft_200k.jsonl llava-v1.5-13b_mixed_200k_ft.jsonl llava-v1.5-13b_select_raw_100k_ft.jsonl llava-v1.5-13b_pure_gen_200k.jsonl llava-v1.5-13b_llava_coco_gen_758k_ft_200k.jsonl llava-v1.5-13b_pure_gen_200k_ft.jsonl llava-v1.5-7b_llava_gen_200k.jsonl llava-v1.5-13b_llava_raw_558k_ft_200k.jsonl llava-v1.5-13b_coco_raw_558k_ft.jsonl llava-v1.5-13b_select_raw_200k.jsonl llava-v1.5-13b_llava_raw_coco_gen.jsonl llava-v1.5-13b_random_ft.jsonl llava-v1.5-13b_llava_gen_200k_ft.jsonl llava-v1.5-13b_coco_gen_200k_ft.jsonl llava-v1.5-13b_llava_coco_raw_758k_ft_200k.jsonl llava-v1.5-13b_coco_gen_558k_ft_200k.jsonl llava-v1.5-13b_pure_gen_558k.jsonl llava-v1.5-13b_select_gen_100k.jsonl llava-v1.5-13b_coco_raw_558k_ft_200k.jsonl llava-v1.5-13b_coco_raw_200k_ft.jsonl llava-v1.5-13b_mixed_200k.jsonl llava-v1.5-13b_select_raw_200k_ft.jsonl llava-v1.5-7b_sharegpt4v_100k.jsonl llava-v1.5-13b_llava_raw_558k_ft.jsonl llava-v1.5-13b_select_gen_200k_ft.jsonl llava-v1.5-7b_llava_raw_558k.jsonl llava-v1.5-13b.jsonl llava-v1.5-13b_coco_gen_llava_raw.jsonl llava-v1.5-13b_select_gen_200k.jsonl llava-v1.5-13b_coco_gen_200k_ft_200k.jsonl llava-v1.5-7b_select_raw_100k.jsonl llava-v1.5-7b_select_gen_100k.jsonl llava-v1.5-13b_select_raw_100k.jsonl llava-v1.5-13b_llava_coco_gen_758k_ft.jsonl llava-v1.5-13b_coco_raw_200k_ft_200k.jsonl llava-v1.5-13b_pure_gen_558k_ft.jsonl llava-v1.5-13b_llava_coco_raw_758k_ft.jsonl llava-v1.5-13b_select_gen_100k_ft.jsonl llava-v1.5-13b_coco_gen_558k_ft.jsonl qbench/ 质衡-问答-测试集.json llvisionqa_dev.json llvisionqa_test.json 质衡-问答-验证集.json images_llviqionqa/ 863.JPG e52ad30b-9d0e-483e-8281-f2f3186b3fbc.webp 120.bmp cfbff6eb-7cd0-4856-ae14-26658054d33a.webp 800.JPG 1fc419e7-7859-4887-8312-ddb57411d744.webp 329.bmp 88bfe722-80f0-4465-b22f-2ded25c6eefa.webp 939.JPG 849.JPG b8e52cf0-756e-412f-bc86-04fdcc267447.webp 7880e5d1-31e9-4adf-b70b-625f1cd1d7c6.webp bbdeb79e-b729-4122-b9c3-b616244ee4e0.webp 5941ab01-3d6e-43ab-aa18-2a6e09fb449b.webp scrimmage_blur3.bmp 8e8e17ba-1da2-4973-b04c-3c09e12c55b2.webp 7960fadc-e44f-493e-bf78-91711e7614e0.webp 1020.JPG d779c687-dca7-4816-8829-b48a58cb49eb.webp 699.JPG 244.bmp 889.JPG 794.JPG 9ecd43fa-6842-48bf-8c8a-a53c93ff1dd3.webp 5bf997ff-acf4-4458-b98c-05f970091347.webp 584.JPG 94dbd9c5-637d-4a00-85f4-9cd8958a0ff8.webp 1121.JPG ff4f6b66-b57f-428a-9dbb-19641a3578ec.webp 1129.JPG 730.JPG 53d6648e-3401-4eef-b26b-f2a171119711.webp 1156.JPG 88f05dbb-5870-4c7e-b304-24aa4dbb0cfb.webp 3d3fff3d-7772-49fa-92a7-8fc709b1286a.webp 1071.JPG 154.bmp 82.bmp d2fb515b-5e37-4e04-94b9-5e6bd9a43460.webp 90babdad-26d7-4f2c-bd86-3746d6d1db48.webp 300.bmp bikerace_blur3.bmp 328.bmp 112.bmp f728ab09-a5e3-4b68-8b02-cc577a4778cd.webp 8059181d-7e52-4e64-a18d-99d579094770.webp 310.bmp 875.JPG 8444a7ba-5275-436e-b3c9-69d2dad2798a.webp 975.JPG b5f2bf49-6d27-4537-a630-52aba6c8e39c.webp 309.bmp ac8be3c3-3df5-4ad6-b7a8-8e26c366d589.webp 04925579-19bf-4ecd-9b37-a97a5169c73a.webp 61f1e3d6-c478-489e-b684-82e874f31cf9.webp 887.JPG 1142.JPG 417.bmp 2042ed72-089a-49cc-b675-d8aed57f7510.webp 665.JPG 1003.JPG 111.bmp b7c013c9-f751-4346-8ef0-ae8f743e5994.webp 546.JPG 297.bmp 819.JPG 750.JPG 742f1fb7-f2ac-4860-8d62-380c2b05da5a.webp 631.JPG 784.JPG 255.bmp 79d54c05-9d5e-49bd-bb3b-199fcb52da0f.webp c9ac4e61-50b4-4bf7-83b3-8c53b114d218.webp 141.bmp 964b94ba-a28c-4b50-9509-6ad0761988a3.webp 281.bmp 8f96cc1b-8758-4e98-bafa-b71496b3b8f6.webp 347.bmp 667.JPG fa654648-ac15-408d-bfda-f4f863953bba.webp c5943e85-d1ee-44c5-a260-9b8d6ec10563.webp 797.JPG 0203f914-f57b-41f4-b3ce-cd56ac81f953.webp dd7b23fa-0f46-45c0-972d-4aa7a2d38879.webp 377.bmp 271.bmp d424e051-708b-44f1-a472-3235cd96c8c2.webp 482.bmp 564.JPG 388.bmp 116.bmp c4462bfd-32a8-4674-8198-2c78640c73c8.webp 341.bmp 378.bmp 199.bmp elephant_blur1_jpeg3.bmp 306.bmp 722.JPG 1094.JPG a7f2bd33-158a-4a26-8e80-3e231a5ba1dd.webp 35568d61-922c-4ef6-a408-e2598476cd03.webp 47ce4c92-1781-4690-9a1b-c2777c04bb5a.webp 903.JPG 1151.JPG 22548fda-4cf2-4df2-abd2-dfc67fcaf886.webp 459.bmp 83.bmp lunch_blur3_noise2.bmp 81c67924-48dc-4405-ac12-0e5c02b27d7b.webp 1113.JPG e905fe7d-dfec-4292-bcfc-07581675074c.webp 337.bmp 95.bmp 976.JPG 610bc4a5-98f4-4c0f-955b-8c77aa648fe9.webp 540.JPG 1099.JPG 5ae667ff-98a7-4ee0-b888-e081216b52bc.webp 691.JPG 159.bmp 880.JPG 283.bmp 53006878-a581-4461-96a2-23a971e73f44.webp 34fa6772-adde-46e1-ae20-70cdaf218f54.webp 243b5b11-73ad-4e71-b2f8-d412d243411a.webp 890.JPG 390.bmp 1045.JPG aedaa5a9-e832-4623-af87-01413175257d.webp railwaystation_blur1.bmp 60cf80a2-5d37-4045-9331-39012e37d66f.webp 99f32c13-9dc6-4d85-8d53-adcc7c54c4e9.webp 7.bmp e4f760df-55c5-4614-a9a2-5a43d44d5eea.webp 333.bmp 603.JPG 54.bmp 938.JPG 1021.JPG 606.JPG a524b988-0b74-4985-9ab1-a53f64bb1b0a.webp 982.JPG 928.JPG 1157.JPG f5fe00c9-ef35-4a6f-869f-58c9d96b918d.webp bfa5d215-548c-489b-97b6-7f27390c96f7.webp 904.JPG 268c10de-f719-4ecb-8346-8ee143becc02.webp 1f4c5249-2f1e-44c1-9120-3419b35840bc.webp 6dda23ec-2d54-4d69-a194-2b2c77d3819f.webp 7f0fcb6d-bc03-4212-a660-9bbe638bf3c5.webp d99bd74d-c967-4730-8859-5eee98f56b30.webp 707.JPG c25e5a44-6cef-460d-9bf0-c22eb3d2740d.webp 9b6f1852-fee7-470e-99ac-4d56e5ba0101.webp 528.bmp eb437317-e165-4818-bed2-19acf566cb73.webp 265.bmp efc2c5c0-7cfb-4f7e-b151-2ec19c1cadde.webp 568.JPG 339.bmp f6982980-95bc-4566-84e8-178a8b1fd5f0.webp 213.bmp 325.bmp 1140.JPG 1138.JPG 953ea80b-93cd-4c89-a6e1-ee7ec1edc87c.webp 591.JPG 196.bmp 829.JPG 517.bmp 937.JPG .zip 101.bmp 565.JPG 93.bmp 1111.JPG 28.bmp 0c2fb9fe-ed93-435c-a90f-c303d73828c5.webp 345.bmp 251.bmp b8113db1-ccec-41c5-a07b-9cdd5b1be324.webp adc1669b-ef94-4c2e-9314-636720d2f8ea.webp d7a12b22-4c62-4d2c-a750-6ebd668dcffa.webp 229.bmp 310d9745-f225-4ef3-94b0-3c688af33233.webp 334.bmp 275d9fba-7e39-419f-af83-ac14285db4a4.webp e042cfd2-764d-4251-8436-879f31df63af.webp 441.bmp 786fe49f-e4d9-403b-b159-680f000b9ff3.webp fb06c13b-d83a-484c-8665-afd260070579.webp b56f1e1a-47ff-41b9-86f2-f2036e932709.webp seals_blur2_jpeg2.bmp 220.bmp 335.bmp 1109.JPG f3c5ac06-b628-4ece-945a-5471ed2a7157.webp 262.bmp 757.JPG 77.bmp 775.JPG 820.JPG 704.JPG 1137.JPG 330.bmp 316.bmp f3dd7b28-a5cd-43ee-995d-89f913bd55ca.webp 1013.JPG ad0b763d-8645-4328-a0fc-4890fc817b35.webp 885.JPG 4543cf69-3431-49cb-9059-7d9c969b26cb.webp 712.JPG 338.bmp 61f335be-c48b-4488-9607-23b6ce8221bd.webp 956.JPG wheel_blur2_jpeg1.bmp 9ff503cd-5226-472e-8ba0-6f3a0735a565.webp 953.JPG d852274d-e749-4950-b06b-e20a8d205e5b.webp 579.JPG 201.bmp 177.bmp 224.bmp 66e01359-bd37-4cca-807f-e63cba5c31d7.webp 716755ab-ff6a-493f-985b-29218b26cd71.webp 320.bmp 1143.JPG 26168954-ad6a-4e3f-81ad-2279fce66734.webp 1101.JPG cd1faa79-3e82-4bb8-8aa4-0f73a6cca1eb.webp 821.JPG 1002.JPG 416a648f-337d-4cff-b9e4-333989490bc8.webp 2e8daf5c-5933-46a2-9c5f-93dc22bb1528.webp 972.JPG 507.bmp d81b6d1e-53e6-45f5-91af-1ffcd2567c7a.webp 126.bmp 426.bmp 991.JPG 675.JPG 1009.JPG sunrise_blur3_jpeg2.bmp 539.JPG 897.JPG 25e00573-45e4-4600-a3b0-c881fbc41263.webp 596.JPG 194.bmp f631dad6-c120-4c4a-92cc-b4fd1a24fd79.webp 43.bmp 944.JPG 75.bmp b0c8dafb-0027-43fc-aea9-0ba1c91627ea.webp 937207ec-d36a-4e73-b01f-7f33a63282b5.webp 404229f7-6669-4301-b3df-d1fbe88f755d.webp d282eef7-a548-4d68-a30a-113a1d3b4a73.webp 04952f93-9d8e-4f97-af27-a6d2ea86bc6f.webp 9f6e5c7c-5f59-4a46-84ed-baea459897c2.webp 1005.JPG 7b0e4ac3-65d0-4938-a9c0-492b2415eb3f.webp 595.JPG 984dca05-a621-4b0c-8930-ba368eb3b993.webp 66.bmp 464.bmp 109.bmp 8635b4f4-cdde-4d09-9033-b7687ec1af8e.webp b3a1ed69-247c-4f87-b5b4-75e377f602b4.webp 03b529f8-aa2a-4760-a2a4-96db1ab3cf28.webp 141bb91c-7aae-4acd-9d2a-a33970acc154.webp 51f16634-d429-4911-8743-e7a8fb8ab6e1.webp 6db856a1-63f7-4651-bdb6-a57d07e8f921.webp 969.JPG 298.bmp 22f59959-f505-4603-a7d9-7e6506054ece.webp 22.bmp 1074.JPG 645.JPG 50c2b28e-ef0f-42f5-a670-153cd60ae651.webp 2f391716-bab8-4199-b073-62d0724d6a58.webp 636.JPG 1119.JPG c2325da8-4368-454e-bdd4-d0be66b1c7fc.webp a607d3f8-93f0-49e6-95ed-e49184a6d90c.webp 469.bmp 82bb024c-8a9f-4826-8bea-9bc290be68c9.webp 9c722c33-24fb-49c4-b301-828fa3fddcc2.webp cbaa010a-eb3c-4f4c-9513-d58336ecc3f4.webp 352.bmp 0448ebdd-a187-4c44-b038-82ff2b7763b8.webp 6448ab09-d001-4137-aec6-f0ec724cddec.webp 72f18ded-e67c-4ad2-a434-027bd8811847.webp 587d7d02-40df-4150-be11-26ca48e8c134.webp f4deb402-f5c3-4b0b-bf71-e7ca4b85f0b6.webp 1085.JPG 71.bmp 52.bmp 2028d9cb-180b-4bc0-92be-800c208e0923.webp 869.JPG 443.bmp 467.bmp 018ef38d-3ad9-40cd-82de-3229e7f53b73.webp 555.JPG 896.JPG 261.bmp 387.bmp 918.JPG 421.bmp 678.JPG 90df93dc-54b5-41b9-bd19-f5ae17094da8.webp 06427575-8175-44b4-b161-294bb4983288.webp 1122.JPG 152.bmp 87a1b487-fde5-4058-a52e-d3f86db61c06.webp ed43dcd3-f3cb-4e15-9216-5d7a6607c52b.webp 415.bmp 788.JPG 676.JPG 8594cfc0-efeb-4e81-b789-c4748f5646dd.webp 999.JPG 886.JPG 3c71a34f-66e8-42db-8b30-1cc8a07cbc56.webp 29ef0ae5-8979-46b0-9497-637af858b88f.webp 8cc0db2c-a485-4f46-8015-afc8fc872f4e.webp 4a75005a-9e22-45c9-bd75-78fce5bbfcd6.webp 0086fc43-0327-4ff1-8f27-26262a6e36c4.webp cows_blur2_jpeg3.bmp 717.JPG 144.bmp 36d45c1d-0fe4-4964-9829-2ddbae996cea.webp 1058.JPG 195.bmp 654f9f95-e6fb-40ed-9a2a-bc4f6206cd2d.webp 926.JPG 744.JPG 840.JPG 4e12a0ac-f756-4052-a7db-8d131bd3c98d.webp 285.bmp 489.bmp 1034.JPG 9b842193-35f5-429d-9a8d-12d0c8b00ae7.webp 935.JPG 738.JPG palace2_blur1_noise2.bmp 423.bmp 1139.JPG ae62e45a-c992-4fd6-b3c9-d98b5d10b107.webp c6f5e70c-49c5-4af4-bee1-be07942a8ea2.webp 1006.JPG 592.JPG 72253dc3-3f40-4a23-a71a-b21d3babb951.webp 735.JPG 72.bmp 287cd7e4-e3eb-4354-a69b-ee13c89bd61f.webp 326.bmp 397.bmp 518.bmp 190.bmp 81cdb9aa-76c5-4f62-a0e3-597dc3feff05.webp 1042.JPG 483.bmp 543.JPG 497.bmp 23.bmp ce75fdc9-1dd7-4ea3-acf1-cfa939cb0ac9.webp 404.bmp 1054.JPG 150.bmp 856825dd-2cc6-467c-861d-71dea87ec503.webp 512.bmp fb76be61-e05d-4e47-87e9-ed1a45ad8e0f.webp 1068.JPG 1150.JPG babygirl_blur2.bmp 694.JPG 446.bmp 1031.JPG ec24d107-5563-4651-9f7f-5da9c66ecb00.webp 243.bmp 520.bmp 783.JPG 990.JPG 5bef57b6-aeea-4e9e-b50f-dc5a55750cad.webp 792.JPG 486.bmp 1007.JPG 45f5210a-a6bf-4bf5-a05e-e08b9c0b7517.webp f866611c-51ca-4355-8054-86222099f8e5.webp 9c4debf8-f650-4402-98ec-507f787a465b.webp 406.bmp d1fc5a5e-526b-4b76-9097-b8775c6f3918.webp 367.bmp 286.bmp 924.JPG 03cf77cf-482d-4749-b789-ca2bb926781b.webp 1046.JPG cf7526e6-0cd3-472c-8355-cbe1a7a9fc84.webp 278.bmp 260.bmp 185.bmp 259bb199-5441-40c7-817d-512a3fca94a5.webp 865.JPG 1bdd0818-aaf9-4abc-9794-68145b11194b.webp d46eae6f-c13e-46b0-8ba0-a72eaa0e6d97.webp 3ff9b877-22ab-4ff6-88d1-7d22ca4da112.webp 5fd9e121-47ea-4fe5-a827-624c19b333f2.webp 628.JPG 42.bmp 6201c34c-ef2c-4a39-b498-3b034d1bd6aa.webp 614.JPG 779.JPG 46f625a0-e84a-4715-84db-0c01c0c5738b.webp 198.bmp 1147.JPG 9130a983-db55-4aed-b487-a78c8965bdd9.webp a6352fe1-5b8f-4d93-a594-b3236caaa8e5.webp 686.JPG 92.bmp 537.JPG 616e4887-7619-4924-9206-6b95c918d114.webp 279.bmp 509.bmp 311f8bfe-4e60-4a1d-9abb-30ea4dcb7796.webp 1056.JPG 867.JPG 813.JPG 725.JPG 9ce94b0a-3734-4b38-a749-f9f7665450a0.webp fc2666c4-82a3-45b2-8da1-3e9678b3075c.webp d6c9b78c-c02f-4224-b740-131fb21a1d3a.webp 354.bmp 340.bmp 1ddddafc-94e4-4478-9594-3463ae47ce43.webp a49e967d-6ff2-429d-b9b8-cbfb96d15bd0.webp 1089.JPG 878.JPG 1154.JPG 817.JPG iceroad_blur2_noise2.bmp 647.JPG cb69d6cd-aa07-4779-a85f-6e84c5b9385b.webp 559.JPG 2f9b65f8-8c7b-4264-896c-d1448ce3768f.webp d9c5aac6-2f09-47a0-8d23-4386f045ea63.webp ad27f899-319b-4cf9-aee2-50375d406edd.webp 307.bmp 843.JPG 648.JPG 119.bmp 795.JPG 581.JPG 777.JPG 845.JPG sanfrancisco_blur3_jpeg3.bmp 30.bmp 1017.JPG 534.JPG 383cf0ee-54fe-4ddc-9eed-686d8bd10401.webp ab86ee02-47f9-4efa-b11f-06e2fda02158.webp 812.JPG 6d120a4d-016c-4051-9357-076dd10fcf23.webp 192.bmp 0569c779-94ce-416a-8abc-2494f65cceaa.webp 27c95be9-eb31-4b96-85c6-083a1d6aa75b.webp 405.bmp b69002a9-d761-4950-892e-364dfdca3102.webp 22d47fc6-1788-4dfa-9de7-b580b2738bb2.webp 76.bmp 705.JPG 291.bmp 80.bmp 503.bmp e847554a-62bc-4985-97ce-b0b33d2334fe.webp 545.JPG 7d9fd6ba-1fef-440e-8c73-a865bfbac4d9.webp 508.bmp b9c21c62-939f-46a3-9929-2486d979c1d4.webp 551.JPG b25f33fc-6c61-4e2f-b2e7-a21f4b3b4a66.webp 64558637-40e7-48bb-99c2-0006457bad82.webp 42574088-8d57-4c51-b094-63bbeda6ecfd.webp 892.JPG 836.JPG 1095.JPG 553.JPG 256.bmp 362.bmp 1883a932-67a8-449d-bfa5-5be5b5e980ca.webp 8a1bf3ac-2e55-4d25-ab01-c263476a083a.webp 7e2272b4-7c64-42c0-b33e-54c6d050622e.webp fdb9f116-d9e3-481e-8aa5-d92529a88d59.webp 1029.JPG 718.JPG 753.JPG 2803f3e0-3ce4-457a-a87e-8ef8ab5158ec.webp 946.JPG market_blur1_jpeg3.bmp 602.JPG 142.bmp 995.JPG 815.JPG 474.bmp 787.JPG 538.JPG lakebuilding_jpeg1.bmp 484.bmp 475f641b-ad14-46c6-92a0-7202cb0bb94d.webp 557.JPG 560.JPG 00a091f8-5afe-4342-ab29-1ff741bc26b0.webp .ipynb_checkpoints/ 291-checkpoint.bmp 938-checkpoint.JPG 694-checkpoint.JPG 676-checkpoint.JPG 286-checkpoint.bmp 159-checkpoint.bmp 557-checkpoint.JPG 77-checkpoint.bmp 116-checkpoint.bmp 112-checkpoint.bmp 497-checkpoint.bmp 565-checkpoint.JPG 309-checkpoint.bmp 1003-checkpoint.JPG 937-checkpoint.JPG 256-checkpoint.bmp 281-checkpoint.bmp 141-checkpoint.bmp 93-checkpoint.bmp 224-checkpoint.bmp 704-checkpoint.JPG 251-checkpoint.bmp 387-checkpoint.bmp 80-checkpoint.bmp 260-checkpoint.bmp 415-checkpoint.bmp 1013-checkpoint.JPG 255-checkpoint.bmp 1042-checkpoint.JPG 1147-checkpoint.JPG 1045-checkpoint.JPG 192-checkpoint.bmp 564-checkpoint.JPG 101-checkpoint.bmp 797-checkpoint.JPG 875-checkpoint.JPG 119-checkpoint.bmp 404-checkpoint.bmp 1150-checkpoint.JPG 918-checkpoint.JPG 1002-checkpoint.JPG 1029-checkpoint.JPG 1109-checkpoint.JPG 1054-checkpoint.JPG 265-checkpoint.bmp 109-checkpoint.bmp mm-vet/ llava-mm-vet.jsonl convert_answers.py mm-vet.json bard_set.json answers/ llava-v1.5-13b_coco_gen_558k.jsonl llava-v1.5-13b_llava_200k.jsonl llava-v1.5-7b_sharegpt4v_100k.jsonl llava-v1.5-13b_llava_raw_558k_ft.jsonl llava-v1.5-13b_coco_raw_558k_ft.jsonl llava-v1.5-13b_coco_raw_200k_ft.jsonl llava-v1.5-13b_select_mscoco_200k.jsonl llava-v1.5-13b_llava_gen_200k_ft_200k.jsonl llava-v1.5-13b_coco_gen_558k_ft_200k.jsonl llava-v1.5-13b_select_gen_200k_ft.jsonl llava-v1.5-7b_select_raw_100k.jsonl llava-v1.5-13b.jsonl llava-v1.5-13b_llava_coco_raw_758k_ft.jsonl llava-v1.5-13b_coco_raw.jsonl llava-v1.5-13b_coco_raw_200k_ft_200k.jsonl llava-v1.5-13b_mixed_200k.jsonl llava-v1.5-13b_select_gen_100k_ft.jsonl llava-v1.5-13b_pure_gen_200k_ft.jsonl llava-v1.5-13b_mixed_200k_ft.jsonl llava-v1.5-7b_llava_raw_558k.jsonl llava-v1.5-13b_coco_gen_200k_ft.jsonl llava-v1.5-13b_pure_gen_558k.jsonl llava-v1.5-13b_coco_gen_llava_raw.jsonl llava-v1.5-13b_select_gen_200k.jsonl llava-v1.5-13b_coco_raw_558k_ft_200k.jsonl llava-v1.5-13b_llava_gen_558k.jsonl llava-v1.5-13b_coco_gen_200k_ft_200k.jsonl llava-v1.5-13b_select_raw_100k.jsonl llava-v1.5-13b_llava_coco_raw.jsonl llava-v1.5-13b_llava_coco_gen_758k_ft_200k.jsonl llava-v1.5-13b_random_ft.jsonl llava-v1.5-13b_llava_raw_coco_gen.jsonl llava-v1.5-13b_llava_coco_gen_758k_ft.jsonl llava-v1.5-13b_pure_gen_558k_ft.jsonl llava-v1.5-7b_llava_gen_200k.jsonl llava-v1.5-7b.jsonl llava-v1.5-13b_pure_gen_200k.jsonl llava-v1.5-7b_select_gen_100k.jsonl llava-v1.5-13b_select_raw_200k.jsonl llava-v1.5-13b_coco_gen_558k_ft.jsonl llava-v1.5-13b_llava_gen_200k.jsonl llava-v1.5-13b_llava_gen_200k_ft.jsonl llava-v1.5-13b_select_raw_100k_ft.jsonl llava-v1.5-13b_llava_raw_558k_ft_200k.jsonl llava-v1.5-13b_coco_raw_558k.jsonl llava-v1.5-13b_coco_gen.jsonl llava-v1.5-13b_llava_558k.jsonl llava-v1.5-13b_llava_coco_raw_758k_ft_200k.jsonl llava-v1.5-13b_select_raw_200k_ft.jsonl llava-v1.5-13b_select_gen_100k.jsonl results/ llava-v1.5-13b_gpt-4-grade-1runs.json llava-v1.5-13b_llava_gen_200k.json llava-v1.5-7b_gpt-4-cap-int-score-3runs.csv llava-v1.5-13b_select_raw_200k.json llava-v1.5-13b_random_ft.json llava-v1.5-13b_gpt-4-cap-int-score-3runs.csv llava-v1.5-13b_llava_coco_raw_758k_ft_200k.json llava-v1.5-13b_llava_coco_raw_758k_ft.json llava-v1.5-13b_select_gen_100k.json llava-v1.5-7b_llava_raw_558k.json llava-v1.5-13b_pure_gen_558k_ft.json llava-v1.5-13b_mixed_200k_ft.json llava-v1.5-13b_pure_gen_200k.json llava-v1.5-13b_coco_gen_200k_ft_200k.json llava-v1.5-7b_gpt-4-cap-int-score-1runs.csv llava-v1.5-7b_select_gen_100k.json llava-v1.5-13b_coco_raw_200k_ft.json llava-v1.5-13b_llava_558k.json llava-v1.5-13b_llava_200k.json llava-v1.5-7b_gpt-4-grade-3runs.json llava-v1.5-7b_sharegpt4v_100k.json llava-v1.5-13b_coco_gen_llava_raw.json llava-v1.5-13b_gpt-4-cap-score-1runs.csv llava-v1.5-7b_gpt-4-cap-score-1runs.csv llava-v1.5-13b_coco_raw_558k.json llava-v1.5-13b_coco_gen_200k_ft.json llava-v1.5-13b_llava_raw_558k_ft.json llava-v1.5-13b_coco_gen_558k.json llava-v1.5-13b_gpt-4-cap-int-score-1runs.csv llava-v1.5-13b_select_gen_200k.json llava-v1.5-13b_model_zoo.json llava-v1.5-13b_select_raw_200k_ft.json llava-v1.5-13b_select_gen_100k_ft.json llava-v1.5-13b_llava_coco_gen_758k_ft_200k.json llava-v1.5-13b_gpt-4-cap-score-3runs.csv llava-v1.5-7b.json llava-v1.5-7b_gpt-4-grade-1runs.json llava-v1.5-13b_coco_raw.json llava-v1.5-7b_gpt-4-cap-score-3runs.csv llava-v1.5-13b_pure_gen_200k_ft.json llava-v1.5-13b_llava_gen_558k.json llava-v1.5-13b_llava_raw_coco_gen.json llava-v1.5-13b_select_mscoco_200k.json llava-v1.5-7b_llava_gen_200k.json llava-v1.5-13b_pure_gen_558k.json llava-v1.5-13b_llava_coco_gen_758k_ft.json llava-v1.5-13b_llava_coco_raw_758k.json llava-v1.5-13b_llava_coco_gen_758k.json llava-v1.5-13b_coco_gen_558k_ft.json llava-v1.5-13b_llava_gen_200k_ft.json llava-v1.5-13b_mixed_200k.json llava-v1.5-7b_select_raw_100k.json llava-v1.5-13b_coco_raw_200k_ft_200k.json llava-v1.5-13b_select_gen_200k_ft.json llava-v1.5-13b_select_raw_100k.json llava-v1.5-13b_coco_raw_558k_ft_200k.json llava-v1.5-13b_llava_gen_200k_ft_200k.json llava-v1.5-13b_gpt-4-grade-3runs.json llava-v1.5-13b_select_raw_100k_ft.json llava-v1.5-13b_coco_gen_558k_ft_200k.json llava-v1.5-13b_llava_raw_558k_ft_200k.json llava-v1.5-13b_coco_gen.json llava-v1.5-13b_coco_raw_558k_ft.json images/ vqav2/ llava_vqav2_mscoco_test-dev2015.jsonl llava_vqav2_mscoco_test2015.jsonl answers/ llava_vqav2_mscoco_test-dev2015/ llava-v1.5-13b_select_gen_200k_ft/ 8_2.jsonl 8_4.jsonl 8_5.jsonl 8_7.jsonl 8_6.jsonl 8_0.jsonl 8_1.jsonl 8_3.jsonl merge.jsonl llava-v1.5-13b_select_gen_200k/ 8_6.jsonl 8_5.jsonl 8_3.jsonl 8_2.jsonl 8_0.jsonl merge.jsonl 8_1.jsonl 8_4.jsonl 8_7.jsonl llava-v1.5-13b_pure_gen_200k_ft/ 8_2.jsonl 8_7.jsonl merge.jsonl 8_5.jsonl 8_3.jsonl 8_1.jsonl 8_6.jsonl 8_4.jsonl 8_0.jsonl llava-v1.5-7b_select_gen_100k/ merge.jsonl 4_3.jsonl 4_0.jsonl 4_1.jsonl 4_2.jsonl llava-v1.5-13b_coco_gen/ 8_7.jsonl 8_6.jsonl 8_0.jsonl 4_0.jsonl 4_1.jsonl 8_4.jsonl 8_2.jsonl 8_1.jsonl 4_3.jsonl 8_5.jsonl 8_3.jsonl 4_2.jsonl merge.jsonl llava-v1.5-13b_select_gen_100k_ft/ 8_7.jsonl 8_6.jsonl 8_0.jsonl 8_4.jsonl 8_2.jsonl 8_1.jsonl 8_5.jsonl 8_3.jsonl merge.jsonl llava-v1.5-13b_llava_coco_gen_758k_ft_200k/ 4_3.jsonl merge.jsonl 4_2.jsonl 4_0.jsonl 4_1.jsonl llava-v1.5-13b_coco_gen_558k_ft_200k/ 4_1.jsonl 4_3.jsonl 4_0.jsonl merge.jsonl 4_2.jsonl llava-v1.5-13b_coco_gen_558k_ft/ merge.jsonl 8_1.jsonl 8_5.jsonl 8_7.jsonl 8_2.jsonl 8_3.jsonl 8_0.jsonl 8_4.jsonl 8_6.jsonl llava-v1.5-13b_pure_gen_558k_ft/ 8_5.jsonl 8_2.jsonl 8_3.jsonl 8_7.jsonl 8_4.jsonl merge.jsonl 8_1.jsonl 8_6.jsonl 8_0.jsonl llava-v1.5-13b_select_raw_100k_ft/ 8_6.jsonl 8_5.jsonl 8_3.jsonl 8_2.jsonl 8_0.jsonl merge.jsonl 8_1.jsonl 8_4.jsonl 8_7.jsonl llava-v1.5-13b_llava_coco_raw_758k_ft/ 8_7.jsonl 8_5.jsonl 8_4.jsonl 8_3.jsonl 8_1.jsonl 8_0.jsonl 8_6.jsonl merge.jsonl 8_2.jsonl llava-v1.5-13b_llava_gen_200k_ft/ merge.jsonl 8_1.jsonl 8_7.jsonl 8_6.jsonl 8_2.jsonl 8_4.jsonl 8_3.jsonl 8_0.jsonl 8_5.jsonl llava-v1.5-13b_coco_gen_200k_ft/ 8_1.jsonl 8_0.jsonl 8_7.jsonl 8_6.jsonl merge.jsonl 8_4.jsonl 8_3.jsonl 8_5.jsonl 8_2.jsonl llava-v1.5-13b_coco_raw_558k_ft_200k/ 4_2.jsonl 4_1.jsonl merge.jsonl 4_0.jsonl 4_3.jsonl llava-v1.5-13b_select_gen_100k/ 8_6.jsonl 8_5.jsonl 8_3.jsonl 8_2.jsonl 8_0.jsonl merge.jsonl 8_1.jsonl 8_4.jsonl 8_7.jsonl llava-v1.5-7b_llava_gen_200k/ 8_1.jsonl 8_7.jsonl 8_4.jsonl 8_0.jsonl merge.jsonl 8_5.jsonl 8_2.jsonl 8_6.jsonl 8_3.jsonl llava-v1.5-13b_coco_gen_558k/ 8_5.jsonl 8_3.jsonl merge.jsonl 8_4.jsonl 8_0.jsonl 8_7.jsonl 8_1.jsonl 8_6.jsonl 8_2.jsonl llava-v1.5-13b_pure_gen_200k/ 4_1.jsonl 4_0.jsonl 4_3.jsonl 4_2.jsonl merge.jsonl llava-v1.5-13b_select_raw_100k/ 8_2.jsonl 8_4.jsonl 8_5.jsonl 8_7.jsonl 8_6.jsonl 8_0.jsonl 8_1.jsonl 8_3.jsonl merge.jsonl llava-v1.5-13b_mixed_200k/ 4_0.jsonl 4_2.jsonl merge.jsonl 4_1.jsonl 4_3.jsonl llava-v1.5-13b_coco_raw_558k/ 8_4.jsonl 8_5.jsonl 8_7.jsonl 8_6.jsonl 8_3.jsonl 8_0.jsonl merge.jsonl 8_1.jsonl 8_2.jsonl llava-v1.5-13b_llava_200k/ 4_3.jsonl 4_0.jsonl 4_1.jsonl 4_2.jsonl merge.jsonl 1_0.jsonl llava-v1.5-13b_mixed_200k_ft/ 4_0.jsonl 4_2.jsonl merge.jsonl 4_1.jsonl 4_3.jsonl llava-v1.5-13b_llava_raw_558k_ft/ merge.jsonl 8_4.jsonl 8_5.jsonl 8_1.jsonl 8_2.jsonl 8_6.jsonl 8_7.jsonl 8_3.jsonl 8_0.jsonl llava-v1.5-7b_llava_raw_558k/ 4_2.jsonl 4_1.jsonl merge.jsonl 4_0.jsonl 4_3.jsonl llava-v1.5-7b_select_raw_100k/ 4_2.jsonl 4_0.jsonl merge.jsonl 4_1.jsonl 4_3.jsonl llava-v1.5-13b_select_mscoco_200k/ 8_4.jsonl 8_5.jsonl 8_7.jsonl 8_6.jsonl 8_3.jsonl 8_0.jsonl merge.jsonl 8_1.jsonl 8_2.jsonl llava-v1.5-13b/ 4_2.jsonl 8_1.jsonl 4_1.jsonl 8_2.jsonl 8_5.jsonl 8_3.jsonl 8_4.jsonl merge.jsonl 2_1.jsonl 8_6.jsonl 8_7.jsonl 4_0.jsonl 2_0.jsonl 4_3.jsonl 8_0.jsonl 1_0.jsonl llava-v1.5-13b_llava_raw_558k_ft_200k/ 4_2.jsonl 4_1.jsonl merge.jsonl 4_0.jsonl 4_3.jsonl llava-v1.5-13b_coco_raw_200k_ft_200k/ merge.jsonl 4_1.jsonl 4_3.jsonl 4_2.jsonl 4_0.jsonl llava-v1.5-13b_llava_coco_raw_758k_ft_200k/ 4_1.jsonl 4_3.jsonl 4_0.jsonl merge.jsonl 4_2.jsonl llava-v1.5-13b_coco_raw_200k_ft/ 8_4.jsonl 8_5.jsonl 8_7.jsonl 8_6.jsonl 8_3.jsonl 8_0.jsonl merge.jsonl 8_1.jsonl 8_2.jsonl llava-v1.5-13b_llava_gen_200k_ft_200k/ 4_0.jsonl 4_2.jsonl merge.jsonl 4_1.jsonl 4_3.jsonl llava-v1.5-7b_sharegpt4v_100k/ 4_1.jsonl 4_3.jsonl 4_0.jsonl merge.jsonl 4_2.jsonl llava-v1.5-13b_pure_gen_558k/ 4_3.jsonl 4_0.jsonl 4_1.jsonl 4_2.jsonl merge.jsonl llava-v1.5-13b_llava_coco_gen_758k_ft/ 8_5.jsonl 8_3.jsonl merge.jsonl 8_4.jsonl 8_0.jsonl 8_7.jsonl 8_1.jsonl 8_6.jsonl 8_2.jsonl llava-v1.5-13b_coco_gen_llava_raw/ 4_2.jsonl 4_1.jsonl 4_0.jsonl merge.jsonl 4_3.jsonl llava-v1.5-13b_llava_gen_558k/ 8_6.jsonl 8_5.jsonl 8_3.jsonl 8_2.jsonl 8_0.jsonl merge.jsonl 8_1.jsonl 8_4.jsonl 8_7.jsonl llava-v1.5-13b_llava_gen_200k/ 8_2.jsonl 8_4.jsonl 8_5.jsonl 8_7.jsonl 8_6.jsonl 8_0.jsonl 8_1.jsonl 8_3.jsonl merge.jsonl llava-v1.5-13b_llava_coco_raw/ 8_5.jsonl 8_2.jsonl 8_3.jsonl 8_7.jsonl 8_4.jsonl merge.jsonl 8_1.jsonl 8_6.jsonl 8_0.jsonl llava-v1.5-13b_select_raw_200k/ 8_7.jsonl 8_6.jsonl 8_0.jsonl 8_4.jsonl 8_2.jsonl 8_1.jsonl 8_5.jsonl 8_3.jsonl merge.jsonl llava-v1.5-13b_coco_raw_558k_ft/ 8_1.jsonl 8_0.jsonl 8_7.jsonl 8_6.jsonl merge.jsonl 8_4.jsonl 8_3.jsonl 8_5.jsonl 8_2.jsonl llava-v1.5-13b_select_raw_200k_ft/ merge.jsonl 8_4.jsonl 8_5.jsonl 8_1.jsonl 8_2.jsonl 8_6.jsonl 8_7.jsonl 8_3.jsonl 8_0.jsonl llava-v1.5-13b_coco_raw/ 4_0.jsonl 4_2.jsonl merge.jsonl 4_1.jsonl 4_3.jsonl llava-v1.5-13b_coco_gen_200k_ft_200k/ merge.jsonl 4_1.jsonl 4_3.jsonl 4_2.jsonl 4_0.jsonl llava-v1.5-13b_random_ft/ 8_4.jsonl 8_5.jsonl 8_7.jsonl 8_6.jsonl 8_3.jsonl 8_0.jsonl merge.jsonl 8_1.jsonl 8_2.jsonl test2015/ answers_upload/ llava_vqav2_mscoco_test-dev2015/ llava-v1.5-13b_select_raw_200k.json llava-v1.5-13b_model_zoo.json llava-v1.5-13b_coco_raw_200k_ft.json llava-v1.5-13b_pure_gen_558k.json llava-v1.5-13b_coco_raw.json llava-v1.5-13b_coco_gen_558k_ft.json llava-v1.5-13b_select_gen_100k_ft.json llava-v1.5-13b_select_raw_200k_ft.json llava-v1.5-13b_mixed_200k.json llava-v1.5-13b_llava_coco_gen_758k_ft.json llava-v1.5-13b_coco_raw_200k_ft_200k.json llava-v1.5-13b_coco_raw_558k_ft_200k.json llava-v1.5-13b_llava_raw_558k_ft.json llava-v1.5-13b_llava_558k.json llava-v1.5-13b_llava_gen_558k.json llava-v1.5-13b_pure_gen_200k.json llava-v1.5-13b_llava_gen_200k_ft.json llava-v1.5-13b_coco_gen.json llava-v1.5-13b_llava_coco_gen_758k_ft_200k.json llava-v1.5-13b_llava_200k.json llava-v1.5-13b_coco_gen_200k_ft.json llava-v1.5-7b_select_raw_100k.json llava-v1.5-13b_select_raw_100k.json llava-v1.5-13b_llava_coco_raw_758k_ft.json llava-v1.5-13b_pure_gen_200k_ft.json llava-v1.5-13b_coco_gen_llava_raw.json llava-v1.5-13b_select_gen_100k.json llava-v1.5-13b_coco_raw_558k.json llava-v1.5-13b_llava_coco_raw_758k_ft_200k.json llava-v1.5-7b_sharegpt4v_100k.json llava-v1.5-13b_select_gen_200k.json llava-v1.5-7b_llava_gen_200k.json llava-v1.5-13b_coco_gen_558k_ft_200k.json llava-v1.5-13b_coco_gen_200k_ft_200k.json llava-v1.5-13b_coco_raw_558k_ft.json llava-v1.5-13b_mixed_200k_ft.json llava-v1.5-13b_select_gen_200k_ft.json llava-v1.5-13b_select_mscoco_200k.json llava-v1.5-13b_pure_gen_558k_ft.json llava-v1.5-13b_llava_coco_gen_758k.json llava-v1.5-13b_coco_gen_558k.json llava-v1.5-7b_llava_raw_558k.json llava-v1.5-13b_llava_raw_558k_ft_200k.json llava-v1.5-13b_llava_gen_200k.json llava-v1.5-13b_llava_gen_200k_ft_200k.json llava-v1.5-13b_llava_coco_raw.json llava-v1.5-7b_select_gen_100k.json llava-v1.5-13b_random_ft.json llava-v1.5-13b_select_raw_100k_ft.json gqa/ images/ vg/ VG_100K/ VG_100K_2/ coco2014_val_qa_eval/ qa90_gpt4_answer.jsonl qa90_questions.jsonl textvqa/ train_images/ ocr_vqa/ images/ 089879823X.gif 156370000X.gif 60174463.gif 1557488789.gif 553106309.gif 1570711658.gif 939302322.gif 953735702.gif 1565540581.gif 970062680.gif 867194669.gif 880114401.gif 452255260.gif 1563841215.gif 395067995.gif 761525904.gif 761302174.gif 817440445.gif 939302349.gif 394532643.gif 1855326779.gif 28608194.gif 849386683.gif 961320745.gif 1884334148.gif 133099156.gif 553375415.gif 132248174.gif 679441662.gif 762704519.gif 295977868.gif 739704133.gif 1878239376.gif 1563524236.gif 878687505.gif 810940183.gif 1579771009.gif 879517182.gif 1887140115.gif 471178705.gif 393314286.gif 739714716.gif 914610007.gif 60191341.gif 739714023.gif 1573440906.gif 013898008X.gif 898796490.gif 844249017.gif 739704982.gif 823408817.gif 967148774.gif 471968722.gif 879518065.gif 832904481.gif 185230863X.gif 933821131.gif 688115853.gif 816636591.gif B005FOFNA8.gif 750219378.gif 1566866391.gif 764150987.gif 70213046.gif 937404268.gif 1566864941.gif 226500608.gif 898798272.gif 156458223X.gif 793128455.gif 1570421404.gif 316051772.gif 739714058.gif 1574320793.gif 966355903.gif 782120024.gif 859531511.gif 912818034.gif 912111364.gif 866364935.gif 60164255.gif 187762702X.gif 670861588.gif 139642625.gif 791442667.gif 771573936.gif 914846000.gif 706377273.gif 679429204.gif 809235269.gif 64462013.gif 877936919.gif 1881174034.gif 762702222.gif 801671825.gif 134412052.gif 393046567.gif 312187114.gif 810919389.gif 189251401X.gif 089879725X.gif 70359148.gif 1556507488.gif 520081854.gif 132782693.gif 914625179.gif 268006113.gif 471120707.gif 878918833.gif 1557488843.gif 783552505.gif 451197208.gif 1560449152.gif 140240802.gif 1579540929.gif 3797306210.gif 314885366.gif 664220789.gif 037550267X.gif 822321610.gif 688121675.gif 823929493.gif 521506743.gif 880112662.gif 890879419.gif 553271997.gif 088271130X.gif 739705539.gif 893463264.gif 1577780299.gif 878571914.gif 1557987203.gif 1878239732.gif 1890916196.gif 671501437.gif 887390560.gif 739702505.gif 761500413.gif 969527225.gif 78821770.gif 1885928017.gif 517599236.gif 749514019.gif 1853673994.gif 1564556409.gif 962770124.gif 081182568X.gif 1885203470.gif 486270106.gif 810912252.gif 1580800165.gif 1576730867.gif 1879431203.gif 1569750882.gif 789401592.gif 812015320.gif 810911744.gif 821820141.gif B001KBBD4A.gif 929435214.gif 878916008.gif 080740604X.gif 1557883262.gif 1581128096.gif 3928819291.gif 898796008.gif 393098745.gif 1559920696.gif 1564588963.gif 1879505460.gif 70432589.gif 087319036X.gif 786405511.gif 810955547.gif 807124168.gif 913923982.gif 814750990.gif 385485395.gif 471568864.gif 870331612.gif 1570713332.gif 821411896.gif 28628705.gif 960394621.gif 717281434.gif 1857881451.gif 460873121.gif 810980789.gif 1841548502.gif 968297072.gif 803258682.gif 916870480.gif 871563932.gif 962437514.gif 1884254187.gif 812035720.gif 087033512X.gif 28628594.gif 739715011.gif 898620996.gif 1560445513.gif 1572240466.gif 1883693128.gif 1560446226.gif 425163636.gif 965055558.gif 835607240.gif 812035844.gif 811726819.gif 1880092395.gif 1983776.gif 762702257.gif 940149303.gif 934977380.gif 785807209.gif 875730434.gif 520217284.gif 802136680.gif 958315434.gif 067944680X.gif 1574770713.gif 739714864.gif 876057873.gif 849332656.gif 006270110X.gif 1574532715.gif 345410882.gif 156261343X.gif 674341619.gif 942986504.gif 590366742.gif 1881044114.gif 1568304730.gif 761522751.gif 1565042301.gif 876055528.gif 553377973.gif 201508680.gif 094159937X.gif 472084798.gif 28625005.gif 1558184023.gif 374126453.gif 942627458.gif 471523771.gif 963222309.gif 822323346.gif 155851483X.gif 964568195.gif 377570177X.gif 789404737.gif 158160016X.gif 425099369.gif 080543013X.gif 471148288.gif 226278727.gif 688155596.gif 785270965.gif 961320753.gif 891960856.gif 187824406X.gif 739715534.gif 471550833.gif 915801833.gif 679445765.gif 826310117.gif 789401932.gif 1561480649.gif 893148423.gif 878918515.gif 393008312.gif 826194311.gif 446387355.gif 1563053128.gif 674292367.gif 1563410966.gif 739715100.gif 1580910068.gif 471909602.gif 073971452X.gif 679726101.gif 1566045002.gif 093062551X.gif 684856867.gif 1560984503.gif 014005667X.gif 823411575.gif 1570611912.gif 966437004.gif 840734921.gif 801486165.gif 679824405.gif 520216571.gif 961965010.gif 27365700.gif 960707611.gif 078710339X.gif 764106139.gif 452272505.gif 039922677X.gif 785276874.gif 375501983.gif 1567183212.gif 921820534.gif 1561700940.gif 1878239589.gif 773728368.gif 609600869.gif 668036559.gif 961552131.gif 963479903.gif 836252888.gif 806513969.gif 312198582.gif 892133252.gif 471243787.gif 089587198X.gif 553212389.gif 879801654.gif 1565047168.gif 763115509.gif 812903390.gif 376024844.gif 208024425.gif 345414810.gif 880113146.gif 930410629.gif 1560443952.gif 006017322X.gif 789401509.gif 1878239694.gif 201112973.gif 782118577.gif 806931833.gif 877936293.gif 875730426.gif 879514795.gif 1564964205.gif 471332577.gif 1555951120.gif 093727464X.gif 312194633.gif 935926232.gif 395428572.gif 875968376.gif 385320175.gif 882894293.gif 1570281270.gif 1887624023.gif 1570761493.gif 780800370.gif 125476604.gif 671041312.gif 4544040604.gif 688151175.gif B007K53FQ4.gif 914896474.gif 1561701289.gif 253211697.gif 1556226535.gif 1563057085.gif 1557489521.gif 805034676.gif 60174471.gif 899330266.gif 156347185X.gif 1558216103.gif 789411245.gif 289800900.gif 879802863.gif 739714961.gif 140371494.gif 1562613480.gif 875962343.gif 3527290761.gif 762100982.gif 28622464.gif 446396001.gif 525941290.gif 821223771.gif 914293400.gif 812035712.gif 1580621783.gif 965776611.gif 188673206X.gif 3980621154.gif 965280519.gif 930031571.gif 892540419.gif 3575228701.gif 749521643.gif 1564583031.gif 966424603.gif 312194412.gif 935926208.gif 739714937.gif 764109464.gif 739714619.gif 881502715.gif 1895688698.gif 051626401X.gif 1580171494.gif 679761799.gif 828006725.gif 879834048.gif 570035651.gif 878576991.gif 801005590.gif 517884283.gif 739714260.gif 785805516.gif 609605283.gif 082341230X.gif 810955563.gif 961742607.gif 1860110592.gif 156005808.gif 517593483.gif 1562390775.gif 679724621.gif 570035635.gif 1564583015.gif 1575664666.gif 087033333X.gif 816632596.gif 800756614.gif 688108148.gif 739704745.gif 60170921.gif 1878668315.gif 964568535.gif 1900724219.gif 004440929X.gif 1564965112.gif 442212135.gif 1860340660.gif 013312505X.gif 723240469.gif 953470504.gif 819183482.gif 1580631312.gif 877792356.gif 078942049X.gif 395945143.gif 679412034.gif 1881320200.gif 962289027.gif 963707701.gif 691019436.gif 919123058.gif 1885395116.gif 1562614479.gif B000ESSRR6.gif 395467322.gif 943026024.gif 911094199.gif 096375307X.gif 801860164.gif 1879605082.gif 881920053.gif 809069512.gif 891341706.gif 1570190003.gif 471042536.gif 688118127.gif 609604244.gif 811820580.gif 894550225.gif 517207338.gif 013242231X.gif 872265269.gif 072166055X.gif 684864223.gif 068815381X.gif 295968265.gif 1840240954.gif 670886939.gif 28616626.gif 538719184.gif 1890676225.gif 521256771.gif 1557531137.gif 823048055.gif 1566562430.gif 809000296X.gif 960536205.gif 068480946X.gif 1575662698.gif 1568590644.gif 867153180.gif 816512019.gif 898796482.gif 030724055X.gif 877793417.gif 930625552.gif 785808841.gif 471024961.gif 71351817.gif 394896211.gif 1574770225.gif 1564584674.gif 1584180048.gif 679446834.gif 085199444X.gif 814712975.gif 789416557.gif 440205700.gif 1555950620.gif 087983546X.gif 1885726031.gif 3980621146.gif 1556706324.gif 205260780.gif 912818026.gif 965150739.gif 1564582922.gif 1567510604.gif 816737738.gif 832904651.gif 761304452.gif 471166286.gif 1575664178.gif 871561476.gif 471351156.gif 937858994.gif 157324127X.gif 930016238.gif 1558219927.gif 2067009559.gif 553377833.gif 1556619987.gif 1570280762.gif 761501932.gif 1570061351.gif 516488422.gif 1895629624.gif 471098531.gif 1572302364.gif 1879415127.gif 684824620.gif 789408554.gif 880487542.gif 761306374.gif 814125417.gif 299130002.gif 933261004.gif 875961096.gif 962600350.gif 374225923.gif 786703938.gif 679430555.gif 836204603.gif 892390263.gif 1571690360.gif 1558682953.gif 671567918.gif 750223391.gif 553353500.gif 936783109.gif 930625196.gif 553450042.gif 395539331.gif 609804367.gif 679755675.gif 684847809.gif 671727028.gif 899428185.gif 1882514157.gif 806518618.gif 964930102.gif 087983515X.gif 015201697X.gif 715308904.gif 764220942.gif 2061514022.gif 29344506.gif 965921506.gif 671881841.gif 316142778.gif 1563138603.gif 1860110266.gif 746034237.gif 1564585050.gif 1889385026.gif 1560523573.gif 966542606.gif 1565111052.gif 791031829.gif 739714562.gif 764504665.gif 1892123053.gif 966279301.gif 520046552.gif 1579651127.gif 806509635.gif 739714031.gif 1580170536.gif 878421777.gif 870695916.gif 312890583.gif 789431033.gif 938817477.gif 679844023.gif 067173363X.gif 789441543.gif 133487318.gif 195042972.gif 898860172.gif 188938500X.gif 157851231X.gif 962532916.gif 894553003.gif 963753037.gif 963144863.gif 671766627.gif 345351452.gif 1570282358.gif 64432955.gif 060960323X.gif 073971581X.gif 879725109.gif 1928532004.gif 1891938010.gif 1883323703.gif 809238233.gif 789302551.gif 1568811012.gif 834210371.gif 135707978.gif 087946173X.gif 849930987.gif 231072430.gif 739704524.gif 78821185.gif 3764357665.gif 471614033.gif 292796048.gif 130258555.gif 1882419065.gif 873414640.gif 1558743030.gif 140255370.gif 1555951295.gif 963536508.gif 1570280932.gif 879801328.gif 830816011.gif 806516224.gif 865432481.gif 671847147.gif 898794161.gif 1872876420.gif 393040003.gif 933478186.gif 684848139.gif 668053984.gif 465069347.gif 70541450.gif 70692548.gif 823412385.gif 155583468X.gif 156458321X.gif 051763547X.gif 801859999.gif 739714600.gif 737303360.gif 3928819232.gif 793127521.gif 1565043502.gif 375703934.gif 1575663082.gif 391040952.gif 739714546.gif 860208656.gif 883880075.gif 1574301012.gif 1564651452.gif 937274461.gif 399524096.gif 185343342X.gif 1887089160.gif 1565042751.gif 812091477.gif 1853433748.gif 873226550.gif 749517735.gif 471542989.gif 1888001259.gif 960561226.gif 691040478.gif 684853515.gif 1878239767.gif 960945636.gif 1566250420.gif 898795494.gif 865056919.gif 961143800.gif 915801841.gif 673384772.gif 739715593.gif 64603032.gif 805042156.gif 521450942.gif 721657419.gif 073970477X.gif 789401851.gif 739714392.gif 1567615317.gif 312244452.gif 1559920734.gif 520210581.gif 1558680896.gif 674018214.gif 1580050239.gif 761307842.gif 038794740X.gif 155850835X.gif 517587149.gif 051770353X.gif 037575010X.gif 879836814.gif 786884061.gif 764106120.gif 393311430.gif 1585740292.gif 1882663233.gif 375702199.gif 929712838.gif 818405988.gif 962035424.gif 078942455X.gif 739714767.gif 938076140.gif 1575663821.gif 683021389.gif 70224889.gif 915099683.gif 201624508.gif 810140047.gif 553343637.gif 870675656.gif 739705431.gif 943358272.gif 031476271X.gif 892540222.gif 262531682.gif 896760820.gif 1883651069.gif 1573540412.gif 679888268.gif 785282394.gif 967008808.gif 316712639.gif 931580390.gif 967695104.gif 393047849.gif 1555603513.gif 1563705176.gif 916290808.gif 962726303.gif 1558218769.gif 60950536.gif 051770059X.gif 965506738.gif 093062596X.gif 789404427.gif 1570761116.gif 716713616.gif 713727802.gif 1569550670.gif 393038963.gif 961413514.gif 761511253.gif 934710171.gif 312970986.gif 871136902.gif 026801678X.gif 28624084.gif 671025627.gif 62760513.gif 435070088.gif 068484673X.gif 751327999.gif 1560445149.gif 803283598.gif 1558670491.gif 966107233.gif 679030603.gif 3884452762.gif 385318871.gif 961320761.gif 307090078.gif 1570190380.gif 810943794.gif 960723668.gif 807085707.gif 055305340X.gif 816042780.gif 155209183X.gif 674634632.gif 945397690.gif 1564582914.gif 739714139.gif 824511859.gif 810928949.gif 1579901387.gif 965711501.gif 739714953.gif 091484606X.gif 1862045852.gif 739704516.gif 1568362021.gif 240514149.gif 415913756.gif 873415841.gif 393702987.gif 870334751.gif 1886947694.gif 412132710.gif 399521526.gif 087779913X.gif 739715410.gif 1560799722.gif 942110439.gif 929435257.gif 268016860.gif 821226355.gif 898797624.gif 1571971459.gif 312155344.gif 873413741.gif 935926194.gif 965824659.gif 786864206.gif 824817788.gif 912511060.gif 872266184.gif 394413288.gif 816631719.gif 002862405X.gif 553370758.gif 739715720.gif 471328561.gif 1881649679.gif 843129697.gif 25491504.gif 397516517.gif 809321459.gif 968557902.gif 393090027.gif 412076217.gif 570035627.gif 28621921.gif 1882419642.gif 870408712.gif 812931432.gif 961577665.gif 089577951X.gif 674035275.gif 891455418.gif 393701719.gif 966586611.gif 814450369.gif 067146776X.gif 531202852.gif 517477874.gif 312049153.gif 806965339.gif 375400664.gif 882894145.gif 471573019.gif 1560442697.gif 039309071X.gif 805241426.gif 876043082.gif 425168026.gif 1890838004.gif 553069403.gif 1883323460.gif 870333615.gif 785802045.gif 679435824.gif 965155005.gif 553062204.gif 688116191.gif 1565541553.gif .ipynb_checkpoints/ .git/ FETCH_HEAD index packed-refs ORIG_HEAD HEAD description config hooks/ applypatch-msg.sample update.sample post-update.sample pre-push.sample pre-applypatch.sample pre-commit.sample pre-rebase.sample commit-msg.sample prepare-commit-msg.sample objects/ pack/ pack-12c02b1008267fa72ea080575b99878a95a9069f.idx pack-12c02b1008267fa72ea080575b99878a95a9069f.pack info/ info/ exclude refs/ tags/ remotes/ origin/ HEAD heads/ main branches/ logs/ HEAD refs/ heads/ main remotes/ origin/ HEAD llava.egg-info/ PKG-INFO dependency_links.txt SOURCES.txt requires.txt top_level.txt images/ demo_cli.gif checkpoints_pt/ llava_gen_558k/ coco_gen_200k/ llava-v1.5-13b-pretrain/ trainer_state.json config.json mm_projector.bin coco_raw_200k/ llava-v1.5-13b-pretrain/ mm_projector.bin trainer_state.json config.json coco_gen_558k/ llava-v1.5-13b-pretrain/ trainer_state.json mm_projector.bin config.json llava_coco_gen_758k/ llava-v1.5-13b-pretrain/ mm_projector.bin trainer_state.json config.json llava_coco_raw_758k/ llava-v1.5-13b-pretrain/ trainer_state.json config.json mm_projector.bin llava_raw_558k/ llava-v1.5-13b-pretrain/ config.json trainer_state.json mm_projector.bin coco_select_200k/ llava-v1.5-13b-pretrain/ trainer_state.json config.json mm_projector.bin coco_raw_558k/ llava-v1.5-13b-pretrain/ config.json trainer_state.json mm_projector.bin llava_raw_200k/ llava-v1.5-13b-pretrain/ mm_projector.bin trainer_state.json config.json llava_gen_200k/ llava-v1.5-13b-pretrain/ trainer_state.json config.json mm_projector.bin