mmlu评测和if_eval结果

#32
by cloudcc - opened

您好!我有2个问题,请问:

  1. seed_36b_base模型的mmlu的评测方案是什么,使用首token概率评测还是推理结果评测?
  2. 主页中seed_36b_instruct的if_eval结果是strict版本还是loose版本?
    期待回复:)

Sign up or log in to comment