Оценка модели на MTEB
#3
by panser - opened
Добрый день! Можете поделиться скриптами, как вы оценивали модель на задачах Retrieval и STS на RuMTEB? Не очень понимаю как правильно подавать инструкции в модель при этих тасках(
Добрый день!
Для задачи STS использовали инструкцию: "Найди семантически похожий текст \nтекст: " перед запросом.
Для retrieval использовали инструкцию: "Дан вопрос, необходимо найти абзац текста с ответом \nвопрос: " перед запросом.
Спасибо!
А вы не планируете выложить скрипты, как вы скорили вашу модель на Ru Mteb?
Планируем
lossful changed discussion status to closed