| --- |
| language: |
| - en |
| - ru |
| tags: |
| - BenchLocal |
| - BenchLocalPack |
| - IFEval |
| - GPQA |
| - MuSR |
| - MMLU-Pro |
| pinned: true |
| --- |
| |
| [](https://visitorbadge.io/status?path=https%3A%2F%2Fhuggingface.co%2Fzelk12%2FBenchPack_for_BenchLocal) |
|
|
| # EN |
|
|
| # Installation instructions |
| It will likely be added later, but this is not certain. Descriptions of the sets and their differences from the originals will also be added. |
|
|
| # Description |
| These are just test sets for BenchLocal, the first test set is IFEval-mini, a set of only 90 tasks, in Russian, English, and a mixture of the two languages. |
|
|
| # IFEval-mini |
| The set was compiled by Gemini 3.8 Flash. I conducted a test on this set, reviewed the results, and read the tasks, indicating what was written incorrectly in the tasks and how some of them could be corrected. The main goal in compiling IFEval tasks was to write tasks that are read strictly unambiguously and composed in such a way as to comply with the validator. |
|
|
| # GPQA-mini |
| Gemini 3.8 Flash was compiled entirely, with a very large number of restarts due to site crashes, and some edits. |
| While I could still remotely check IFEval-mini, here my check only concerned general things, since I don’t understand the issues that were written. |
|
|
| # MuSR-mini |
| Like the rest, most of the text was compiled with Gemini 3.8 Flash, and I made suggestions for changes, such as making it necessary to specify many things at once. |
|
|
| # MMLU-Pro |
| It seems that in terms of composition, this was one of the simplest tests. |
|
|
| ___ |
| ___ |
|
|
| # RU |
|
|
| # Инструкция, по установке |
| Позднее вероятно она будет добвлена, но это являеться не точным. Также будут добавлены, описания, что из себя представляют наборы, и их отличия от оригиналов. |
|
|
| # Описание |
| Это просто тестовые наборы, для BenchLocal, первый, тестовый набор, это IFEval-mini, набор всего на 90 заданий, на русском, английском, и на смеси двух языков. |
|
|
| # IFEval-mini |
| Набор был составлен Gemini 3.8 Flash, я в данном наборе, проводил тест, этого набора, просматривал результаты, и читал задания, указывал, что в заданиях написано не верно, и как некоторые из них можно исправить, основная задача в составлении заданий IFEval, была, такова, чтобы написать задания которые читаются строго односмыслено, и составлены так, чтобы соответсвовать валидатору. |
|
|
| # GPQA-mini |
| Полностью составлялся Gemini 3.8 Flash, с очень большим количеством перезапусков, из-за поломок сайта, и внесением некоторых правок. |
| Если IFEval-mini я ещё отдалённо мог проверять, то здесь моя проверка касалась только общих вещей, так как я не разбираюсь в тех вопросах которые были написаны. |
|
|
| # MuSR-mini |
| Аналогично с остальными большая часть текста, составлена Gemini 3.8 Flash, мною вводились предложения, по внесению изменений, такие, как сделать, необходимость, указать множество вещей разом. |
|
|
| # MMLU-Pro |
| Есть ощущение, что по составлению, это оказался один из самых простых тестов. |
