Upload 3 files

MMLU-Pro-mini/benchlocal.pack.json

@@ -0,0 +1,18 @@
+{
+  "schemaVersion": 1,
+  "protocolVersion": 1,
+  "id": "mmlu-pro-multilingual-reasoning-126",
+  "name": "MMLU-Pro Multilingual Reasoning Benchmark (126 Scenarios)",
+  "version": "3.0.0",
+  "description": "Строгий бенчмарк MMLU-Pro: 14 категорий, 126 расчетно-логических задач (по 9 в категории: 3 RU, 3 EN, 3 Mixed), 10 сбалансированных вариантов выбора (A-J), отсутствие Length Heuristic и Position Bias",
+  "entry": "./index.mjs",
+  "samplingDefaults": {
+    "temperature": 0.0
+  },
+  "capabilities": {
+    "tools": false,
+    "multiTurn": false,
+    "streamingProgress": false,
+    "verification": true
+  }
+}

MMLU-Pro-mini/index.mjs

@@ -0,0 +1,272 @@
+import fs from "node:fs";
+import path from "node:path";
+import { fileURLToPath } from "node:url";
+
+const __dirname = path.dirname(fileURLToPath(import.meta.url));
+const manifestPath = path.join(__dirname, "benchlocal.pack.json");
+const scenariosPath = path.join(__dirname, "scenarios.json");
+
+export const manifest = JSON.parse(fs.readFileSync(manifestPath, "utf8"));
+
+/**
+ * Формирование финального промпта:
+ * Оформляет 10 вариантов (A-J), поощряет пошаговые рассуждения (Chain-of-Thought)
+ * и требует вывода строгого вердикта на последней строке с примерами на буквах X, Y, Z.
+ */
+function buildFullPrompt(s) {
+  const letters = ["A", "B", "C", "D", "E", "F", "G", "H", "I", "J"];
+  const formattedOptions = s.options
+    .map((opt, i) => `${letters[i]}) ${opt}`)
+    .join("\n");
+
+  if (s.language === "ru") {
+    return `${s.question}\n\nВарианты ответа:\n${formattedOptions}\n\nИНСТРУКЦИЯ ПО ВЫПОЛНЕНИЮ:
+Ты можешь и должен подробно рассуждать по шагам (Chain-of-Thought), решая задачу и анализируя данные.
+Однако в самом конце твоего ответа обязана присутствовать отдельная финальная строка, строго оформленная по шаблону:
+Мой ответ: (БУКВА)
+
+Примеры правильного оформления финала (буквы X, Y, Z приведены только для образца и отсутствуют в вариантах A-J):
+Пример 1:
+... [твои пошаговые вычисления и рассуждения] ...
+Мой ответ: (X)
+
+Пример 2:
+... [твои пошаговые вычисления и рассуждения] ...
+Мой ответ: (Y)
+
+Пример 3:
+... [твои пошаговые вычисления и рассуждения] ...
+Мой ответ: (Z)`;
+  }
+
+  if (s.language === "en") {
+    return `${s.question}\n\nOptions:\n${formattedOptions}\n\nINSTRUCTIONS:
+You can and should reason step-by-step (Chain-of-Thought) to rigorously solve the problem.
+However, at the very end of your response, you must provide your final conclusion on a separate line strictly formatted as:
+My answer: (LETTER)
+
+Examples of final line formatting (letters X, Y, Z are placeholders and not choices A-J):
+Example 1:
+... [your step-by-step reasoning and calculations] ...
+My answer: (X)
+
+Example 2:
+... [your step-by-step reasoning and calculations] ...
+My answer: (Y)
+
+Example 3:
+... [your step-by-step reasoning and calculations] ...
+My answer: (Z)`;
+  }
+
+  return `${s.question}\n\nВарианты / Options:\n${formattedOptions}\n\nИНСТРУКЦИЯ / INSTRUCTIONS:
+Рассуждай подробно по шагам (Chain-of-Thought), проводя необходимые расчеты.
+В самом конце твой output обязан завершаться отдельной строкой строго по шаблону:
+Мой ответ / My answer: (LETTER)
+
+Examples / Примеры завершения (буквы X, Y, Z взяты для примера и отсутствуют в вариантах A-J):
+Example 1:
+... [твои рассуждения / reasoning] ...
+Мой ответ / My answer: (X)
+
+Example 2:
+... [твои рассуждения / reasoning] ...
+Мой ответ / My answer: (Y)
+
+Example 3:
+... [твои рассуждения / reasoning] ...
+Мой ответ / My answer: (Z)`;
+}
+
+function loadScenarios() {
+  const raw = JSON.parse(fs.readFileSync(scenariosPath, "utf8"));
+  return raw.map((s) => ({
+    ...s,
+    prompt: s.prompt || buildFullPrompt(s)
+  }));
+}
+
+export function listScenarios() {
+  return loadScenarios().map((s) => ({
+    id: s.id,
+    name: s.name,
+    category: s.category || "General",
+    description: `[${(s.language || "ru").toUpperCase()}] ${s.name}`
+  }));
+}
+
+export function getScenarios() {
+  return listScenarios();
+}
+
+/**
+ * Валидатор Chain-of-Thought:
+ * Позволяет модели рассуждать, но проверяет наличие требуемой завершающей конструкции.
+ */
+function validateResponse(scenario, rawText) {
+  const text = (rawText || "").trim();
+  const expected = (scenario.correctAnswer || "").trim().toUpperCase();
+
+  const pattern = /(?:Мой\s*ответ|My\s*answer|Мой\s*ответ\s*\/\s*My\s*answer):\s*\(([A-J])\)/gi;
+  const matches = [...text.matchAll(pattern)];
+
+  if (matches.length === 0) {
+    return {
+      pass: false,
+      score: 0,
+      extracted: null,
+      reason: `Нарушен формат финала: не найдена обязательная строка 'Мой ответ: (БУКВА)'. Окончание ответа: "${text.slice(-120)}"`
+    };
+  }
+
+  const lastMatch = matches[matches.length - 1];
+  const extracted = lastMatch[1].toUpperCase();
+
+  if (extracted !== expected) {
+    return {
+      pass: false,
+      score: 0,
+      extracted,
+      reason: `Неверный ответ: модель пришла к выводу '(${extracted})', ожидалось '(${expected})'`
+    };
+  }
+
+  return {
+    pass: true,
+    score: 100,
+    extracted,
+    reason: `Верно: обоснован и выбран правильный вариант '(${extracted})'`
+  };
+}
+
+function resolveHelpers(context) {
+  if (context && typeof context.getRequiredProvider === "function") {
+    return context;
+  }
+  if (context?.helpers && typeof context.helpers.getRequiredProvider === "function") {
+    return context.helpers;
+  }
+  return {
+    getRequiredProvider(providerId) {
+      const providers = context?.providers || [];
+      const found = Array.isArray(providers)
+        ? providers.find((p) => p.id === providerId || p.provider === providerId)
+        : providers[providerId];
+      return found || { baseUrl: "http://127.0.0.1:11434/v1", apiKey: "none" };
+    },
+    getInferenceEndpoint(modelId) {
+      return context?.endpoints?.[modelId] || null;
+    }
+  };
+}
+
+export async function prepare(context) {
+  const helpers = resolveHelpers(context);
+
+  return {
+    async runScenario(input) {
+      const allScenarios = loadScenarios();
+      const scenario = allScenarios.find((s) => s.id === input.scenario.id);
+      if (!scenario) {
+        return {
+          scenarioId: input.scenario.id,
+          status: "fail",
+          score: 0,
+          summary: "Сценарий не найден",
+          rawLog: "error=Scenario not found"
+        };
+      }
+
+      const provider = helpers.getRequiredProvider(input.model.provider, { enabledOnly: true });
+      const inference = helpers.getInferenceEndpoint ? helpers.getInferenceEndpoint(input.model.id) : null;
+
+      const rawBaseUrl = (inference && inference.status === "running" ? inference.baseUrl : provider?.baseUrl) || "http://127.0.0.1:11434/v1";
+      const baseUrl = rawBaseUrl.replace(/\/+$/, "");
+      const apiKey = provider?.apiKey || "none";
+
+      const requestBody = {
+        model: input.model.model,
+        messages: [{ role: "user", content: scenario.prompt }],
+        temperature: 0
+      };
+
+      const response = await fetch(`${baseUrl}/chat/completions`, {
+        method: "POST",
+        headers: {
+          "Content-Type": "application/json",
+          Authorization: `Bearer ${apiKey}`
+        },
+        body: JSON.stringify(requestBody)
+      });
+
+      const data = await response.json();
+      const text = (data.choices?.[0]?.message?.content || "").trim();
+      const result = validateResponse(scenario, text);
+
+      const rawLog = [
+        `model=${input.model.model}`,
+        `category=${scenario.category}`,
+        `language=${scenario.language}`,
+        `scenario=${scenario.id} - ${scenario.name}`,
+        `prompt=${scenario.prompt}`,
+        `assistant_full_cot_response=${text}`,
+        `extracted_final_letter=${result.extracted || "NONE"}`,
+        `expected_letter=${scenario.correctAnswer}`,
+        `verdict=${result.pass ? "pass" : "fail"}`,
+        `score=${result.score}`,
+        `summary=${result.reason}`,
+        `\n--- RAW API RESPONSE ---`,
+        JSON.stringify(data, null, 2)
+      ].join("\n");
+
+      return {
+        scenarioId: scenario.id,
+        category: scenario.category,
+        language: scenario.language,
+        status: result.pass ? "pass" : "fail",
+        score: result.score,
+        summary: result.reason,
+        rawLog: rawLog
+      };
+    },
+
+    async dispose() {}
+  };
+}
+
+export function scoreModelResults(results) {
+  const scored = results || [];
+  const total = scored.reduce((sum, r) => sum + (r.score || 0), 0);
+  const max = scored.length * 100;
+
+  const catMap = new Map();
+  for (const r of scored) {
+    const cat = r.category || "General";
+    if (!catMap.has(cat)) {
+      catMap.set(cat, { total: 0, count: 0 });
+    }
+    const entry = catMap.get(cat);
+    entry.total += r.score || 0;
+    entry.count += 1;
+  }
+
+  const categories = Array.from(catMap.entries()).map(([name, data]) => ({
+    name,
+    score: data.count > 0 ? Math.round((data.total / (data.count * 100)) * 100) : 0,
+    count: data.count
+  }));
+
+  return {
+    totalScore: max > 0 ? Math.round((total / max) * 100) : 0,
+    categories
+  };
+}
+
+export default {
+  manifest,
+  listScenarios,
+  getScenarios,
+  prepare,
+  createRuntime: prepare,
+  scoreModelResults
+};