Blame for index.html

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<meta name="viewport" content="width=device-width, initial-scale=1">
<title>Slayer1B Benchmarks</title>
<meta name="description" content="Fifty distinct public benchmarks for Slayer 1B, with contamination scans, confidence intervals and reference baselines.">
<link rel="stylesheet" href="style.css">
<script src="contract.js" defer></script>
<script src="app.js" defer></script>
</head>
<body data-lang="en">
<nav class="lang" aria-label="Language"><button type="button" data-set="en" aria-pressed="true">EN</button><button type="button" data-set="pl" aria-pressed="false">PL</button></nav>
<main>
  <header>
    <p class="by">Fabryka AI · SlayerLab</p>
    <h1>Slayer1B Benchmarks</h1>
    <p class="lead l-en">Fifty distinct public benchmarks (38 English, 12 Polish) run with one protocol on Slayer 1B and comparison models. For models whose training data we have, a number appears only after a contamination scan; models with unpublished training data are shown with the label TRAINING DATA UNKNOWN. Every main value and every contrast has a 95% confidence interval; tasks scored by picking one answer also have a reference point; values on items without hits are shown without an interval. There is no average over the fifty.</p>
    <p class="lead l-pl">Pięćdziesiąt różnych publicznych benchmarków (38 angielskich, 12 polskich), liczonych jednym protokołem na Slayerze 1B i modelach porównawczych. Dla modeli, których dane treningowe mamy, liczba pojawia się dopiero po skanie kontaminacji; modele z niepublikowanymi danymi treningowymi mają etykietę DANE TRENINGOWE NIEZNANE. Każda wartość główna i każdy kontrast ma 95% przedział ufności; zadania oceniane wyborem jednej odpowiedzi mają też punkt odniesienia; wartości na pozycjach bez trafień są bez przedziału. Nie liczymy średniej z pięćdziesięciu.</p>
    <div class="pills" id="pills" aria-live="polite"></div>
    <p class="pending" id="pending" hidden></p>
  </header>

  <section aria-labelledby="results-title">
    <h2 id="results-title"><span class="l-en">Results</span><span class="l-pl">Wyniki</span></h2>
    <div id="app"><p class="notice"><span class="l-en">Loading…</span><span class="l-pl">Wczytuję…</span></p><noscript>JavaScript is required to read the data files.</noscript></div>
  </section>

  <section aria-labelledby="legend-title">
    <h2 id="legend-title"><span class="l-en">How to read a cell</span><span class="l-pl">Jak czytać komórkę</span></h2>
    <div class="cards">
      <div class="card">
        <h3><span class="l-en">Value and interval</span><span class="l-pl">Wartość i przedział</span></h3>
        <p class="l-en">The metric in its own unit, with a paired cluster bootstrap 95% interval. Arrows show whether higher or lower is better. Overlapping intervals do not mean the models are equal. A model is called better or worse only from a paired permutation test with Holm correction over the whole comparison family; otherwise the result is inconclusive.</p>
        <p class="l-pl">Miara we własnej jednostce, z 95% przedziałem z bootstrapu klastrowego. Strzałka mówi, czy lepiej więcej, czy mniej. Nakładające się przedziały nie oznaczają, że modele są równe. Model nazywamy lepszym albo gorszym tylko na podstawie sparowanego testu permutacyjnego z poprawką Holma na całej rodzinie porównań; w innym razie wynik jest nierozstrzygnięty.</p>
      </div>
      <div class="card">
        <h3><span class="l-en">Reference points</span><span class="l-pl">Punkty odniesienia</span></h3>
        <p class="l-en"><b>Random</b> is the expected score of a uniform guess on the same sample. <b>Majority</b> is the score of always answering the most common correct class. A score below these says little about ability.</p>
        <p class="l-pl"><b>Losowo</b> to oczekiwany wynik zgadywania na tej samej próbce. <b>Większość</b> to wynik zawsze tej samej, najczęstszej poprawnej klasy. Wynik poniżej tych poziomów niewiele mówi o zdolności.</p>
      </div>
      <div class="card">
        <h3><span class="l-en">Contamination</span><span class="l-pl">Kontaminacja</span></h3>
        <p class="l-en"><span class="tag clean">clean</span> no item found in the training data. <span class="tag flagged">flagged</span> some items were found; the score is shown on the full sample and on the items without hits. If fewer than 50 items remain without hits, that variant shows only the count. If fewer than 50 items remain without any hits, the full-sample score is greyed and gives no better/worse; the variant without hits in answer fields shows a number only if at least 50 items remain. <span class="tag unknown">training data unknown</span> the model's training data is not public. The score is shown, but it cannot be checked for contamination.</p>
        <p class="l-pl"><span class="tag clean">czysty</span> żadnej pozycji nie znaleziono w danych treningowych. <span class="tag flagged">trafienia</span> część pozycji znaleziono; wynik podajemy na całej próbce i na pozycjach bez trafień. Gdy bez trafień zostaje mniej niż 50 pozycji, ten wariant pokazuje tylko liczbę pozycji. Gdy bez żadnych trafień zostaje mniej niż 50 pozycji, wynik z całej próbki jest wyszarzony i nie daje werdyktu lepszy/gorszy; wariant bez trafień w polach odpowiedzi ma liczbę tylko przy co najmniej 50 pozycjach. <span class="tag unknown">dane treningowe nieznane</span> dane treningowe modelu nie są publiczne. Wynik jest pokazany, ale nie da się go sprawdzić pod kątem kontaminacji.</p>
      </div>
      <div class="card">
        <h3><span class="l-en">Constant answer</span><span class="l-pl">Stała odpowiedź</span></h3>
        <p class="l-en"><span class="tag constant">constant answer</span> the model gave the same class to every item. The value is real but carries no information about ability, so it is not compared between models or versions.</p>
        <p class="l-pl"><span class="tag constant">stała odpowiedź</span> model dał tę samą klasę każdej pozycji. Wartość jest prawdziwa, ale nie niesie informacji o zdolności, więc nie porównujemy jej między modelami ani wersjami.</p>
      </div>
    </div>
  </section>

  <section aria-labelledby="method-title">
    <h2 id="method-title"><span class="l-en">Method and data</span><span class="l-pl">Metoda i dane</span></h2>
    <p class="l-en">The full protocol is in <a href="METHOD.md">METHOD.md</a> (English). The benchmark list with sources, revisions and licences is <a href="tasks_50.json">tasks_50.json</a>; the result format is <a href="results.schema.json">results.schema.json</a>; the role of every scanned field (context, answer-bearing, metadata), fixed before the variants without hits were computed, is in <a href="contamination_field_roles.json">contamination_field_roles.json</a>. Every file below is checked against its pinned SHA-256 before anything is shown.</p>
    <p class="l-pl">Pełny protokół jest w <a href="METHOD.md">METHOD.md</a> (po angielsku). Lista benchmarków ze źródłami, rewizjami i licencjami to <a href="tasks_50.json">tasks_50.json</a>; format wyników to <a href="results.schema.json">results.schema.json</a>; rola każdego skanowanego pola (kontekst, pole z odpowiedzią, metadane), ustalona przed policzeniem wariantów bez trafień, jest w <a href="contamination_field_roles.json">contamination_field_roles.json</a>. Każdy plik poniżej jest sprawdzany względem przypiętego SHA-256, zanim cokolwiek się pokaże.</p>
    <div id="files" class="files"></div>
  </section>
</main>
<footer><span class="l-en">Fabryka AI · static page, no tracking, no external scripts.</span><span class="l-pl">Fabryka AI · strona statyczna, bez śledzenia i zewnętrznych skryptów.</span></footer>
</body>
</html>