card: oznaczenie jezyka PL/EN per benchmark (model-index + tabele flagi)

README.md

@@ -16,41 +16,41 @@ model-index:
 - name: goLLeM-110M-PL-SFT-merged
   results:
   - task: {type: text-classification, name: Polish topic classification}
-    dataset: {type: sdadas/8tags, name: 8Tags, split: test}
+    dataset: {type: sdadas/8tags, name: 8Tags (Polish), split: test}
     metrics:
-    - {type: accuracy, value: 0.110247, name: Accuracy}
-    - {type: f1, value: 0.034779, name: Macro-F1}
+    - {type: accuracy, value: 0.110247, name: Accuracy (PL)}
+    - {type: f1, value: 0.034779, name: Macro-F1 (PL)}
   - task: {type: text-classification, name: Polish sentiment (in-domain)}
-    dataset: {type: allegro/klej-polemo2-in, name: PolEmo2-IN, split: test}
+    dataset: {type: allegro/klej-polemo2-in, name: PolEmo2-IN (Polish), split: test}
     metrics:
-    - {type: accuracy, value: 0.423823, name: Accuracy}
-    - {type: f1, value: 0.242625, name: Macro-F1}
+    - {type: accuracy, value: 0.423823, name: Accuracy (PL)}
+    - {type: f1, value: 0.242625, name: Macro-F1 (PL)}
   - task: {type: text-classification, name: Polish sentiment (out-of-domain)}
-    dataset: {type: allegro/klej-polemo2-out, name: PolEmo2-OUT, split: test}
+    dataset: {type: allegro/klej-polemo2-out, name: PolEmo2-OUT (Polish), split: test}
     metrics:
-    - {type: accuracy, value: 0.356275, name: Accuracy}
-    - {type: f1, value: 0.169887, name: Macro-F1}
-  - task: {type: text-generation, name: Zero-shot evaluation}
-    dataset: {type: blimp, name: BLiMP, split: train}
-    metrics: [{type: acc, value: 0.5404}]
-  - task: {type: text-generation, name: Zero-shot evaluation}
-    dataset: {type: EleutherAI/lambada_openai, name: LAMBADA OpenAI, split: test}
-    metrics: [{type: acc, value: 0.0223}, {type: perplexity, value: 55056.11}]
-  - task: {type: text-generation, name: Zero-shot evaluation}
-    dataset: {type: hellaswag, name: HellaSwag, split: validation}
-    metrics: [{type: acc_norm, value: 0.2817}]
-  - task: {type: text-generation, name: Zero-shot evaluation}
-    dataset: {type: piqa, name: PIQA, split: validation}
-    metrics: [{type: acc_norm, value: 0.5065}]
-  - task: {type: text-generation, name: Zero-shot evaluation}
-    dataset: {type: sciq, name: SciQ, split: test}
-    metrics: [{type: acc_norm, value: 0.6000}]
-  - task: {type: text-generation, name: Zero-shot evaluation}
-    dataset: {type: allenai/ai2_arc, config: ARC-Easy, name: ARC-Easy, split: test}
-    metrics: [{type: acc_norm, value: 0.2597}]
-  - task: {type: text-generation, name: Zero-shot evaluation}
-    dataset: {type: allenai/ai2_arc, config: ARC-Challenge, name: ARC-Challenge, split: test}
-    metrics: [{type: acc_norm, value: 0.2270}]
+    - {type: accuracy, value: 0.356275, name: Accuracy (PL)}
+    - {type: f1, value: 0.169887, name: Macro-F1 (PL)}
+  - task: {type: text-generation, name: English zero-shot (cross-lingual transfer)}
+    dataset: {type: blimp, name: BLiMP (English), split: train}
+    metrics: [{type: acc, value: 0.5404, name: acc (EN)}]
+  - task: {type: text-generation, name: English zero-shot (cross-lingual transfer)}
+    dataset: {type: EleutherAI/lambada_openai, name: LAMBADA OpenAI (English), split: test}
+    metrics: [{type: acc, value: 0.0223, name: acc (EN)}, {type: perplexity, value: 55056.11, name: perplexity (EN)}]
+  - task: {type: text-generation, name: English zero-shot (cross-lingual transfer)}
+    dataset: {type: hellaswag, name: HellaSwag (English), split: validation}
+    metrics: [{type: acc_norm, value: 0.2817, name: acc_norm (EN)}]
+  - task: {type: text-generation, name: English zero-shot (cross-lingual transfer)}
+    dataset: {type: piqa, name: PIQA (English), split: validation}
+    metrics: [{type: acc_norm, value: 0.5065, name: acc_norm (EN)}]
+  - task: {type: text-generation, name: English zero-shot (cross-lingual transfer)}
+    dataset: {type: sciq, name: SciQ (English), split: test}
+    metrics: [{type: acc_norm, value: 0.6000, name: acc_norm (EN)}]
+  - task: {type: text-generation, name: English zero-shot (cross-lingual transfer)}
+    dataset: {type: allenai/ai2_arc, config: ARC-Easy, name: ARC-Easy (English), split: test}
+    metrics: [{type: acc_norm, value: 0.2597, name: acc_norm (EN)}]
+  - task: {type: text-generation, name: English zero-shot (cross-lingual transfer)}
+    dataset: {type: allenai/ai2_arc, config: ARC-Challenge, name: ARC-Challenge (English), split: test}
+    metrics: [{type: acc_norm, value: 0.2270, name: acc_norm (EN)}]
 ---
 
 # GoLLeM-110M-PL-SFT-merged
@@ -73,35 +73,35 @@ Instruction-tuned (SFT) wersja **GoLLeM-110M-PL** — małego, polskojęzycznego
 
 ## Baza, dane i trening
 
-- **Model bazowy:** [SlayerLab/goLLeM-110M-PL](https://huggingface.co/SlayerLab/goLLeM-110M-PL) (ckpt_00060733), pretrenowany od zera na korpusie **dynaword-expansion** (HPLT v3.0 `pol_Latn`, ~1,35 mld tokenów, 1 epoka), PII-scrubbed.
+- **Model bazowy:** [SlayerLab/goLLeM-110M-PL](https://huggingface.co/SlayerLab/goLLeM-110M-PL) (ckpt_00060733), pretrenowany od zera na korpusie **dynaword-expansion** (HPLT v3.0 `pol_Latn`, ~1,35 mld tokenów, 1 epoka), PII-scrubbed. **Język treningu: 100% polski.**
 - **SFT:** grounded-QA, **26 194 par** (4 autorów, CC-BY-SA-inherit); 3 epoki, lr 2e-5, weight decay 0.1, batch 16 × accum 4 (efektywny 64), ~3 min 40 s na RX 7900 XTX (ROCm).
 - **Gate treningowy:** PII 0, regurgitacja 0 (model składa ze wzorców, nie recytuje danych); forma odpowiedzi 15/15 (0 kontynuacji, 0 boilerplate).
 
 ## Ewaluacja
 
-Zero-shot, pełne splity. **Bateria EN:** `lm-evaluation-harness` 0.4.12 (te same taski i wersja co karta [Pollock](https://huggingface.co/SlayerLab/pollock-mini-lm-125m)). **Bateria PL:** port protokołu dmpod (`eval_pl_bench`, mean-loglikelihood-per-token, length-normalized, accuracy + macro-F1). Pomiar: SlayerLab (Latarnik/Hart), 2026-08-27, RX 7900 XTX.
+Zero-shot, pełne splity. Ewaluacja pokrywa **dwa języki**: **polski (3 benchmarki)** — realna kompetencja modelu — oraz **angielski (7 benchmarków)** — transfer międzyjęzykowy (model jest jednojęzyczny polski, więc EN mierzy transfer, nie zdolność). **Bateria EN:** `lm-evaluation-harness` 0.4.12 (te same taski i wersja co karta [Pollock](https://huggingface.co/SlayerLab/pollock-mini-lm-125m)). **Bateria PL:** port protokołu dmpod (`eval_pl_bench`, mean-loglikelihood-per-token, length-normalized, accuracy + macro-F1). Pomiar: SlayerLab (Latarnik/Hart), 2026-08-27, RX 7900 XTX.
 
-**Bateria PL** (random: 8Tags .125, PolEmo2 .25):
+### 🇵🇱 Bateria POLSKA — kompetencja (random: 8Tags .125, PolEmo2 .25)
 
-| Benchmark | Accuracy | Macro-F1 | Próbki |
-|---|---:|---:|---:|
-| 8Tags | 0.1102 | 0.0348 | 4 372 |
-| PolEmo2-IN | 0.4238 | 0.2426 | 722 |
-| PolEmo2-OUT | 0.3563 | 0.1699 | 494 |
+| Benchmark | Język | Accuracy | Macro-F1 | Próbki |
+|---|:---:|---:|---:|---:|
+| 8Tags | 🇵🇱 PL | 0.1102 | 0.0348 | 4 372 |
+| PolEmo2-IN | 🇵🇱 PL | 0.4238 | 0.2426 | 722 |
+| PolEmo2-OUT | 🇵🇱 PL | 0.3563 | 0.1699 | 494 |
 
-**Bateria EN** (random: BLiMP/PIQA .5, reszta ~.25):
+### 🇬🇧 Bateria ANGIELSKA — transfer międzyjęzykowy (random: BLiMP/PIQA .5, reszta ~.25)
 
-| Benchmark | Metryka | Wynik |
-|---|---|---:|
-| BLiMP | acc | 0.5404 |
-| LAMBADA OpenAI | acc | 0.0223 (ppl 55056) |
-| HellaSwag | acc_norm | 0.2817 |
-| PIQA | acc_norm | 0.5065 |
-| SciQ | acc_norm | 0.6000 |
-| ARC-Easy | acc_norm | 0.2597 |
-| ARC-Challenge | acc_norm | 0.2270 |
+| Benchmark | Język | Metryka | Wynik |
+|---|:---:|---|---:|
+| BLiMP | 🇬🇧 EN | acc | 0.5404 |
+| LAMBADA OpenAI | 🇬🇧 EN | acc | 0.0223 (ppl 55056) |
+| HellaSwag | 🇬🇧 EN | acc_norm | 0.2817 |
+| PIQA | 🇬🇧 EN | acc_norm | 0.5065 |
+| SciQ | 🇬🇧 EN | acc_norm | 0.6000 |
+| ARC-Easy | 🇬🇧 EN | acc_norm | 0.2597 |
+| ARC-Challenge | 🇬🇧 EN | acc_norm | 0.2270 |
 
-**Interpretacja (uczciwie):** to model **polski**. Na baterii EN wypada ~losowo (LAMBADA ppl 55056 = nie przewiduje angielskiego następnego słowa) — angielskie benchmarki mierzą tu transfer międzyjęzykowy, nie kompetencję. Sygnał jest tam, gdzie powinien: PolEmo2-IN 0.424 (nad losowym 0.25). Uwaga porównawcza: względem bazy GoLLeM-110M-PL SFT nie podniósł zdolności zero-shot klasyfikacji (8Tags pozostaje ~losowo; wzrost accuracy PolEmo2 idzie w parze ze spadkiem macro-F1 = przesunięcie ku klasie większościowej). Model najlepiej traktować jako **completion/instruction-following bazowej skali**, nie jako klasyfikator. Confound porównań z modelami innej klasy: różny słownik i długość kontekstu.
+**Interpretacja (uczciwie):** to model **polski** (trenowany 100% PL). Bateria 🇵🇱 mierzy realną kompetencję, bateria 🇬🇧 — transfer międzyjęzykowy. Na EN wypada ~losowo (LAMBADA ppl 55056 = nie przewiduje angielskiego następnego słowa) — to oczekiwane dla modelu monolingwalnego, nie wada. Sygnał jest tam, gdzie powinien: PolEmo2-IN 0.424 (nad losowym 0.25). Uwaga porównawcza: względem bazy GoLLeM-110M-PL SFT nie podniósł zdolności zero-shot klasyfikacji (8Tags pozostaje ~losowo; wzrost accuracy PolEmo2 idzie w parze ze spadkiem macro-F1 = przesunięcie ku klasie większościowej). Model najlepiej traktować jako **completion/instruction-following bazowej skali**, nie jako klasyfikator. Confound porównań z modelami innej klasy: różny słownik i długość kontekstu.
 
 ## Użycie
 
@@ -122,7 +122,7 @@ print(tok.decode(out[0], skip_special_tokens=True))
 ## Ograniczenia i odpowiedzialne użycie
 
 - Mały model (110M) — generuje **pewnie brzmiące nieprawdy** i potrafi dryfować z tematu; wiedza faktograficzna jest ograniczona skalą.
-- Trenowany i oceniany głównie po polsku; po angielsku ~losowo.
+- Trenowany i oceniany głównie po polsku; po angielsku ~losowo (transfer).
 - Kontekst 512 tokenów, brak filtrów bezpieczeństwa na wyjściu.
 - **PII:** może generować prawdopodobnie brzmiące imiona/adresy = **konfabulacje**, nie dane realnych osób; kontaktowe PII (telefon/e-mail/PESEL) było scrubowane w korpusie (model zwraca tagi `[Telefon]`/`[PII]`). Weryfikacja wyjścia po stronie użytkownika.