Automated MNLP evaluation report (2026-06-11)

EVAL_REPORT.md

@@ -0,0 +1,59 @@
+# Automated MNLP evaluation report
+
+- **Model repo:** [`cs-552-2026-MandMP/multilingual_model`](https://huggingface.co/cs-552-2026-MandMP/multilingual_model)
+- **Owner(s):** group **MandMP**
+- **Generated at:** 2026-06-11T06:23:10+00:00 (UTC)
+- **Pipeline:** [mnlp-project-ci](https://github.com/eric11eca/mnlp-project-ci)
+
+_This PR is opened automatically by the course CI. It is **non-blocking** — you do not need to merge it. The next nightly run will refresh this file._
+
+## Evaluated checkpoint
+
+- **Commit:** [`5c8c77e`](https://huggingface.co/cs-552-2026-MandMP/multilingual_model/commit/5c8c77e16d15fe9e820260d750a95e26953ac2d4)
+- **Message:** v10: bump README to retrigger CI eval
+- **Committed:** 2026-06-07T19:34:23+00:00
+
+## Summary
+
+| Benchmark | Accuracy | Status |
+|---|---:|---|
+| Math | — | not run |
+| Knowledge | — | not run |
+| Multilingual | 0.4900 | ok |
+| Safety | — | not run |
+
+## Sample completions
+
+_Prompts are intentionally omitted to avoid revealing benchmark contents. For multi-completion problems, only one completion is shown per sample._
+
+### Multilingual
+
+**Correct** (1 shown)
+
+- **reference**: `B`
+- **overall** (1/1 completions correct)
+- **extracted** (✓): `B`
+- **completion**:
+
+    ```text
+    बच्चों की गलतियाँ और भ्रांत-धारणाएँ शिक्षण-अधिगम प्रक्रिया के दौरान एक महत्वपूर्ण कदम हैं, क्योंकि इनके द्वारा बच्चों के आगमन और अभिजात अनुभव को जाना जाता है। उनके द्वारा बच्चों के अनुभव और अनुशासन के विकास के ल
+    
+    \boxed{B}
+    ```
+
+**Incorrect** (1 shown)
+
+- **reference**: `C`
+- **overall** (0/1 completions correct)
+- **extracted** (✗): `D`
+- **completion**:
+
+    ```text
+    В данном случае ключевое условие — **более раннее признание сына** было **записано на видео полицией**, и **сын и отец возражают против его допустимости**.
+    
+    Признание, даже если оно было дано ранее, **не может использоваться для обвинения в том же деле**, если оно **не является надлежащим доказательством**.
+    
+    Согласно законодательству (например, УК РФ), **признание, полученное в результате давления, слухов, или без достаточного основания — недопустимо**.
+    
+    \boxed{D}
+    ```