Automated MNLP evaluation report (2026-05-16)

EVAL_REPORT.md

@@ -0,0 +1,71 @@
+# Automated MNLP evaluation report
+
+- **Model repo:** [`cs-552-2026-MandMP/multilingual_model`](https://huggingface.co/cs-552-2026-MandMP/multilingual_model)
+- **Owner(s):** group **MandMP**
+- **Generated at:** 2026-05-16T04:57:46+00:00 (UTC)
+- **Pipeline:** [mnlp-project-ci](https://github.com/eric11eca/mnlp-project-ci)
+
+_This PR is opened automatically by the course CI. It is **non-blocking** — you do not need to merge it. The next nightly run will refresh this file._
+
+## Summary
+
+| Benchmark | Accuracy | Status |
+|---|---:|---|
+| Math | — | not run |
+| Knowledge | — | not run |
+| Multilingual | 0.3900 | ok |
+| Safety | — | not run |
+
+## Sample completions
+
+_Prompts are intentionally omitted to avoid revealing benchmark contents. For multi-completion problems, only one completion is shown per sample._
+
+### Multilingual
+
+**Correct** (1 shown)
+
+- **reference**: `B`
+- **overall** (1/1 completions correct)
+- **extracted** (✓): `B`
+- **completion**:
+
+    ```text
+    La opción correcta es:
+    
+    **B. nominal**
+    
+    Explicación:  
+    El **valor nominal** del dinero es el valor numérico o cuantitativo que se asigna a una moneda, sin considerar su valor de intercambio actual o su poder adquisitivo. Este valor es establecido por instituciones financieras como el Banco Central República Dominicana (BCR) y representa la cantidad de divisas que se emiten para realizar transacciones.
+    
+    Las otras opciones no son correctas porque:
+    - **A. de cambio**: Refiere al valor de intercambio de una moneda contra otra, no al valor nominal.
+    - **C. real**: Se refiere al valor efectivo o capacidad de compra, no al valor establecido por un banco.
+    - **D. extrínseco**: No es un término técnico utilizado en este contexto; se refiere a lo externo, no al valor monetario.
+    
+    Por tanto, la respuesta correcta es:
+    
+    $$
+    \boxed{B}
+    $$
+    ```
+
+**Incorrect** (1 shown)
+
+- **reference**: `D`
+- **overall** (0/1 completions correct)
+- **extracted** (✗): `<no answer>`
+- **completion**:
+
+    ```text
+    भूगोल शिक्षण को **संसाधन और संरक्षण**, **विविधता में एकता से जुड़ी चुनौतियाँ** तथा **मानव विकास** से जुड़े संदर्भ में परिप्रेक्ष्य का विकास करना चाहिए। 
+    
+    इसके अधिकांशत:  
+    - **अपने आप के बीच उत्पन्न विविधता को एकता में ले लेने के लिए** भूगोल शिक्षण रोजगार, विकास और विस्थापन के विषयों के अंतर्गत आता है।  
+    - **संसाधन और संरक्षण** के विषय में भूगोल शिक्षण आवश्यक रूप से इस ढंग से जुड़ता है — जैसे जल, ऊष्मा, खाद आदि के बर्बाद होने से भूगोल शिक्षण उन विषयों के अंतर्गत आता है।  
+    - **मानव विकास** के विषय में भूगोल शिक्षण आवश्यक रूप से जटिल और विविध घटनाओं के अंतर्गत आता है, जैसे विस्थापन, विकास और विकास दिशा के अंतर्गत।  
+    - **विविधता में एकता से जुड़ी चुनौतियाँ** भूगोल शिक्षण के अंतर्गत आते हैं, जैसे विविध जातियों, अर्थव्यवस्थाओं और आबादी के बीच अंतर और उनके निर्माण में आए चुनौतियाँ।  
+    
+    ### ✅ उत्तर: **A. संसाधन और संरक्षण; C. विविधता में एकता से जुड़ी चुनौतियाँ; D. मानव विकास**
+    
+    (उपयुक्त चुनाव: **A, C, D**)
+    ```