Automated MNLP evaluation report (2026-06-11)

EVAL_REPORT.md

@@ -0,0 +1,88 @@
+# Automated MNLP evaluation report
+
+- **Model repo:** [`cs-552-2026-MMRF/multilingual_model`](https://huggingface.co/cs-552-2026-MMRF/multilingual_model)
+- **Owner(s):** group **MMRF**
+- **Generated at:** 2026-06-11T06:23:10+00:00 (UTC)
+- **Pipeline:** [mnlp-project-ci](https://github.com/eric11eca/mnlp-project-ci)
+
+_This PR is opened automatically by the course CI. It is **non-blocking** — you do not need to merge it. The next nightly run will refresh this file._
+
+## Evaluated checkpoint
+
+- **Commit:** [`74c4ca4`](https://huggingface.co/cs-552-2026-MMRF/multilingual_model/commit/74c4ca481a26295ce85a632db3de7add2bb746ab)
+- **Message:** Update chat_template.jinja
+- **Committed:** 2026-06-10T21:16:14+00:00
+
+## Summary
+
+| Benchmark | Accuracy | Status |
+|---|---:|---|
+| Math | — | not run |
+| Knowledge | — | not run |
+| Multilingual | 0.5800 | ok |
+| Safety | — | not run |
+
+## Sample completions
+
+_Prompts are intentionally omitted to avoid revealing benchmark contents. For multi-completion problems, only one completion is shown per sample._
+
+### Multilingual
+
+**Correct** (1 shown)
+
+- **reference**: `C`
+- **overall** (1/1 completions correct)
+- **extracted** (✓): `C`
+- **completion**:
+
+    ```text
+    <think>
+    Okay, let's try to figure out this question. The question is about departmentalization and which type of structure uses it to form permanent special project groups. The options are functional, matrix, project, and network structures.
+    
+    First, I need to recall what each structure entails. 
+    
+    Functional structure: This is where departments or functions are organized separately, and each depart
+    
+    ... [truncated 822 chars] ...
+    
+    иональная структура** (A) характеризуется разделением на функциональные подразделения, где проектные группы могут быть временными, но не всегда постоянными. Это не соответствует условию вопроса.
+    
+    **Матричная структура** (B) сочетает функциональные и проектные элементы, но проектные группы в ней обычно временные, так как они возникают для конкретных проектов и закрываются после их завершения. Это также не подходит.
+    
+    **Проектная структура** (C) основана на организации вокруг проектов. В ней формируются специальные проектные группы, которые могут быть временными, но в некоторых случаях (например, при длительных или устойчивых проектах) они могут быть действующими на постоянной основе. Однако ключевой момент — **постоянность**, что делает эту структуру подходящей для формирования **действующих на постоянной основе** специальных проектных групп.
+    
+    **Сетевая структура** (D) не имеет четкой структуры и часто используется в дисциплинарных или дистанционных условиях, где нет постоянных проектных групп.
+    
+    Таким образом, **проектная структура** (C) — это единственная, которая позволяет формировать специальные проектные группы на постоянной основе, используя департаментализацию.
+    
+    $$
+    \boxed{C}
+    $$
+    ```
+
+**Incorrect** (1 shown)
+
+- **reference**: `D`
+- **overall** (0/1 completions correct)
+- **extracted** (✗): `<no answer>`
+- **completion**:
+
+    ```text
+    <think>
+    Okay, let's tackle this question. The user is asking about the class in modern society that advocates for political, economic, and cultural stability. The options are андеграунд, низший, высший, and средний.
+    
+    First, I need to recall what each of these terms means. "Андеграунд" translates to "underground" or "underground class," which might refer to a group that's not part of the official s
+    
+    ... [truncated 5 chars] ...
+    
+    hierarchy. "Низший" is "lowest," so that's the bottom class. "Высший" is "highest," meaning the top class. "Средний" is "middle."
+    
+    Now, the question is about a class that supports stability in politics, economy, and culture. Stability in these areas typically relates to the ruling or dominant class. The highest class, or высший, would be the ones who control the resources and maintain the system, hence they would advocate for stability. The middle class (средний) might be more interested in growth and development, while the lower class (низший) might focus on survival. The underground class (андеграунд) is less likely to be associated with stability.
+    
+    So, the answer should be C. высший.
+    </think>
+    
+    Класс современного общества, выступающий за политическую, экономическую и культурную стабильность, относится к **высшему** классу. Этот класс, как правило, состоит из представителей, которые управляют ресурсами, регулируют экономику и политику, обеспечивая порядок и стабильность. Средний класс может быть более активным в развитии и изменении системы, а нижний класс — в защите своих интересов. Андеграунд — это не класс, а группа, не включённая в официальную структуру.
+    
+    **Ответ: C. высший**
+    ```