Automated MNLP evaluation report (2026-06-11)

EVAL_REPORT.md

@@ -0,0 +1,89 @@
+# Automated MNLP evaluation report
+
+- **Model repo:** [`cs-552-2026-OAAA/multilingual_model`](https://huggingface.co/cs-552-2026-OAAA/multilingual_model)
+- **Owner(s):** group **OAAA**
+- **Generated at:** 2026-06-11T06:23:10+00:00 (UTC)
+- **Pipeline:** [mnlp-project-ci](https://github.com/eric11eca/mnlp-project-ci)
+
+_This PR is opened automatically by the course CI. It is **non-blocking** — you do not need to merge it. The next nightly run will refresh this file._
+
+## Evaluated checkpoint
+
+- **Commit:** [`871e4ab`](https://huggingface.co/cs-552-2026-OAAA/multilingual_model/commit/871e4ab51ae66ba14cdb79b0c3172a94aba7cabc)
+- **Message:** Restore 16k-tested candidate S multilingual model
+- **Committed:** 2026-06-10T20:55:29+00:00
+
+## Summary
+
+| Benchmark | Accuracy | Status |
+|---|---:|---|
+| Math | — | not run |
+| Knowledge | — | not run |
+| Multilingual | 0.4000 | ok |
+| Safety | — | not run |
+
+## Sample completions
+
+_Prompts are intentionally omitted to avoid revealing benchmark contents. For multi-completion problems, only one completion is shown per sample._
+
+### Multilingual
+
+**Correct** (1 shown)
+
+- **reference**: `D`
+- **overall** (1/1 completions correct)
+- **extracted** (✓): `D`
+- **completion**:
+
+    ```text
+    Okay, let's try to figure out this question. The user is asking about the relationship between Marxist historical materialism and the global justice movement. The options are A, B, C, D.
+    
+    First, I need to recall what historical materialism is. From what I remember, historical materialism is a theory in Marxist philosophy that suggests that the material conditions of a society determine its social,
+    
+    ... [truncated 822 chars] ...
+    
+    t's part of the global justice movement.
+    
+    But I need to check the options again.
+    
+    Option C says historical materialism opposes global justice and supports neoliberalism. But if the global justice movement is against neoliberalism, then historical materialism would be against that, so C would be correct. But I'm confused.
+    
+    Alternatively, maybe the answer is D because historical materialism is part of the global justice movement's framework. So, the answer is D.
+    </think>
+    
+    La relación entre el materialismo histórico y el movimiento por la justicia global se basa en la crítica de los ideales capitalistas y la necesidad de una redistribución equitativa de los recursos. El materialismo histórico, como teoría marxista, se centra en la explotación de los trabajadores y la desigualdad económica, lo que la justicia global busca abordar. Aunque el materialismo histórico puede abordar tanto los derechos humanos como los derechos económicos, su enfoque en la explotación y la alienación de las clases sociales lo convierte en una herramienta clave para los movimientos antifascistas y antiliberalistas, incluidos los movimientos antiguas y los antiliberales modernos.
+    
+    **Respuesta final:** \boxed{D}
+    ```
+
+**Incorrect** (1 shown)
+
+- **reference**: `C`
+- **overall** (0/1 completions correct)
+- **extracted** (✗): `A`
+- **completion**:
+
+    ```text
+    Хорошо, давайте разберемся с этим вопросом. Мне нужно определить, какой процент взрослых в возрасте 18 лет и старше страдал ожирением по состоянию на 2016 год. Варианты ответов включают 27%, 6%, 13% и 46%. 
+    
+    Первым делом, я должен вспомнить, какие данные обычно используются для таких вопросов. Обычно такие вопросы основаны на статистических данных, которые могут быть предоставлены в учебниках или
+    
+    ... [truncated 487 chars] ...
+    
+    совсем точный. Но если 27% это уровень ожирения, то это тоже не совпадает. 
+    
+    Может быть, я что-то путаю. Например, возможно, вопрос о том, сколько людей страдает ожирением, а не о том, сколько страдает ожирением. Но в любом случае, варианты ответов включают 27%, 6%, 13% и 46%. 
+    
+    Если я помню, что в 2016 году в США около 35% взрослых страдали ожирением, то это было бы около 35%, что не совпадает с вариантами. Но возможно, я что-то не учел. 
+    
+    Или, может быть, вопрос о том, сколько людей страдает ожирением, а не о том, сколько страдает ожирением. Но тогда 27% это, например, 27% населения, страдающих ожирением. 
+    
+    Но если я не помню точн��е цифры, то возможно, я должен выбрать наиболее близкий вариант. Например, если 27% это 27% населения, то это может быть правильным ответом. Но я не уверен. 
+    
+    Или, возможно, 46% это уровень ожирения, а 27% это уровень ожирения. Но это тоже не ясно. 
+    
+    В общем, я не уверен, какой из этих вариантов правильный, но если я должен выбрать один из них, то, возможно, 27% или 46% это наиболее близкие к реальным данным. Но я не уверен. Возможно, я должен выбрать 27% как наиболее близкий к реальным данным, если они были опубликованы в 2016 году.
+    </think>
+    
+    \boxed{A}
+    ```