zechen-nlp commited on
Commit
4480a29
·
verified ·
1 Parent(s): dddfe46

Update Automated MNLP evaluation report (2026-05-22)

Browse files
Files changed (1) hide show
  1. EVAL_REPORT.md +7 -39
EVAL_REPORT.md CHANGED
@@ -2,7 +2,7 @@
2
 
3
  - **Model repo:** [`cs-552-2026-MandMP/multilingual_model`](https://huggingface.co/cs-552-2026-MandMP/multilingual_model)
4
  - **Owner(s):** group **MandMP**
5
- - **Generated at:** 2026-05-21T03:28:21+00:00 (UTC)
6
  - **Pipeline:** [mnlp-project-ci](https://github.com/eric11eca/mnlp-project-ci)
7
 
8
  _This PR is opened automatically by the course CI. It is **non-blocking** — you do not need to merge it. The next nightly run will refresh this file._
@@ -13,7 +13,7 @@ _This PR is opened automatically by the course CI. It is **non-blocking** — yo
13
  |---|---:|---|
14
  | Math | — | not run |
15
  | Knowledge | — | not run |
16
- | Multilingual | 0.3600 | ok |
17
  | Safety | — | not run |
18
 
19
  ## Sample completions
@@ -30,52 +30,20 @@ _Prompts are intentionally omitted to avoid revealing benchmark contents. For mu
30
  - **completion**:
31
 
32
  ```text
33
- La clave para resolver esta pregunta radica en entender qué tipo de acuerdo fue formalizado entre las partes el **23 de junio**.
34
 
35
- ### Análisis:
36
-
37
- - **Contrato original**: Fue firmado el **1 de junio**, estableciendo un plazo de **dos años** desde el **1 de agosto**, y un precio unitario de **$3.00**.
38
-
39
- - **Contrato del 23 de junio**: Este nuevo acuerdo fue firmado **después** del primero, pero **n
40
-
41
- ... [truncated 822 chars] ...
42
-
43
- do en el anterior**, y debe ser **anotada** y **sometida a ratificación**. Aquí no hay ninguna referencia explícita a que este nuevo acuerdo sea una enmienda del anterior.
44
-
45
- #### **D. El contrato constituyó una modificación válida del contrato del 1 de junio.**
46
-
47
- ✅ **Correcto.**
48
- - El nuevo acuerdo del **23 de junio** fue firmado **tras el contrato previo**, y aunque no fue especificado cómo se relacionaba con él, puede considerarse una **modificación válida** si se asume que el nuevo acuerdo reflejaba una **alteración significativa** del contenido original.
49
- - Sin embargo, **no hay una descripción clara** de cuáles fueron las modificaciones realizadas, ni de su forma de formalización.
50
- - Por lo tanto, **esta opción es menos precisa** que otras.
51
-
52
- ---
53
-
54
- ### Conclusión:
55
-
56
- Entre todas las opciones, la **menos precisa** es **D**, ya que no hay suficiente información sobre qué modificaciones se realizaron al contrato original.
57
-
58
- Sin embargo, si se asume que el nuevo acuerdo **refiere una modificación válida** del contrato original, entonces **la opción D** podría ser la más adecuada.
59
-
60
- Pero dada la falta de claridad en la relación entre ambos contratos, la opción más precisa es:
61
-
62
- $$
63
  \boxed{D}
64
- $$
65
  ```
66
 
67
  **Incorrect** (1 shown)
68
 
69
- - **reference**: `A`
70
  - **overall** (0/1 completions correct)
71
- - **extracted** (✗): `<no answer>`
72
  - **completion**:
73
 
74
  ```text
75
- Правильный ответ: **C. РАЗРЫВ 3 — разрыв между спецификациями качества услуг и предоставлением услуг.**
76
-
77
- **Объяснение:**
78
- Этот случай демонстрирует ситуацию, когда **спецификации качества услуги (например, наличие удобных сидений и большого пространства)** были представлены в рекламе, но при реализации (посещении поезда) эти требования не были выполнены. То есть, **спецификации качества услуг** (как они были заданы в рекламе) не соответствовали **реальному опыту клиента**, что является типичным случаем **разрыва 3**.
79
 
80
- Таким образом, правильный выбор — **C**.
81
  ```
 
2
 
3
  - **Model repo:** [`cs-552-2026-MandMP/multilingual_model`](https://huggingface.co/cs-552-2026-MandMP/multilingual_model)
4
  - **Owner(s):** group **MandMP**
5
+ - **Generated at:** 2026-05-22T03:04:12+00:00 (UTC)
6
  - **Pipeline:** [mnlp-project-ci](https://github.com/eric11eca/mnlp-project-ci)
7
 
8
  _This PR is opened automatically by the course CI. It is **non-blocking** — you do not need to merge it. The next nightly run will refresh this file._
 
13
  |---|---:|---|
14
  | Math | — | not run |
15
  | Knowledge | — | not run |
16
+ | Multilingual | 0.4100 | ok |
17
  | Safety | — | not run |
18
 
19
  ## Sample completions
 
30
  - **completion**:
31
 
32
  ```text
33
+ The answer is 'possano causare cambiamenti irreversibili nell'uomo.', which corresponds to option D.
34
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
35
  \boxed{D}
 
36
  ```
37
 
38
  **Incorrect** (1 shown)
39
 
40
+ - **reference**: `D`
41
  - **overall** (0/1 completions correct)
42
+ - **extracted** (✗): `A`
43
  - **completion**:
44
 
45
  ```text
46
+ The answer is 'верно Б', which corresponds to option A.
 
 
 
47
 
48
+ \boxed{A}
49
  ```