Update Automated MNLP evaluation report (2026-05-22)
Browse files- EVAL_REPORT.md +7 -39
EVAL_REPORT.md
CHANGED
|
@@ -2,7 +2,7 @@
|
|
| 2 |
|
| 3 |
- **Model repo:** [`cs-552-2026-MandMP/multilingual_model`](https://huggingface.co/cs-552-2026-MandMP/multilingual_model)
|
| 4 |
- **Owner(s):** group **MandMP**
|
| 5 |
-
- **Generated at:** 2026-05-
|
| 6 |
- **Pipeline:** [mnlp-project-ci](https://github.com/eric11eca/mnlp-project-ci)
|
| 7 |
|
| 8 |
_This PR is opened automatically by the course CI. It is **non-blocking** — you do not need to merge it. The next nightly run will refresh this file._
|
|
@@ -13,7 +13,7 @@ _This PR is opened automatically by the course CI. It is **non-blocking** — yo
|
|
| 13 |
|---|---:|---|
|
| 14 |
| Math | — | not run |
|
| 15 |
| Knowledge | — | not run |
|
| 16 |
-
| Multilingual | 0.
|
| 17 |
| Safety | — | not run |
|
| 18 |
|
| 19 |
## Sample completions
|
|
@@ -30,52 +30,20 @@ _Prompts are intentionally omitted to avoid revealing benchmark contents. For mu
|
|
| 30 |
- **completion**:
|
| 31 |
|
| 32 |
```text
|
| 33 |
-
|
| 34 |
|
| 35 |
-
### Análisis:
|
| 36 |
-
|
| 37 |
-
- **Contrato original**: Fue firmado el **1 de junio**, estableciendo un plazo de **dos años** desde el **1 de agosto**, y un precio unitario de **$3.00**.
|
| 38 |
-
|
| 39 |
-
- **Contrato del 23 de junio**: Este nuevo acuerdo fue firmado **después** del primero, pero **n
|
| 40 |
-
|
| 41 |
-
... [truncated 822 chars] ...
|
| 42 |
-
|
| 43 |
-
do en el anterior**, y debe ser **anotada** y **sometida a ratificación**. Aquí no hay ninguna referencia explícita a que este nuevo acuerdo sea una enmienda del anterior.
|
| 44 |
-
|
| 45 |
-
#### **D. El contrato constituyó una modificación válida del contrato del 1 de junio.**
|
| 46 |
-
|
| 47 |
-
✅ **Correcto.**
|
| 48 |
-
- El nuevo acuerdo del **23 de junio** fue firmado **tras el contrato previo**, y aunque no fue especificado cómo se relacionaba con él, puede considerarse una **modificación válida** si se asume que el nuevo acuerdo reflejaba una **alteración significativa** del contenido original.
|
| 49 |
-
- Sin embargo, **no hay una descripción clara** de cuáles fueron las modificaciones realizadas, ni de su forma de formalización.
|
| 50 |
-
- Por lo tanto, **esta opción es menos precisa** que otras.
|
| 51 |
-
|
| 52 |
-
---
|
| 53 |
-
|
| 54 |
-
### Conclusión:
|
| 55 |
-
|
| 56 |
-
Entre todas las opciones, la **menos precisa** es **D**, ya que no hay suficiente información sobre qué modificaciones se realizaron al contrato original.
|
| 57 |
-
|
| 58 |
-
Sin embargo, si se asume que el nuevo acuerdo **refiere una modificación válida** del contrato original, entonces **la opción D** podría ser la más adecuada.
|
| 59 |
-
|
| 60 |
-
Pero dada la falta de claridad en la relación entre ambos contratos, la opción más precisa es:
|
| 61 |
-
|
| 62 |
-
$$
|
| 63 |
\boxed{D}
|
| 64 |
-
$$
|
| 65 |
```
|
| 66 |
|
| 67 |
**Incorrect** (1 shown)
|
| 68 |
|
| 69 |
-
- **reference**: `
|
| 70 |
- **overall** (0/1 completions correct)
|
| 71 |
-
- **extracted** (✗): `
|
| 72 |
- **completion**:
|
| 73 |
|
| 74 |
```text
|
| 75 |
-
|
| 76 |
-
|
| 77 |
-
**Объяснение:**
|
| 78 |
-
Этот случай демонстрирует ситуацию, когда **спецификации качества услуги (например, наличие удобных сидений и большого пространства)** были представлены в рекламе, но при реализации (посещении поезда) эти требования не были выполнены. То есть, **спецификации качества услуг** (как они были заданы в рекламе) не соответствовали **реальному опыту клиента**, что является типичным случаем **разрыва 3**.
|
| 79 |
|
| 80 |
-
|
| 81 |
```
|
|
|
|
| 2 |
|
| 3 |
- **Model repo:** [`cs-552-2026-MandMP/multilingual_model`](https://huggingface.co/cs-552-2026-MandMP/multilingual_model)
|
| 4 |
- **Owner(s):** group **MandMP**
|
| 5 |
+
- **Generated at:** 2026-05-22T03:04:12+00:00 (UTC)
|
| 6 |
- **Pipeline:** [mnlp-project-ci](https://github.com/eric11eca/mnlp-project-ci)
|
| 7 |
|
| 8 |
_This PR is opened automatically by the course CI. It is **non-blocking** — you do not need to merge it. The next nightly run will refresh this file._
|
|
|
|
| 13 |
|---|---:|---|
|
| 14 |
| Math | — | not run |
|
| 15 |
| Knowledge | — | not run |
|
| 16 |
+
| Multilingual | 0.4100 | ok |
|
| 17 |
| Safety | — | not run |
|
| 18 |
|
| 19 |
## Sample completions
|
|
|
|
| 30 |
- **completion**:
|
| 31 |
|
| 32 |
```text
|
| 33 |
+
The answer is 'possano causare cambiamenti irreversibili nell'uomo.', which corresponds to option D.
|
| 34 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 35 |
\boxed{D}
|
|
|
|
| 36 |
```
|
| 37 |
|
| 38 |
**Incorrect** (1 shown)
|
| 39 |
|
| 40 |
+
- **reference**: `D`
|
| 41 |
- **overall** (0/1 completions correct)
|
| 42 |
+
- **extracted** (✗): `A`
|
| 43 |
- **completion**:
|
| 44 |
|
| 45 |
```text
|
| 46 |
+
The answer is 'верно Б', which corresponds to option A.
|
|
|
|
|
|
|
|
|
|
| 47 |
|
| 48 |
+
\boxed{A}
|
| 49 |
```
|