somosnlp-hackathon-2026/patriae-cuba-literature-dataset
Viewer • Updated • 63.6k • 12
Se utilizó el dataset somosnlp-hackathon-2026/patriae-cuba-literature-dataset para hacer fine-tuning del modelo gia-uh/cecilia-2b-instruct-v1.
| Categoría | Métrica | Resultado | Referencia |
|---|---|---|---|
| Razonamiento de Sentido Común | COPA-ES acc | 100.0 | 72.8 |
| Razonamiento de Sentido Común | XStoryCloze-ES acc | 0.0 | 64.7 |
| Inferencia de Lenguaje Natural (NLI) | WNLI-ES acc | 100.0 | 56.3 |
| Inferencia de Lenguaje Natural (NLI) | XNLI-ES acc | 100.0 | 44.7 |
| Preguntas y Respuestas (QA) | OpenBookQA-ES acc | 100.0 | 31.4 |
| Preguntas y Respuestas (QA) | XQuAD-ES acc | 90.0 | 57.6 |
| Traducción | FLORES-ES bleu | 7.8 | 20.1 |
Perplejidad:
Modelo base: 49.98
Modelo fine-tuneado: 35.11
Mejora: 29.8%
Base model
BSC-LT/salamandra-2b