from dataclasses import dataclass
from enum import Enum

@dataclass
class Task:
    benchmark: str
    # metric: str
    accuracy: str
    col_name: str

NUM_FEWSHOT = 0  # Change with your few shot
# ---------------------------------------------------

# Your leaderboard name
TITLE = """<h1 align="center" id="space-title">🚀 ECREAM-LLM Leaderboard 🚀</h1>"""

# What does your leaderboard evaluate?
INTRODUCTION_TEXT = """
ECREAM-LLM is a benchmark designed to evaluate Large Language Models (LLMs) on Italian tasks. The distinguishing features of Evalita-LLM are the following: (i) all tasks are native Italian, avoiding translation issues and potential cultural biases; (ii) the benchmark includes generative tasks, enabling more natural interaction with LLMs; (iii) all tasks are evaluated against multiple prompts, this way mitigating the model sensitivity to specific prompts and allowing a fairer evaluation.
"""

#MEASURE_DESCRIPTION = "Combined Performance = (1 - (Best_Prompt - Prompt_Average) / 100) * Best_Prompt. Prompt Average = accuracy averaged over the six prompts. Best Prompt = accuracy of the best prompt. Prompt ID = ID of the best prompt (see legend above)"
MEASURE_DESCRIPTION = "<small>**Combined Performance** = (1 - (**Best Prompt** - **Prompt Average**) / 100) * **Best Prompt**. **Prompt Average** = accuracy averaged over the assessed prompts. **Best Prompt** = accuracy of the best prompt. **Prompt ID** = ID of the best prompt (see legend above).</small>"
#MEASURE_DESCRIPTION = "<small>**Combined Performance** = (1 - (**Best Prompt** - **Prompt Average**) / 100) * **Best Prompt**. **Prompt Average** = avg. accuracy over prompts. **Best Prompt** = accuracy of best prompt. **Prompt ID** = ID of the best prompt (see legend above).</small>"

# Tasks Descriptions
RML_DESCRIPTION = """### RML (RML) --- *Multiple-choice task*
| #   | Prompt (EN)                                                                    |
|-----|--------------------------------------------------------------------------------|
| 1   | You are a clinical medical expert. You must answer a question about laboratory test results and measurements for a patient. To do this, you have access to the patient’s medical history. Here is the patient’s medical history: <<<{{clinical_note}}>>> If the test/exam was performed only once, answer with the test/exam results. If the information is not contained in the medical history, answer with “not available.” Answer this question based on the patient’s medical history: <<<What are the results and measurements of {{item}}?>>> |
| 2   | Given a clinical note describing the history of a patient, answer a question about laboratory test results and measurements. Answer with the test/exam results exactly as reported in the text. If the information is not contained in the clinical history, answer with “not available.” Here is the patient’s clinical history: <<<{{clinical_note}}>>> What are the results and measurements of {{item}}?|
| 3   |Here it is the clinical history of a patient:<<<{{clinical_note}}>>> What are the results and measurements of {{item}}?|

| #   | Prompt (IT)                                                                    |
|-----|--------------------------------------------------------------------------------|
| 1   |Sei un esperto medico clinico. Devi rispondere ad una domanda su risultati e misure di test di laboratorio rispetto ad un paziente. Per farlo, hai a disposizione la storia clinica del paziente. Ecco la storia clinica del paziente:<<<{{clinical_note}}>>> Se il test/esame è stato effettuato sono una volta, rispondi con i risultati del test/esame. Se l'informazione non è contenuta nella storia clinica, rispondi con 'non disponibile'. Rispondi a questa domanda sulla base della storia clinica del paziente: <<<Quali sono i risultati e le misure di {{item}}?>>>  |
| 2   | Data una nota clinica che descrive la storia di un paziente, rispondi ad una domanda su risultati e misure di test di laboratorio. Rispondi con i risultati del test/esame così come riportati nel testo. Se l'informazione non è contenuta nella storia clinica, rispondi con 'non disponibile'. Ecco la storia clinica del paziente:<<<{{clinical_note}}>>> Quali sono i risultati e le misure di {{item}}?|
| 3   | Ecco la storia clinica di un paziente:<<<{{clinical_note}}>>> Quali sono i risultati e le misure di {{item}}?|



<small>**Combined Performance** = (1 - (**Best Prompt** - **Prompt Average**) / 100) * **Best Prompt**. **Prompt Average** = accuracy averaged over the 6 prompts. **Best Prompt** = accuracy of the best prompt. **Prompt ID** = ID of the best prompt (see legend above). </small>

"""

DIA_DESCRIPTION = """### DIAGNOSIS (DIA-CRF) --- *Multiple-choice task*
| #   | Prompt (EN)                                                                    |
|-----|--------------------------------------------------------------------------------|
| 1   | You are a clinical medical expert. You must answer a question about the patient’s diagnosis. To do this, you have access to the patient’s medical history. Answer “Yes” if the patient’s definitive diagnosis is the one indicated. If the information is not contained in the medical history, answer “not available. Patient medical history: <<<{{clinical_note}}>>> Answer this question based on the patient’s medical history: <<<Is the diagnosis {{item}}?>>>"|
| 2   | Given a patient's medical history, answer a question. Patient medical history: <<<{{clinical_note}}>>>. Question: <<<Is the definitive diagnosis {{item}}?>>>. The answer can be 'Yes', 'No' or 'not available' if the information is not contained in the medical history.|
| 3   |Hai a disposizione una nota clinica relativa ad un paziente:  <<<{{clinical_note}}>>>. Non è detto che la nota clinica contenga informazioni rilevanti per rispondere alla domanda. In tal caso, rispondi con 'non disponibile'. Data la storia clinica sopra presentata, la diagnosi è {{item}}?|

| #   | Prompt (IT)                                                                    |
|-----|--------------------------------------------------------------------------------|
| 1   | Sei un esperto medico clinico. Devi rispondere ad una domanda sulla diagnosi del paziente. Per farlo, hai a disposizione la storia clinica del paziente. Risondi 'Sì' se la diagnosi definitiva del paziente è quella indicata. Se l'informazione non è contenuta nella storia clinica, rispondi con 'non disponibile'. Storia clinica: <<<{{clinical_note}}>>>. Rispondi a questa domanda sulla base della storia clinica del paziente: <<<La diagnosi è {{item}}?>>> |
| 2   | Data la storia medica di un paziente, rispondi ad una domanda. Storia clinica: <<<{{clinical_note}}>>>. Domanda: <<<La diagnosi conslusiva è {{item}}?>>>. La risposta può essere 'Sì', 'No' oppure 'non disponibile' se l'informazione non è contenuta nella storia clinica|
| 3   |Hai a disposizione una nota clinica relativa ad un paziente:  <<<{{clinical_note}}>>>. Non è detto che la nota clinica contenga informazioni rilevanti per rispondere alla domanda. In tal caso, rispondi con 'non disponibile'. Data la storia clinica sopra presentata, la diagnosi è {{item}}? |

<small>**Combined Performance** = (1 - (**Best Prompt** - **Prompt Average**) / 100) * **Best Prompt**. **Prompt Average** = F1-macro averaged over the 6 prompts. **Best Prompt** = F1-macro of the best prompt. **Prompt ID** = ID of the best prompt (see legend above). </small>

"""

HIS_DESCRIPTION = """### HISTORY (HIS-CRF) ---  *Multiple-choice task*
    

| #   | Prompt (EN)                                                                    |
|-----|--------------------------------------------------------------------------------|
| 1   | You are a clinical medical expert. You must answer a question about the patient’s history. To do this, you have access to the patient’s medical history. The answer must consist of three components: polarity, contextual modality, and chronicity. You must combine these three components to answer the question. Contextual modality can be: a) “Certainly” if the answer is certain, b) “Possibly” if the answer is hypothetical, c) “Probably” if the answer is probable. Polarity can be: a) “Yes” if the answer is affirmative, b) “No” if the answer is negative. Chronicity can be: a) “Chronic” if the condition in question is certainly permanent,b) “Certainly not chronic” if the condition is temporary or transient, c) “Possibly chronic” otherwise. Patient medical history: <<<{{clinical_note}}>>>. Answer this question based on the patient’s medical history: <<<Does the patient have a history of {{item}}?>> |
| 2   | Given the patient’s medical history, answer a question. Patient medical history: <<<{{clinical_note}}>>>. Question: <<<Does the patient have a history of {{item}}?>>>. The possible answers are: Yes, possibly chronic Certainly yes, certainly not chronic Probably yes, possibl chronic Possibly yes, chronic Certainly yes, chronic Possibly yes, possibly chronic Probably yes, chronic Yes, chronic Yes, certainly not chronic Probably yes, certainly not chronic Certainly yes, possibly chronic Possibly yes, certainly not chronic Not available Probably no, chronic Certainly no, chronic Possibly no, chronic Probably no, possibly chronic Certainly no, possibly chronic Possibly no, possibly chronic Certainly no, certainly not chronic Probably no, certainly not chronic Possibly no, certainly not chronic Probably no Certainly no Possibly no Probably no, certainly not chronic Certainly no, possibly chronic Possibly no, certainly not chronic Probably no, possibly chronic Certainly no, certainly not chronic|
| 3   | You are a clinical medical expert. You must answer a question about the patient’s history. To do this, you have access to the patient’s medical history. Patient medical history: <<<{{clinical_note}}>>>. The answer must consist of three components: polarity, contextual modality, and chronicity. You must combine these three components to answer the question. Contextual modality can be: a) “Certainly” if the answer is certain, b) “Possibly” if the answer is hypothetical, c) “Probably” if the answer is probable. Polarity can be: a) “Yes” if the answer is affirmative, b) “No” if the answer is negative. Chronicity can be: a) “Chronic” if the condition in question is certainly permanent, b) “Certainly not chronic” if the condition is temporary or transient, c) “Possibly chronic” otherwise. Answer this question based on the patient’s medical history: <<<Does the patient have a history of {{item}}?>>|

| #   | Prompt (IT)                                                                    |
|-----|--------------------------------------------------------------------------------|
| 1   | Sei un esperto medico clinico. Devi rispondere ad una domanda su la storia del paziente. Per farlo, hai a disposizione la storia clinica del paziente. La risposta è composta da tre componenti: polarità, modalità contestuale e permanenza. Devi mettere insieme queste tre componenti per rispondere alla domanda. Modalità contestuale può essere:  a)'Certamente' se la risposta è certa,  b)'Possibilmente' se la risposta è ipotetica,  c)'Probabilmente' se la risposta è probabile. Polarità può essere:  a)'sì' se la risposta è affermativa,  b) 'no' se la risposta è negativa.  Permanenza può essere:  a)'cronico' se l'oggetto della domanda è sicuramente permanente per sempre,  b)'certamente non cronico' se se l'oggetto della domanda è temporaeo o transitorio,  c)'possibilmente cronico' altrimenti. Storia clinica: <<<{{clinical_note}}>>>. Rispondi a questa domanda sulla base della storia clinica del paziente: <<<Il paziente ha storia di  {{item}}?>>> |
| 2   | Data la storia medica di un paziente, rispondi ad una domanda. Storia clinica: <<<{{clinical_note}}>>>. Domanda: <<<Il paziente ha storia di  {{item}}?>>>. Le opzioni sono:  - sì, possibilmente cronico - Certamente sì, Certamente non cronico - probabilmente sì, possibilmente cronico - possibilmente sì, cronico - Certamente sì, cronico - possibilmente sì, possibilmente cronico - probabilmente sì, cronico - sì, cronico - sì, Certamente non cronico - probabilmente sì, Certamente non cronico - Certamente sì, possibilmente cronico - possibilmente sì, Certamente non cronico - non disponibile - probabilmente no, cronico - Certamente no, cronico - possibilmente no, cronico - probabilmente no, possibilmente cronico - Certamente no, possibilmente cronico - possibilmente no, possibilmente cronico - Certamente no, Certamente non cronico - probabilmente no, Certamente non cronico - possibilmente no, Certamente non cronico - probabilmente no - Certamente no - possibilmente no - probabilmente no, Certamente non cronico - Certamente no, possibilmente cronico - possibilmente no, Certamente non cronico - probabilmente no, possibilment cronico - Certamente no, Certamente non cronico|
| 3   | Sei un esperto medico clinico. Devi rispondere ad una domanda su la storia del paziente. Per farlo, hai a disposizione la storia clinica del paziente. Storia clinica: <<<{{clinical_note}}>>>. La risposta è composta da tre componenti: polarità, modalità contestuale e permanenza. Devi mettere insieme queste tre componenti per rispondere alla domanda. - modalità contestuale può essere: a)'Certamente' se la risposta è certa, b)'Possibilmente' se la risposta è ipotetica, c)'Probabilmente' se la risposta è probabile. - polarità può essere: a)'sì' se la risposta è affermativa, b) 'no' se la risposta è negativa.  - permanenza può essere: a)'cronico' se l'oggetto della domanda è sicuramente permanente per sempre, b)'certamente non cronico' se se l'oggetto della domanda è temporaeo o transitorio, c)'possibilmente cronico' altrimenti. Rispondi a questa domanda sulla base della storia clinica del paziente: <<<Il paziente ha storia di  {{item}}?>>>|



<small>**Combined Performance** = (1 - (**Best Prompt** - **Prompt Average**) / 100) * **Best Prompt**. **Prompt Average** = F1-micro averaged over the 6 prompts. **Best Prompt** = F1-micro of the best prompt. **Prompt ID** = ID of the best prompt (see legend above). </small>

"""

AT_DESCRIPTION = """### Admission Tests (AT) --- *Multiple-choice task*
    The input is a multiple-choice question with five options (A-E) from Italian medical specialty entrance exams, and the model must identify the correct answer.

| #   | Prompt                                                                                       | Answer Choices               |
|-----|--------------------------------------------------------------------------------|-----------------------------|
| 1   | Dato il seguente quesito di medicina: '{{Question}}' qual è la risposta corretta? | ["A", "B", "C", "D", "E"]   |
| 2   | Devi risolvere un compito di risposte a domande. Dato il seguente quesito di medicina: '{{Question}}' qual è la risposta corretta? | ["A", "B", "C", "D", "E"]   |
| 3   | Dato il seguente quesito di medicina: '{{Question}}' qual è la risposta corretta?\\nA: {{A}}\\nB: {{B}}\\nC: {{C}}\\nD: {{D}}\\nE: {{E}}\\nRisposta: | ["A", "B", "C", "D", "E"]   |
| 4   | Devi risolvere un compito a scelta multipla. Dato il seguente caso clinico: '{{background}}', qual è la risposta corretta alla domanda: '{{domanda}}'?\\nA: {{A}}\\nB: {{B}}\\nC: {{C}}\\nD: {{D}}\\nE: {{E}}\\nRisposta:Devi risolvere un compito a scelta multipla. Dato il seguente quesito di medicina: '{{Question}}' qual è la risposta corretta?\\nA: {{A}}\\nB: {{B}}\\nC: {{C}}\\nD: {{D}}\\nE: {{E}}\\nRisposta: | ["A", "B", "C", "D", "E"]   |
| 5   | Dato il seguente quesito di medicina '{{Question}}' la risposta corretta è: | ["A", "B", "C", "D", "E"]   |
| 6   | Devi risolvere un compito di risposte a domande. Dato il seguente quesito di medicina '{{Question}}' la risposta corretta è: | ["A", "B", "C", "D", "E"]   |

<small>**Combined Performance** = (1 - (**Best Prompt** - **Prompt Average**) / 100) * **Best Prompt**. **Prompt Average** = accuracy averaged over the 6 prompts. **Best Prompt** = accuracy of the best prompt. **Prompt ID** = ID of the best prompt (see legend above). </small>

"""

WIC_DESCRIPTION = """### Word in Context (WIC) --- *Multiple-choice task*
    The input consists of a word (w) and two sentences. The model has to determine whether the word w has the same meaning in both sentences. The output is a binary classification: 1 (same meaning) or 0 (different meaning).

| #   | Prompt                                                                                       | Answer Choices                                   |
|-----|--------------------------------------------------------------------------------|-------------------------------------------------|
| 1   | La parola: '{{sentence1[start1:end1]}}' nella frase: '{{sentence1}}' ha lo stesso significato della parola: '{{sentence2[start2:end2]}}' nella frase: '{{sentence2}}'? | ["No", "Sì"]                         |
| 2   | Devi determinare se una stessa parola usata in due frasi differenti ha lo stesso significato in entrambi i contesti. La parola: '{{sentence1[start1:end1]}}' nella frase: '{{sentence1}}' ha lo stesso significato della parola: '{{sentence2[start2:end2]}}' nella frase: '{{sentence2}}'? | ["No", "Sì"] |
| 3   | La parola: '{{sentence1[start1:end1]}}' nella frase: '{{sentence1}}' ha lo stesso significato della parola: '{{sentence2[start2:end2]}}' nella frase: '{{sentence2}}'?\\nA: Sì\\nB: No\\nRisposta: | ["B", "A"]                                      |
| 4   | Devi determinare se una stessa parola usata in due frasi differenti ha lo stesso significato in entrambi i contesti. La parola: '{{sentence1[start1:end1]}}' nella frase: '{{sentence1}}' ha lo stesso significato della parola: '{{sentence2[start2:end2]}}' nella frase: '{{sentence2}}'?\\nA: \\nB: No\\nRisposta: | ["B", "A"]  |
| 5   | La parola: '{{sentence1[start1:end1]}}' nella frase: '{{sentence1}}' e la parola: '{{sentence2[start2:end2]}}' nella frase: '{{sentence2}}' | ["non hanno lo stesso significato", "hanno lo stesso significato"] |
| 6   | Devi determinare se una stessa parola usata in due frasi differenti ha lo stesso significato in entrambi i contesti. La parola: '{{sentence1[start1:end1]}}' nella frase: '{{sentence1}}' e la parola: '{{sentence2[start2:end2]}}' nella frase: '{{sentence2}}' | ["non hanno lo stesso significato", "hanno lo stesso significato"] |

<small>**Combined Performance** = (1 - (**Best Prompt** - **Prompt Average**) / 100) * **Best Prompt**. **Prompt Average** = F1-macro averaged over the 6 prompts. **Best Prompt** = F1-macro of the best prompt. **Prompt ID** = ID of the best prompt (see legend above). </small>

"""

FAQ_DESCRIPTION = """### Frequently Asked Questions & Question Answering (FAQ) --- *Multiple-choice task*
    The input is a user query regarding the water supply service. The model must identify the correct answer from the 4 available options.

| #   | Prompt                                                                                       | Answer Choices               |
|-----|--------------------------------------------------------------------------------|-----------------------------|
| 1   | Rispondi alla seguente domanda: '{{question}}'                                              | {{[A, B, C, D]}}            |
| 2   | Devi risolvere un compito di risposte a domande. Rispondi alla seguente domanda: '{{question}}' | {{[A, B, C, D]}}            |
| 3   | Rispondi alla seguente domanda: '{{question}}'\\nA: {{A}}\\nB: {{B}}\\nC: {{C}}\\nD: {{D}}\\nRisposta: | ["A", "B", "C", "D"] |
| 4   | Devi risolvere un compito a scelta multipla. Rispondi alla seguente domanda: '{{question}}'\\nA: {{A}}\\nB: {{B}}\\nC: {{C}}\\nD: {{D}}\\nRisposta: | ["A", "B", "C", "D"] |
| 5   | La risposta alla domanda: '{{question}}' è:                                                | {{[A, B, C, D]}}            |
| 6   | Devi risolvere un compito di risposte a domande. La risposta alla domanda: '{{question}}' è: | {{[A, B, C, D]}}  |

<small>**Combined Performance** = (1 - (**Best Prompt** - **Prompt Average**) / 100) * **Best Prompt**. **Prompt Average** = accuracy averaged over the 6 prompts. **Best Prompt** = accuracy of the best prompt. **Prompt ID** = ID of the best prompt (see legend above). </small>

"""

LS_DESCRIPTION = """### Lexical Substitution (LS) --- *Generative task*
    The input is a sentence containing a target word (w). The model has to replace the target word w with its most suitable synonyms that are contextually relevant. 

| #   | Prompt                                                                                  |
|-----|--------------------------------------------------------------------------------|
| 7   | Trova 10 parole che possono sostituire la parola racchiusa tra i marcatori `<head>` nella seguente frase: '{{context}}', mantenendo lo stesso significato. Elenca i lemmi (forme base) di queste parole, separandoli con una virgola, ad esempio: lemma1, lemma2, lemma3, lemma4, lemma5. Non aggiungere commenti o altro testo. Risposta: |
| 8   | Devi risolvere un compito di sostituzione lessicale. Trova 10 parole che possono sostituire la parola racchiusa tra i marcatori `<head>` nella seguente frase: '{{context}}', mantenendo lo stesso significato. Elenca i lemmi (forme base) di queste parole, separandoli con una virgola, ad esempio: lemma1, lemma2, lemma3, lemma4, lemma5. Non aggiungere commenti o altro testo. Risposta: |

<small>**Combined Performance** = (1 - (**Best Prompt** - **Prompt Average**) / 100) * **Best Prompt**. **Prompt Average** = F1 averaged over the 2 prompts. **Best Prompt** = F1 of the best prompt. **Prompt ID** = ID of the best prompt (see legend above). </small>

"""

SU_DESCRIPTION = """### Summarization (SUM) --- *Generative task*
    The input is a news article. The model has to generate a concise summary of the input text, capturing the key information and main points.

| #   | Prompt                                                                                       |
|-----|--------------------------------------------------------------------------------|
| 7   | Riassumi il seguente articolo di giornale: '{{source}}'\\nRiassunto:             |
| 8   | Devi risolvere un compito di sintesi automatica del testo. Riassumi il seguente articolo di giornale: '{{source}}'\\nRiassunto: |

<small>**Combined Performance** = (1 - (**Best Prompt** - **Prompt Average**) / 100) * **Best Prompt**. **Prompt Average** = F1 averaged over the 2 prompts. **Best Prompt** = F1 of the best prompt. **Prompt ID** = ID of the best prompt (see legend above). </small>

"""

NER_DESCRIPTION = """### Named Entity Recognition (NER) --- *Generative task*
    The input is a sentence of a clinical text. The model has to identify the clinical entities, which include all occurrences of clinical disorders (i.e. diseases and symptoms).

| #   | Prompt (IT)                                                                                      |
|-----|--------------------------------------------------------------------------------|
| 1   | Devi svolgere un compito di riconoscimento di entità in testi medici. Dalla seguente frase, estrai tutte le entità del tipo CLINENTITY, che include tutti i disturbi di carattere medico in una singola categoria (cioè, sia malattie che sintomi). Riporta ogni entità nel formato: Entity$CLINENTITY, separando ogni coppia con ','. Se non ci sono entità da estrarre, rispondi con '&&NOENT&&'. |
| 2   | Devi svolgere un compito di riconoscimento di entità in testi medici. Dalla seguente frase, estrai tutte le entità del tipo CLINENTITY, che include tutti i disturbi di carattere medico (un disturbo è definito come un processo patologico definito, con un insieme caratteristico di segni e sintomi). Restituisci ogni entità nel seguente formato: Entity$CLINENTITY, separando ogni coppia con ','. Se non ci sono entità da estrarre, rispondi con '&&NOENT&&'.|
| 3   | Devi svolgere un compito di riconoscimento di entità in note cliniche. Dalla seguente frase, estrai tutte le entità del tipo CLINENTITY, che include tutti i disturbi di carattere medico in una singola categoria (cioè, sia malattie che sintomi). Restituisci ogni entità nel seguente formato: Entity$CLINENTITY, separando ogni coppia con ','. Se non ci sono entità da estrarre, rispondi con '&&NOENT&&'.|

| #   | Prompt (SK)                                                                                      |
|-----|--------------------------------------------------------------------------------|
| 1   |  Máš za úlohu rozpoznať entity v lekárskych textoch. Z nasledujúcej vety vyber všetky entity typu CLINENTITY, ktoré zahŕňajú všetky zdravotné poruchy v jednej kategórii (t. j. choroby aj symptómy). Každú entitu uveď vo formáte: Entity$CLINENTITY, pričom každú dvojicu oddeľ znakom „,“. Ak nie sú žiadne entity, ktoré by sa mohli/dali vybrať, odpovedz/vráť „&&NOENT&&“.|
| 2   | Máš za úlohu rozpoznať entity v lekárskych textoch. Z nasledujúcej vety vyber všetky entity typu CLINENTITY, ktoré zahŕňajú všetky lekárske poruchy (porucha je definovaná ako určitý patologický proces s charakteristickým súborom príznakov a symptómov). Vráť každú entitu v nasledujúcom formáte: Entity$CLINENTITY, pričom každú dvojicu oddeľ znakom „,“. Ak nie sú žiadne entity, ktoré by sa mohli/dali vybrať, odpovedz/vráť „&&NOENT&&“.|
| 3   | Máš za úlohu rozpoznať entity v klinických poznámkach. Z nasledujúcej vety vyber všetky entity typu CLINENTITY, ktoré zahŕňajú všetky zdravotné poruchy v jednej kategórii (t. j. choroby aj symptómy). Vráť každú entitu v nasledujúcom formáte: Entity$CLINENTITY, pričom každú dvojicu oddeľ znakom „,“. Ak nie sú žiadne entity, ktoré by bolo možné vybrať, odpovedz/vráť „&&NOENT&&“.|

| #   | Prompt (SL)                                                                                      |
|-----|--------------------------------------------------------------------------------|
| 1   |  Tvoja naloga je prepoznavanje entitet v medicinskih besedilih. Iz naslednjega stavka izlušči vse entitete tipa CLINENTITY, kamor spadajo vse medicinske motnje v posamezni kategoriji (tj. tako bolezni kot simptomi). Vsako entiteto zapiši v obliki: Entity$CLINENTITY, posamezne pare pa loči z vejico ','. Če ni nobene entitete za izluščiti, vrni &&NOENT&&.|
| 2   | Tvoja naloga je prepoznavanje entitet v medicinskih besedilih. Iz naslednjega stavka izlušči vse entitete tipa CLINENTITY, kamor spadajo vse medicinske motnje (motnja je opredeljena kot določen patološki proces s značilnim naborom znakov in simptomov). Vsako entiteto zapiši v obliki: Entity$CLINENTITY, posamezne pare pa loči z vejico ','. Če ni nobene entitete za izluščiti, vrni &&NOENT&&.|
| 3   | Tvoja naloga je prepoznavanje entitet v kliničnih zapisih. Iz naslednjega stavka izlušči vse entitete tipa CLINENTITY, kamor spadajo vse medicinske motnje v posamezni kategoriji (tako bolezni kot simptomi). Vsako entiteto zapiši v obliki: Entity$CLINENTITY, posamezne pare pa loči z vejico ','. Če ni nobene entitete za izluščiti, vrni &&NOENT&&.|

| #   | Prompt (GR)                                                                                      |
|-----|--------------------------------------------------------------------------------|
| 1   |  Έχεις να εκτελέσεις τη δραστηριότητα του να εντοπίσεις οντότητες μέσα σε ιατρικά κείμενα. Στην παρακάτω πρόταση, να εξάγεις όλες τις οντότητες του τύπου CLINENTITY, η οποία περιλαμβάνει όλες τις ιατρικές διαταραχές σε μία μόνο κατηγορία (δλδ τόσο νοσήματα όσο και συμπτώματα). Να αναφέρεις κάθε οντότητα με την μορφή: Οντότητα$CLINENTITY, χωρίζοντας κάθε ζευγάρι με ','. Αν δεν υπάρχουν οντότητες για να εξαχθούν, απάντησε με το '&&NOENT&&'.|
| 2   | Έχεις να εκτελέσεις μία δραστηριότητα αναγνώρισης οντοτήτων σε ιατρικά κείμενα. Από τις ακόλουθες προτάσεις, να εξάγεις όλες τις οντότητες του τύπου CLINENTITY, ο οποίος περιλαμβάνει όλες τις ιατρικές διαταραχές (μια διαταραχή ορίζεται ως μία ξεκάθαρα παθολογική διαδικασία με ένα χαρακτηριστικό συνδυασμό σημείων και συμπτωμάτων). Επέστρεφε κάθε οντότητα με την ακόλουθη μορφή: Οντότητα$CLINENTITY, χωρίζοντας κάθε ζευγάρι με ','. Αν δεν υπάρχουν οντότητες να εξαχθούν, απάντησε με το '&&NOENT&&'.|
| 3   | Έχεις να εκτελέσεις μια δραστηριότητα αναγνώρισης οντοτήτων σε κλινικά σημειώματα. Από την ακόλουθη πρόταση να εξάγεις όλες τις οντότητες του τύπου CLINENTITY, που περιλαμβάνει όλες τις ιατρικές διαταραχές σε μία μόνο κατηγορία  (δλδ τόσο νοσήματα όσο και συμπτώματα). Επέστρεψε κάθε οντότητα με την ακόλουθη μορφή: Οντότητα$CLINENTITY, χωρίζοντας κάθε ζευγάρι με ','. Αν δεν υπάρχουν οντότητες για να εξαχθούν, απάντησε με το  '&&NOENT&&'.|

| #   | Prompt (PL)                                                                                      |
|-----|--------------------------------------------------------------------------------|
| 1   | Zadanie polega na rozpoznawania jednostek (chorobowych) w tekstach medycznych. Z poniższego zdania wyodrębnij wszystkie jednostki typu CLINENTITY, które obejmują wszystkie schorzenia medyczne danej kategorii (tj. zarówno choroby jak i objawy). Każda jednostka powinna być zgłoszona w formacie: Entity$CLINENTITY, z oddzieleniem każdej pary znakiem ”,”. Jeśli nie ma żadnych jednostek do wyodrębnienia, odpowiedz '&&NOENT&&'. |
| 2   |Zadanie polega na rozpoznawaniu jednostek (chorobowych) w tekstach medycznych. Z poniższego zdania wyodrębnij wszystkie jednostki typu CLINENTITY, które obejmują wszystkie schorzenia medyczne (schorzenie definiuje się jako określony proces patologiczny z charakterystycznym zestawem objawów). Zwróć każdą jednostkę w następującym formacie: Entity$CLINENTITY, oddzielając każdą parę znakiem ”,”. Jeśli nie ma jednostek do wyodrębnienia, odpowiedz '&&NOENT&&'. |
| 3   | Zadanie polega na rozpoznawania jednostek (chorobowych) w notatkach klinicznych. Z poniższego zdania wyodrębnij wszystkie jednostki typu CLINENTITY, które obejmują wszystkie schorzenia medyczne z danej kategorii (tj. zarówno choroby jak i objawy). Zapisz każdą jednostkę w następującym formacie: Entity$CLINENTITY, oddzielając każdą parę znakiem ”,”. Jeśli nie ma jednostek do wyodrębnienia, odpowiedz '&&NOENT&&'.|

| #   | Prompt (EN)                                                                                                                          |
|-----|--------------------------------------------------------------------------------------------------------------------------------------|
| 1   | You have to perform a task of entity recognition in medical texts. From the following sentence, extract all the entities of type CLINENTITY, which includes all medical disorders in a single category (i.e. both diseases and symptoms). Report each entity with the format: Entity$CLINENTITY, separating each pair with ','. If there are no entities to extract, answer with '&&NOENT&&'. |
| 2   | You have to perform a task of entity recognition in medical texts. From the following sentence, extract all the entities of type CLINENTITY, which includes all medical disorders (a disorder is defined as a definite pathologic process with a characteristic set of signs and symptoms). Return each entity in the following format: Entity$CLINENTITY, separating each pair with ','. If there are no entities to extract, answer with '&&NOENT&&'.|
| 3   | You have to perform a task of entity recognition in clinical notes. From the following sentence, extract all the entities of type CLINENTITY, which includes all medical disorders in a single category (i.e. both diseases and symptoms). Return each entity in the following format: Entity$CLINENTITY, separating each pair with ','. If there are no entities to extract, answer with '&&NOENT&&'.|

<small>**Combined Performance** = (1 - (**Best Prompt** - **Prompt Average**) / 100) * **Best Prompt**. **Prompt Average** = F1 averaged over the 2 prompts. **Best Prompt** = F1 of the best prompt. **Prompt ID** = ID of the best prompt (see legend above). </small>

"""

REL_DESCRIPTION = """### Relation Extraction (REL) --- *Generative task*
    The input is a sentence of a clinical text. The model must identify and extract relations between laboratory test results (e.g.,122/81mmHg) and the corresponding tests or procedures (e.g., blood pressure).

| #   | Prompt (IT)                                                                                      |
|-----|--------------------------------------------------------------------------------|
| 1   | Devi estrarre relazioni da una frase nel campo medico. Data una frase in italiano, estrai tutti i test di laboratorio con i loro valori. Ritorna i risultati come: valore$voce_medica&valore$voce_medica. Usa '&&NOREL&&' se non trovi nessuna relazione. |
| 2   | Estrai tutte le coppie test-valore menzionate nella seguente frase nel campo medico. Includi solamente misurazioni esplicite in cui il nome di un test di laboratorio è chiaramente collegato alla sua misurazione. Scrivi ciascuna coppia nel formato:  valore$nome_test. Congiungi coppie multiple usando '&'. Se nessuma coppia valida esiste, ritorna esattamente: '&&NOREL&&'.|
| 3   | Estrai tutte le coppie test-valore dalla seguente frase medica.  Includi solamente test di laboratorio e i valori delle corrispondenti misurazioni. Formatta ciascuna coppia come  valore$nome_test, e separa coppie multiple usando '&'. Se non c'è nessuna coppia, ritorna '&&NOREL&&'.|

| #   | Prompt (SK)                                                                                      |
|-----|--------------------------------------------------------------------------------|
| 1   | Vyber súvislosti z lekárskej vety. Na základe slovenskej vety vyber všetky položky laboratórnych testov spolu s ich hodnotami. Vráť výsledky v tvare: value$medical_item&value$medical_item. Ak sa nenašli žiadne súvislosti, použi ‚&&NOREL&&‘. |
| 2   | Vyber všetky dvojice laboratórnych testov a hodnôt uvedené v nasledujúcej lekárskej vete. Zahrň iba explicitné/jednoznačné merania, kde je názov laboratórneho testu jasne prepojený/spätý s nameranou hodnotou. Každú dvojicu zapíš vo formáte: value$test_name. Viaceré dvojice spoj pomocou znaku '&'. Ak neexistujú žiadne platné dvojice, vráť: „&&NOREL&&“.|
| 3   | Vyber všetky dvojice laboratórnych testov a hodnôt z nasledujúcej lekárskej vety. Zahrň iba laboratórne testy a ich zodpovedajúce namerané hodnoty. Každý pár formátuj ako value$test_name a viacero párov oddeľ znakom „&“. Ak takéto páry neexistujú, vráť „&&NOREL&&“.|

| #   | Prompt (SL)                                                                                      |
|-----|--------------------------------------------------------------------------------|
| 1   |  Iz medicinskega stavka je treba izluščiti relacije. Iz slovenskega stavka izlušči vse laboratorijske preiskave skupaj z njihovimi vrednostmi. Rezultat vrni v obliki: value$medical_item&value$medical_item. Če v stavku ni mogoče najti nobene relacije, uporabi '&&NOREL&&'.|
| 2   |Iz danega medicinskega stavka izlušči vse pare laboratorijska preiskava–vrednost. Vključi samo tiste vrednosti, kjer je ime laboratorijske preiskave jasno povezano z izmerjeno vrednostjo. Vsak par zapiši v obliki: value$test_name. Če je parov več, jih poveži z znakom '&'. Če veljavnih parov ni, vrni natanko: &&NOREL&&. |
| 3   | Iz naslednjega medicinskega stavka izlušči vse pare laboratorijska preiskava–vrednost. Vključi samo laboratorijske preiskave in njihove pripadajoče izmerjene vrednosti. Vsak par zapiši v obliki: value$test_name, več parov pa loči z znakom '&'. Če takih parov ni, vrni &&NOREL&&.|

| #   | Prompt (GR)                                                                                      |
|-----|--------------------------------------------------------------------------------|
| 1   | Πρέπει να εξάγεις σχέσεις από μια πρόταση ενός ιατρικού αρχείου. Θα σου δοθεί μία πρόταση στα Ελληνικά και θα πρέπει να εξάγεις όλες τις τιμές εργαστηριακών αποτελεσμάτων με τις τιμές τους. Παρουσίασε τα αποτελέσματα με την παρακάτω μορφή: τιμή$ιατρικό_αντικείμενο&τιμή$ιατρικό_αντικείμενο. Χρησιμοποίησε '&&NOREL&&' αν δεν βρεθούν σχέσεις.|
| 2   | Πρέπει να εξάγεις όλα τα ζευγάρια εργαστηριακών εξετάσεων και αποτελεσμάτων από την παρακάτω πρόταση ενός ιατρικού αρχείου. Να περιλάβεις μόνο συγκεκριμένες μετρήσεις όπου βρεις ότι το όνομα μιας εργαστηριακής  εξέτασης συνδέεται ξεκάθαρα με την τιμή που μετρήθηκε. Γράψε κάθε ζευγάρι με την μορφή: τιμή$όνομα_εξέτασης. Ένωσε πολλαπλά ζευγάρια χρησιμοποιώντας το σύμβολο'&'. Αν δεν υπάρχουν ζευγάρια να επιστρέψεις την τιμή: '&&NOREL&&'.|
| 3   | Να εξάγεις όλα τα ζευγάρια εργαστηριακών εξετάσεων-τιμών από την παρακάτω πρόταση ενός ιατρικού αρχείου. Να συμπεριλάβεις μόνο εργαστηριακές εξετάσεις και τις αντίστοιχες μετρημένες τιμές τους. Φτιάξε κάθε ζευγάρι με τη μορφή τιμή$όνομα_εξέτασης, και χώρισε πολλαπλά ζευγάρια χρησιμοποιώντας το σύμβολο '&'. Αν δεν υπάρχουν τέτοια ζευγάρια να επιστρέψεις την τιμή '&&NOREL&&'.|

| #   | Prompt (PL)                                                                                      |
|-----|--------------------------------------------------------------------------------|
| 1   |  Wyodrębnij zależności z wyrażenia medycznego. Dla danego polskiego zdania wyodrębnij wszystkie pozycje badań laboratoryjnych wraz z ich wartościami. Wyniki należy zapisać w formacie: value$medical_item&value$medical_item. Jeśli nie znaleziono żadnych zależności, napisz '&&NOREL&&'.|
| 2   |Wyodrębnij wszystkie pary badań laboratoryjnych – wartość wymienione w poniższym wyrażeniu medycznym. Uwzględnij tylko wyraźne pomiary, w których nazwa badania laboratoryjnego jest wyraźnie powiązana z jego wartością pomiarową. Zapisz każdą parę w formacie: value$test_name. wyodrębnij pary za pomocą znaku '&'. Jeśli nie ma żadnych par, napisz '&&NOREL&&'. |
| 3   | Wyodrębnij wszystkie pary badań laboratoryjnych – wartość z poniższego wyrażenia medycznego. Uwzględnij tylko badania laboratoryjne i odpowiadające im wartości pomiarowe. Zapisz każdą parę jako value$test_name i oddziel pary za pomocą znaku '&'. Jeśli nie ma żadnych par, napisz '&&NOREL&&'.|

| #   | Prompt (EN)                                                                                                                          |
|-----|--------------------------------------------------------------------------------------------------------------------------------------|
| 1   | You have to extract relations from a medical sentence. Given an English sentence, extract all lab test items with their values. Return results like: value$medical_item&value$medical_item. Use '&&NOREL&&' if no relations are found. |
| 2   | Extract all lab test–value pairs mentioned in the following medical sentence. Include only explicit measurements where a lab test name is clearly linked to its measured value. Write each pair in the format: value$test_name. Join multiple pairs using '&'. If no valid pairs exist, return exactly: '&&NOREL&&'.|
| 3   | Extract all lab test–value pairs from the following medical sentence. Only include lab tests and their corresponding measured values. Format each pair as value$test_name, and separate multiple pairs using '&'. If there are no such pairs, return '&&NOREL&&'.|


<small>**Combined Performance** = (1 - (**Best Prompt** - **Prompt Average**) / 100) * **Best Prompt**. **Prompt Average** = F1 averaged over the 2 prompts. **Best Prompt** = F1 of the best prompt. **Prompt ID** = ID of the best prompt (see legend above). </small>

"""
NER_PHARMAER_DESCRIPTION = """### Named Entity Recognition over  (NER)  over PharmaER-IT data set --- *Generative task*
    The input is a sentence of a clinical text extracted from Drug Leaflets. The model has to identify the clinical entities, which include all occurrences of clinical disorders (i.e. drug, diseases, symptoms and Anotomical_Part).

| #   | Prompt (IT)                                                                                      |
|-----|--------------------------------------------------------------------------------|
| 1   | Devi svolgere un compito di riconoscimento delle entità nei bugiardini dei farmaci. Estrai tutte le entità di tipo DRUG (farmaco, cioè i farmaci destinati all'uso umano o veterinario, presentati nella loro forma di dosaggio finita), DISEASE (malattia, cioè i processi patologici definiti con un insieme caratteristico di segni e sintomi che colpiscono l'intero corpo o una qualsiasi delle sue parti), SYMPTOM (sintomo, cioè evidenza soggettiva della malattia percepita dal paziente) e ANATOMICAL_PART (parte anatomica, cioè le parti del corpo umano viste da una prospettiva filosofica o sociale) dal testo seguente. Restituisci ogni entità nel seguente formato: Entità$Tipo, separando ciascuna coppia con ','. Se non ci sono entità da estrarre, rispondi con '&&NOENT&&'. Testo: '{{text}}' Entità:|
| 2   | Devi svolgere un compito di riconoscimento delle entità nei foglietti illustrativi dei farmaci. Estrai tutte le entità di tipo DRUG (farmaco), DISEASE (malattia), SYMPTOM (sintomo) e ANATOMICAL_PART (parte anatomica) dal testo seguente. Riporta ogni entità con il formato: Entità$Tipo, separando ciascuna coppia con ','. Se non ci sono entità da estrarre, rispondi con '&&NOENT&&'. Testo: '{{text}}' Entità: |
| 3   | Devi svolgere un compito di riconoscimento delle entità nei bugiardini dei farmaci. Estrai tutte le entità di tipo DRUG (farmaco), DISEASE (malattia), SYMPTOM (sintomo) e ANATOMICAL_PART (parte anatomica) dal testo seguente. Restituisci ogni entità nel seguente formato: Entità$Tipo, separando ciascuna coppia con ','. Se non ci sono entità da estrarre, rispondi con '&&NOENT&&'. Testo: '{{text}}' Entità:|

<small>**Combined Performance** = (1 - (**Best Prompt** - **Prompt Average**) / 100) * **Best Prompt**. **Prompt Average** = F1 averaged over the 2 prompts. **Best Prompt** = F1 of the best prompt. **Prompt ID** = ID of the best prompt (see legend above). </small>

"""

# Create a dictionary to map task names to their descriptions
TASK_DESCRIPTIONS = {
    "CRF-RML": RML_DESCRIPTION,
    "CRF-DIA": DIA_DESCRIPTION,
    "CRF-HIS": HIS_DESCRIPTION,
    "AT": AT_DESCRIPTION,
    "WIC": WIC_DESCRIPTION,
    "FAQ": FAQ_DESCRIPTION,
    "LS": LS_DESCRIPTION,
    "SU": SU_DESCRIPTION,
    "NER-E3C": NER_DESCRIPTION,
    "REL-E3C": REL_DESCRIPTION,
    "NER-PHA": NER_PHARMAER_DESCRIPTION,
}