Add files using upload-large-folder tool

lm-evaluation-harness/lm_eval/tasks/mmlu_prox/cs/mmlu_prox_cs_business.yaml

@@ -0,0 +1,9 @@
+description: 'Zde je otázka s výběrem možností k tématu obchod (s odpovědí). Přemýšlejte
+  prosím krok za krokem a svou odpověď zakončete "Odpověď je (X)", kde X je písmeno
+  správné možnosti.
+
+  '
+include: _cs_template_yaml
+task: mmlu_prox_cs_business
+task_alias: business
+process_docs: !function utils.process_business

lm-evaluation-harness/lm_eval/tasks/mmlu_prox/cs/mmlu_prox_lite_cs_chemistry.yaml

@@ -0,0 +1,9 @@
+description: 'Zde je otázka s výběrem možností k tématu chemie (s odpovědí). Přemýšlejte
+  prosím krok za krokem a svou odpověď zakončete "Odpověď je (X)", kde X je písmeno
+  správné možnosti.
+
+  '
+include: _cs_lite_template_yaml
+task: mmlu_prox_lite_cs_chemistry
+task_alias: chemistry
+process_docs: !function utils.process_chemistry

lm-evaluation-harness/lm_eval/tasks/mmlu_prox/cs/mmlu_prox_lite_cs_computer_science.yaml

@@ -0,0 +1,9 @@
+description: 'Zde je otázka s výběrem možností k tématu informatika (s odpovědí).
+  Přemýšlejte prosím krok za krokem a svou odpověď zakončete "Odpověď je (X)", kde
+  X je písmeno správné možnosti.
+
+  '
+include: _cs_lite_template_yaml
+task: mmlu_prox_lite_cs_computer_science
+task_alias: computer_science
+process_docs: !function utils.process_computer_science

lm-evaluation-harness/lm_eval/tasks/mmlu_prox/cs/mmlu_prox_lite_cs_economics.yaml

@@ -0,0 +1,9 @@
+description: 'Zde je otázka s výběrem možností k tématu ekonomie (s odpovědí). Přemýšlejte
+  prosím krok za krokem a svou odpověď zakončete "Odpověď je (X)", kde X je písmeno
+  správné možnosti.
+
+  '
+include: _cs_lite_template_yaml
+task: mmlu_prox_lite_cs_economics
+task_alias: economics
+process_docs: !function utils.process_economics

lm-evaluation-harness/lm_eval/tasks/mmlu_prox/cs/mmlu_prox_lite_cs_engineering.yaml

@@ -0,0 +1,9 @@
+description: 'Zde je otázka s výběrem možností k tématu inženýrství (s odpovědí).
+  Přemýšlejte prosím krok za krokem a svou odpověď zakončete "Odpověď je (X)", kde
+  X je písmeno správné možnosti.
+
+  '
+include: _cs_lite_template_yaml
+task: mmlu_prox_lite_cs_engineering
+task_alias: engineering
+process_docs: !function utils.process_engineering

lm-evaluation-harness/lm_eval/tasks/mmlu_prox/cs/mmlu_prox_lite_cs_health.yaml

@@ -0,0 +1,9 @@
+description: 'Zde je otázka s výběrem možností k tématu zdraví (s odpovědí). Přemýšlejte
+  prosím krok za krokem a svou odpověď zakončete "Odpověď je (X)", kde X je písmeno
+  správné možnosti.
+
+  '
+include: _cs_lite_template_yaml
+task: mmlu_prox_lite_cs_health
+task_alias: health
+process_docs: !function utils.process_health

lm-evaluation-harness/lm_eval/tasks/mmlu_prox/cs/mmlu_prox_lite_cs_history.yaml

@@ -0,0 +1,9 @@
+description: 'Zde je otázka s výběrem možností k tématu historie (s odpovědí). Přemýšlejte
+  prosím krok za krokem a svou odpověď zakončete "Odpověď je (X)", kde X je písmeno
+  správné možnosti.
+
+  '
+include: _cs_lite_template_yaml
+task: mmlu_prox_lite_cs_history
+task_alias: history
+process_docs: !function utils.process_history

lm-evaluation-harness/lm_eval/tasks/mmlu_prox/cs/mmlu_prox_lite_cs_law.yaml

@@ -0,0 +1,9 @@
+description: 'Zde je otázka s výběrem možností k tématu právo (s odpovědí). Přemýšlejte
+  prosím krok za krokem a svou odpověď zakončete "Odpověď je (X)", kde X je písmeno
+  správné možnosti.
+
+  '
+include: _cs_lite_template_yaml
+task: mmlu_prox_lite_cs_law
+task_alias: law
+process_docs: !function utils.process_law

lm-evaluation-harness/lm_eval/tasks/mmlu_prox/cs/mmlu_prox_lite_cs_other.yaml

@@ -0,0 +1,9 @@
+description: 'Zde je otázka s výběrem možností k tématu ostatní (s odpovědí). Přemýšlejte
+  prosím krok za krokem a svou odpověď zakončete "Odpověď je (X)", kde X je písmeno
+  správné možnosti.
+
+  '
+include: _cs_lite_template_yaml
+task: mmlu_prox_lite_cs_other
+task_alias: other
+process_docs: !function utils.process_other

lm-evaluation-harness/lm_eval/tasks/mmlu_prox/cs/mmlu_prox_lite_cs_philosophy.yaml

@@ -0,0 +1,9 @@
+description: 'Zde je otázka s výběrem možností k tématu filozofie (s odpovědí). Přemýšlejte
+  prosím krok za krokem a svou odpověď zakončete "Odpověď je (X)", kde X je písmeno
+  správné možnosti.
+
+  '
+include: _cs_lite_template_yaml
+task: mmlu_prox_lite_cs_philosophy
+task_alias: philosophy
+process_docs: !function utils.process_philosophy

lm-evaluation-harness/lm_eval/tasks/mmlu_prox/cs/mmlu_prox_lite_cs_psychology.yaml

@@ -0,0 +1,9 @@
+description: 'Zde je otázka s výběrem možností k tématu psychologie (s odpovědí).
+  Přemýšlejte prosím krok za krokem a svou odpověď zakončete "Odpověď je (X)", kde
+  X je písmeno správné možnosti.
+
+  '
+include: _cs_lite_template_yaml
+task: mmlu_prox_lite_cs_psychology
+task_alias: psychology
+process_docs: !function utils.process_psychology

lm-evaluation-harness/lm_eval/tasks/mmlu_prox/cs/utils.py

@@ -0,0 +1,70 @@
+from functools import partial
+from os.path import basename, dirname
+
+from lm_eval.tasks.mmlu_prox.lang_libs import LANG_LIBS
+
+
+lang_abbr = basename(dirname(__file__))
+lang_dict = LANG_LIBS[lang_abbr]
+
+choices = [
+    "A",
+    "B",
+    "C",
+    "D",
+    "E",
+    "F",
+    "G",
+    "H",
+    "I",
+    "J",
+    "K",
+    "L",
+    "M",
+    "N",
+    "O",
+    "P",
+]
+
+max_opt_num = 10
+
+
+def format_cot_example(example, including_answer=True):
+    prompt = f"{lang_dict[0]}\n"
+    question = example["question"]
+    prompt += question + "\n"
+    prompt += f"{lang_dict[1]}\n"
+    for i in range(max_opt_num):
+        opt = example[f"option_{i}"]
+        if opt is not None:
+            prompt += "{}. {}\n".format(choices[i], opt)
+    if including_answer:
+        cot_content = example["cot_content"].replace(lang_dict[4], lang_dict[2])
+        prompt += cot_content + "\n\n"
+    else:
+        prompt += lang_dict[2]
+    return prompt
+
+
+doc_to_text = partial(format_cot_example, including_answer=False)
+fewshot_to_text = partial(format_cot_example, including_answer=True)
+
+
+def process_docs(dataset, subject):
+    return dataset.filter(lambda x: x["category"] == subject)
+
+
+process_biology = partial(process_docs, subject="biology")
+process_business = partial(process_docs, subject="business")
+process_chemistry = partial(process_docs, subject="chemistry")
+process_computer_science = partial(process_docs, subject="computer science")
+process_economics = partial(process_docs, subject="economics")
+process_engineering = partial(process_docs, subject="engineering")
+process_health = partial(process_docs, subject="health")
+process_history = partial(process_docs, subject="history")
+process_law = partial(process_docs, subject="law")
+process_math = partial(process_docs, subject="math")
+process_other = partial(process_docs, subject="other")
+process_philosophy = partial(process_docs, subject="philosophy")
+process_physics = partial(process_docs, subject="physics")
+process_psychology = partial(process_docs, subject="psychology")

lm-evaluation-harness/lm_eval/tasks/mmlu_prox/de/_de_template_yaml

@@ -0,0 +1,35 @@
+dataset_path: li-lab/MMLU-ProX
+dataset_name: de
+test_split: test
+fewshot_split: validation
+fewshot_config:
+  sampler: first_n
+  doc_to_text: !function utils.fewshot_to_text
+  doc_to_target: ""
+output_type: generate_until
+doc_to_text: !function utils.doc_to_text
+doc_to_target: answer
+filter_list:
+  - name: "custom-extract"
+    filter:
+      - function: "regex"
+        regex_pattern: 'Die Antwort ist \(?([ABCDEFGHIJ])\)?'
+      - function: "take_first"
+generation_kwargs:
+  until:
+    - "</s>"
+    - "Q:"
+    - "Frage:"
+    - "<|im_end|>"
+  do_sample: false
+  temperature: 0.0
+  max_gen_toks: 2048
+num_fewshot: 5
+metric_list:
+  - metric: exact_match
+    aggregation: mean
+    higher_is_better: true
+    ignore_case: true
+    ignore_punctuation: true
+metadata:
+  version: 0.0

lm-evaluation-harness/lm_eval/tasks/mmlu_prox/de/_mmlu_prox_lite_de.yaml

@@ -0,0 +1,23 @@
+group: mmlu_prox_lite_de
+task:
+- mmlu_prox_lite_de_biology
+- mmlu_prox_lite_de_business
+- mmlu_prox_lite_de_chemistry
+- mmlu_prox_lite_de_computer_science
+- mmlu_prox_lite_de_economics
+- mmlu_prox_lite_de_engineering
+- mmlu_prox_lite_de_health
+- mmlu_prox_lite_de_history
+- mmlu_prox_lite_de_law
+- mmlu_prox_lite_de_math
+- mmlu_prox_lite_de_other
+- mmlu_prox_lite_de_philosophy
+- mmlu_prox_lite_de_physics
+- mmlu_prox_lite_de_psychology
+aggregate_metric_list:
+- aggregation: mean
+  metric: exact_match
+  weight_by_size: true
+  filter_list: custom-extract
+metadata:
+  version: 0.0

lm-evaluation-harness/lm_eval/tasks/mmlu_prox/de/mmlu_prox_de_business.yaml

@@ -0,0 +1,9 @@
+description: 'Im Folgenden sind Multiple-Choice-Fragen (mit Antworten) zu Wirtschaft.
+  Denken Sie Schritt für Schritt nach und beenden Sie Ihre Antwort mit "Die Antwort
+  ist (X)", wobei X der richtige Buchstabe ist.
+
+  '
+include: _de_template_yaml
+task: mmlu_prox_de_business
+task_alias: business
+process_docs: !function utils.process_business

lm-evaluation-harness/lm_eval/tasks/mmlu_prox/de/mmlu_prox_de_chemistry.yaml

@@ -0,0 +1,9 @@
+description: 'Im Folgenden sind Multiple-Choice-Fragen (mit Antworten) zu Chemie.
+  Denken Sie Schritt für Schritt nach und beenden Sie Ihre Antwort mit "Die Antwort
+  ist (X)", wobei X der richtige Buchstabe ist.
+
+  '
+include: _de_template_yaml
+task: mmlu_prox_de_chemistry
+task_alias: chemistry
+process_docs: !function utils.process_chemistry

lm-evaluation-harness/lm_eval/tasks/mmlu_prox/de/mmlu_prox_de_computer_science.yaml

@@ -0,0 +1,9 @@
+description: 'Im Folgenden sind Multiple-Choice-Fragen (mit Antworten) zu Informatik.
+  Denken Sie Schritt für Schritt nach und beenden Sie Ihre Antwort mit "Die Antwort
+  ist (X)", wobei X der richtige Buchstabe ist.
+
+  '
+include: _de_template_yaml
+task: mmlu_prox_de_computer_science
+task_alias: computer_science
+process_docs: !function utils.process_computer_science

lm-evaluation-harness/lm_eval/tasks/mmlu_prox/de/mmlu_prox_de_economics.yaml

@@ -0,0 +1,9 @@
+description: 'Im Folgenden sind Multiple-Choice-Fragen (mit Antworten) zu Ökonomie.
+  Denken Sie Schritt für Schritt nach und beenden Sie Ihre Antwort mit "Die Antwort
+  ist (X)", wobei X der richtige Buchstabe ist.
+
+  '
+include: _de_template_yaml
+task: mmlu_prox_de_economics
+task_alias: economics
+process_docs: !function utils.process_economics

lm-evaluation-harness/lm_eval/tasks/mmlu_prox/de/mmlu_prox_de_engineering.yaml

@@ -0,0 +1,9 @@
+description: 'Im Folgenden sind Multiple-Choice-Fragen (mit Antworten) zu Ingenieurwesen.
+  Denken Sie Schritt für Schritt nach und beenden Sie Ihre Antwort mit "Die Antwort
+  ist (X)", wobei X der richtige Buchstabe ist.
+
+  '
+include: _de_template_yaml
+task: mmlu_prox_de_engineering
+task_alias: engineering
+process_docs: !function utils.process_engineering

lm-evaluation-harness/lm_eval/tasks/mmlu_prox/de/mmlu_prox_de_health.yaml

@@ -0,0 +1,9 @@
+description: 'Im Folgenden sind Multiple-Choice-Fragen (mit Antworten) zu Gesundheit.
+  Denken Sie Schritt für Schritt nach und beenden Sie Ihre Antwort mit "Die Antwort
+  ist (X)", wobei X der richtige Buchstabe ist.
+
+  '
+include: _de_template_yaml
+task: mmlu_prox_de_health
+task_alias: health
+process_docs: !function utils.process_health

lm-evaluation-harness/lm_eval/tasks/mmlu_prox/de/mmlu_prox_de_history.yaml

@@ -0,0 +1,9 @@
+description: 'Im Folgenden sind Multiple-Choice-Fragen (mit Antworten) zu Geschichte.
+  Denken Sie Schritt für Schritt nach und beenden Sie Ihre Antwort mit "Die Antwort
+  ist (X)", wobei X der richtige Buchstabe ist.
+
+  '
+include: _de_template_yaml
+task: mmlu_prox_de_history
+task_alias: history
+process_docs: !function utils.process_history

lm-evaluation-harness/lm_eval/tasks/mmlu_prox/de/mmlu_prox_de_law.yaml

@@ -0,0 +1,9 @@
+description: 'Im Folgenden sind Multiple-Choice-Fragen (mit Antworten) zu Recht. Denken
+  Sie Schritt für Schritt nach und beenden Sie Ihre Antwort mit "Die Antwort ist (X)",
+  wobei X der richtige Buchstabe ist.
+
+  '
+include: _de_template_yaml
+task: mmlu_prox_de_law
+task_alias: law
+process_docs: !function utils.process_law

lm-evaluation-harness/lm_eval/tasks/mmlu_prox/de/mmlu_prox_de_math.yaml

@@ -0,0 +1,9 @@
+description: 'Im Folgenden sind Multiple-Choice-Fragen (mit Antworten) zu Mathematik.
+  Denken Sie Schritt für Schritt nach und beenden Sie Ihre Antwort mit "Die Antwort
+  ist (X)", wobei X der richtige Buchstabe ist.
+
+  '
+include: _de_template_yaml
+task: mmlu_prox_de_math
+task_alias: math
+process_docs: !function utils.process_math

lm-evaluation-harness/lm_eval/tasks/mmlu_prox/de/mmlu_prox_de_other.yaml

@@ -0,0 +1,9 @@
+description: 'Im Folgenden sind Multiple-Choice-Fragen (mit Antworten) zu Sonstiges.
+  Denken Sie Schritt für Schritt nach und beenden Sie Ihre Antwort mit "Die Antwort
+  ist (X)", wobei X der richtige Buchstabe ist.
+
+  '
+include: _de_template_yaml
+task: mmlu_prox_de_other
+task_alias: other
+process_docs: !function utils.process_other

lm-evaluation-harness/lm_eval/tasks/mmlu_prox/de/mmlu_prox_de_philosophy.yaml

@@ -0,0 +1,9 @@
+description: 'Im Folgenden sind Multiple-Choice-Fragen (mit Antworten) zu Philosophie.
+  Denken Sie Schritt für Schritt nach und beenden Sie Ihre Antwort mit "Die Antwort
+  ist (X)", wobei X der richtige Buchstabe ist.
+
+  '
+include: _de_template_yaml
+task: mmlu_prox_de_philosophy
+task_alias: philosophy
+process_docs: !function utils.process_philosophy

lm-evaluation-harness/lm_eval/tasks/mmlu_prox/de/mmlu_prox_de_physics.yaml

@@ -0,0 +1,9 @@
+description: 'Im Folgenden sind Multiple-Choice-Fragen (mit Antworten) zu Physik.
+  Denken Sie Schritt für Schritt nach und beenden Sie Ihre Antwort mit "Die Antwort
+  ist (X)", wobei X der richtige Buchstabe ist.
+
+  '
+include: _de_template_yaml
+task: mmlu_prox_de_physics
+task_alias: physics
+process_docs: !function utils.process_physics

lm-evaluation-harness/lm_eval/tasks/mmlu_prox/de/mmlu_prox_de_psychology.yaml

@@ -0,0 +1,9 @@
+description: 'Im Folgenden sind Multiple-Choice-Fragen (mit Antworten) zu Psychologie.
+  Denken Sie Schritt für Schritt nach und beenden Sie Ihre Antwort mit "Die Antwort
+  ist (X)", wobei X der richtige Buchstabe ist.
+
+  '
+include: _de_template_yaml
+task: mmlu_prox_de_psychology
+task_alias: psychology
+process_docs: !function utils.process_psychology

lm-evaluation-harness/lm_eval/tasks/mmlu_prox/de/mmlu_prox_lite_de_biology.yaml

@@ -0,0 +1,9 @@
+description: 'Im Folgenden sind Multiple-Choice-Fragen (mit Antworten) zu Biologie.
+  Denken Sie Schritt für Schritt nach und beenden Sie Ihre Antwort mit "Die Antwort
+  ist (X)", wobei X der richtige Buchstabe ist.
+
+  '
+include: _de_lite_template_yaml
+task: mmlu_prox_lite_de_biology
+task_alias: biology
+process_docs: !function utils.process_biology

lm-evaluation-harness/lm_eval/tasks/mmlu_prox/de/mmlu_prox_lite_de_business.yaml

@@ -0,0 +1,9 @@
+description: 'Im Folgenden sind Multiple-Choice-Fragen (mit Antworten) zu Wirtschaft.
+  Denken Sie Schritt für Schritt nach und beenden Sie Ihre Antwort mit "Die Antwort
+  ist (X)", wobei X der richtige Buchstabe ist.
+
+  '
+include: _de_lite_template_yaml
+task: mmlu_prox_lite_de_business
+task_alias: business
+process_docs: !function utils.process_business

lm-evaluation-harness/lm_eval/tasks/mmlu_prox/de/mmlu_prox_lite_de_chemistry.yaml

@@ -0,0 +1,9 @@
+description: 'Im Folgenden sind Multiple-Choice-Fragen (mit Antworten) zu Chemie.
+  Denken Sie Schritt für Schritt nach und beenden Sie Ihre Antwort mit "Die Antwort
+  ist (X)", wobei X der richtige Buchstabe ist.
+
+  '
+include: _de_lite_template_yaml
+task: mmlu_prox_lite_de_chemistry
+task_alias: chemistry
+process_docs: !function utils.process_chemistry

lm-evaluation-harness/lm_eval/tasks/mmlu_prox/de/mmlu_prox_lite_de_computer_science.yaml

@@ -0,0 +1,9 @@
+description: 'Im Folgenden sind Multiple-Choice-Fragen (mit Antworten) zu Informatik.
+  Denken Sie Schritt für Schritt nach und beenden Sie Ihre Antwort mit "Die Antwort
+  ist (X)", wobei X der richtige Buchstabe ist.
+
+  '
+include: _de_lite_template_yaml
+task: mmlu_prox_lite_de_computer_science
+task_alias: computer_science
+process_docs: !function utils.process_computer_science

lm-evaluation-harness/lm_eval/tasks/mmlu_prox/de/mmlu_prox_lite_de_economics.yaml

@@ -0,0 +1,9 @@
+description: 'Im Folgenden sind Multiple-Choice-Fragen (mit Antworten) zu Ökonomie.
+  Denken Sie Schritt für Schritt nach und beenden Sie Ihre Antwort mit "Die Antwort
+  ist (X)", wobei X der richtige Buchstabe ist.
+
+  '
+include: _de_lite_template_yaml
+task: mmlu_prox_lite_de_economics
+task_alias: economics
+process_docs: !function utils.process_economics

lm-evaluation-harness/lm_eval/tasks/mmlu_prox/de/mmlu_prox_lite_de_engineering.yaml

@@ -0,0 +1,9 @@
+description: 'Im Folgenden sind Multiple-Choice-Fragen (mit Antworten) zu Ingenieurwesen.
+  Denken Sie Schritt für Schritt nach und beenden Sie Ihre Antwort mit "Die Antwort
+  ist (X)", wobei X der richtige Buchstabe ist.
+
+  '
+include: _de_lite_template_yaml
+task: mmlu_prox_lite_de_engineering
+task_alias: engineering
+process_docs: !function utils.process_engineering

lm-evaluation-harness/lm_eval/tasks/mmlu_prox/de/mmlu_prox_lite_de_health.yaml

@@ -0,0 +1,9 @@
+description: 'Im Folgenden sind Multiple-Choice-Fragen (mit Antworten) zu Gesundheit.
+  Denken Sie Schritt für Schritt nach und beenden Sie Ihre Antwort mit "Die Antwort
+  ist (X)", wobei X der richtige Buchstabe ist.
+
+  '
+include: _de_lite_template_yaml
+task: mmlu_prox_lite_de_health
+task_alias: health
+process_docs: !function utils.process_health

lm-evaluation-harness/lm_eval/tasks/mmlu_prox/de/mmlu_prox_lite_de_history.yaml

@@ -0,0 +1,9 @@
+description: 'Im Folgenden sind Multiple-Choice-Fragen (mit Antworten) zu Geschichte.
+  Denken Sie Schritt für Schritt nach und beenden Sie Ihre Antwort mit "Die Antwort
+  ist (X)", wobei X der richtige Buchstabe ist.
+
+  '
+include: _de_lite_template_yaml
+task: mmlu_prox_lite_de_history
+task_alias: history
+process_docs: !function utils.process_history

lm-evaluation-harness/lm_eval/tasks/mmlu_prox/de/mmlu_prox_lite_de_law.yaml

@@ -0,0 +1,9 @@
+description: 'Im Folgenden sind Multiple-Choice-Fragen (mit Antworten) zu Recht. Denken
+  Sie Schritt für Schritt nach und beenden Sie Ihre Antwort mit "Die Antwort ist (X)",
+  wobei X der richtige Buchstabe ist.
+
+  '
+include: _de_lite_template_yaml
+task: mmlu_prox_lite_de_law
+task_alias: law
+process_docs: !function utils.process_law

lm-evaluation-harness/lm_eval/tasks/mmlu_prox/de/mmlu_prox_lite_de_math.yaml

@@ -0,0 +1,9 @@
+description: 'Im Folgenden sind Multiple-Choice-Fragen (mit Antworten) zu Mathematik.
+  Denken Sie Schritt für Schritt nach und beenden Sie Ihre Antwort mit "Die Antwort
+  ist (X)", wobei X der richtige Buchstabe ist.
+
+  '
+include: _de_lite_template_yaml
+task: mmlu_prox_lite_de_math
+task_alias: math
+process_docs: !function utils.process_math

lm-evaluation-harness/lm_eval/tasks/mmlu_prox/de/mmlu_prox_lite_de_other.yaml

@@ -0,0 +1,9 @@
+description: 'Im Folgenden sind Multiple-Choice-Fragen (mit Antworten) zu Sonstiges.
+  Denken Sie Schritt für Schritt nach und beenden Sie Ihre Antwort mit "Die Antwort
+  ist (X)", wobei X der richtige Buchstabe ist.
+
+  '
+include: _de_lite_template_yaml
+task: mmlu_prox_lite_de_other
+task_alias: other
+process_docs: !function utils.process_other

lm-evaluation-harness/lm_eval/tasks/mmlu_prox/de/mmlu_prox_lite_de_philosophy.yaml

@@ -0,0 +1,9 @@
+description: 'Im Folgenden sind Multiple-Choice-Fragen (mit Antworten) zu Philosophie.
+  Denken Sie Schritt für Schritt nach und beenden Sie Ihre Antwort mit "Die Antwort
+  ist (X)", wobei X der richtige Buchstabe ist.
+
+  '
+include: _de_lite_template_yaml
+task: mmlu_prox_lite_de_philosophy
+task_alias: philosophy
+process_docs: !function utils.process_philosophy

lm-evaluation-harness/lm_eval/tasks/mmlu_prox/de/mmlu_prox_lite_de_physics.yaml

@@ -0,0 +1,9 @@
+description: 'Im Folgenden sind Multiple-Choice-Fragen (mit Antworten) zu Physik.
+  Denken Sie Schritt für Schritt nach und beenden Sie Ihre Antwort mit "Die Antwort
+  ist (X)", wobei X der richtige Buchstabe ist.
+
+  '
+include: _de_lite_template_yaml
+task: mmlu_prox_lite_de_physics
+task_alias: physics
+process_docs: !function utils.process_physics

lm-evaluation-harness/lm_eval/tasks/mmlu_prox/de/mmlu_prox_lite_de_psychology.yaml

@@ -0,0 +1,9 @@
+description: 'Im Folgenden sind Multiple-Choice-Fragen (mit Antworten) zu Psychologie.
+  Denken Sie Schritt für Schritt nach und beenden Sie Ihre Antwort mit "Die Antwort
+  ist (X)", wobei X der richtige Buchstabe ist.
+
+  '
+include: _de_lite_template_yaml
+task: mmlu_prox_lite_de_psychology
+task_alias: psychology
+process_docs: !function utils.process_psychology

lm-evaluation-harness/lm_eval/tasks/mmlu_prox/de/utils.py

@@ -0,0 +1,70 @@
+from functools import partial
+from os.path import basename, dirname
+
+from lm_eval.tasks.mmlu_prox.lang_libs import LANG_LIBS
+
+
+lang_abbr = basename(dirname(__file__))
+lang_dict = LANG_LIBS[lang_abbr]
+
+choices = [
+    "A",
+    "B",
+    "C",
+    "D",
+    "E",
+    "F",
+    "G",
+    "H",
+    "I",
+    "J",
+    "K",
+    "L",
+    "M",
+    "N",
+    "O",
+    "P",
+]
+
+max_opt_num = 10
+
+
+def format_cot_example(example, including_answer=True):
+    prompt = f"{lang_dict[0]}\n"
+    question = example["question"]
+    prompt += question + "\n"
+    prompt += f"{lang_dict[1]}\n"
+    for i in range(max_opt_num):
+        opt = example[f"option_{i}"]
+        if opt is not None:
+            prompt += "{}. {}\n".format(choices[i], opt)
+    if including_answer:
+        cot_content = example["cot_content"].replace(lang_dict[4], lang_dict[2])
+        prompt += cot_content + "\n\n"
+    else:
+        prompt += lang_dict[2]
+    return prompt
+
+
+doc_to_text = partial(format_cot_example, including_answer=False)
+fewshot_to_text = partial(format_cot_example, including_answer=True)
+
+
+def process_docs(dataset, subject):
+    return dataset.filter(lambda x: x["category"] == subject)
+
+
+process_biology = partial(process_docs, subject="biology")
+process_business = partial(process_docs, subject="business")
+process_chemistry = partial(process_docs, subject="chemistry")
+process_computer_science = partial(process_docs, subject="computer science")
+process_economics = partial(process_docs, subject="economics")
+process_engineering = partial(process_docs, subject="engineering")
+process_health = partial(process_docs, subject="health")
+process_history = partial(process_docs, subject="history")
+process_law = partial(process_docs, subject="law")
+process_math = partial(process_docs, subject="math")
+process_other = partial(process_docs, subject="other")
+process_philosophy = partial(process_docs, subject="philosophy")
+process_physics = partial(process_docs, subject="physics")
+process_psychology = partial(process_docs, subject="psychology")

lm-evaluation-harness/lm_eval/tasks/mmlu_prox/en/_en_lite_template_yaml

@@ -0,0 +1,35 @@
+dataset_path: li-lab/MMLU-ProX-Lite
+dataset_name: en
+test_split: test
+fewshot_split: validation
+fewshot_config:
+  sampler: first_n
+  doc_to_text: !function utils.fewshot_to_text
+  doc_to_target: ""
+output_type: generate_until
+doc_to_text: !function utils.doc_to_text
+doc_to_target: answer
+filter_list:
+  - name: "custom-extract"
+    filter:
+      - function: "regex"
+        regex_pattern: 'answer is \(?([ABCDEFGHIJ])\)?'
+      - function: "take_first"
+generation_kwargs:
+  until:
+    - "</s>"
+    - "Q:"
+    - "Question:"
+    - "<|im_end|>"
+  do_sample: false
+  temperature: 0.0
+  max_gen_toks: 2048
+num_fewshot: 5
+metric_list:
+  - metric: exact_match
+    aggregation: mean
+    higher_is_better: true
+    ignore_case: true
+    ignore_punctuation: true
+metadata:
+  version: 0.0

lm-evaluation-harness/lm_eval/tasks/mmlu_prox/en/_en_template_yaml

@@ -0,0 +1,35 @@
+dataset_path: li-lab/MMLU-ProX
+dataset_name: en
+test_split: test
+fewshot_split: validation
+fewshot_config:
+  sampler: first_n
+  doc_to_text: !function utils.fewshot_to_text
+  doc_to_target: ""
+output_type: generate_until
+doc_to_text: !function utils.doc_to_text
+doc_to_target: answer
+filter_list:
+  - name: "custom-extract"
+    filter:
+      - function: "regex"
+        regex_pattern: 'answer is \(?([ABCDEFGHIJ])\)?'
+      - function: "take_first"
+generation_kwargs:
+  until:
+    - "</s>"
+    - "Q:"
+    - "Question:"
+    - "<|im_end|>"
+  do_sample: false
+  temperature: 0.0
+  max_gen_toks: 2048
+num_fewshot: 5
+metric_list:
+  - metric: exact_match
+    aggregation: mean
+    higher_is_better: true
+    ignore_case: true
+    ignore_punctuation: true
+metadata:
+  version: 0.0

lm-evaluation-harness/lm_eval/tasks/mmlu_prox/en/_mmlu_prox_en.yaml

@@ -0,0 +1,23 @@
+group: mmlu_prox_en
+task:
+- mmlu_prox_en_biology
+- mmlu_prox_en_business
+- mmlu_prox_en_chemistry
+- mmlu_prox_en_computer_science
+- mmlu_prox_en_economics
+- mmlu_prox_en_engineering
+- mmlu_prox_en_health
+- mmlu_prox_en_history
+- mmlu_prox_en_law
+- mmlu_prox_en_math
+- mmlu_prox_en_other
+- mmlu_prox_en_philosophy
+- mmlu_prox_en_physics
+- mmlu_prox_en_psychology
+aggregate_metric_list:
+- aggregation: mean
+  metric: exact_match
+  weight_by_size: true
+  filter_list: custom-extract
+metadata:
+  version: 0.0

lm-evaluation-harness/lm_eval/tasks/mmlu_prox/en/_mmlu_prox_lite_en.yaml

@@ -0,0 +1,23 @@
+group: mmlu_prox_lite_en
+task:
+- mmlu_prox_lite_en_biology
+- mmlu_prox_lite_en_business
+- mmlu_prox_lite_en_chemistry
+- mmlu_prox_lite_en_computer_science
+- mmlu_prox_lite_en_economics
+- mmlu_prox_lite_en_engineering
+- mmlu_prox_lite_en_health
+- mmlu_prox_lite_en_history
+- mmlu_prox_lite_en_law
+- mmlu_prox_lite_en_math
+- mmlu_prox_lite_en_other
+- mmlu_prox_lite_en_philosophy
+- mmlu_prox_lite_en_physics
+- mmlu_prox_lite_en_psychology
+aggregate_metric_list:
+- aggregation: mean
+  metric: exact_match
+  weight_by_size: true
+  filter_list: custom-extract
+metadata:
+  version: 0.0

lm-evaluation-harness/lm_eval/tasks/mmlu_prox/en/mmlu_prox_en_biology.yaml

@@ -0,0 +1,9 @@
+description: 'The following are multiple choice questions (with answers) about biology.
+  Think step by step and then finish your answer with "the answer is (X)" where X
+  is the correct letter choice.
+
+  '
+include: _en_template_yaml
+task: mmlu_prox_en_biology
+task_alias: biology
+process_docs: !function utils.process_biology

lm-evaluation-harness/lm_eval/tasks/mmlu_prox/en/mmlu_prox_en_business.yaml

@@ -0,0 +1,9 @@
+description: 'The following are multiple choice questions (with answers) about business.
+  Think step by step and then finish your answer with "the answer is (X)" where X
+  is the correct letter choice.
+
+  '
+include: _en_template_yaml
+task: mmlu_prox_en_business
+task_alias: business
+process_docs: !function utils.process_business

lm-evaluation-harness/lm_eval/tasks/mmlu_prox/en/mmlu_prox_en_chemistry.yaml

@@ -0,0 +1,9 @@
+description: 'The following are multiple choice questions (with answers) about chemistry.
+  Think step by step and then finish your answer with "the answer is (X)" where X
+  is the correct letter choice.
+
+  '
+include: _en_template_yaml
+task: mmlu_prox_en_chemistry
+task_alias: chemistry
+process_docs: !function utils.process_chemistry

lm-evaluation-harness/lm_eval/tasks/mmlu_prox/en/mmlu_prox_en_computer_science.yaml

@@ -0,0 +1,9 @@
+description: 'The following are multiple choice questions (with answers) about computer_science.
+  Think step by step and then finish your answer with "the answer is (X)" where X
+  is the correct letter choice.
+
+  '
+include: _en_template_yaml
+task: mmlu_prox_en_computer_science
+task_alias: computer_science
+process_docs: !function utils.process_computer_science