diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/agieval/README.md b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/agieval/README.md new file mode 100644 index 0000000000000000000000000000000000000000..53a9df036d6c0a4dcc2b310ac324f1bf7b0f60dc --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/agieval/README.md @@ -0,0 +1,118 @@ +# AGIEval + +### Paper + +Title: AGIEval: A Human-Centric Benchmark for Evaluating Foundation Models + +Abstract: https://arxiv.org/abs/2304.06364.pdf + +AGIEval is a human-centric benchmark specifically designed to evaluate the general abilities of foundation models in tasks pertinent to human cognition and problem-solving. +This benchmark is derived from 20 official, public, and high-standard admission and qualification exams intended for general human test-takers, such as general college admission tests (e.g., Chinese College Entrance Exam (Gaokao) and American SAT), law school admission tests, math competitions, lawyer qualification tests, and national civil service exams. + +Homepage: https://github.com/ruixiangcui/AGIEval + +### Citation + +``` +@misc{zhong2023agieval, + title={AGIEval: A Human-Centric Benchmark for Evaluating Foundation Models}, + author={Wanjun Zhong and Ruixiang Cui and Yiduo Guo and Yaobo Liang and Shuai Lu and Yanlin Wang and Amin Saied and Weizhu Chen and Nan Duan}, + year={2023}, + eprint={2304.06364}, + archivePrefix={arXiv}, + primaryClass={cs.CL} +} +``` + +Please make sure to cite all the individual datasets in your paper when you use them. We provide the relevant citation information below: + +``` +@inproceedings{ling-etal-2017-program, + title = "Program Induction by Rationale Generation: Learning to Solve and Explain Algebraic Word Problems", + author = "Ling, Wang and + Yogatama, Dani and + Dyer, Chris and + Blunsom, Phil", + booktitle = "Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)", + month = jul, + year = "2017", + address = "Vancouver, Canada", + publisher = "Association for Computational Linguistics", + url = "https://aclanthology.org/P17-1015", + doi = "10.18653/v1/P17-1015", + pages = "158--167", + abstract = "Solving algebraic word problems requires executing a series of arithmetic operations{---}a program{---}to obtain a final answer. However, since programs can be arbitrarily complicated, inducing them directly from question-answer pairs is a formidable challenge. To make this task more feasible, we solve these problems by generating answer rationales, sequences of natural language and human-readable mathematical expressions that derive the final answer through a series of small steps. Although rationales do not explicitly specify programs, they provide a scaffolding for their structure via intermediate milestones. To evaluate our approach, we have created a new 100,000-sample dataset of questions, answers and rationales. Experimental results show that indirect supervision of program learning via answer rationales is a promising strategy for inducing arithmetic programs.", +} + +@inproceedings{hendrycksmath2021, + title={Measuring Mathematical Problem Solving With the MATH Dataset}, + author={Dan Hendrycks and Collin Burns and Saurav Kadavath and Akul Arora and Steven Basart and Eric Tang and Dawn Song and Jacob Steinhardt}, + journal={NeurIPS}, + year={2021} +} + +@inproceedings{Liu2020LogiQAAC, + title={LogiQA: A Challenge Dataset for Machine Reading Comprehension with Logical Reasoning}, + author={Jian Liu and Leyang Cui and Hanmeng Liu and Dandan Huang and Yile Wang and Yue Zhang}, + booktitle={International Joint Conference on Artificial Intelligence}, + year={2020} +} + +@inproceedings{zhong2019jec, + title={JEC-QA: A Legal-Domain Question Answering Dataset}, + author={Zhong, Haoxi and Xiao, Chaojun and Tu, Cunchao and Zhang, Tianyang and Liu, Zhiyuan and Sun, Maosong}, + booktitle={Proceedings of AAAI}, + year={2020}, +} + +@article{Wang2021FromLT, + title={From LSAT: The Progress and Challenges of Complex Reasoning}, + author={Siyuan Wang and Zhongkun Liu and Wanjun Zhong and Ming Zhou and Zhongyu Wei and Zhumin Chen and Nan Duan}, + journal={IEEE/ACM Transactions on Audio, Speech, and Language Processing}, + year={2021}, + volume={30}, + pages={2201-2216} +} +``` + +### Groups, Tags, and Tasks + +#### Groups + +- `agieval`: Evaluates all tasks listed below. + +- `agieval_en`: Evaluates all English subtasks: `agieval_aqua_rat`, `agieval_gaokao_english`, `agieval_logiqa_en`, `agieval_lsat_*`, `agieval_sat_*`, `agieval_math` + +- `agieval_cn`: Evaluates all Chinese subtasks: +`agieval_gaokao_biology`, `agieval_gaokao_chemistry`, `agieval_gaokao_chinese`, `agieval_gaokao_geography`, +`agieval_gaokao_history`, `agieval_gaokao_mathqa`, `agieval_gaokao_mathcloze`, `agieval_gaokao_physics`, `agieval_jec_qa_ca`, `agieval_jec_qa_kd`, `agieval_logiqa_zh` + +- `agieval_nous`: Evaluates a specific subset of AGIEval tasks (multiple-choice and english-only), namely those in https://github.com/teknium1/LLM-Benchmark-Logs/blob/main/benchmark-logs/Mistral-7B-Base.md + +#### Tags + +None. + +#### Tasks + +- `agieval_aqua_rat` +- `agieval_gaokao_biology` +- `agieval_gaokao_chemistry` +- `agieval_gaokao_chinese` +- `agieval_gaokao_english` +- `agieval_gaokao_geography` +- `agieval_gaokao_history` +- `agieval_gaokao_mathqa` +- `agieval_gaokao_mathcloze` +- `agieval_gaokao_physics` +- `agieval_jec_qa_ca` +- `agieval_jec_qa_kd` +- `agieval_logiqa_en` +- `agieval_logiqa_zh` +- `agieval_lsat_ar` +- `agieval_lsat_lr` +- `agieval_lsat_rc` +- `agieval_sat_en` +- `agieval_sat_en_without_passage` +- `agieval_sat_math` +- `agieval_math` diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/agieval/agieval.yaml b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/agieval/agieval.yaml new file mode 100644 index 0000000000000000000000000000000000000000..d086af83579ec2daf826a55f7dd82cf2e1f82a96 --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/agieval/agieval.yaml @@ -0,0 +1,29 @@ +group: agieval +task: + - agieval_gaokao_biology + - agieval_gaokao_chemistry + - agieval_gaokao_chinese + - agieval_gaokao_geography + - agieval_gaokao_history + - agieval_gaokao_mathcloze + - agieval_gaokao_mathqa + - agieval_gaokao_physics + - agieval_jec_qa_ca + - agieval_jec_qa_kd + - agieval_logiqa_zh + - agieval_aqua_rat + - agieval_gaokao_english + - agieval_logiqa_en + - agieval_lsat_ar + - agieval_lsat_lr + - agieval_lsat_rc + - agieval_math + - agieval_sat_en_without_passage + - agieval_sat_en + - agieval_sat_math +aggregate_metric_list: + - metric: acc + aggregation: mean + weight_by_size: true +metadata: + version: 0.0 diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/agieval/agieval_cn.yaml b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/agieval/agieval_cn.yaml new file mode 100644 index 0000000000000000000000000000000000000000..0e8ca2fdedaabe768fe731bbf2dbbea3ef117448 --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/agieval/agieval_cn.yaml @@ -0,0 +1,19 @@ +group: agieval_cn +task: + - agieval_gaokao_biology + - agieval_gaokao_chemistry + - agieval_gaokao_chinese + - agieval_gaokao_geography + - agieval_gaokao_history + - agieval_gaokao_mathcloze + - agieval_gaokao_mathqa + - agieval_gaokao_physics + - agieval_jec_qa_ca + - agieval_jec_qa_kd + - agieval_logiqa_zh +aggregate_metric_list: + - metric: acc + aggregation: mean + weight_by_size: true +metadata: + version: 0.0 diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/agieval/agieval_nous.yaml b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/agieval/agieval_nous.yaml new file mode 100644 index 0000000000000000000000000000000000000000..aa2a874892e77aaa0216feac4f2f6353b3302a93 --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/agieval/agieval_nous.yaml @@ -0,0 +1,16 @@ +group: agieval_nous +task: + - agieval_aqua_rat + - agieval_logiqa_en + - agieval_lsat_ar + - agieval_lsat_lr + - agieval_lsat_rc + - agieval_sat_en_without_passage + - agieval_sat_en + - agieval_sat_math +aggregate_metric_list: + - metric: acc_norm + aggregation: mean + weight_by_size: true +metadata: + version: 0.0 diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/agieval/aqua-rat.yaml b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/agieval/aqua-rat.yaml new file mode 100644 index 0000000000000000000000000000000000000000..e5a3a3e86f6c5448000df38a146a95518691b934 --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/agieval/aqua-rat.yaml @@ -0,0 +1,20 @@ +task: agieval_aqua_rat +dataset_path: hails/agieval-aqua-rat +dataset_name: null +output_type: multiple_choice +training_split: null +validation_split: null +test_split: test +doc_to_text: "{{query}}" +doc_to_target: "{{gold}}" +doc_to_choice: "{{choices}}" +process_results: !function utils.process_results_mcqa +metric_list: + - metric: acc + aggregation: mean + higher_is_better: true + - metric: acc_norm + aggregation: mean + higher_is_better: true +metadata: + version: 1.0 diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/agieval/gaokao-biology.yaml b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/agieval/gaokao-biology.yaml new file mode 100644 index 0000000000000000000000000000000000000000..b8b9eca8397965a0bf3c7152fbd237236b0f37f2 --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/agieval/gaokao-biology.yaml @@ -0,0 +1,3 @@ +include: aqua-rat.yaml +task: agieval_gaokao_biology +dataset_path: hails/agieval-gaokao-biology diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/agieval/gaokao-chemistry.yaml b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/agieval/gaokao-chemistry.yaml new file mode 100644 index 0000000000000000000000000000000000000000..a4ba01a5274376bab68fb8a56bd25a6e81d1edfb --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/agieval/gaokao-chemistry.yaml @@ -0,0 +1,3 @@ +include: aqua-rat.yaml +task: agieval_gaokao_chemistry +dataset_path: hails/agieval-gaokao-chemistry diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/agieval/gaokao-english.yaml b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/agieval/gaokao-english.yaml new file mode 100644 index 0000000000000000000000000000000000000000..12ea66787acfa60eefc5a49936c6484b08c8fda0 --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/agieval/gaokao-english.yaml @@ -0,0 +1,3 @@ +include: aqua-rat.yaml +task: agieval_gaokao_english +dataset_path: hails/agieval-gaokao-english diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/agieval/gaokao-history.yaml b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/agieval/gaokao-history.yaml new file mode 100644 index 0000000000000000000000000000000000000000..55b317281977f215285d7d699f656e54be55bf37 --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/agieval/gaokao-history.yaml @@ -0,0 +1,3 @@ +include: aqua-rat.yaml +task: agieval_gaokao_history +dataset_path: hails/agieval-gaokao-history diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/agieval/gaokao-mathcloze.yaml b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/agieval/gaokao-mathcloze.yaml new file mode 100644 index 0000000000000000000000000000000000000000..8692e2f45f8cc016cba40f246345fa5909a9256a --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/agieval/gaokao-mathcloze.yaml @@ -0,0 +1,22 @@ +task: agieval_gaokao_mathcloze +dataset_path: hails/agieval-gaokao-mathcloze +dataset_name: null +output_type: generate_until +training_split: null +validation_split: null +test_split: test +doc_to_text: "{{query}}" +doc_to_target: "{{answer}}" +process_results: !function utils.process_results +generation_kwargs: + max_gen_toks: 32 + do_sample: False + temperature: 0.0 + until: + - "Q:" +metric_list: + - metric: acc + aggregation: mean + higher_is_better: true +metadata: + version: 1.0 diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/agieval/jec-qa-ca.yaml b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/agieval/jec-qa-ca.yaml new file mode 100644 index 0000000000000000000000000000000000000000..2d09c2b3814a65fffcae1a06894bd1a3f57ca983 --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/agieval/jec-qa-ca.yaml @@ -0,0 +1,3 @@ +include: aqua-rat.yaml +task: agieval_jec_qa_ca +dataset_path: hails/agieval-jec-qa-ca diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/agieval/jec-qa-kd.yaml b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/agieval/jec-qa-kd.yaml new file mode 100644 index 0000000000000000000000000000000000000000..5843b6deb9aa1e326426adb96fb5ebeca333e6cf --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/agieval/jec-qa-kd.yaml @@ -0,0 +1,3 @@ +include: aqua-rat.yaml +task: agieval_jec_qa_kd +dataset_path: hails/agieval-jec-qa-kd diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/agieval/lsat-ar.yaml b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/agieval/lsat-ar.yaml new file mode 100644 index 0000000000000000000000000000000000000000..2284f601f19988805194f8af96c7789251bcaeae --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/agieval/lsat-ar.yaml @@ -0,0 +1,3 @@ +include: aqua-rat.yaml +task: agieval_lsat_ar +dataset_path: hails/agieval-lsat-ar diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/agieval/lsat-lr.yaml b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/agieval/lsat-lr.yaml new file mode 100644 index 0000000000000000000000000000000000000000..8505d4463f72d1942a47e7ae76b07c1958c92ee5 --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/agieval/lsat-lr.yaml @@ -0,0 +1,3 @@ +include: aqua-rat.yaml +task: agieval_lsat_lr +dataset_path: hails/agieval-lsat-lr diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/agieval/math.yaml b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/agieval/math.yaml new file mode 100644 index 0000000000000000000000000000000000000000..534a2e661c38a52ee14cbdddbd6c3f946336cfc7 --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/agieval/math.yaml @@ -0,0 +1,22 @@ +task: agieval_math +dataset_path: hails/agieval-math +dataset_name: null +output_type: generate_until +training_split: null +validation_split: null +test_split: test +doc_to_text: "{{query}}" +doc_to_target: "{{answer}}" +process_results: !function utils.process_results +generation_kwargs: + max_gen_toks: 32 + do_sample: False + temperature: 0.0 + until: + - "Q:" +metric_list: + - metric: acc + aggregation: mean + higher_is_better: true +metadata: + version: 1.0 diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/agieval/sat-en-without-passage.yaml b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/agieval/sat-en-without-passage.yaml new file mode 100644 index 0000000000000000000000000000000000000000..d36b467cd76f62f84463cfff2fa423c5f2c87860 --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/agieval/sat-en-without-passage.yaml @@ -0,0 +1,3 @@ +include: aqua-rat.yaml +task: agieval_sat_en_without_passage +dataset_path: hails/agieval-sat-en-without-passage diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/agieval/sat-math.yaml b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/agieval/sat-math.yaml new file mode 100644 index 0000000000000000000000000000000000000000..228add09443bd1827a70a2648b9a1abb9a910e94 --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/agieval/sat-math.yaml @@ -0,0 +1,3 @@ +include: aqua-rat.yaml +task: agieval_sat_math +dataset_path: hails/agieval-sat-math diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/agieval/utils.py b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/agieval/utils.py new file mode 100644 index 0000000000000000000000000000000000000000..aa6e544f1a7e15e853b99be2fe01502baadefcee --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/agieval/utils.py @@ -0,0 +1,274 @@ +# Answer parsing and normalization code, from +# https://github.com/ruixiangcui/AGIEval/blob/main/src/ +# math_equivalence.py and post_process.py +import re +from typing import Dict, List + +import numpy as np + + +def parse_math_answer(raw_string): + def remove_boxed(s): + left = "\\boxed{" + try: + assert s[: len(left)] == left + assert s[-1] == "}" + answer = s[len(left) : -1] + if "=" in answer: + answer = answer.split("=")[-1].lstrip(" ") + return answer + except Exception: + return None + + def last_boxed_only_string(string): + idx = string.rfind("\\boxed") + if idx < 0: + idx = string.rfind("\\fbox") + if idx < 0: + return None + i = idx + right_brace_idx = None + num_left_braces_open = 0 + while i < len(string): + if string[i] == "{": + num_left_braces_open += 1 + if string[i] == "}": + num_left_braces_open -= 1 + if num_left_braces_open == 0: + right_brace_idx = i + break + i += 1 + + if right_brace_idx is None: + retval = None + else: + retval = string[idx : right_brace_idx + 1] + + return retval + + def get_answer_with_dollar_sign(s): + first_pattern = "\$(.*)\$" + last_match = None + matches = re.findall(first_pattern, s) + if matches: + last_match = matches[-1] + if "=" in last_match: + last_match = last_match.split("=")[-1].lstrip(" ") + return last_match + + def get_answer_without_dollar_sign(s): + last_match = None + if "=" in s: + last_match = s.split("=")[-1].lstrip(" ").rstrip(".") + if "\\n" in last_match: + last_match = last_match.split("\\n")[0] + else: + pattern = "(?:\\$)?\d+(?:\.\d+)?(?![\w\d])" + matches = re.findall(pattern, s) + if matches: + last_match = matches[-1] + return last_match + + if "\\boxed" in raw_string: + answer = remove_boxed(last_boxed_only_string(raw_string)) + else: + answer = get_answer_with_dollar_sign(raw_string) + if not answer: + answer = get_answer_without_dollar_sign(raw_string) + return answer + + +# code from https://github.com/hendrycks/math/blob/main/modeling/math_equivalence.py +def _fix_fracs(string): + substrs = string.split("\\frac") + new_str = substrs[0] + if len(substrs) > 1: + substrs = substrs[1:] + for substr in substrs: + new_str += "\\frac" + if substr[0] == "{": + new_str += substr + else: + try: + assert len(substr) >= 2 + except Exception: + return string + a = substr[0] + b = substr[1] + if b != "{": + if len(substr) > 2: + post_substr = substr[2:] + new_str += "{" + a + "}{" + b + "}" + post_substr + else: + new_str += "{" + a + "}{" + b + "}" + else: + if len(substr) > 2: + post_substr = substr[2:] + new_str += "{" + a + "}" + b + post_substr + else: + new_str += "{" + a + "}" + b + string = new_str + return string + + +def _fix_a_slash_b(string): + if len(string.split("/")) != 2: + return string + a = string.split("/")[0] + b = string.split("/")[1] + try: + a = int(a) + b = int(b) + assert string == "{}/{}".format(a, b) + new_string = "\\frac{" + str(a) + "}{" + str(b) + "}" + return new_string + except Exception: + return string + + +def _remove_right_units(string): + # "\\text{ " only ever occurs (at least in the val set) when describing units + if "\\text{ " in string: + splits = string.split("\\text{ ") + assert len(splits) == 2 + return splits[0] + else: + return string + + +def _fix_sqrt(string): + if "\\sqrt" not in string: + return string + splits = string.split("\\sqrt") + new_string = splits[0] + for split in splits[1:]: + if split[0] != "{": + a = split[0] + new_substr = "\\sqrt{" + a + "}" + split[1:] + else: + new_substr = "\\sqrt" + split + new_string += new_substr + return new_string + + +def _strip_string(string): + # linebreaks + string = string.replace("\n", "") + # print(string) + + # remove inverse spaces + string = string.replace("\\!", "") + # print(string) + + # replace \\ with \ + string = string.replace("\\\\", "\\") + # print(string) + + # replace tfrac and dfrac with frac + string = string.replace("tfrac", "frac") + string = string.replace("dfrac", "frac") + # print(string) + + # remove \left and \right + string = string.replace("\\left", "") + string = string.replace("\\right", "") + # print(string) + + # Remove circ (degrees) + string = string.replace("^{\\circ}", "") + string = string.replace("^\\circ", "") + + # remove dollar signs + string = string.replace("\\$", "") + + # remove units (on the right) + string = _remove_right_units(string) + + # remove percentage + string = string.replace("\\%", "") + string = string.replace("\%", "") + + # " 0." equivalent to " ." and "{0." equivalent to "{." Alternatively, add "0" if "." is the start of the string + string = string.replace(" .", " 0.") + string = string.replace("{.", "{0.") + # if empty, return empty string + if len(string) == 0: + return string + if string[0] == ".": + string = "0" + string + + # to consider: get rid of e.g. "k = " or "q = " at beginning + if len(string.split("=")) == 2: + if len(string.split("=")[0]) <= 2: + string = string.split("=")[1] + + # fix sqrt3 --> sqrt{3} + string = _fix_sqrt(string) + + # remove spaces + string = string.replace(" ", "") + + # \frac1b or \frac12 --> \frac{1}{b} and \frac{1}{2}, etc. Even works with \frac1{72} (but not \frac{72}1). Also does a/b --> \\frac{a}{b} + string = _fix_fracs(string) + + # manually change 0.5 --> \frac{1}{2} + if string == "0.5": + string = "\\frac{1}{2}" + + # NOTE: X/Y changed to \frac{X}{Y} in dataset, but in simple cases fix in case the model output is X/Y + string = _fix_a_slash_b(string) + + return string + + +def is_equiv(str1, str2, verbose=False): + if str1 is None and str2 is None: + print("WARNING: Both None") + return True + if str1 is None or str2 is None: + return False + + str1, str2 = parse_math_answer(str1), parse_math_answer(str2) + + try: + ss1 = _strip_string(str1) + ss2 = _strip_string(str2) + if verbose: + print(ss1, ss2) + return ss1 == ss2 + except Exception: + return str1 == str2 + + +def process_results(doc: dict, results: List[str]) -> Dict[str, int]: + candidate = results[0] + + gold = doc["answer"] + + if not gold: + print(doc, candidate, gold) + if is_equiv(candidate, gold): + retval = 1 + else: + retval = 0 + + results = { + "acc": retval, + } + return results + + +# use a custom process_results() function, because AGIEval can have multiple valid answers +def process_results_mcqa(doc, results): + results = [result[0] for result in results] + + gold = doc["gold"] + + acc = 1.0 if int(np.argmax(results)) in gold else 0.0 + completion_len = np.array([float(len(i)) for i in doc["choices"]]) + acc_norm = 1.0 if int(np.argmax(results / completion_len)) in gold else 0.0 + + return { + "acc": acc, + "acc_norm": acc_norm, + } diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/eq_bench/README.md b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/eq_bench/README.md new file mode 100644 index 0000000000000000000000000000000000000000..472890bdc832705e55f7a28209a74ea2af6b9865 --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/eq_bench/README.md @@ -0,0 +1,55 @@ +# EQ-Bench + +Title: `EQ-Bench: An Emotional Intelligence Benchmark for Large Language Models` + +Abstract: https://arxiv.org/abs/2312.06281 + +EQ-Bench is a benchmark for language models designed to assess emotional intelligence. + +Why emotional intelligence? One reason is that it represents a subset of abilities that are important for the user experience, and which isn't explicitly tested by other benchmarks. Another reason is that it's not trivial to improve scores by fine tuning for the benchmark, which makes it harder to "game" the leaderboard. + +EQ-Bench is a little different from traditional psychometric tests. It uses a specific question format, in which the subject has to read a dialogue then rate the intensity of possible emotional responses of one of the characters. Every question is interpretative and assesses the ability to predict the magnitude of the 4 presented emotions. The test is graded without the need for a judge (so there is no length bias). It's cheap to run (only 171 questions), and produces results that correlate strongly with human preference (Arena ELO) and multi-domain benchmarks like MMLU. + +Homepage: https://eqbench.com/ + + +NOTE: There are some key differences between the lm-evaluation-harness version and the implementation described in the EQ-Bench paper (These have been OK'd by the author): + +- The lm-eval version uses the EQ-Bench v2 test set (171 questions) and score calculation. It does not incorporate the revision part of the prompt, as per v2.1 (https://github.com/EQ-bench/EQ-Bench) +- No retries in lm-eval version (EQ-Bench pipeline retries with successively higher temps if it encounters unparseable answers) +- In the original implementation, unparseable answers are excluded from the final score, and 83% of answers have to be parseable or a fail is returned. The lm-eval version instead assigns 0 to unparsable answers and has no fail criteria. So for lower performing models, there may be differences with the EQ-Bench leaderboard. + + +### Citation + +```bibtex +@misc{paech2023eqbench, + title={EQ-Bench: An Emotional Intelligence Benchmark for Large Language Models}, + author={Samuel J. Paech}, + year={2023}, + eprint={2312.06281}, + archivePrefix={arXiv}, + primaryClass={cs.CL} +} +``` + +### Groups and Tasks + +#### Groups + +* Not part of a group yet + +#### Tasks + +* `eq_bench` + +### Checklist + +* [x] Is the task an existing benchmark in the literature? + * [x] Have you referenced the original paper that introduced the task? + * [ ] If yes, does the original paper provide a reference implementation? If so, have you checked against the reference implementation and documented how to run such a test? + +If other tasks on this dataset are already supported: +* [ ] Is the "Main" variant of this task clearly denoted? +* [ ] Have you provided a short sentence in a README on what each new variant adds / evaluates? +* [ ] Have you noted which, if any, published evaluation setups are matched by this variant? diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/eq_bench/default.yaml b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/eq_bench/default.yaml new file mode 100644 index 0000000000000000000000000000000000000000..16b1245b22c91e74a4ab398945a27ac31c82c5a8 --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/eq_bench/default.yaml @@ -0,0 +1,20 @@ +task: eq_bench +dataset_path: pbevan11/EQ-Bench +output_type: generate_until +validation_split: validation +doc_to_text: prompt +doc_to_target: reference_answer_fullscale +process_results: !function utils.calculate_score_fullscale +generation_kwargs: + do_sample: false + temperature: 0.0 + max_gen_toks: 80 +metric_list: + - metric: eqbench + aggregation: mean + higher_is_better: true + - metric: percent_parseable + aggregation: mean + higher_is_better: true +metadata: + version: 2.1 diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/eq_bench/utils.py b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/eq_bench/utils.py new file mode 100644 index 0000000000000000000000000000000000000000..326a0dc485f22c01053c10e65bc9bf05e1aeb590 --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/eq_bench/utils.py @@ -0,0 +1,54 @@ +import math +import re + + +def calculate_score_fullscale(docs, results): + reference = eval(docs["reference_answer_fullscale"]) + user = dict(re.findall(r"(\w+):\s+(\d+)", results[0])) + # First check that the emotions specified in the answer match those in the reference + if len(user.items()) != 4: + # print('! Error: 4 emotions were not returned') + # print(user) + return {"eqbench": 0, "percent_parseable": 0} + emotions_dict = {} + for emotion, user_emotion_score in user.items(): + for i in range(1, 5): + if emotion == reference[f"emotion{i}"]: + emotions_dict[emotion] = True + if len(emotions_dict) != 4: + print("! Error: emotions did not match reference") + print(user) + return {"eqbench": 0, "percent_parseable": 0} + + difference_tally = ( + 0 # Tally of differerence from reference answers for this question + ) + + # Iterate over each emotion in the user's answers. + for emotion, user_emotion_score in user.items(): + # If this emotion is in the reference, calculate the difference between the user's score and the reference score. + for i in range(1, 5): + if emotion == reference[f"emotion{i}"]: + d = abs( + float(user_emotion_score) - float(reference[f"emotion{i}_score"]) + ) + # this will be a value between 0 and 10 + if d == 0: + scaled_difference = 0 + elif d <= 5: + # S-shaped scaling function + # https://www.desmos.com/calculator + # 6.5\cdot\ \frac{1}{\left(1\ +\ e^{\left(-1.2\cdot\left(x-4\right)\right)}\right)} + scaled_difference = 6.5 * (1 / (1 + math.e ** (-1.2 * (d - 4)))) + + else: + scaled_difference = d + difference_tally += scaled_difference + + # Inverting the difference tally so that the closer the answer is to reference, the higher the score. + # The adjustment constant is chosen such that answering randomly produces a score of zero. + adjust_const = 0.7477 + final_score = 10 - (difference_tally * adjust_const) + final_score_percent = final_score * 10 + + return {"eqbench": final_score_percent, "percent_parseable": 100} diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/README.md b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/README.md new file mode 100644 index 0000000000000000000000000000000000000000..7fde78fdaa3e27f4d03fca6c45ca35160c351147 --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/README.md @@ -0,0 +1,54 @@ +# k_mmlu + +### Paper + +Title: `KMMLU : Measuring Massive Multitask Language Understanding in Korean` + +Abstract: `We propose KMMLU, a new Korean benchmark with 35,030 expert-level multiple-choice questions across 45 subjects ranging from humanities to STEM. Unlike previous Korean benchmarks that are translated from existing English benchmarks, KMMLU is collected from original Korean exams, capturing linguistic and cultural aspects of the Korean language. We test 26 publicly available and proprietary LLMs, identifying significant room for improvement. The best publicly available model achieves 50.54% on KMMLU, far below the average human performance of 62.6%. This model was primarily trained for English and Chinese, not Korean. Current LLMs tailored to Korean, such as Polyglot-Ko, perform far worse. Surprisingly, even the most capable proprietary LLMs, e.g., GPT-4 and HyperCLOVA X, achieve 59.95% and 53.40%, respectively. This suggests that further work is needed to improve Korean LLMs, and KMMLU offers the right tool to track this progress. We make our dataset publicly available on the Hugging Face Hub and integrate the benchmark into EleutherAI's Language Model Evaluation Harness.` + +Note: lm-eval-harness is using the micro average as the default. To replicate the test results in the paper, take the macro average for the scores evaluated with lm-eval-harness + +Homepage: https://huggingface.co/datasets/HAERAE-HUB/KMMLU + +### Citation + +@article{son2024kmmlu, + title={KMMLU: Measuring Massive Multitask Language Understanding in Korean}, + author={Guijin Son and Hanwool Lee and Sungdong Kim and Seungone Kim and Niklas Muennighoff and Taekyoon Choi and Cheonbok Park and Kang Min Yoo and Stella Biderman}, + journal={arXiv preprint arXiv:2402.11548}, + year={2024} +} + +### Groups and Tasks + +#### Groups + +* `kmmlu`: 'All 45 subjects of the KMMLU dataset, evaluated following the methodology in MMLU's original implementation' +* `kmmlu_direct`: 'kmmlu_direct solves questions using a straightforward *generative* multiple-choice question-answering approach' +* `kmmlu_hard`: 'kmmlu_hard comprises difficult questions that at least one proprietary model failed to answer correctly using log-likelihood approach' +* `kmmlu_hard_direct`: 'kmmlu_hard_direct solves questions of kmmlu_hard using direct(generative) approach' +* `kmmlu_hard_cot`: 'kmmlu_hard_cot includes 5-shot of exemplars for chain-of-thought approach' + +#### Tasks + +The following tasks evaluate subjects in the KMMLU dataset +- `kmmlu_direct_{subject_english}` + +The following tasks evaluate subjects in the KMMLU-Hard dataset +- `kmmlu_hard_{subject_english}` +- `kmmlu_hard_cot_{subject_english}` +- `kmmlu_hard_direct_{subject_english}` + + +### Checklist + +For adding novel benchmarks/datasets to the library: +* [x] Is the task an existing benchmark in the literature? + * [x] Have you referenced the original paper that introduced the task? + * [x] If yes, does the original paper provide a reference implementation? If so, have you checked against the reference implementation and documented how to run such a test? + + +If other tasks on this dataset are already supported: +* [ ] Is the "Main" variant of this task clearly denoted? +* [ ] Have you provided a short sentence in a README on what each new variant adds / evaluates? +* [ ] Have you noted which, if any, published evaluation setups are matched by this variant? diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/_cot_kmmlu_yaml b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/_cot_kmmlu_yaml new file mode 100644 index 0000000000000000000000000000000000000000..163a03dfd21f3ba21ddc74c8470cf9de0ff29466 --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/_cot_kmmlu_yaml @@ -0,0 +1,30 @@ +tag: + - kmmlu + - kmmlu_hard_cot +dataset_path: HAERAE-HUB/KMMLU-HARD +output_type: generate_until +validation_split: dev # not meant to be used, only here to silence warnings +test_split: test +doc_to_target: "{{['A', 'B', 'C', 'D'][answer-1] if answer is defined else target}}" # answer undefined: cot few shot example, else normal sample +metric_list: + - metric: exact_match + aggregation: mean + higher_is_better: true + ignore_case: true + ignore_punctuation: true +generation_kwargs: + until: + - "질문:" + do_sample: false + max_gen_toks: 2048 + temperature: 0.0 +num_fewshot: 5 +filter_list: + - name: "get-answer" + filter: + - function: "regex" + regex_pattern: "(?<=정답은)(.*)(?=입니다.)" + regex_pattern: "(?<=정답은)\\s*[(]?(A|B|C|D)[)]?.*(?=입니다.)" + - function: "take_first" +metadata: + version: 2.0 diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_accounting.yaml b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_accounting.yaml new file mode 100644 index 0000000000000000000000000000000000000000..bb17436e43f30e4e0432213c7e0453f908ad7726 --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_accounting.yaml @@ -0,0 +1,81 @@ +dataset_name: accounting +doc_to_text: '{{question}} + + A.{{A}} + + B.{{B}} + + C.{{C}} + + D.{{D}} + + 정답: 차근 차근 생각해봅시다. 회계학 관련 정보를 위해 위키피디아를 참조하겠습니다.' +fewshot_config: + sampler: first_n + samples: + - A: ￦970,000 + B: ￦990,000 + C: ￦1,020,000 + D: ￦1,050,000 + question: '질문: 수정 전 잔액시산표의 차변 합계액은 ￦1,000,000이다. 보험료 미경과액 ￦30,000과 이자수익 미수액 ￦20,000을 + 계상한 후의 수정 후 잔액시산표 차변 합계액은 얼마인가?' + target: 차근 차근 생각해봅시다. 회계학 관련 정보를 위해 위키피디아를 참조하겠습니다. 주어진 문제는 수정 후 시산표의 합계에 영향을 + 주는 요소와 주지 않는 요소를 구분하고 이해하는 문제입니다. 이 경우, 보험료 미경과액과 이자수익 미수액이 추가되었습니다. 보험료 미경과액은 + 차변에 계상되어 있는 보험료(비용)을 감소 하면서 자산계정인 선급보험료가 동일금액이 차변에 증가하므로 영향을 주지 않습니다. 다음으로 이자수익 + 미수액 ￦20,000은 아직 받지 않은 이자를 의미합니다. 이자미수액은 잔액시산표에서 차변에 기록됩니다. , 원래의 차변 합계액 ￦1,000,000에 + 이자수익 미수액 ￦20,000을 더하면, 수정 후의 차변 합계액은 ￦1,020,000이 됩니다. 따라서, 정답은 (C) 입니다. + - A: 매출총이익이 과소계상된다. + B: 영업이익이 과대계상된다. + C: 비유동부채가 과소계상된다. + D: 당기순이익이 과대계상된다. + question: 제조업을 영위하는 (주)상공이 결산 시 이자비용 미지급분에 대한 거래를 누락하였을 경우 재무제표에 미치는 영향으로 옳은 것은? + target: 차근 차근 생각해봅시다. 회계학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 이자비용 미지급분이란, 회사가 이자를 지급해야 + 하지만 아직 지급하지 않은 금액을 말합니다. 이는 기업의 부채로 간주되며, 이를 누락하게 되면 회계상의 문제가 발생할 수 있습니다. (A) + 선택지의 매출총이익은 판매액에서 제조비용을 뺀 금액으로, 이자비용과는 직접적인 관련이 없습니다. 이자비용 미지급분을 누락하였다고 해서 + 매출총이익이 과소계상되는 것은 아닙니다. (B) 선택지의 영업이익은 매출총이익에서 판매비와 관리비를 뺀 금액입니다. 이자비용은 판매비나 + 관리비에 포함되지 않으므로, 이자비용 미지급분을 누락하였다고 해서 영업이익이 과대계상되는 것은 아닙니다. (C) 선택지의 비유동부채는 장기적으로 + 변제해야 하는 부채를 말합니다. 이자비용 미지급분은 단기적으로 변제해야 하는 부채로 간주될 수 있으나, 이를 누락하게 되면 전체 부채가 + 과소계상되는 결과를 초래할 수 있습니다. (D) 선택지의 당기순이익은 수익에서 모든 비용을 뺀 금액입니다. 이자비용 미지급분을 누락하게 + 되면 이자비용이 과소계상되어 당기순이익이 과대계상되는 결과를 초래할 수 있습니다. , 이자비용 미지급분을 누락하였을 경우, 비유동부채와 + 당기순이익에 영향을 미칠 수 있습니다. 하지만, 주어진 선택지 중에서는 비유동부채가 아닌 당기순이익이 과대계상되는 것이 더 정확한 표현일 + 것입니다. 이는 이자비용이 누락되었을 때 비용이 과소계상되므로 순이익이 과대계상되기 때문입니다. 따라서, 정답은 (D) 입니다. + - A: 현금성자산은 단기의 현금수요를 충족하기 위한 목적으로 보유한다. + B: 현금성자산으로 분류되기 위해서는 확정된 금액이 현금으로의 전환이 용이하고, 가치변동의 위험이 경미하여야 한다. + C: 취득당시 장기로 분류되었던 국ㆍ공채 중 결산일 현재 만기일이 3개월 이내인 국·공채를 현금성자산으로 분류한다. + D: 상환일이 정해져 있고 취득일로부터 상환일까지 기간이 3개월 이내인 우선주의 경우 현금성자산으로 처리한다. + question: 현금및현금성자산에 대한 설명으로 옳지 않은 것은? + target: 차근 차근 생각해봅시다. 회계학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 현금성자산은 단기의 현금수요를 충족하기 + 위한 목적으로 보유하는 자산으로, 큰 거래비용 없이 현금으로 전환이 용이하고, 이자율 변동에 따른 가치 변동의 위험이 크지 않은 금융상품으로서, + 취득 당시 만기일 또는 상환일이 3개월 이내인 것을 말합니다. (A)는 현금성자산의 정의와 일치하므로 옳은 설명입니다. (B)도 현금성자산의 + 분류 기준을 설명하고 있으므로 옳은 설명입니다. (C)의 경우, 취득당시 장기로 분류되었던 국ᆞ공채 중 결산일 현재 만기일이 3개월 이내인 + 국·공채는 단기금융상품으로 분류됩니다. 이 설명은 옳지 않습니다. (D)의 경우, 상환일이 정해져 있고 취득일로부터 상환일까지 기간이 + 3개월 이내인 우선주의 경우 현금성자산으로 처리할 수 있습니다. 이 설명도 옳은 설명입니다. 따라서, 정답은 (C) 입니다. + - A: (금융자산) 선급금, (금융부채) 미지급비용 + B: (금융자산) 미수금, (금융부채) 선수금 + C: (금융자산) 단기대여금, (금융부채) 장기차입금 + D: (금융자산) 재고자산, (금융부채) 선수수익 + question: 금융자산과 금융부채에 속하는 항목으로 바르게 나타낸 것은? + target: 차근 차근 생각해봅시다. 회계학 관련 정보를 위해 위키피디아를 참조하겠습니다. 금융자산과 금융부채는 기업이 자금을 조달하고 운용하는 + 과정에서 발생하는 자산과 부채를 말합니다. 이 때, 금융자산은 기업이 보유하고 있는 자산 중에서 현금이나 현금성자산으로 전환이 용이하고, + 가치변동의 위험이 상대적으로 작은 자산을 말합니다. 반면에 금융부채는 기업이 상환해야 할 의무가 있는 부채 중에서 금융기관으로부터 차입한 + 차입금이나 사채 등을 말합니다. 각 선택지를 살펴 보겠습니다. (A) 선급금은 상품이나 원재료 등을 매입하기 위해 미리 지급한 금액으로, + 금융자산이 아닌 재고자산으로 분류됩니다. 미지급비용은 이미 발생한 비용 중에서 아직 지급하지 않은 금액으로, 금융부채가 아닌 부채로 분류됩니다. + (B) 미수금은 상품이나 제품 등을 판매하고 아직 받지 못한 금액으로, 금융자산에 해당됩니다. 선수금은 상품이나 제품 등을 주문받고 미리 + 받은 금액으로, 금융부채가 아닌 부채로 분류됩니다. (C) 단기대여금은 상대방에게 대여한 금액 중에서 1년 이내에 회수할 예정인 금액으로, + 금융자산에 해당됩니다. 장기차입금은 금융기관으로부터 차입한 차입금 중에서 1년 이후에 상환할 예정인 금액으로, 금융부채에 해당됩니다. (D) + 재고자산은 기업이 판매를 목적으로 보유하고 있는 상품이나 제품, 원재료 등을 말합니다. 선수수익은 고객으로부터 미리 받은 수익 중에서 아직 + 제공하지 않은 용역에 대한 대가로, 부채에 해당됩니다. 따라서, 정답은 (C) 입니다. + - A: (매출원가) 과대, (당기순이익) 과소 + B: (매출원가) 과대, (당기순이익) 과대 + C: (매출원가) 과소, (당기순이익) 과소 + D: (매출원가) 과소, (당기순이익) 과대 + question: 전기 말에 상품재고액 \560,000을 \650,000으로 잘못 계상한 경우, 당기의 매출원가와 당기순이익에 미치는 영향으로 + 옳은 것은? (단, 재고자산 평가는 실지재고조사법을 적용 한다.) + target: 차근 차근 생각해봅시다. 회계학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 매출원가와 당기순이익에 대해 이해해야 합니다. + 매출원가는 판매된 상품을 생산하는 데 들어간 비용을 의미하며, 당기순이익은 매출에서 모든 비용을 뺀 순수익을 의미합니다. 상품재고액을 과대 + 계상한 경우, 이는 회사가 실제로 보유하고 있는 재고보다 더 많은 재고를 보유하고 있다고 잘못 표시한 것을 의미합니다. 이는 재고자산의 + 가치를 과대평가한 것이므로, 이에 따른 비용(매출원가) 역시 과대 계상됩니다. 매출원가가 과대 계상되면, 매출에서 매출원가를 뺀 이익인 + 당기순이익은 과소 계상됩니다. 왜냐하면 매출원가가 더 높아지면 이익은 줄어들기 때문입니다. , 상품재고액을 과대 계상한 경우 매출원가는 + 과대 계상되고, 당기순이익은 과소 계상됩니다. '따라서, 정답은 (A) 입니다. +include: _cot_kmmlu_yaml +task: kmmlu_hard_cot_accounting diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_aviation_engineering_and_maintenance.yaml b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_aviation_engineering_and_maintenance.yaml new file mode 100644 index 0000000000000000000000000000000000000000..f9cd217f7bd10b0c00588538ddc0fe0d7812837b --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_aviation_engineering_and_maintenance.yaml @@ -0,0 +1,88 @@ +dataset_name: aviation_engineering_and_maintenance +doc_to_text: '{{question}} + + A.{{A}} + + B.{{B}} + + C.{{C}} + + D.{{D}} + + 정답: 차근 차근 생각해봅시다. 항공 공학 관련 정보를 위해 위키피디아를 참조하겠습니다.' +fewshot_config: + sampler: first_n + samples: + - A: 추력이 항력보다 크다. + B: 추력과 항력은 같다. + C: 양력이 비행기의 무게보다 크다. + D: 양력이 비행기의 무게보다 작다. + question: '질문: 수평 등속도로 비행하는 항공기에 작용하는 공기력에 대한 설명으로 옳은것은?' + target: 차근 차근 생각해봅시다. 항공 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 항공기가 수평 등속도로 비행하려면 모든 + 힘이 균형을 이루어야 합니다. 이는 뉴턴의 제1법칙, 즉 '힘이 작용하지 않는 물체는 휴면 상태에서 계속 휴면 상태를 유지하거나, 균일한 + 속도로 직선 운동을 계속한다'에 따릅니다. , 항공기가 수평 등속도로 비행하려면 다음 두 가지 조건이 충족되어야 합니다. 1. 추력과 + 항력이 같아야 합니다. 추력은 엔진에서 나오는 힘으로 항공기를 전진시키고, 항력은 항공기가 공기를 통과하면서 겪는 저항입니다. 이 두 힘이 + 균형을 이루어야 항공기는 직선으로 일정한 속도로 비행할 수 있습니다. 2. 양력과 무게가 같아야 합니다. 양력은 항공기의 날개가 생성하는 + 힘으로 위로 작용하고, 무게는 중력으로 아래로 작용합니다. 이 두 힘이 균형을 이루어야 항공기는 수평 비행을 유지할 수 있습니다. 선택지를 + 살펴보면, (A). 추력이 항력보다 크다. - 이 경우, 항공기는 가속하게 됩니다. , 이는 수평 등속도 비행과는 맞지 않습니다. (B). + 추력과 항력은 같다. - 이는 수평 등속도 비행에 필요한 조건 중 하나입니다. (C). 양력이 비행기의 무게보다 크다. - 이 경우, 항공기는 + 상승하게 됩니다. , 이는 수평 등속도 비행과는 맞지 않습니다. (D). 양력이 비행기의 무게보다 작다. - 이 경우, 항공기는 하강하게 + 됩니다. , 이는 수평 등속도 비행과는 맞지 않습니다. 따라서, 정답은 (B) 입니다. + - A: 정지비행 + B: 상승가속비행 + C: 자동회전비행 + D: 전진가속비행 + question: 헬리콥터 비행시 역풍지역이 가장 커지게 되는 비행 상태는? + target: 차근 차근 생각해봅시다. 항공 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 헬리콥터의 비행 상태는 주로 로터의 회전과 + 헬리콥터의 속도에 따라 결정됩니다. 헬리콥터의 역풍지역은 주로 로터 블레이드가 후진하는 영역을 말하며, 이 영역은 헬리콥터의 속도에 크게 + 영향을 받습니다. (A) 정지비행에서는 헬리콥터가 고정된 위치에서 공중에 머무르는 상태를 말합니다. 이 상태에서는 로터 블레이드가 공기를 + 밀어내어 상승력을 생성하며, 헬리콥터는 정지 상태에 있기 때문에 전방으로의 속도는 없습니다. 역풍지역은 상대적으로 작을 것입니다. (B) + 상승가속비행에서는 헬리콥터가 위로 상승하면서 동시에 속도를 높이는 상태를 말합니다. 이 상태에서는 로터 블레이드가 공기를 밀어내어 상승력을 + 생성하고, 동시에 전방으로 가속하면서 속도를 높입니다. 역풍지역은 증가할 것입니다. (C) 자동회전비행에서는 엔진의 동력을 잃었을 때 + 로터 블레이드가 자유회전하면서 헬리콥터를 지탱하는 상태를 말합니다. 이 상태에서는 로터 블레이드의 회전이 공기 저항에 의해 유지되므로 역풍지역은 + 상대적으로 작을 것입니다. (D) 전진가속비행에서는 헬리콥터가 전방으로 속도를 높이는 상태를 말합니다. 이 상태에서는 헬리콥터의 전진 속도가 + 증가하므로, 로터 블레이드가 후진하는 영역인 역풍지역은 더욱 커질 것입니다. 이는 로터 블레이드의 한쪽이 전진하고 다른 한쪽이 후진하면서 + 생기는 디스크의 회전에 따른 현상입니다. 전진가속비행 상태에서 역풍지역이 가장 커질 것으로 예상됩니다. 따라서, 정답은 (D) 입니다. + - A: OPTION < OPTION < OPTION + B: OPTION > OPTION > OPTION + C: OPTION > OPTION > OPTION + D: OPTION = OPTION = OPTION + question: A,B,C 3대의 비행기가 각각 10000m, 5000m, 1000m 의 고도에서 동일한 속도로 비행하고 있다. 각 비행기의 + 마하계가 지시하는 마하수의 크기를 비교한 것으로 옳은 것은? + target: 차근 차근 생각해봅시다. 항공 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 마하수는 속도를 음속으로 나눈 값으로, 비행기의 + 속도를 측정하는 데 사용되는 단위입니다. 그러나 마하수는 고도에 따라 변하게 됩니다. 왜냐하면 대기의 밀도가 고도에 따라 변하기 때문입니다. + 고도가 높아질수록 대기의 밀도가 낮아지고, 음속이 줄어들게 됩니다. 이로 인해 동일한 속도로 비행하는 비행기의 마하수는 고도가 높아질수록 + 커지게 됩니다. 즉, 고도가 높은 A 비행기의 마하수가 가장 크고, 그 다음은 B, 마지막으로 가장 낮은 고도에서 비행하는 C 비행기의 + 마하수가 가장 작을 것입니다. 따라서, 정답은 (B) 입니다. + - A: 양력은 날개 면적에 비례한다. + B: 양력은 유체의 밀도에 비례한다. + C: 양력은 날개의 무게에 비례한다. + D: 양력은 비행기 속도제곱에 비례한다. + question: 비행기 날개의 양력에 관한 설명으로 틀린 것은? + target: '차근 차근 생각해봅시다. 항공 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 양력은 비행기가 하늘을 날 수 있게 + 하는 중요한 힘입니다. 양력은 베르누이의 원리에 기반하여 생성되며, 이는 유체가 빠르게 움직일수록 그 유체의 압력이 낮아지는 원리를 설명합니다. + 이 원리에 따르면, 비행기의 날개는 위쪽 표면(상부)이 아래쪽 표면(하부)보다 길게 설계되어 있어, 공기가 상부를 통과하는데 더 많은 시간이 + 소요됩니다. , 날개 상부의 공기 압력은 날개 하부의 공기 압력보다 낮아지며, 이 차이로 인해 양력이 발생합니다. 이제 선택지를 하나씩 + 살펴보겠습니다. (A) 양력은 날개 면적에 비례한다: 이는 맞는 말입니다. 날개의 면적이 클수록 더 많은 공기를 밀어내고, 더 큰 양력을 + 생성할 수 있습니다. (B) 양력은 유체의 밀도에 비례한다: 이 역시 맞는 말입니다. 유체(여기서는 공기)의 밀도가 높을수록, 날개는 더 + 많은 양력을 생성할 수 있습니다. (D) 양력은 비행기 속도제곱에 비례한다: 이는 맞는 말입니다. 양력은 비행기의 속도에 비례하는 것이 + 아니라, 비행기의 속도 제곱에 비례합니다. 이는 양력 공식 L = 0.5 * Cl * p * V^2 * A에서 알 수 있습니다. 여기서 + L은 양력, Cl은 리프트 계수, p는 공기 밀도, V는 속도, A는 날개 면적입니다. (C) 양력은 날개의 무게에 비례한다: 이는 틀린 + 말입니다. 양력은 비행기의 무게에 직접적으로 비례하지 않습니다. 사실, 양력은 비행기를 공중에 띄우기 위해 반드시 비행기의 무게를 초과해야 + 합니다. , 양력은 날개의 무게에 비례한다는 말은 틀린 말입니다. 따라서, 정답은 (C) 입니다.' + - A: 선회성능을 좋게 하기 위해서 + B: 날개저항을 적게 하기 위해서 + C: 날개끝 실속을 방지하기 위해서 + D: 옆놀이의 안정성 향상을 위해서 + question: 항공기 날개에 쳐든각을 주는 주된 목적은? + target: 차근 차근 생각해봅시다. 항공 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 항공기 날개에 쳐든각을 주는 것을 '날개 트위스트'라고 + 부릅니다. 날개 트위스트는 항공기의 날개가 루트(날개의 가장 안쪽 부분)에서 팁(날개의 가장 바깥쪽 부분)까지 각도가 점차 변하는 것을 + 의미합니다. 이는 주로 항공기의 안정성을 높이기 위해 사용되며, 특히 고속에서의 안정성을 향상시키는 데 도움이 됩니다. 선택지를 보면, + (A) 선회성능을 좋게 하기 위해서는 날개의 트위스트와는 직접적인 관련이 없습니다. 선회성능은 주로 항공기의 조종면과 엔진 출력 등에 의해 + 결정됩니다. (B) 날개저항을 적게 하기 위해서는 트위스트가 직접적으로 영향을 주지 않습니다. 저항은 주로 항공기의 형상, 크기, 속도 + 등에 의해 결정되며, 날개의 트위스트는 이러한 요소들과는 별개의 요소입니다. (C) 날개끝 실속을 방지하기 위해서는 트위스트가 일부 도움이 + 될 수 있지만, 이는 주된 목적이 아닙니다. 날개끝 실속은 주로 날개의 설계와 관련이 있으며, 트위스트는 이를 완전히 방지할 수 없습니다. + (D) 옆놀이의 안정성 향상을 위해서는 트위스트가 중요한 역할을 합니다. 트위스트는 날개 팁 부분의 각도를 조절하여, 항공기가 고속에서도 + 안정적으로 비행할 수 있도록 돕습니다. 따라서, 정답은 (D) 입니다. +include: _cot_kmmlu_yaml +task: kmmlu_hard_cot_aviation_engineering_and_maintenance diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_chemical_engineering.yaml b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_chemical_engineering.yaml new file mode 100644 index 0000000000000000000000000000000000000000..9b7435d3f58e1156f604ba20a96f9392ec3efc7e --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_chemical_engineering.yaml @@ -0,0 +1,90 @@ +dataset_name: chemical_engineering +doc_to_text: '{{question}} + + A.{{A}} + + B.{{B}} + + C.{{C}} + + D.{{D}} + + 정답: 차근 차근 생각해봅시다. 화학 공학 관련 정보를 위해 위키피디아를 참조하겠습니다.' +fewshot_config: + sampler: first_n + samples: + - A: 온도만의 함수이다. + B: 압력만의 함수이다. + C: 압력과 온도의 함수이다. + D: 압력이나 온도의 함수가 아니다. + question: '질문: 이상기체의 내부에너지에 대한 설명으로 옳은 것은?' + target: 차근 차근 생각해봅시다. 화학 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 이상기체의 내부에너지는 이상기체의 성질을 나타내는 + 중요한 요소 중 하나입니다. 이상기체는 기체 분자들 사이의 상호작용을 무시하고 분자들이 차지하는 부피를 무시하는 가정하에 만들어진 기체 + 모델입니다. 이 모델에서 기체의 내부에너지는 온도에만 의존한다고 알려져 있습니다. 선택지 (A)는 이상기체의 내부에너지가 온도만의 함수라는 + 내용으로, 이는 이상기체의 성질을 정확하게 반영하고 있습니다. 이상기체에서는 분자들 사이의 상호작용이 없으므로 압력은 내부에너지에 영향을 + 미치지 않습니다. 선택지 (B)는 이상기체의 내부에너지가 압력만의 함수라는 내용으로, 이는 이상기체의 성질을 잘못 이해한 것입니다. 이상기체에서는 + 분자들 사이의 상호작용이 없으므로 압력은 내부에너지에 영향을 미치지 않습니다. 선택지 (C)는 이상기체의 내부에너지가 압력과 온도의 함수라는 + 내용으로, 이 역시 이상기체의 성질을 잘못 이해한 것입니다. 이상기체에서는 분자들 사이의 상호작용이 없으므로 압력은 내부에너지에 영향을 + 미치지 않습니다. 선택지 (D)는 이상기체의 내부에너지가 압력이나 온도의 함수가 아니라는 내용으로, 이는 이상기체의 성질에 대한 잘못된 + 이해를 반영하고 있습니다. 이상기체의 내부에너지는 온도에만 의존합니다. 따라서, 정답은 (A) 입니다. + - A: 감소 또는 불변 + B: 증가 또는 불변 + C: 불변 + D: 증가와 감소를 반복 + question: 기체가 단열 팽창한다면 엔트로피는 어떻게 되는가? + target: 차근 차근 생각해봅시다. 화학 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 기체의 단열 팽창에 대해 생각해보면, 단열 + 팽창은 외부와의 열 교환 없이 기체가 팽창하는 것을 의미합니다. 이러한 과정에서 기체의 엔트로피는 어떻게 될까요? 먼저 엔트로피의 개념을 + 이해해야 합니다. 엔트로피는 물질의 무질서함을 나타내는 물리량으로, 시스템의 상태가 더 많은 방향으로 분산될 수록 엔트로피는 증가합니다. + 이런 관점에서 보면, 기체가 단열 팽창하면 기체 분자들이 차지하는 공간이 더 커지므로 더 많은 상태를 가질 수 있게 되어 엔트로피가 증가할 + 것입니다. 또한, 열역학의 두 번째 법칙에 따르면, 고립된 시스템의 엔트로피는 항상 증가하거나 일정하게 유지됩니다. 단열 팽창 과정에서는 + 외부와의 열 교환 없이 일어나므로 이 과정을 고립된 시스템으로 볼 수 있습니다. 이 경우 엔트로피는 증가하거나 일정하게 유지될 것입니다. + 이를 바탕으로 선택지를 보면, (B) 증가 또는 불변이 가장 적절한 답변으로 보입니다. 따라서, 정답은 (B) 입니다. + - A: '55' + B: '77' + C: '90' + D: '100' + question: 100기압의 이상기체가 들어 있는 탱크에 수렴노즐(convergent nozzle)을 연결하여 기체를 가장 단시간에 뽑아내려고 + 한다. 제2탱크의 최대 허용압력은 약 몇 기압인가? (단, 비열비는 1.3 이다.) + target: '차근 차근 생각해봅시다. 화학 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 이 문제는 이상기체가 수렴노즐을 통해 빠져나갈 + 때의 허용압력을 묻는 문제입니다. 이를 계산하기 위해서는 수렴노즐을 통해 이상기체가 흐를 때의 기체 동력학에 대한 이해가 필요합니다. 기본적으로, + 이상기체가 수렴노즐을 통해 흐를 때, 노즐의 출구에서의 압력은 주변 압력에 도달할 때까지 계속 감소합니다. 이 때의 압력 감소율은 기체의 + 비열비에 의해 결정됩니다. 문제에서 주어진 비열비는 1.3이므로, 이를 이용하여 계산할 수 있습니다. 이상기체의 동력학에서, 수렴노즐을 + 통해 기체가 흐를 때의 압력비는 다음과 같이 주어집니다: P2/P1 = (2/(n+1))^(n/(n-1)) 여기서 P1은 초기 압력 (100기압), + P2는 최종 압력 (제2탱크의 최대 허용압력), n은 비열비 (1.3)입니다. 이 식을 이용하여 P2를 계산하면 다음과 같습니다: P2 + = P1 * (2/(n+1))^(n/(n-1)) , 계산 결과를 얻기 위해 주어진 값을 대입해보겠습니다. P2 = 100 * (2/(1.3+1))^(1.3/(1.3-1)) + 이를 계산하면, P2의 값은 약 54.6가 나오는데, 이는 선택지 중에서 가장 가까운 55에 해당합니다. 제2탱크의 최대 허용압력은 + 약 55기압이 됩니다. 따라서, 정답은 (A) 입니다.' + - A: 기포점 압력계산으로 P-x-y 선도를 나타낼 수 있다. + B: 기포점 압력 계산 결과에서 기상의 조성선은 직선이다. + C: 성분 1의 조성이 1 일 때의 압력은 성분 1의 증기압이다. + D: 공비점의 형성을 나타낼 수 없다. + question: 성분1과 성분2가 기-액 평형을 이루는 계에 대하여 라울(Raoult)의 법칙을 만족하는 기포점 압력 계산을 수행하였다. + 계산결과에 대한 설명 중 틀린 것은? + target: 차근 차근 생각해봅시다. 화학 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 라울의 법칙에 대해 알아보겠습니다. + 라울의 법칙은 이상 기체에서의 부분 압력을 설명하는 법칙으로, 이는 순수 액체의 증기압과 그 액체의 몰 분율에 비례한다고 합니다. 이를 + 기반으로 각 선택지를 살펴보겠습니다. (A) 기포점 압력계산으로 P-x-y 선도를 나타낼 수 있다. P-x-y 선도는 이성분 혼합물의 기-액 + 평형을 그래프로 나타낸 것입니다. x와 y는 각각 액상과 기상의 몰 분율을, P는 총압을 나타냅니다. 라울의 법칙을 이용하면 이러한 P-x-y + 선도를 그릴 수 있습니다. (B) 기포점 압력 계산 결과에서 기상의 조성선은 직선이다. 라울의 법칙에 따르면, 기상의 조성선은 직선이 아닌 + 곡선 형태를 보입니다. 이 설명은 잘못되었습니다. (C) 성분 1의 조성이 1 일 때의 압력은 성분 1의 증기압이다. 이 설명은 맞습니다. + 라울의 법칙에 따르면, 성분의 조성이 1, 즉 순수한 성분일 때 그 성분의 압력은 그 성분의 증기압과 같습니다. (D) 공비점의 형성을 + 나타낼 수 없다. 공비점은 두 성분이 혼합되어 있을 때, 특정 조건에서 기상과 액상의 조성이 같아지는 점을 말합니다. 라울의 법칙을 이용하면 + 이러한 공비점을 나타낼 수 있습니다. 따라서, 정답은 (B) 입니다. + - A: Q=-11250J, W=0 + B: Q=-15750J, W=0 + C: Q=0, W=-11250J + D: Q=0, W=-15750J + question: 정압열용량 Cp는 7/2R이고 정적열용량 Cv는 5/2R인 1몰의 이상기체가 압력 10bar, 부피 0.05m3에서 압력 + 1bar로 정용과정을 거쳐 변화할 때 기계적인 가역과정으로 가정하면 이 계에 부가된 열량 Q와 이 계가 한 일 W는 각각 얼마인가? + target: 차근 차근 생각해봅시다. 화학 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 이상기체의 정용과정에서는 부피가 일정하므로, + 열량 Q는 계가 한 일 W와 동일하게 됩니다. 이는 열역학의 제1법칙에 따른 것입니다. 이상기체의 정용과정에서 열량 Q는 Cv(T2-T1)이며, + 여기서 Cv는 정적열용량, T1과 T2는 각각 초기와 최종 온도입니다. 이상기체방정식 PV=nRT를 이용하여 초기 온도 T1을 구할 수 + 있습니다. 여기서 P는 압력, V는 부피, n은 몰수, R은 기체상수입니다. 초기 상태에서 압력 P1은 10bar, 부피 V는 0.05m3, + 몰수 n은 1mol, 기체상수 R은 8.314J/(mol·K)입니다. T1 = P1V/nR = (10×10^5 Pa)(0.05m^3)/(1mol)(8.314J/(mol·K)) + = 6015K입니다. 최종 상태에서 압력 P2는 1bar이므로, 이상기체방정식을 이용하여 최종 온도 T2를 구하면, T2 = P2V/nR + = (1×10^5 Pa)(0.05m^3)/(1mol)(8.314J/(mol·K)) = 601.5K입니다. 열량 Q는 Cv(T2-T1) + = (5/2R)(T2-T1) = (5/2)(8.314J/(mol·K))(601.5K - 6015K) = -11250J입니다. 기계적인 가역과정에서 + 이상기체가 한 일 W는 -P1Vln(P2/P1)로 주어지며, 이때 ln은 자연로그를 의미합니다. 여기서 P1은 초기 압력, P2는 최종 + 압력, V는 부피입니다. W = -P1Vln(P2/P1) = -(10×10^5 Pa)(0.05m^3)ln((1×10^5 Pa)/(10×10^5 + Pa)) = 0입니다. 따라서, 정답은 (A) 입니다. +include: _cot_kmmlu_yaml +task: kmmlu_hard_cot_chemical_engineering diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_chemistry.yaml b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_chemistry.yaml new file mode 100644 index 0000000000000000000000000000000000000000..d761f5e22fe4bdf59e2368643c95d092d8067171 --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_chemistry.yaml @@ -0,0 +1,79 @@ +dataset_name: chemistry +doc_to_text: '{{question}} + + A.{{A}} + + B.{{B}} + + C.{{C}} + + D.{{D}} + + 정답: 차근 차근 생각해봅시다. 화학 관련 정보를 위해 위키피디아를 참조하겠습니다.' +fewshot_config: + sampler: first_n + samples: + - A: 0.08N + B: 1N + C: 2N + D: 4N + question: '질문: 수산화나트륨(NaOH) 80g을 물에 녹여 전체 부피가 1000mL가 되게 하였다. 이 용액의 N농도는 얼마인가? + (단, 수산화나트륨의 분자량은 40 이다.)' + target: 차근 차근 생각해봅시다. 화학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, N농도는 몰농도를 의미하는 M농도에 수산화나트륨의 + 이온화 수를 곱한 것입니다. 수산화나트륨(NaOH)의 이온화 수는 1입니다. 물에 녹인 수산화나트륨의 몰농도를 계산해보겠습니다. 몰농도는 + 몰 수를 용액의 부피(L)로 나눈 값입니다. 수산화나트륨의 몰 수는 주어진 물질의 질량을 그 물질의 분자량으로 나눈 값입니다. 여기서 수산화나트륨의 + 질량은 80g, 분자량은 40이므로 몰 수는 80g / 40 = 2mol입니다. 용액의 부피는 1000mL, 즉 1L입니다. 수산화나트륨의 + 몰농도는 몰 수 2mol을 용액의 부피 1L로 나눈 값, 즉 2M입니다. 수산화나트륨의 N농도는 이 몰농도에 이온화 수를 곱한 값이므로, + 2M x 1 = 2N입니다. 따라서, 정답은 (C) 입니다. + - A: 9, 19 + B: 9, 39 + C: 19, 20 + D: 19, 39 + question: 칼륨(K) 원자는 19개의 양성자와 20개의 중성자를 가지고 있다. 원자번호와 질량수는 각각 얼마인가? + target: 차근 차근 생각해봅시다. 화학 관련 정보를 위해 위키피디아를 참조하겠습니다. 원자의 기본 구조를 이해하면 이 질문에 답할 수 + 있습니다. 원자번호는 원자의 핵에 있는 양성자의 수를 나타내며, 이는 원소의 고유한 특성을 결정합니다. , 칼륨(K) 원자가 19개의 + 양성자를 가지고 있다면, 원자번호는 19입니다. 다음으로, 질량수는 원자의 핵에 있는 양성자와 중성자의 총 수를 나타냅니다. 칼륨(K) + 원자가 19개의 양성자와 20개의 중성자를 가지고 있다면, 질량수는 양성자 19개와 중성자 20개를 합친 39입니다. , 칼륨(K) 원자의 + 원자번호는 19이고 질량수는 39입니다. 이를 선택지와 비교하면, (D) 19, 39가 정답입니다. 따라서, 정답은 (D) 입니다. + - A: 일정성분비의 법칙 + B: 배수비례의 법칙 + C: 질량보존의 법칙 + D: 기체반응의 법칙 + question: “어떠한 화학반응이라도 반응물 전체의 질량과 생성물 전체의 질량은 서로 차이가 없고 완전히 같다” 라고 설명할 수 있는 법칙은? + target: '차근 차근 생각해봅시다. 화학 관련 정보를 위해 위키피디아를 참조하겠습니다. 이 질문은 화학의 기본 법칙 중 하나에 대한 것입니다. + 먼저 선택지를 하나씩 살펴보겠습니다. (A) 일정성분비의 법칙: 이 법칙은 특정 화합물을 구성하는 원소들 사이의 질량비가 일정하다는 것을 + 말합니다. 예를 들어, 물은 항상 수소와 산소의 질량비가 1:8로 일정하다는 것입니다. (B) 배수비례의 법칙: 이 법칙은 같은 원소가 + 다른 질량비를 가질 때, 그 비율이 정수배 관계에 있다는 것을 말합니다. 예를 들어, 수소와 산소가 반응하여 물을 만들 때와 수소과산화물을 + 만들 때, 산소의 질량비는 1:2로 배수 관계에 있다는 것입니다. (C) 질량보존의 법칙: 이 법칙은 화학 반응에서 반응물의 총 질량이 + 생성물의 총 질량과 같다는 것을 말합니다. 즉, 어떠한 화학 반응에서도 질량은 보존된다는 것입니다. (D) 기체반응의 법칙: 이 법칙은 + 기체의 부피, 압력, 온도 등에 관한 법칙입니다. 특히, 동일한 조건에서 같은 양의 기체는 동일한 수의 분자를 가진다는 것을 말합니다. + 이렇게 각 선택지를 살펴본 결과, “어떠한 화학반응이라도 반응물 전체의 질량과 생성물 전체의 질량은 서로 차이가 없고 완전히 같다” 라는 + 설명은 질량보존의 법칙에 가장 부합하는 것으로 보입니다. 이 법칙은 화학 반응에서 질량의 변화가 없음을 의미하며, 이는 질문에서 요구하는 + 내용과 일치합니다. 따라서, 정답은 (C) 입니다.' + - A: 금속성 + B: 반지름 + C: 이온화에너지 + D: 녹는점 + question: 할로겐원소의 성질 중 원자번호가 증가할수록 작아지는 것은? + target: '차근 차근 생각해봅시다. 화학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 할로겐 원소는 주기율표의 17족에 속하며, + 플루오린(F), 클로린(Cl), 브로민(Br), 요오드(I), 아스타틴(At) 등이 있습니다. 원자번호가 증가하면서 이들 원소의 성질이 + 어떻게 변하는지 살펴보겠습니다. (A) 금속성: 원자번호가 증가함에 따라 할로겐 원소의 금속성은 증가합니다. 플루오린과 클로린은 비금속이지만, + 아스타틴은 반금속으로 분류되기도 합니다. 원자번호가 증가할수록 금속성은 작아지지 않습니다. (B) 반지름: 원자번호가 증가하면서 원자의 + 껍질이 늘어나기 때문에 원자 반지름은 증가합니다. 원자번호가 증가할수록 반지름은 작아지지 않습니다. (C) 이온화에너지: 이온화 에너지는 + 원자의 전자를 떼어내는 데 필요한 에너지를 말합니다. 원자번호가 증가하면 원자 반지름이 커지고, 이에 따라 전자와 핵 사이의 거리가 멀어져 + 이온화 에너지가 줄어듭니다. 원자번호가 증가할수록 이온화 에너지는 작아집니다. (D) 녹는점: 할로겐 원소의 녹는점은 원자번호가 증가함에 + 따라 일반적으로 증가하는 경향이 있습니다. 플루오린의 녹는점은 -219.67℃, 클로린은 -101.5℃, 브로민은 -7.2℃, 요오드는 + 113.7℃입니다. 원자번호가 증가할수록 녹는점은 작아지지 않습니다. 따라서, 정답은 (C) 입니다.' + - A: 0.5 M + B: 1 M + C: 1.5 M + D: 2 M + question: 황산 49g을 물에 녹여 용액 1L을 만들었다. 이 수용액의 물 농도는 얼마인가? (단, 황산의 분자량은 98이다.) + target: 차근 차근 생각해봅시다. 화학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 농도의 정의를 알아야 합니다. 농도는 용액의 + 단위 부피당 용질의 양을 의미합니다. 일반적으로 몰/리터(M) 단위로 표현합니다. 그리고 몰은 물질의 양을 나타내는 SI 단위로, 1몰은 + 6.02214076×10^23개의 입자를 가지고 있습니다. 이는 아보가드로 수라고 불리는 값입니다. 이 문제에서는 황산의 몰 수를 구하고 + 이를 용액의 부피인 1L로 나눠주면 됩니다. 황산의 몰 수는 주어진 황산의 질량을 황산의 분자량으로 나눠주면 됩니다. 황산의 질량은 49g이고, + 황산의 분자량은 98g/mol입니다. 황산의 몰 수는 49g ÷ 98g/mol = 0.5mol입니다. 이 수용액의 물 농도는 0.5mol/1L + = 0.5M입니다. 따라서, 정답은 (A) 입니다. +include: _cot_kmmlu_yaml +task: kmmlu_hard_cot_chemistry diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_criminal_law.yaml b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_criminal_law.yaml new file mode 100644 index 0000000000000000000000000000000000000000..fa46f0f45b53373330abe4c26a7b7018e00efb19 --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_criminal_law.yaml @@ -0,0 +1,109 @@ +dataset_name: criminal_law +doc_to_text: '{{question}} + + A.{{A}} + + B.{{B}} + + C.{{C}} + + D.{{D}} + + 정답: 차근 차근 생각해봅시다. 형법 관련 정보를 위해 위키피디아를 참조하겠습니다.' +fewshot_config: + sampler: first_n + samples: + - A: 심 신장애는 생물학적 요소 외에 심리학적 요소로서 정신병 또는 비정상적 정신 상태와 같은 정신적 장애로 말 미암아 사물에 대한 변별 능력과 + 그에 따른 행위 통제능력이 결여되거나 감소되었음을 요한다. + B: 심 신장애인의 행위인지 여부는 전문가의 감정, 그 행위의 전 후 사정이나 기록에 나타난 제반 자료를 종합하여 인정하되 , 공판정 에서의 + 피고인의 태도를 고려하여서는 안 된다. + C: 성적 측면에서의 성격적 결함에 따른 소아기 호증은 그 증상이 심각하여 원래의 의 미의 정신병이 있는 사람과 동 등하다고 평가할 수 있더라도 + 심신장애를 인정할 여지는 없다. + D: 위험의 발생을 예견할 수 있었는데도 자의로 심신장애를 야기한 경우는 원인에 있어서 자유로운 행위에 관한 형 법 제10조 제3항의 적용 + 대상이 아니다. + question: '질문: 책임능력에 대한 설명으로 옳은 것은?' + target: 차근 차근 생각해봅시다. 형법 관련 정보를 위해 위키피디아를 참조하겠습니다. (A) 책임능력은 행위자가 자신의 행위의 결과를 + 인식하고 그에 대한 책임을 질 수 있는 능력을 말합니다. 이는 생물학적 요소와 심리학적 요소로 구성됩니다. 생물학적 요소는 신체적 또는 + 정신적 질환이나 장애를 의미하며, 심리학적 요소는 사물에 대한 변별 능력과 그에 따른 행위 통제능력을 의미합니다. 사물에 대한 변별 능력은 + 행위의 옳고 그름을 판단할 수 있는 능력을 말합니다. 행위 통제능력은 자신의 행동을 통제할 수 있는 능력을 말합니다. 이러한 능력이 결여되거나 + 감소된 경우에는 책임능력이 없다고 판단됩니다. (B)는 공판정에서의 피고인의 태도를 고려하지 않는다는 부분이 옳지 않습니다. 피고인의 태도는 + 책임능력을 판단하는 데 중요한 요소 중 하나입니다. (C)는 성적 측면에서의 성격적 결함에 따른 소아기호증은 심신장애를 인정할 여지가 있다는 + 것이 최근 대법원 판례의 입장입니다. 옳지 않습니다. (D)는 위험의 발생을 예견할 수 있었는데도 자의로 심신장애를 야기한 경우는 원인에 + 있어서 자유로운 행위에 관한 형법 제10조 제3항의 적용 대상이 됩니다. 옳지 않습니다. 따라서, 정답은 (A) 입니다. + - A: 형기에 산입된 판결 선고 전 구금의 일수는 가석방에 있어서 집행을 경과한 기간에 산입하지 아니한다. + B: 가석방의 기간은 무기형에 있어서는 20년으로 하고, 유기형에 있어서는 남은 형기로 하되, 그 기간은 10년을 초과할 수 없다. + C: 징역 또는 금고의 집행 중에 있는 자가 그 행상이 양호하여 개전의 정이 현저한 때에는 무기에 있어서는 10년, 유기에 있어서는 형기의 + 2분의 1을 경과한 후 행정처분으로 가석방을 할 수 있다. + D: 가석방의 처분을 받은 자가감시에 관한 규칙을 위배하거나, 보호관찰의 준수사항을 위반하고 그 정도가 무거운 때에는 가석방 처분을 취소할 + 수 있다. + question: 형법상 가석방 제도에 대한 설명으로 옳은 것은? + target: 차근 차근 생각해봅시다. 형법 관련 정보를 위해 위키피디아를 참조하겠습니다. (A) 형법 제57조 제1항에 따르면, 형기에 산입된 + 판결 선고 전 구금의 일수는 가석방에 있어서 집행을 경과한 기간에 산입한다고 명시되어 있습니다. (A)는 옳지 않습니다. (B) 형법 + 제73조의2에 따르면, 가석방의 기간은 무기형에 있어서는 10년으로 하고, 유기형에 있어서는 남은 형기로 하되, 그 기간은 10년을 초과할 + 수 없다고 명시되어 있습니다. (B)는 옳지 않습니다. (C) 형법 제72조 제1항에 따르면, 징역 또는 금고의 집행 중에 있는 자가 + 그 행상이 양호하여 개전의 정이 현저한 때에는 무기에 있어서는 10년, 유기에 있어서는 형기의 3분의 1을 경과한 후 행정처분으로 가석방을 + 할 수 있다고 명시되어 있습니다. (C)는 옳지 않습니다. (D) 형법 제75조에 따르면, 가석방의 처분을 받은 자가 감시에 관한 규칙을 + 위배하거나, 보호관찰의 준수사항을 위반하고 그 정도가 무거운 때에는 가석방 처분을 취소할 수 있다고 명시되어 있습니다. (D)는 옳은 + 설명입니다. 따라서, 정답은 (D) 입니다. + - A: 범죄 후 법률의 개정에 의하여 법정형이 가 벼워진 경우에는 형법 제1조 제2항에 의하여 당해 범죄 사실에 적용될 가벼운 법정형인 신법의 + 법정형이 공소시효 기간의 기준이 된다. + B: 1개의 행위가 형법 상 사기죄와 변호사법 위반죄에 해당하고 양 죄가 상상적 경합 관계에 있는 경우, 변호사법 위반죄의 공소시효가 완성되었다면 + 사기죄의 공소시효도 완성된 것으로 보아야 한다. + C: 공범의 1인으로 기소된 자가 범죄의 증명이 없다는 이유로 무죄의 확정 판결을 선 고 받은 경우, 그는 공범이라고 할 수 없으므로 그에 + 대하여 제기된 공소는 진범에 대한 공소시효를 정 지시키는 효력이 없다. + D: 공범의 1인에 대한 공소시효 정지는 다른 공범자에게 대하여 그 효력이 미치는데 , 여기의 ‘공범’에는 뇌물공여죄와 뇌물수수죄 사이와 같은 + 대 향범 관계에 있는 자는 포함되지 않는다 . + question: 공소시효에 대한 설명으로 옳지 않은 것은? + target: 차근 차근 생각해봅시다. 형법 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저 각 선택지가 어떤 내용을 담고 있는지 확인해봅시다. + (A)는 범죄 후 법률의 개정에 따라 법정형이 가벼워진 경우, 가벼운 법정형의 신법이 공소시효 기간의 기준이 된다는 내용입니다. 형법 제1조 + 제2항에 따르면, 범죄를 저지른 후 법률이 변경되어 처벌이 가벼워진 경우에는 그 가벼운 처벌을 적용해야 한다는 내용이므로 이는 맞는 내용입니다. + (B)는 1개의 행위가 사기죄와 변호사법 위반죄에 해당하며, 두 죄가 상상적 경합 관계에 있는 경우, 변호사법 위반죄의 공소시효가 완성되면 + 사기죄의 공소시효도 완성된다는 내용입니다. 상상적 경합이란 하나의 행위로 여러 죄가 동시에 성립하는 경우를 말합니다. 그러나 각각의 죄는 + 독립적으로 공소시효가 적용되므로, 한 죄의 공소시효가 완성되었다고 해서 다른 죄의 공소시효가 완성되는 것은 아닙니다. (C)는 공범에 대한 + 공소시효에 대한 내용입니다. 이 내용은 공범이 무죄 판결을 받은 경우, 그 공범에 대한 공소가 다른 진범에 대한 공소시효를 정지시키지 않는다는 + 내용입니다. 이는 형법의 공소시효에 대한 일반적인 원칙과 일치합니다. 공범이 무죄 판결을 받았다면, 그는 법적으로 공범이 아니므로 그에 + 대한 공소가 다른 진범에 대한 공소시효를 정지시키는 효력은 없습니다. (D)는 공범 중 한 명에 대한 공소시효 정지가 다른 공범에게 그 + 효력이 미치지만, 뇌물공여죄와 뇌물수수죄 사이와 같은 대향범 관계에 있는 자는 포함되지 않는다는 내용입니다. 이는 맞는 내용입니다. 대향범 + 관계는 한 죄를 저지른 자와 그 죄를 교사하거나 선동한 자 등이 서로 다른 죄를 저지른 관계를 말하며, 이 경우 각각의 죄는 독립적으로 + 공소시효가 적용됩니다. 따라서, 정답은 (B) 입니다. + - A: 피고인이 공소 기각의 판결에 대하여 무죄를 주장하며 상소하는 것은 상소 이익이 없으므로 허용되지 않는다 . + B: 상고심 판결의 파기 이유가 된 사실상의 판단은 당해 사건의 하급심에 대하여 기 속력을 가지며 , 이 경우에 파기 판결의 기 속력은 파기의 + 직접 이유가 된 원 심판결에 대한 소극적인 부정 판단에 한하여 생긴 다 . + C: 피고인이 제1심 판결에 대하여 양형 부당만을 항소이유로 내세워 항소하였다가 기각된 경우, 피고인은 그 항소심 판결에 대하여 사실 오인 + 또는 법리 오해의 위법이 있다는 것을 상고 이유로 삼을 수 없다. + D: 법률의 해석 ㆍ 적용을 그르친 나머지 피고인을 유죄로 잘못 인정한 항소심 판결에 대하여 검사만이 다른 사유를 들어 상고를 제기하였고 검사의 + 상고가 피고인의 이익을 위하여 제기된 것이 아님이 명백한 경우라면 , 상고법원은 직권으로 심판하여 무죄의 취지로 항소심 판결을 파기할 수 + 없다. + question: 상소심에 대한 설명으로 옳지 않은 것은? + target: 차근 차근 생각해봅시다. 형법 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저 각 선택지를 하나씩 살펴보겠습니다. (A)는 + 피고인이 공소 기각의 판결에 대해 무죄를 주장하며 상소하는 것은 상소 이익이 없으므로 허용되지 않는다는 내용입니다. 이는 피고인이 이미 + 공소 기각, 즉 무죄 판결을 받았음에도 무죄를 주장하며 상소하는 것은 실질적인 이익이 없으므로 상소가 허용되지 않는다는 법리를 설명하고 + 있습니다. 이는 법적으로 옳은 설명입니다. (B)는 상고심 판결의 파기 이유가 된 사실상의 판단은 당해 사건의 하급심에 대하여 기 속력을 + 가지며, 이 경우에 파기 판결의 기 속력은 파기의 직접 이유가 된 원 심판결에 대한 소극적인 부정 판단에 한하여 생긴다는 내용입니다. 이는 + 상고심 판결의 파기 이유가 된 사실 판단이 하급심에 대한 기속력을 가진다는 법리를 설명하고 있으며, 이는 법적으로 옳은 설명입니다. (C)는 + 피고인이 제1심 판결에 대하여 양형 부당만을 항소이유로 내세워 항소하였다가 기각된 경우, 피고인은 그 항소심 판결에 대하여 사실 오인 또는 + 법리 오해의 위법이 있다는 것을 상고 이유로 삼을 수 없다는 내용입니다. 이는 피고인이 양형 부당만을 항소이유로 내세웠다가 기각된 경우, + 그 항소심 판결에 대해 새로운 상고 이유를 제시할 수 없다는 법리를 설명하고 있습니다. 이 역시 법적으로 옳은 설명입니다. (D)는 법률의 + 해석ㆍ적용을 그르친 나머지 피고인을 유죄로 잘못 인정한 항소심 판결에 대하여 검사만이 다른 사유를 들어 상고를 제기하였고 검사의 상고가 + 피고인의 이익을 위하여 제기된 것이 아님이 명백한 경우라면, 상고법원은 직권으로 심판하여 무죄의 취지로 항소심 판결을 파기할 수 없다는 + 내용입니다. 하지만, 법률의 해석ㆍ적용을 그르친 나머지 피고인을 유죄로 잘못 인정한 경우라면, 상고법원은 검사의 상고가 피고인의 이익을 + 위하여 제기된 것이 아님에도 불구하고 직권으로 심판하여 무죄의 취지로 항소심 판결을 파기할 수 있습니다. 이 선택지는 잘못된 설명입니다. + 따라서, 정답은 (D) 입니다. + - A: 범죄 후 법률의 변경이 있더라도 형의 변경이 없는 경우에는 형법 제1조 제1항에 따라 행위 시법을 적용해야 한다. + B: 형의 경중의 비교는 원칙적으로 법정형을 표준으로 하고, 처단형이나 선고형에 의할 것은 아니다 . + C: 범죄 후 형벌법규의 위임을 받은 법령의 변경에 따라 범죄를 구성하지 아니하게 된 경우, 종전 법령이 범죄로 정하여 처벌한 것이 부당하였다는 + 반성적 고려에 따라 변경된 경우에 한하여 형 법 제1조 제2항이 적용된 다 . + D: 행위 시 양벌규정에는 법인에 대한 면책 규정이 없었으나 법률 개정으로 면책 규정이 추가된 경우, 법원은 형법 제1조 제2항에 따라 피고인에게 + 개정된 양벌규정을 적용해야 한다. + question: 형법 제1조 제2항에 대한 설명으로 옳지 않은 것은? + target: 차근 차근 생각해봅시다. 형법 관련 정보를 위해 위키피디아를 참조하겠습니다. 형법 제1조 제2항에 따르면, 범죄 후 법률의 변경에 + 의하여 그 행위가 범죄를 구성하지 아니하거나 형이 구법보다 경한 때에는 신법에 의한다고 규정하고 있습니다. 즉, 법률이 변경된 경우에는 + 그 변경된 법률을 적용해야 한다는 것입니다. (A)는 옳은 설명입니다. 범죄 후 법률의 변경이 있더라도 형의 변경이 없는 경우에는 형법 + 제1조 제1항에 따라 행위 시법을 적용해야 합니다. (B)는 옳은 설명입니다. 형의 경중의 비교는 원칙적으로 법정형을 표준으로 하고, 처단형이나 + 선고형에 의할 것은 아닙니다. (D)는 옳은 설명입니다. 행위 시 양벌규정에는 법인에 대한 면책 규정이 없었으나 법률 개정으로 면책 규정이 + 추가된 경우, 법원은 형법 제1조 제2항에 따라 피고인에게 개정된 양벌규정을 적용해야 합니다. (C)는 옳지 않은 설명입니다. 범죄 후 + 형벌법규의 위임을 받은 법령의 변경에 따라 범죄를 구성하지 아니하게 된 경우, 종전 법령이 범죄로 정하여 처벌한 것이 부당하였다는 반성적 + 고려에 따라 변경된 경우에 형법 제1조 제2항이 적용되는 것은 맞지만, 법령의 변경이 있더라도 그것이 반성적 고려에서 비롯된 것이 아니라면 + 형법 제1조 제2항이 적용되지 않습니다. 따라서, 정답은 (C) 입니다. +include: _cot_kmmlu_yaml +task: kmmlu_hard_cot_criminal_law diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_ecology.yaml b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_ecology.yaml new file mode 100644 index 0000000000000000000000000000000000000000..0da8a9a7343e474e25abc7b0f12c4ffcc6f0a333 --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_ecology.yaml @@ -0,0 +1,91 @@ +dataset_name: ecology +doc_to_text: '{{question}} + + A.{{A}} + + B.{{B}} + + C.{{C}} + + D.{{D}} + + 정답: 차근 차근 생각해봅시다. 생태학 관련 정보를 위해 위키피디아를 참조하겠습니다.' +fewshot_config: + sampler: first_n + samples: + - A: 대기권에서 탄소는 주로 OPTIONO2, OPTIONO의 형태로 존재한다. + B: 생물체가 죽으면 미생물에 의하여 분해되어 유기태탄 소로 돌아간다. + C: 지구에서 탄소를 가장 많이 보유하고 있는 부분은 산림이다. + D: 녹색식물에 의하여 유기태탄소가 무기태탄소로 전환 된다. + question: '질문: 탄소순환에 관한 설명으로 옳은 것은?' + target: 차근 차근 생각해봅시다. 생태학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저 각 선택지에 대해 하나씩 살펴보겠습니다. + (A) 대기권에서 탄소는 주로 CO2, CO의 형태로 존재한다. - 이 설명은 맞습니다. 대기권에서 탄소는 주로 이산화탄소(CO2)와 일산화탄소(CO)의 + 형태로 존재합니다. (B) 생물체가 죽으면 미생물에 의하여 분해되어 유기태탄 소로 돌아간다. - 이 설명도 맞습니다. 생물체가 죽으면 미생물에 + 의해 분해되어 다시 유기 탄소로 변환됩니다. (C) 지구에서 탄소를 가장 많이 보유하고 있는 부분은 산림이다. - 이 설명은 틀린 것 같습니다. + 지구에서 가장 많은 탄소를 보유하고 있는 곳은 바다입니다. 바다는 지구 상에서 가장 큰 탄소 저장고로, 해양 생물체와 해양 퇴적물에 의해 + 대량의 탄소가 저장됩니다. (D) 녹색식물에 의하여 유기태탄소가 무기태탄소로 전환 된다. - 이 설명은 틀립니다. 실제로는 녹색 식물이 + 무기 탄소를 유기 탄소로 전환합니다. 이 과정은 광합성을 통해 이루어지며, 이 때 탄소는 대기 중의 이산화탄소에서 녹색 식물의 유기물로 + 전환됩니다. , 정확한 설명은 (A) 대기권에서 탄소는 주로 CO2, CO의 형태로 존재한다와 (B) 생물체가 죽으면 미생물에 의하여 + 분해되어 유기태탄 소로 돌아간다입니다. 그러나 이 중 하나만 선택해야 한다면, (A) 대기권에서 탄소는 주로 CO2, CO의 형태로 존재한다가 + 탄소순환에 대한 가장 기본적인 사실을 설명하고 있으므로 이를 선택하겠습니다. 따라서, 정답은 (A) 입니다. + - A: 오존 + B: 이산화탄소 + C: 프레온가스 + D: 양성자 α선 + question: 지표면으로부터 10-45km의 성층권에 존재하며 태양 으로부터 오는 자외선의 99%이상을 차단하여 피부암과 백내장 등의 발생을 + 막아주는 역할을 하는 물질은? + target: 차근 차근 생각해봅시다. 생태학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저 질문에서 주어진 정보를 확인해보겠습니다. + 질문에서는 '지표면으로부터 10-45km의 성층권에 존재하며 태양으로부터 오는 자외선의 99% 이상을 차단하여 피부암과 백내장 등의 발생을 + 막아주는 역할을 하는 물질'에 대해 묻고 있습니다. (A) 오존에 대해 생각해보면, 오존은 대기 중에 존재하며 자외선을 차단하는 역할을 + 하는 것으로 알려져 있습니다. 오존층은 지구 대기권 중에서 성층권에 위치해 있으며, 태양으로부터 오는 자외선 중 유해한 자외선 B를 흡수해줍니다. + (B) 이산화탄소는 지구 대기 중에 존재하는 주요 온실가스 중 하나이지만, 자외선을 차단하는 역할에 대해서는 특별히 언급되지 않습니다. + (C) 프레온가스는 냉장고나 에어컨 등에 사용되는 냉매로, 오존층 파괴에 기여하는 것으로 알려져 있습니다. 이 물질 자체가 자외선을 차단하는 + 역할을 하는 것은 아닙니다. (D) 양성자 α선은 방사선의 일종으로, 이 물질이 자외선을 차단하는 역할을 하는 것은 아닙니다. , 위의 + 정보를 바탕으로 볼 때, 성층권에 존재하며 태양으로부터 오는 자외선의 99% 이상을 차단하여 피부암과 백내장 등의 발생을 막아주는 역할을 + 하는 물질은 오존입니다. 따라서, 정답은 (A) 입니다. + - A: 편리공생 + B: 상리공생 + C: 편해공생 + D: 자원이용 + question: 콩과식물과 뿌리혹박테리아와 같이 두 종의 생물이 서로 상호작용하며 이익을 주고받는 관계를 의미하는 용어는? + target: 차근 차근 생각해봅시다. 생태학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 질문에서 언급된 콩과식물과 뿌리혹박테리아의 + 관계를 생각해보겠습니다. 이 두 종의 생물이 서로 상호작용하며 이익을 주고받는 관계라는 점이 중요한 힌트입니다. 이런 관계를 일반적으로 + 공생관계라고 부릅니다. (A). 편리공생은 한 종이 다른 종에 의해 이익을 받는 반면, 다른 종에게는 특별한 영향을 미치지 않는 관계를 + 의미합니다. , 이 용어는 두 종 모두가 이익을 얻는 상황을 설명하지 않습니다. (B). 상리공생은 두 종이 서로 이익을 주고받는 관계를 + 의미합니다. 이 용어는 콩과식물과 뿌리혹박테리아의 관계를 잘 설명하는 것 같습니다. (C). 편해공생은 한 종이 다른 종에게 해를 끼치는 + 반면, 다른 종에게는 특별한 영향을 미치지 않는 관계를 의미합니다. , 이 용어는 두 종 모두가 이익을 얻는 상황을 설명하지 않습니다. + (D). 자원이용은 생물이 자신의 생존과 번식을 위해 주변 환경의 자원을 이용하는 행동을 의미합니다. 이 용어는 공생관계를 설명하는 것이 + 아니라, 생물의 일반적인 행동을 설명하는 용어입니다. , 콩과식물과 뿌리혹박테리아의 관계를 가장 잘 설명하는 용어는 '상리공생'입니다. + '상리공생'은 두 종이 서로 이익을 주고받는 관계를 의미하므로, 이 용어가 이 질문의 정답일 것입니다. 따라서, 정답은 (B) 입니다. + - A: 골연화증 + B: 미나마타병 + C: 피부흑색병 + D: 이따이이따이병 + question: 수은(Hg)을 함유하는 폐수가 방류되어 오염된 바다에서 잡은 어패류를 섭취함으로서 발생하는 병은? + target: 차근 차근 생각해봅시다. 생태학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 수은(Hg)은 무거운 금속 중 하나로, + 인체에 치명적인 독성을 가지고 있습니다. 그리고 어패류를 통해 인체에 들어오는 경우가 많습니다. 이에 대한 정보를 바탕으로 각 선택지를 + 살펴보겠습니다. (A) 골연화증은 뼈가 약해지는 병으로, 일반적으로 고령화, 비타민 D 결핍, 칼슘 결핍 등으로 인해 발생합니다. 수은 + 오염과는 직접적인 관련성이 없습니다. (B) 미나마타병은 1950년대 일본 미나마타시에서 처음 발생한 병으로, 수은 중독에 의해 발생하는 + 것으로 알려져 있습니다. 당시, 미나마타 시의 쿠니스토 가공 공장에서 아크릴아미드를 생산하는 과정에서 발생한 수은이 하수와 함께 바다로 + 유입되었고, 이로 인해 바다 생태계가 오염되었습니다. 이렇게 오염된 바다에서 잡은 어패류를 섭취한 주민들이 미나마타병이라는 심각한 수은 + 중독 증상을 보였습니다. (C) 피부흑색병은 피부에 색소 침착이 일어나 피부가 검게 변하는 병으로, 일반적으로 피부에 직접적인 손상이나 + 특정 약물, 호르몬 불균형 등으로 인해 발생합니다. 수은 오염과는 직접적인 관련성이 없습니다. (D) 이따이이따이병은 실제로 존재하지 않는 + 병입니다. , 수은을 함유하는 폐수가 방류되어 오염된 바다에서 잡은 어패류를 섭취함으로서 발생하는 병은 미나마타병이라 할 수 있습니다. + 따라서, 정답은 (B) 입니다. + - A: 미량원소에는 몰리브덴, 망간, 철 등이 있다. + B: 생물계 안에는 탄소, 질소, 아연, 코발트와 같은 다량 원소가 있다. + C: 유기물질은 토성 및 물과 무기염류들의 보유력을 증진시킨다. + D: 다량원소들은 주로 유기체들이 직접 이용할 수 있는 이산화탄소, 물과 같은 간단한 화합물로 존재한다. + question: 생태계의 구성요소에 관한 설명으로 틀린 것은? + target: 차근 차근 생각해봅시다. 생태학 관련 정보를 위해 위키피디아를 참조하겠습니다. 생태계의 구성요소에 대한 설명을 확인해보겠습니다. + (A) 옵션은 미량원소에 몰리브덴, 망간, 철 등이 있다고 말하고 있습니다. 미량원소는 생물체가 생존하고 성장하는데 필요한 원소 중에서 + 그 양이 매우 적은 것을 말합니다. 몰리브덴, 망간, 철은 실제로 미량원소로 분류되므로 이 설명은 올바릅니다. (B) 옵션은 생물계 안에는 + 탄소, 질소, 아연, 코발트와 같은 다량 원소가 있다고 말하고 있습니다. 다량원소는 생물체가 생존하고 성장하는데 필요한 원소 중에서 그 + 양이 많은 것을 말합니다. 탄소와 질소는 확실히 다량원소로 분류되지만, 아연과 코발트는 일반적으로 미량원소로 분류됩니다. 이 설명에는 + 문제가 있어 보입니다. (C) 옵션은 유기물질이 토성 및 물과 무기염류들의 보유력을 증진시킨다고 말하고 있습니다. 유기물질은 토양의 물 + 분포, 구조, 영양소 보유력 등에 중요한 역할을 합니다. 이 설명은 올바릅니다. (D) 옵션은 다량원소들이 주로 유기체들이 직접 이용할 + 수 있는 이산화탄소, 물과 같은 간단한 화합물로 존재한다고 말하고 있습니다. 이는 사실입니다. 예를 들어, 탄소는 이산화탄소의 형태로, + 질소는 질소 가스나 암모니아의 형태로 존재합니다. , 위의 분석에 따르면, (B) 옵션의 설명이 잘못되었습니다. 아연과 코발트는 일반적으로 + 미량원소로 분류되지만, 이 설명에서는 그들을 다량 원소로 잘못 분류하고 있습니다. 따라서, 정답은 (B) 입니다. +include: _cot_kmmlu_yaml +task: kmmlu_hard_cot_ecology diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_economics.yaml b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_economics.yaml new file mode 100644 index 0000000000000000000000000000000000000000..baaa3bd98027fa8a49218c05f68e4373f5741145 --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_economics.yaml @@ -0,0 +1,90 @@ +dataset_name: economics +doc_to_text: '{{question}} + + A.{{A}} + + B.{{B}} + + C.{{C}} + + D.{{D}} + + 정답: 차근 차근 생각해봅시다. 경제학 관련 정보를 위해 위키피디아를 참조하겠습니다.' +fewshot_config: + sampler: first_n + samples: + - A: 기간별 보고 + B: 목적적합성 + C: 화폐단위의 안정 + D: 신뢰성 + question: '질문: 기업실체의 이해 관계자가 유용한 의사결정을 하기 위해서는 적시성 있는 정보가 필요하다. 이러한 정보수요를 충족시키기 + 위하여 기업 실체의 존속기간을 일정한 기간 단위로 분할하여 재무제표를 작성하는 기본가정은 무엇인가?' + target: 차근 차근 생각해봅시다. 경제학 관련 정보를 위해 위키피디아를 참조하겠습니다. 기업실체의 이해 관계자가 유용한 의사결정을 하기 + 위해서는 적시성 있는 정보가 필요하다는 말은 기업의 재무 상황에 대한 정보가 시간적으로 지연 없이 제공되어야 한다는 것을 의미합니다. 이를 + 위해 기업 실체의 존속기간을 일정한 기간 단위로 분할하여 재무제표를 작성하는 기본가정을 찾아야 합니다. (A) 기간별 보고는 기업의 존속기간을 + 일정한 기간으로 분할하여 재무제표를 작성하고 이를 이해관계자에게 보고해야 한다는 원칙을 의미합니다. 이 원칙은 적시성 있는 정보 제공을 + 보장하며, 이해관계자가 유용한 의사결정을 할 수 있도록 돕습니다. , 기업실체의 존속기간을 일정한 기간 단위로 분할하여 재무제표를 작성하는 + 기본가정은 '기간별 보고'가 가장 적합하다고 볼 수 있습니다. (B) 목적적합성은 재무정보가 특정 목적에 적합해야 한다는 원칙을 의미합니다. + 이 원칙은 재무정보가 의사결정에 도움이 되기 위해 필요하지만, 이 경우에는 적시성과 직접적인 연관성이 없습니다. (C) 화폐단위의 안정은 + 재무정보가 안정된 화폐 단위로 표시되어야 한다는 원칙을 의미합니다. 이 원칙은 재무제표의 비교 가능성을 보장하지만, 이 경우에는 적시성과 + 직접적인 연관성이 없습니다. (D) 신뢰성은 재무정보가 정확하고 오류가 없어야 한다는 원칙을 의미합니다. 이 원칙은 재무제표가 신뢰성을 + 가질 때만 의사결정에 도움이 되지만, 이 경우에는 적시성에 직접적으로 관련되어 있지 않습니다. 따라서, 정답은 (A) 입니다. + - A: 감가상각이란 감가상각대상금액을 내용연수에 걸쳐 합리적이고 체계적으로 배분하는 것을 말한다. + B: 감가상각대상금액은 취득원가에서 잔존가치를 차감한 금액으로 한다. + C: 정액법은 유형자산의 내용연수 동안 일정액의 감가상각액을 인식하는 방법이다. + D: 정률법을 적용하면 내용연수 초기보다 후기에 감가상각비를 더 많이 인식하게 된다. + question: 유형자산의 감가상각에 대한 설명으로 옳은 않은 것은? + target: 차근 차근 생각해봅시다. 경제학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저 각 선택지에 대한 내용을 확인해봅시다. (A) + 선택지는 감가상각에 대한 일반적인 정의를 제공합니다. 감가상각이란 기업이 자산을 사용함에 따라 그 가치가 감소하는 것을 회계적으로 반영하는 + 것을 말합니다. 이는 자산의 사용기간 동안 체계적이고 합리적인 방식으로 이루어집니다. 이 선택지는 옳습니다. (B) 선택지는 감가상각 + 대상 금액에 대해 설명하고 있습니다. 감가상각 대상 금액은 일반적으로 자산의 취득원가에서 잔존가치를 뺀 금액입니다. 잔존가치는 자산의 사용기간이 + 끝난 후에도 여전히 가지고 있는 가치를 의미합니다. 이 선택지도 옳습니다. (C) 선택지는 정액법에 대해 설명하고 있습니다. 정액법은 + 감가상각의 한 방법으로, 이는 각 회계기간 동안 일정한 금액의 감가상각비를 인식하는 방법입니다. 이 선택지도 옳습니다. (D) 선택지는 + 정률법에 대해 설명하고 있습니다. 정률법은 감가상각의 한 방법으로, 자산의 장부가치에 일정한 비율을 적용하여 감가상각비를 계산하는 방법입니다. + 이 방법을 사용하면, 사용기간이 길어질수록 감가상각비가 감소하게 됩니다. 이는 정률법이 장부가치(취득원가에서 누적 감가상각비를 뺀 금액)에 + 기반하기 때문입니다. , 이 선택지는 옳지 않습니다. 따라서, 정답은 (D) 입니다. + - A: 장기외상매출금 + B: 구축물 + C: 임대보증금 + D: 임차보증금 + question: (주)한공은 (주)서울 소유의 건물을 3년간 사용하기로 하는 전세계약을 체결하고, 전세금 10,000,000원을 지급하였다. + (주)한공은 전세금 10,000,000원을 비유동자산 중 어떤 계정과목으로 표시하여야 하는가? + target: 차근 차근 생각해봅시다. 경제학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 전세계약이란 임차인이 일정 기간 동안 건물 + 등을 사용할 권리를 얻기 위해 임대인에게 일정 금액을 지급하는 계약을 말합니다. 여기서 (주)한공은 임차인의 입장이며, (주)서울은 임대인의 + 입장입니다. 다음으로, 전세금은 임차인이 임대인에게 건물 등을 사용할 권리를 얻기 위해 지급하는 금액을 말합니다. 이 금액은 임차인인 + (주)한공이 임대인인 (주)서울에게 지급한 금액이므로, 이는 (주)한공의 비유동자산 중 하나로 간주될 수 있습니다. 선택지를 보면, (A) + 장기외상매출금, (B) 구축물, (C) 임대보증금, (D) 임차보증금이 있습니다. (A) 장기외상매출금은 장기적으로 회수가 예정된 매출금을 + 말하며, 이는 (주)한공이 전세금을 지급한 상황과는 관련이 없습니다. (B) 구축물은 (주)한공이 직접 건물을 건설하거나 개선하는 경우에 + 해당되므로, 이 역시 전세금을 지급한 상황과는 관련이 없습니다. (C) 임대보증금은 임대인이 임차인에게 보증금을 지급하는 경우에 해당되므로, + 이는 (주)한공이 전세금을 지급한 상황과는 관련이 없습니다. (D) 임차보증금은 임차인이 임대인에게 건물 등을 사용할 권리를 얻기 위해 + 지급하는 금액을 말합니다. 이는 (주)한공이 전세금 10,000,000원을 지급한 상황과 일치합니다. 따라서, 정답은 (D) 입니다. + - A: 2014년 2월 25일 + B: 2014년 3월 25일 + C: 2014년 4월 25일 + D: 2014년 7월 25일 + question: 개인일반과세자 甲은 2014년 2월 10일에 부동산임대업을 폐업하였다. 甲이 2014년 1월 1일부터 2014년 2월 10일까지의 + 거래에 대한 부가가치세 확정 신고기한으로 옳은 것은? + target: '차근 차근 생각해봅시다. 경제학 관련 정보를 위해 위키피디아를 참조하겠습니다. 개인일반과세자의 부가가치세 확정 신고 기간은 + 제1기(1월 1일부터 6월 30일까지)와 제2기(7월 1일부터 12월 31일까지)로 구분되며, 각 기의 확정 신고 기한은 다음과 같습니다. + - 제1기 확정 신고: 매년 7월 1일부터 7월 25일까지 - 제2기 확정 신고: 매년 1월 1일부터 1월 25일까지 그러나, 이는 일반적인 + 사업 연도에 대한 확정신고기한이며, 폐업한 경우에는 다르게 적용됩니다. 폐업한 경우에는, 폐업일이 속하는 달의 말일로부터 25일 이내에 + 부가가치세 확정신고를 해야 합니다. 이를 바탕으로 질문에 대해 생각해보면, 甲이 2014년 2월 10일에 부동산임대업을 폐업하였으므로, + 폐업일이 속하는 2월의 말일로부터 25일 이내인 2014년 3월 25일까지 확정신고를 해야 합니다. 따라서, 정답은 (B) 입니다.' + - A: 자산이 증가한다. + B: 자본금이 증가한다. + C: 부채가 감소한다. + D: 이익잉여금이 증가한다. + question: (주)한공은 종원원이 퇴사하여 퇴직금 10,000,000원을 보통예금계좌에서 지급하였다. 이 거래를 회계처리한 후 나타나는 + 결과로 옳은 것은? (단, 종업원 퇴사직전 퇴직급여충당부채 잔액은 7,000,000원이다.) + target: 차근 차근 생각해봅시다. 경제학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, (주)한공이 종업원인 종원원에게 퇴직금 + 10,000,000원을 지급하였다고 합니다. 이는 회사의 자산인 '보통예금'에서 10,000,000원이 줄어들었다는 의미입니다. 자산은 + 감소하였습니다. 이로 인해 선택지 A는 옳지 않습니다. 다음으로, 자본금이란 주주들이 회사에 투자한 금액을 말합니다. 이 경우에는 종원원의 + 퇴직금 지급과 관련하여 주주들이 추가적으로 회사에 투자한 내용이 없으므로, 자본금은 변동하지 않습니다. 선택지 B도 옳지 않습니다. + 다음으로, 퇴직급여충당부채 잔액이 7,000,000원이었다고 합니다. 퇴직급여충당부채란 회사가 직원의 퇴직금을 지급할 의무를 미리 인식하고 + 이를 부채로 계상하는 것을 말합니다. 즉, 이는 회사의 부채입니다. 종원원에게 퇴직금을 지급함으로써 이 부채는 감소하게 됩니다. 하지만, + 퇴직금 10,000,000원 중에서 부채로 계상되어 있던 7,000,000원을 지급한 것이므로, 부채는 7,000,000원 감소하게 됩니다. 선택지 + C는 옳습니다. 그런데 퇴직금 10,000,000원 중에서 부채로 계상되어 있던 금액을 초과하는 3,000,000원 (10,000,000원 + - 7,000,000원)은 어떻게 처리되었을까요? 이 금액은 회사의 이익에서 차감되어야 합니다. 이는 이익잉여금, 즉 회사가 벌어들인 이익에서 + 퇴직금 등을 지급한 후 남은 금액이 감소한다는 의미입니다. 선택지 D는 옳지 않습니다. 따라서, 정답은 (C) 입니다. +include: _cot_kmmlu_yaml +task: kmmlu_hard_cot_economics diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_energy_management.yaml b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_energy_management.yaml new file mode 100644 index 0000000000000000000000000000000000000000..8dca183aa92baf841435a6b0bd0dc839893a8091 --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_energy_management.yaml @@ -0,0 +1,88 @@ +dataset_name: energy_management +doc_to_text: '{{question}} + + A.{{A}} + + B.{{B}} + + C.{{C}} + + D.{{D}} + + 정답: 차근 차근 생각해봅시다. 에너지 관리 관련 정보를 위해 위키피디아를 참조하겠습니다.' +fewshot_config: + sampler: first_n + samples: + - A: 단자 전류의 비 I2/I1는 권수비와 같다. + B: 단자 전압의 비 V2/V1는 코일의 권수비와 같다. + C: 1차측 복소전력은 2차측 부하의 복소전력과 같다. + D: 1차측 단자에서 본 전체 임피던스는 부하 임피던스에 권수비의 자승의 역수를 곱한 것과 같다. + question: '질문: 이상적인 변압기에 대한 설명으로 옳은 것은?' + target: 차근 차근 생각해봅시다. 에너지 관리 관련 정보를 위해 위키피디아를 참조하겠습니다. 이상적인 변압기에 대한 설명을 분석하기 위해 + 각 선택지를 살펴보겠습니다. (A) "단자 전류의 비 I2/I1는 권수비와 같다"는 이상적인 변압기에 대한 설명입니다. 이상적인 변압기에서는 + 1차측과 2차측의 권수비가 전류 비율을 결정합니다. 예를 들어, 1차측에 100회 권선, 2차측에 200회 권선이 있다면, 2차측의 전류는 + 1차측의 전류의 절반만큼 흐를 것입니다. 이것은 변압기의 근본적인 원리 중 하나입니다. (B) 선택지는 변압기의 단자 전압의 비는 코일의 + 권수비와 같다고 말하고 있습니다. 이는 사실이 아닙니다. (C) 선택지는 "1차측 복소전력은 2차측 부하의 복소전력과 같다"고 합니다. + 이상적인 변압기에서는 1차측과 2차측의 전력이 동일해야 합니다. 하지만 이는 복소전력에 관한 진술이므로, 더 구체적인 맥락이 필요합니다. + (D) 선택지는 "1차측 단자에서 본 전체 임피던스는 부하 임피던스에 권수비의 자승의 역수를 곱한 것과 같다"고 합니다. 이것은 변압기의 + 임피던스 리플렉션 원리를 설명하지만 사실이 아닙니다. 따라서, 정답은 (A) 입니다. + - A: '0' + B: ∞ + C: 70+j30 + D: 25-j15 + question: 어떤 회로에 E=200+j50(V)인 전압을 가했을 때 I=5+j5(A)의 전류가 흘렀다면 이 회로의 임피던스는 약 몇 Ω인가? + target: 차근 차근 생각해봅시다. 에너지 관리 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 회로의 임피던스 Z를 구하는 방법에 + 대해 알아보겠습니다. 회로에서의 임피던스 Z는 전압 E를 전류 I로 나눈 값으로 구할 수 있습니다. 즉, Z = E/I 입니다. 여기서 + 주어진 E는 200+j50(V), I는 5+j5(A)입니다. , Z = (200+j50) / (5+j5)를 계산하면 됩니다. 복소수의 + 나눗셈을 수행하기 위해서는 분모의 복소수를 켤레 복소수로 곱하여 실수로 만든 후 분자에도 같은 켤레 복소수를 곱합니다. 즉, Z = (200+j50) + * (5-j5) / (5+j5) * (5-j5)를 계산하면 됩니다. 분자를 계산하면 200*5 + 200*(-j5) + j50*5 + j50*(-j5) + = 1000 - j1000 + j250 + 250 = 1250 - j750 입니다. 분모를 계산하면 5*5 + 5*(-j5) + j5*5 + + j5*(-j5) = 25 - j25 + j25 + 25 = 50 입니다. , Z = (1250 - j750) / 50 = 25 - + j15 입니다. 따라서, 정답은 (D) 입니다. + - A: 전면 및 후면 금속전극의 저항 + B: 태양광발전 전지 내의 누설전류 + C: 금속전극과 에미터, 베이스 사이의 접촉저항 + D: 태양광발전 전지의 에미터와 베이스를 통한 전류 흐름 + question: 태양광발전 전지에서 직렬저항이 발생하는 원인이 아닌 것은? + target: '차근 차근 생각해봅시다. 에너지 관리 관련 정보를 위해 위키피디아를 참조하겠습니다. 정답 해설: 먼저, 직렬저항이 무엇인지 + 알아야 합니다. 직렬저항은 전기 회로에서 여러 개의 저항이 연속적으로 연결되어 있는 것을 말합니다. 태양광발전 전지에서 직렬저항이 발생하는 + 원인은 다음과 같습니다. (A) 전면 및 후면 금속전극의 저항: 태양광발전 전지의 전면과 후면에는 금속전극이 있습니다. 이 금속전극은 태양광발전 + 전지의 전기적 특성을 결정하는 중요한 요소 중 하나입니다. 하지만 금속전극 자체의 저항이 존재하기 때문에, 태양광발전 전지의 직렬저항이 + 발생할 수 있습니다. (B) 태양광발전 전지 내의 누설전류: 태양광발전 전지 내의 누설전류는 전지 내부에서 전류가 새어나가는 것을 말합니다. + 이 누설전류는 태양광발전 전지의 효율을 저하시키고, 수명을 단축시키는 원인 중 하나이지만, 직렬저항과는 직접적인 관련이 없습니다. (C) + 금속전극과 에미터, 베이스 사이의 접촉저항: 태양광발전 전지의 금속전극과 에미터, 베이스 사이에는 접촉저항이 존재합니다. 이 접촉저항은 + 금속전극과 반도체 물질 사이의 접촉이 불완전할 때 발생하며, 태양광발전 전지의 효율을 저하시키는 원인 중 하나입니다. (D) 태양광발전 + 전지의 에미터와 베이스를 통한 전류 흐름: 태양광발전 전지의 에미터와 베이스는 전류가 흐르는 경로 중 하나입니다. 이 경로에서 전류가 흐르면 + 저항이 발생하며, 이 저항이 태양광발전 전지의 직렬저항을 증가시킬 수 있습니다. 따라서, 정답은 (B) 입니다.' + - A: 홀 효과(Hall effect) + B: 펠티에 효과(Peltier effect) + C: 제베크 효과(Seebeck effect) + D: 광도전 효과((photo-conductivity effect) + question: 서로 다른 두 종류의 금속을 접촉하여 두 접점의 온도를 다르게 하면 온도차에 의해서 열 기전력이 발생하고 미세한 전류가 흐르는 + 현상은? + target: 차근 차근 생각해봅시다. 에너지 관리 관련 정보를 위해 위키피디아를 참조하겠습니다. 서로 다른 두 종류의 금속을 접촉하여 두 + 접점의 온도를 다르게 하면 온도차에 의해서 열 기전력이 발생하고 미세한 전류가 흐르는 현상을 찾기 위해서는 각 선택지를 자세히 알아볼 필요가 + 있습니다. (A). 홀 효과(Hall effect)는 자기장이 인가된 물질에 전류를 흘렸을 때, 자기장과 전류에 수직인 방향으로 전기적인 + 힘이 발생하는 현상을 말합니다. 이는 전하 운반체의 종류와 밀도, 그리고 자기장의 세기에 의존합니다. (B). 펠티에 효과(Peltier + effect)는 서로 다른 금속을 접합하여 전기를 흘렸을 때, 접합부의 양쪽에 열의 흡수 또는 발생이 일어나는 현상을 말합니다. 이는 전기 + 에너지가 열 에너지로 변환되는 현상으로, 열전 효과의 일종입니다. (C). 제베크 효과(Seebeck effect)는 서로 다른 금속 또는 + 반도체를 접합하여 전기를 흘렸을 때, 접합부의 양쪽에 온도차가 있으면 열기전력이 발생하는 현상을 말합니다. 이는 열 에너지가 전기 에너지로 + 변환되는 현상으로, 열전 효과의 일종입니다. (D). 광도전 효과((photo-conductivity effect)는 물질에 빛을 비추었을 + 때, 물질 내부의 전자가 빛 에너지를 받아 이동하면서 전기 전도도가 증가하는 현상을 말합니다. 이는 광전자 효과의 일종입니다. 위의 선택지 + 중에서 서로 다른 두 종류의 금속을 접촉하여 두 접점의 온도를 다르게 하면 온도차에 의해서 열 기전력이 발생하고 미세한 전류가 흐르는 현상을 + 설명하는 것은 (C). 제베크 효과(Seebeck effect)입니다. 따라서, 정답은 (C) 입니다. + - A: 전압 + B: 전류 + C: 저항 + D: 커패시턴스 + question: 태양광발전 모듈의 I-V 특성곡선에서 일사량에 따라 가장 많이 변화하는 것은? + target: 차근 차근 생각해봅시다. 에너지 관리 관련 정보를 위해 위키피디아를 참조하겠습니다. 태양광발전 모듈의 I-V 특성곡선은 전류(I)와 + 전압(V)의 관계를 나타내는 곡선입니다. 이 곡선은 태양광 모듈의 작동 특성을 보여주며, 일사량, 온도 등의 변화에 따라 그 형태가 변합니다. + 일사량은 태양의 빛이 얼마나 강하게 닿는지를 나타내는 값으로, 태양광발전 모듈의 전력 출력에 중요한 영향을 미칩니다. 일사량이 증가하면 + 태양광 모듈이 흡수하는 에너지가 증가하므로 전류가 증가합니다. 반면, 전압은 일사량에 상대적으로 덜 민감하며, 일사량이 변해도 전압의 변화는 + 그다지 크지 않습니다. 저항과 커패시턴스는 전자회로의 물리적 특성을 나타내는 값들로, 태양광발전 모듈의 I-V 특성곡선과는 직접적인 관련이 + 없습니다. 태양광발전 모듈의 저항은 일반적으로 일사량에 따라 변하지 않으며, 커패시턴스 역시 태양광발전 모듈의 출력에 영향을 주는 주요 + 요인이 아닙니다. , 태양광발전 모듈의 I-V 특성곡선에서 일사량에 따라 가장 많이 변화하는 것은 전류입니다. 따라서, 정답은 (B) + 입니다. +include: _cot_kmmlu_yaml +task: kmmlu_hard_cot_energy_management diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_fashion.yaml b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_fashion.yaml new file mode 100644 index 0000000000000000000000000000000000000000..983a6590a86fd74ef7f8ee4c44cec313a415bfb3 --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_fashion.yaml @@ -0,0 +1,87 @@ +dataset_name: fashion +doc_to_text: '{{question}} + + A.{{A}} + + B.{{B}} + + C.{{C}} + + D.{{D}} + + 정답: 차근 차근 생각해봅시다. 의류학 관련 정보를 위해 위키피디아를 참조하겠습니다.' +fewshot_config: + sampler: first_n + samples: + - A: 단백질 + B: 무기물 + C: 염류 + D: 요소 + question: '질문: 오점의 성분 중 충해의 원인이 되는 것은?' + target: 차근 차근 생각해봅시다. 의류학 관련 정보를 위해 위키피디아를 참조하겠습니다. 오점의 성분 중 충해의 원인이 되는 것을 찾기 + 위해서는 먼저 충해의 원인이 되는 성분이 무엇인지 알아야 합니다. 충해는 일반적으로 곤충이나 벌레 등이 식물이나 동물 등에 피해를 입히는 + 것을 말합니다. 이러한 충해의 원인은 다양하지만, 일반적으로 단백질과 같은 영양분이 충해의 원인이 되는 경우가 많습니다. 충해를 일으키는 + 곤충이나 벌레들은 대부분 단백질을 필요로 하기 때문에, 식물이나 동물의 단백질을 먹이로 삼습니다. , 오점의 성분 중 단백질이 충해의 + 원인이 될 가능성이 높습니다. 무기물, 염류, 요소 등은 충해의 원인이 될 가능성이 상대적으로 낮습니다. 무기물은 식물이나 동물의 성장에 + 필요한 성분 중 하나이지만, 충해의 원인이 되는 경우는 드물며, 염류는 식물의 성장에 영향을 미칠 수 있지만, 충해의 원인이 되는 경우는 + 거의 없습니다. 요소는 단백질을 구성하는 성분 중 하나이지만, 충해의 원인이 되는 경우는 거의 없습니다. 따라서, 정답은 (A) 입니다. + - A: 산성용액에서도 사용할 수 있다. + B: 세탁한 직물의 촉감이 양호하다. + C: 합성세제보다 환경을 적게 오염시킨다. + D: 거품이 잘 생기고 헹굴 때에는 거품이 사라진다. + question: 비누의 특성 중 장점이 아닌 것은? + target: 차근 차근 생각해봅시다. 의류학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저 각 선택지에 대해 검토해보겠습니다. (A) + 비누는 기본적으로 알칼리성이기 때문에 산성 용액에서는 잘 작동하지 않습니다. 산과 알칼리는 서로 중화 반응을 일으키므로, 산성 용액에서 + 비누를 사용하면 비누의 세정력이 크게 떨어질 수 있습니다. (B) 비누는 일반적으로 세탁한 직물의 촉감을 부드럽게 만드는 특성이 있습니다. + 이는 비누가 직물의 섬유 사이에 들어가서 섬유들이 서로 마찰하지 않도록 하는 역할을 하기 때문입니다. (C) 비누는 합성세제보다 환경 오염을 + 덜 일으키는 것으로 알려져 있습니다. 이는 비누가 자연에서 잘 분해되기 때문입니다. 반면 합성세제는 자연에서 잘 분해되지 않아 환경 오염을 + 일으킬 수 있습니다. (D) 비누는 거품이 잘 생기는 특성이 있습니다. 이는 비누가 물과 함께 사용될 때 표면 활성 효과를 일으켜 거품을 + 만들기 때문입니다. 또한 헹굴 때에는 이 거품이 사라지는 특성이 있습니다. 이 모든 정보를 종합해 보면, 비누의 특성 중 장점이 아닌 + 것은 '산성용액에서도 사용할 수 있다'입니다. 왜냐하면 비누는 알칼리성이기 때문에 산성 용액에서는 잘 작동하지 않기 때문입니다. 따라서, + 정답은 (A) 입니다. + - A: '화학결합에 의한 부착 : 섬유표면에 오염이 부착된 후 섬유와 오점 간에 결합이 화학결합하여 부착된 것이다.' + B: '정전기에 의한 부착 : 오염입자와 섬유가 서로 다른 대전성(+ -로 나타나는 정전기 성질)을 띄고 있을 때 오염입자가 섬유에 부착된 + 것이다.' + C: '분자 간 인력에 의한 부착 : 오염물질의 분자와 섬유 분자 간의 인력에 의해서 부착된 것이며 강한 분자간의 인력으로 인하여 쉽게 제거되지 + 아니한다.' + D: '유지결합에 의한 부착 : 오염에 입자가 물의 엷은 막을 통해서 섬유에 부착된 것이다.' + question: 피복의 오염 부착 상태에 대한 설명 중 틀린 것은? + target: '차근 차근 생각해봅시다. 의류학 관련 정보를 위해 위키피디아를 참조하겠습니다. 우선, 각 선택지에 대해 이해를 높이기 위해 + 각 부착 방식에 대해 자세히 알아보겠습니다. (A) 화학결합에 의한 부착: 이는 오염물질이 섬유 표면에 부착된 후, 섬유와 오염물질 간에 + 화학적인 결합이 이루어져 부착되는 경우를 말합니다. 이는 일반적으로 세탁이 어려운 경우에 해당합니다. (B) 정전기에 의한 부착: 오염 + 입자와 섬유가 서로 다른 대전성을 띠고 있을 때, 즉 한쪽이 양전하고 다른 한쪽이 음전할 때 오염 입자가 섬유에 부착되는 경우를 말합니다. + 이는 일반적으로 건조한 환경에서 더 잘 일어납니다. (C) 분자 간 인력에 의한 부착: 이는 오염물질의 분자와 섬유 분자 간의 물리적인 + 인력(반발력이나 인력 등)에 의해 부착되는 경우를 말합니다. 이는 섬유와 오염물질 간의 인력이 강하여 세탁으로 쉽게 제거되지 않는 경우에 + 해당합니다. (D) 유지결합에 의한 부착: 이는 오염 입자가 물의 얇은 막을 통해 섬유에 부착되는 경우를 말합니다. 각 부착 방식에 대해 + 알아본 결과, (D)의 유지결합에 의한 부착의 설명이 부정확한 것으로 보입니다. 유지결합은 오염물질이 섬유 표면에 직접적으로 부착되는 것이 + 아니라, 물이나 기타 액체의 막을 통해 간접적으로 부착되는 경우를 말합니다. 하지만, 선택지 (D)에서는 오염 입자가 ''물의 엷은 막을 + 통해서 섬유에 부착된 것''이라고 설명하고 있습니다. 이는 유지결합의 정의와 일치하지 않습니다. 따라서, 정답은 (D) 입니다.' + - A: 전분 + B: OPTION.M.OPTION + C: L.OPTION.S + D: P.V.OPTION + question: 의류의 푸새가공에 사용하는 풀에 해당되지 않는 것은? + target: '차근 차근 생각해봅시다. 의류학 관련 정보를 위해 위키피디아를 참조하겠습니다. 의류의 푸새가공에 사용하는 풀은 의류의 완성도를 + 높이고 제품의 품질을 유지하기 위해 사용됩니다. 이러한 풀에는 다양한 종류가 있습니다. (A) 전분: 전분은 식물의 줄기와 뿌리에서 발견되는 + 탄수화물의 한 종류로, 의류 산업에서는 풀로 사용됩니다. 이는 옷에 바르면 품질을 유지하고 주름을 방지하는 데 도움이 됩니다. (B) C.M.C + (Carboxymethyl Cellulose): C.M.C는 셀룰로스 유도체 중 하나로, 의류 산업에서는 풀로 사용됩니다. C.M.C는 + 물에 잘 녹는 특성 때문에 의류에 사용되며, 의류의 완성도를 높이는 데 도움이 됩니다. (D) P.V.A (Polyvinyl Alcohol): + P.V.A는 합성 수지의 일종으로, 물에 잘 녹는 특성 때문에 의류 산업에서는 풀로 사용됩니다. P.V.A는 의류에 사용되면 품질을 유지하고 + 주름을 방지하는 데 도움이 됩니다. 그러나 (C) L.A.S (Linear Alkylbenzene Sulfonate)는 합성 세제의 주요 + 성분 중 하나로, 의류 산업에서 풀로 사용되지 않습니다. L.A.S는 주로 세탁제, 식기세척제 등에 사용되며, 그것은 강력한 세척력과 풍부한 + 거품을 제공합니다. 따라서, 정답은 (C) 입니다.' + - A: 모 제품만 세정하는 서비스 + B: 웨트클리닝 서비스 + C: 워싱(Washing) 서비스 + D: 패션 케어(Fashion care) 서비스 + question: 클리닝 서비스 중 특수 서비스에 해당되는 것은? + target: 차근 차근 생각해봅시다. 의류학 관련 정보를 위해 위키피디아를 참조하겠습니다. 클리닝 서비스는 일반적으로 의류나 직물 제품을 + 세정하는 서비스를 말합니다. 이에는 다양한 방법이 있을 수 있습니다. (A) 선택지인 '모 제품만 세정하는 서비스'는 특정 제품을 세정하는 + 서비스를 말하는 것 같습니다. 이는 특수 서비스라기 보다는 일반적인 클리닝 서비스에 해당할 것입니다. (B) 선택지인 '웨트클리닝 서비스'는 + 물을 이용한 세탁 방식을 의미합니다. 이는 일반적인 세탁 방식 중 하나이므로 특수 서비스라고 보기 어렵습니다. (C) 선택지인 '워싱(Washing) + 서비스'도 물을 이용한 일반적인 세탁 방식을 의미합니다. 이 역시 특수 서비스라고 보기는 어렵습니다. (D) 선택지인 '패션 케어(Fashion + care) 서비스'는 패션 아이템에 대한 전반적인 관리를 의미하는 것 같습니다. 이는 일반적인 세탁 방식이 아닌, 의류의 보관, 관리, + 수선 등을 포함한 종합적인 서비스를 제공하는 것으로 보입니다. 이는 일반적인 클리닝 서비스와는 차별화된 서비스라고 볼 수 있습니다. 따라서, + 정답은 (D) 입니다. +include: _cot_kmmlu_yaml +task: kmmlu_hard_cot_fashion diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_food_processing.yaml b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_food_processing.yaml new file mode 100644 index 0000000000000000000000000000000000000000..2d3473f07a12bf9cd856787053d13097aac38043 --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_food_processing.yaml @@ -0,0 +1,81 @@ +dataset_name: food_processing +doc_to_text: '{{question}} + + A.{{A}} + + B.{{B}} + + C.{{C}} + + D.{{D}} + + 정답: 차근 차근 생각해봅시다. 식품 처리 관련 정보를 위해 위키피디아를 참조하겠습니다.' +fewshot_config: + sampler: first_n + samples: + - A: 흡습수 + B: 모관수 + C: 중력수 + D: 지하수 + question: '질문: 작물이 주로 이용하는 토양수분의 형태는?' + target: 차근 차근 생각해봅시다. 식품 처리 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 토양수분에는 크게 네 가지 형태가 있습니다. + 그것은 흡습수, 모관수, 중력수, 지하수입니다. 각각의 정의를 알아보겠습니다. 흡습수는 토양 입자 사이의 공기 중에 물 분자가 흡착되어 + 있는 형태의 물입니다. 흡습력에 의해 토양 입자 표면에 밀착되어 있어 식물의 뿌리가 이를 흡수하기 어렵습니다. 모관수는 토양의 모관(미세한 + 틈)에 들어가 있는 물을 말합니다. 이 물은 식물의 뿌리가 쉽게 흡수할 수 있으며, 식물이 생장하는 데 필요한 주요 수분 공급원입니다. + 중력수는 토양의 모관을 통해 중력에 의해 아래로 흘러가는 물을 말합니다. 이 물은 토양 깊숙한 곳으로 흘러가거나 지하수로 변하게 됩니다. + 지하수는 토양 표면 아래에 있는 물을 말합니다. 이 물은 일반적으로 식물의 뿌리가 닿지 못하는 깊이에 위치해 있습니다. 이러한 정보를 바탕으로, + 작물이 주로 이용하는 토양수분의 형태를 생각해보면, 작물의 뿌리가 쉽게 흡수할 수 있는 형태의 물이어야 합니다. 그렇기 때문에, 작물이 + 주로 이용하는 토양수분의 형태는 모관수입니다. 따라서, 정답은 (B) 입니다. + - A: 구별성 + B: 독립성 + C: 균일성 + D: 안정성 + question: 신품종의 구비조건으로 틀린 것은? + target: '차근 차근 생각해봅시다. 식품 처리 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저 신품종의 구비조건에 대해 이해하려면, + 신품종이란 무엇인지 알아야 합니다. 신품종이란 기존에 알려진 품종과는 다른 새로운 품종을 말합니다. 그리고 이 신품종을 식물품종보호법에 + 따라 등록하려면 일정한 요건을 충족해야 합니다. 이를 ''신품종의 구비조건''이라고 합니다. 선택지를 보면, 구별성, 독립성, 균일성, + 안정성이 있습니다. 이 중에서 어떤 것이 신품종의 구비조건이 아닌지 알아보겠습니다. (A) 구별성: 신품종은 기존의 품종과 구별될 수 있는 + 특성이 있어야 합니다. 구별성은 신품종의 구비조건 중 하나입니다. (B) 독립성: 이는 일반적으로 품종의 구비조건으로 언급되지 않습니다. + 품종이 독립적이라는 것은 그 자체로 독립적인 특성을 가지고 있음을 의미하는 것 같지만, 실제로 신품종의 구비조건으로는 언급되지 않습니다. + (C) 균일성: 신품종은 그 품종 내의 개체들이 일정한 특성을 보여야 합니다. 즉, 품종 내의 개체들이 균일하게 특성을 나타내야 합니다. 균일성은 + 신품종의 구비조건 중 하나입니다. (D) 안정성: 신품종은 세대를 거치더라도 그 특성이 안정적으로 유지되어야 합니다. 안정성은 신품종의 + 구비조건 중 하나입니다. , 신품종의 구비조건으로 틀린 것은 ''독립성''입니다. 따라서, 정답은 (B) 입니다.' + - A: 효소의 활력저하 + B: 비료 부족 + C: 바이러스 감염 + D: 이형 종자의 기계적 혼입 + question: 씨감자의 병리적 퇴화의 주요 원인은? + target: '차근 차근 생각해봅시다. 식품 처리 관련 정보를 위해 위키피디아를 참조하겠습니다. 씨감자의 병리적 퇴화는 여러 요인에 의해 + 발생할 수 있습니다. (A) 효소의 활력저하: 씨감자는 식물이므로 효소의 활성이 저하되면 생장에 문제가 생길 수 있습니다. 그러나 효소 + 활성 저하는 일반적으로 특정 병리적 상태를 나타내기보다는 식물의 자연적인 노화 과정에서 일어나는 현상입니다. 이는 씨감자의 병리적 퇴화의 + 주요 원인이라고 보기 어렵습니다. (B) 비료 부족: 비료는 식물의 건강한 성장을 돕는 중요한 요소입니다. 그러나 비료 부족은 씨감자의 + 성장을 저해할 수 있지만, 이는 병리적 퇴화를 직접적으로 초래하는 주요 원인이라고 보기는 어렵습니다. (C) 바이러스 감염: 바이러스는 + 식물의 병리적 퇴화를 초래할 수 있는 주요 요인 중 하나입니다. 특히 씨감자는 바이러스에 매우 취약하며, 감염이 일단 시작되면 식물 전체에 + 빠르게 퍼져 병리적 퇴화를 일으킬 수 있습니다. (D) 이형 종자의 기계적 혼입: 이형 종자의 기계적 혼입은 씨감자의 품질을 저하시킬 수 + 있지만, 이는 병리적 퇴화의 주요 원인이라고 보기는 어렵습니다. 특히 씨감자는 감자 Y 바이러스(Potato Y virus) 등 여러 종류의 + 바이러스에 의해 병리적 퇴화를 겪는 경우가 많습니다. , 이러한 고려를 통해 바이러스 감염이 씨감자의 병리적 퇴화의 주요 원인일 가능성이 + 가장 높다고 볼 수 있습니다. 따라서, 정답은 (C) 입니다.' + - A: 생강 + B: 마늘 + C: 감자 + D: 고구마 + question: 괴경으로 번식하는 작물은? + target: '차근 차근 생각해봅시다. 식품 처리 관련 정보를 위해 위키피디아를 참조하겠습니다. 정답 해설: 괴경으로 번식하는 작물을 찾기 + 위해서는 먼저 괴경의 뜻을 알아야 합니다. 괴경은 땅속줄기의 일부가 비대해져 저장양분을 축적하여 발달한 것으로, 덩이줄기라고도 합니다. + 이러한 특징을 가진 작물을 선택지에서 찾아보면 다음과 같습니다. (A) 생강: 생강은 덩이줄기가 아닌 근경(뿌리줄기)으로 번식하는 작물입니다. + (B) 마늘: 마늘도 생강과 마찬가지로 근경으로 번식하는 작물입니다. (C) 감자: 감자는 대표적인 괴경 작물로, 땅 속에서 자라는 덩이줄기가 + 번식에 사용됩니다. (D) 고구마: 고구마는 괴근(덩이뿌리)으로 번식하는 작물입니다. 따라서, 정답은 (C) 입니다.' + - A: OPTIONlt형 + B: bLt형 + C: OPTIONLt형 + D: blT형 + question: 기상생태형으로 분류할 때 우리나라 벼의 조생종은 어디에 속하는가? + target: 차근 차근 생각해봅시다. 식품 처리 관련 정보를 위해 위키피디아를 참조하겠습니다. 기상생태형으로 분류할 때 벼의 조생종이 속하는 + 유형을 파악하기 위해서는 기상생태형의 분류 방식을 이해해야 합니다. 기상생태형은 일반적으로 벼 등의 식물이 자라는 기후 조건을 기반으로 + 분류됩니다. 이 분류는 주로 온도(Temperature)와 일조 시간(Light)을 고려하여 이루어집니다. 한국의 기후 특성을 고려할 때, + 여름철에는 일반적으로 온도가 높고 습도가 높은 편입니다. blT형은 기본영양생장성과 감광성이 작고(Little basic nutrition + growth, Little light sensitivity), 감온성이 큰(Big temperature sensitivity) 품종을 의미하는데 + 이 품종은 상대적으로 높은 온도에 더 민감하게 반응하며, 일장의 변화에는 덜 민감한 특성을 가지고 있어 한국의 기후 특성에서 효과적으로 + 성장할 수 있는 조건을 가지고 있습니다. 따라서, 정답은 (D) 입니다. +include: _cot_kmmlu_yaml +task: kmmlu_hard_cot_food_processing diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_gas_technology_and_engineering.yaml b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_gas_technology_and_engineering.yaml new file mode 100644 index 0000000000000000000000000000000000000000..a244b95500a8b85379eb56c0352305dbf610b081 --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_gas_technology_and_engineering.yaml @@ -0,0 +1,88 @@ +dataset_name: gas_technology_and_engineering +doc_to_text: '{{question}} + + A.{{A}} + + B.{{B}} + + C.{{C}} + + D.{{D}} + + 정답: 차근 차근 생각해봅시다. 가스 기술 공학 관련 정보를 위해 위키피디아를 참조하겠습니다.' +fewshot_config: + sampler: first_n + samples: + - A: 동관 + B: 강관 + C: 스테인리스강 + D: 가스용 금속플렉시블호스 + question: '질문: 건축물 내 도시가스 매설배관으로 부적합한 것은?' + target: 차근 차근 생각해봅시다. 가스 기술 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 건축물 내에서 도시가스 매설배관에 사용되는 + 재료에 대한 규정에 따르면, 스테인리스강관, 동관, 가스용 금속플렉시블호스가 적절한 재료로 규정되어 있습니다. 이러한 규정은 배관의 안전성과 + 관련하여 매우 중요한 부분으로, 배관이 올바르게 설치되고 유지되는 것이 필수적입니다. 각 재료는 특정한 조건과 기준에 따라 설치되어야 하며, + 예를 들어 동관은 금속제 보호관이나 보호판을 통해 추가적인 보호조치를 받아야 합니다. 선택지를 살펴보면, 강관이 명시적으로 부적합한 재료로 + 규정되지 않았습니다. , 정답은 강관(B)이 아닙니다. 다른 선택지들인 동관(A), 스테인리스강(C), 그리고 가스용 금속플렉시블호스(D)는 + 모두 건축물 내 도시가스 매설배관으로 사용될 수 있는 재료로 지정되어 있습니다. 이러한 정보에 기반하여, 건축물 내 도시가스 매설배관으로 + 부적합한 것은 강관(B)이라는 결론에 도달할 수 있습니다. 따라서, 정답은 (B) 입니다. + - A: '6' + B: '12' + C: '18' + D: '24' + question: 시안화수소를 충전한 용기는 충전 후 몇 시간 정치한 뒤 가스의 누출검사를 해야 하는가? + target: 차근 차근 생각해봅시다. 가스 기술 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 시안화수소(Hydrogen Cyanide)에 + 대해 알아보겠습니다. 시안화수소는 매우 독성이 강한 가스로, 사람의 건강에 해로울 뿐만 아니라 환경에도 유해합니다. 이 가스를 다룰 + 때는 매우 주의해야 합니다. 그 다음으로, 가스를 충전한 용기의 누출 검사에 대해 알아보겠습니다. 가스 용기는 충전 후 안전하게 보관되어야 + 하며, 누출이 없는지 꼼꼼히 확인해야 합니다. 이는 가스의 종류에 관계없이 일반적으로 적용되는 안전 규정입니다. 하지만, 시안화수소를 충전한 + 용기가 충전 후 몇 시간 정치한 뒤에 누출 검사를 해야 하는지에 대한 구체적인 정보는 일반적인 지식으로는 알 수 없습니다. 이에 대한 정확한 + 정보를 얻기 위해서는 가스 기술 및 엔지니어링에 대한 전문적인 지식이 필요하며, 해당 분야의 규정이나 가이드라인을 참조해야 합니다. 시안화수소 + 가스를 충전한 용기에 대한 누출 검사 시기는 특정 업체나 기관의 내부 규정에 따라 다를 수 있습니다. 그러나 일반적으로 가스를 충전한 용기의 + 누출 검사는 충전 직후, 그리고 정기적으로 수행되어야 합니다. 이는 가스의 독성 뿐만 아니라 압력 등의 위험성 때문입니다. 가장 안전한 + 방법은 가스를 충전한 직후, 그리고 가능한 한 자주 누출 검사를 수행하는 것입니다. 하지만 이 질문에 대한 구체적인 답변을 제공하기 위해선, + 각 선택지에 대한 구체적인 근거가 필요하며, 이를 위해선 시안화수소 가스를 다루는 특정 업체나 기관의 내부 규정을 참조해야 합니다. , + 이 질문에 대한 정확한 답변을 제공하기는 어렵습니다. 이런 경우에는, 가장 일반적이고 안전한 방법을 선택하는 것이 가장 좋습니다. 가스를 + 충전한 용기의 누출 검사는 충전 직후, 그리고 가능한 한 자주 수행되어야 하므로, 가장 긴 시간을 선택하는 것이 가장 안전할 것입니다. + 따라서, 정답은 (D) 입니다. + - A: 제조소 안에서 액화가스용저장탱크의 위치변경 공사는 공사계획 신고대상이다. + B: 밸브기지의 위치변경 공사는 공사계획 신고대상이다. + C: 호칭지름이 50㎜ 이하인 저압의 공급관을 설치하는 공사는 공사계획 신고대상에서 제외한다. + D: 저압인 사용자공급관 50m를 변경하는 공사는 공사계획 신고대상이다. + question: 도시가스공급시설의 공사계획 승인 및 신고대상에 대한 설명으로 틀린 것은? + target: '차근 차근 생각해봅시다. 가스 기술 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 이 질문에 대한 정확한 답변을 위해 + 각 선택지에 대한 도시가스공급시설의 공사계획 승인 및 신고대상에 관한 규정을 살펴보겠습니다. (A) 제조소 안에서 액화가스용저장탱크의 위치변경 + 공사: 일반적으로 이러한 종류의 공사는 중요하며 신고 대상일 가능성이 높습니다. (B) 밸브기지의 위치변경 공사: 밸브기지 내 배관 관련 + 공사는 공사계획 신고대상에 포함되지 않습니다. (C) 호칭지름이 50㎜ 이하인 저압의 공급관을 설치하는 공사: 호칭지름 50밀리미터 이하인 + 저압의 공급관 관련 공사는 공사계획 신고대상입니다. (D) 저압인 사용자공급관 50m를 변경하는 공사: 길이 50미터 미만인 저압 사용자공급관 + 관련 공사는 공사계획 신고대상입니다. 따라서, 정답은 (B) 입니다.' + - A: 고압차단장치는 그 설정압력이 눈으로 판별할 수 있는 것으로 한다. + B: 고압차단장치는 원칙적으로 자동복귀방식으로 한다. + C: 안전밸브는 작동압력을 설정한 후 봉인될 수 있는 구조로 한다. + D: 안전밸브 각부의 가스통과 면적은 안전밸브의 구경면적 이상으로 한다. + question: 고압가스용 냉동기에 설치하는 안전장치의 구조에 대한 설명으로 틀린 것은? + target: 차근 차근 생각해봅시다. 가스 기술 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저 각 선택지에 대한 설명을 이해하고, + 그것이 고압가스용 냉동기에 설치하는 안전장치의 구조에 대한 일반적인 규칙과 일치하는지 확인해야 합니다. (A) 고압차단장치는 그 설정압력이 + 눈으로 판별할 수 있는 것으로 한다. - 고압차단장치는 가스의 압력이 설정 압력 이상으로 상승하면 자동으로 가스 흐름을 차단하는 장치입니다. + 이는 과도한 압력으로 인한 사고를 방지합니다. 설정 압력이 눈으로 확인 가능하다는 것은 사용자가 안전장치의 작동 압력을 쉽게 확인하고 조정할 + 수 있음을 의미합니다. 이는 일반적으로 안전장치의 중요한 기능 중 하나입니다. (B) 고압차단장치는 원칙적으로 자동복귀방식으로 한다. - + 자동복귀방식이란 일시적으로 고압 상태가 해소되면 자동으로 원래 상태로 복귀하는 방식을 의미합니다. 하지만, 원칙적으로는 고압차단 장치는 + 수동복귀 방식으로 해야합니다. 이는 고압차당 장치의 중요한 특징중 하나입니다. (C) 안전밸브는 작동압력을 설정한 후 봉인될 수 있는 구조로 + 한다. - 안전밸브는 과도한 압력이 발생하면 자동으로 열려 압력을 해소하는 장치입니다. 작동 압력을 설정한 후 봉인한다는 것은 이 압력 + 설정이 임의로 변경되는 것을 방지하기 위함입니다. 이는 안전밸브의 중요한 특성 중 하나입니다. (D) 안전밸브 각부의 가스통과 면적은 안전밸브의 + 구경면적 이상으로 한다. - 이는 가스가 안전밸브를 통과할 때 발생할 수 있는 압력 감소를 최소화하기 위한 설계 원칙입니다. 즉, 안전밸브의 + 각 부분에서 가스의 통과 면적이 구경 면적보다 크게 설계되어야 합니다. 따라서, 정답은 (B) 입니다. + - A: 가성소다 수용액 + B: 소석회 + C: 탄산소다 수용액 + D: 물 + question: 염소(Cl2)의 재해 방지용으로서 흡수제 및 재해제가 아닌 것은? + target: 차근 차근 생각해봅시다. 가스 기술 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 염소(Cl2)는 가연성이 없지만, + 강력한 산화제이며, 인체에 치명적일 수 있는 독성 가스입니다. 염소의 누출이나 사고를 방지하고, 그로 인한 피해를 최소화하기 위해 다양한 + 흡수제나 재해제가 사용됩니다. (A) 가성소다 수용액은 염소 가스를 흡수하는 데 효과적입니다. 염소와 가성소다가 반응하면 무해한 염화나트륨과 + 물이 생성되므로, 염소 가스의 누출을 방지하는 데 사용됩니다. (B) 소석회 역시 염소 가스를 흡수하는 데 효과적입니다. 소석회는 염소와 + 반응하여 염화칼슘을 생성하며, 이는 무해한 화합물입니다. (C) 탄산소다 수용액도 염소 가스를 흡수하는 데 사용됩니다. 탄산소다는 염소와 + 반응하여 염화나트륨과 이산화탄소, 그리고 물을 생성합니다. 이 반응은 염소 가스를 안전하게 제거하는 데 도움이 됩니다. (D) 물은 염소 + 가스를 흡수하는 능력이 있지만, 그 효과는 위의 세 가지 물질에 비해 상대적으로 약합니다. 또한, 물과 염소가 반응하면 염산과 산소가 생성되는데, + 이들은 모두 환경에 해롭습니다. 물은 염소 가스의 재해 방지용으로서의 흡수제나 재해제로서 적합하지 않습니다. 따라서, 정답은 (D) + 입니다. +include: _cot_kmmlu_yaml +task: kmmlu_hard_cot_gas_technology_and_engineering diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_industrial_engineer.yaml b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_industrial_engineer.yaml new file mode 100644 index 0000000000000000000000000000000000000000..fc8f3dec1af02675463b2b1f42395dfcfbf5cc83 --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_industrial_engineer.yaml @@ -0,0 +1,85 @@ +dataset_name: industrial_engineer +doc_to_text: '{{question}} + + A.{{A}} + + B.{{B}} + + C.{{C}} + + D.{{D}} + + 정답: 차근 차근 생각해봅시다. 산업 공학 관련 정보를 위해 위키피디아를 참조하겠습니다.' +fewshot_config: + sampler: first_n + samples: + - A: 컬럼 + B: 아버 + C: 새들 + D: 커터 + question: '질문: 수평밀링머신의 니(knee) 위에 전후 방향으로 이동하는 안내면의 명칭은?' + target: 차근 차근 생각해봅시다. 산업 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 수평밀링머신의 구조를 이해하겠습니다. + 수평밀링머신은 주로 금속 가공에 사용되는 기계로, 회전하는 커터를 사용하여 원하는 모양과 크기의 제품을 만들어냅니다. 이 기계의 주요 구성 + 요소 중 하나가 '니'라는 부분인데, 이는 일반적으로 기계의 테이블을 지지하는 부분을 가리킵니다. 선택지를 보면, (A) 컬럼, (B) + 아버, (C) 새들, (D) 커터라는 항목들이 있습니다. 이 중에서 '니' 위에 전후 방향으로 이동하는 안내면의 명칭을 찾아야 합니다. + - 컬럼(Column)은 기계의 주요 구조를 이루는 세로형태의 부분을 가리킵니다. 이는 '니' 위에 전후 방향으로 이동하는 안내면의 + 명칭이 아닙니다. - 아버(Arbor)는 밀링 머신에서 커터를 지지하는 축을 가리킵니다. 이 역시 '니' 위에 전후 방향으로 이동하는 안내면의 + 명칭이 아닙니다. - 새들(Saddle)은 밀링 머신에서 '니'와 '테이블' 사이에 위치하며, 테이블을 전후 방향으로 이동시키는 부분을 + 가리킵니다. - 커터(Cutter)는 밀링 머신에서 제품을 가공하는 데 사용되는 회전하는 부분을 가리킵니다. 이 역시 '니' 위에 전후 + 방향으로 이동하는 안내면의 명칭이 아닙니다. , '니' 위에 전후 방향으로 이동하는 안내면의 명칭은 '새들'이 맞습니다. 따라서, 정답은 + (C) 입니다. + - A: 스핀들의 지름 또는 최대 이동거리 + B: 테이블의 최대 좌우 이동거리 + C: 테이블의 최대 전후 이동거리 + D: 테이블의 최대 상하 이동거리 + question: 일반적으로 밀링 머신의 크기를 표시하는 방법에 해당되지 않는 것은? + target: 차근 차근 생각해봅시다. 산업 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 밀링 머신의 크기를 표시하는 방법은 일반적으로 + 머신의 이동 가능한 범위와 스핀들의 크기를 나타냅니다. 이동 가능한 범위는 테이블의 이동 거리를 통해 나타내며, 이는 테이블이 좌우로 이동하는 + 거리(X축), 전후로 이동하는 거리(Y축), 상하로 이동하는 거리(Z축)를 포함합니다. 선택지 B, C, D는 밀링 머신의 크기를 표시하는 + 방법에 해당됩니다. 스핀들의 크기도 밀링 머신의 크기를 표시하는 중요한 요소 중 하나입니다. 스핀들의 크기는 일반적으로 스핀들의 지름을 + 통해 나타냅니다. 하지만 '스핀들의 최대 이동거리'라는 표현은 일반적으로 밀링 머신의 크기를 나타내는 방법에 해당되지 않습니다. 스핀들의 + 이동거리는 밀링 머신의 작동 범위를 나타내는 것이 아니라, 스핀들이 회전하는 축의 이동 거리를 의미합니다. 이는 크기를 나타내는 측정치가 + 아니며, 이 선택지는 문제의 질문에 해당되지 않습니다. 따라서, 정답은 (A) 입니다. + - A: 입도 + B: 조직 + C: 결합도 + D: 숫돌 입자 + question: 숫돌바퀴를 표시하는 방법으로 WA 60 K m V에서 60이 나타내는 것은? + target: '차근 차근 생각해봅시다. 산업 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, ''WA 60 K m V''는 숫돌바퀴의 + 표기 방법 중 하나입니다. 여기서 각 문자와 숫자는 다음을 의미합니다: - ''WA''는 연마재의 종류를 나타냅니다. 여기서 ''W''는 + 흰색을 의미하고 ''A''는 알루미늄 산화물을 의미합니다. - ''60''은 입도를 나타냅니다. 입도는 연마재 입자의 크기를 나타내는 값으로, + 숫자가 작을수록 입자의 크기가 큽니다. - ''K''는 경도를 나타냅니다. 경도는 연마재의 경도를 나타내는 값으로, 알파벳이 뒤로 갈수록 + 경도가 높아집니다. - ''m''은 조직을 나타냅니다. 조직은 연마재 입자가 바퀴에 얼마나 밀집하게 분포하는지를 나타내는 값입니다. - + ''V''는 결합도를 나타냅니다. 결합도는 연마재 입자를 바퀴에 고정시키는 물질의 강도를 나타내는 값입니다. , ''WA 60 K m + V''에서 ''60''은 연마재 입자의 크기를 나타내는 입도를 의미합니다. 이에 따라 객관식 질문에서 ''60''이 나타내는 것은 입도입니다. + 따라서, 정답은 (A) 입니다.' + - A: 오토콜리메이터 + B: 3차원 측정기 + C: 광학식 각도기 + D: 광학식 클리노미터 + question: 측정점 검출기가 좌표를 검출하고 그 데이터를 컴퓨터가 처리하여 위치, 크기, 방향, 윤곽, 형상 등을 측정하는데 사용하는 + 측정기는? + target: 차근 차근 생각해봅시다. 산업 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저 각 선택지에 대한 설명을 찾아보겠습니다. + (A) 오토콜리메이터는 각도를 정확하게 측정하는 장치입니다. 이 장치는 주로 광학 실험에서 사용되며, 빛의 반사각을 측정하는 데 사용됩니다. + (B) 3차원 측정기는 3차원 공간에서 객체의 위치와 크기를 측정하는 장치입니다. 이 장치는 주로 공학 및 제조 분야에서 사용되며, 정밀한 + 측정이 필요한 경우에 사용됩니다. (C) 광학식 각도기는 빛의 각도를 측정하는 장치입니다. 이 장치는 주로 광학 실험에서 사용되며, 빛의 + 굴절률을 측정하는 데 사용됩니다. (D) 광학식 클리노미터는 각도를 측정하는 장치입니다. 이 장치는 주로 지질학에서 사용되며, 경사 각도를 + 측정하는 데 사용됩니다. 질문에서는 측정점 검출기가 좌표를 검출하고 그 데이터를 컴퓨터가 처리하여 위치, 크기, 방향, 윤곽, 형상 등을 + 측정하는데 사용하는 측정기에 대해 묻고 있습니다. 이러한 기능을 가장 잘 수행할 수 있는 장치는 3차원 측정기입니다. 왜냐하면 3차원 측정기는 + 3차원 공간에서 객체의 위치와 크기를 측정할 수 있으며, 이는 위치, 크기, 방향, 윤곽, 형상 등의 측정에 필요한 기능들을 모두 포함하고 + 있기 때문입니다. 따라서, 정답은 (B) 입니다. + - A: 배분력 + B: 이송분력 + C: 횡분력 + D: 주분력 + question: 선반에서 절삭저항의 분력 중 탄소강을 가공할 때 가장 큰 절삭저항은? + target: '차근 차근 생각해봅시다. 산업 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 절삭저항의 분력에 대해 이해해야 합니다. + 절삭저항의 분력은 절삭 과정에서 발생하는 저항을 묘사하는데 사용되는 개념입니다. 이는 절삭 도구와 가공재 사이의 상호작용을 설명하는 데 + 사용되며, 절삭 과정의 효율성과 가공 품질에 중요한 영향을 미칩니다. 절삭저항의 분력에는 주로 네 가지가 있습니다: 배분력, 이송분력, + 횡분력, 그리고 주분력입니다. 이 중에서 가장 큰 절삭저항을 주는 것이 무엇인지 알아보기 위해, 각 분력에 대해 간략히 이해해 보겠습니다. + - 배분력: 절삭면에서 도구를 밀어내려는 힘입니다. - 이송분력: 절삭면에 수직으로 작용하는 힘으로, 주로 칩의 이동을 제어합니다. - + 횡분력: 절삭면에 수평으로 작용하는 힘으로, 도구를 절삭면에서 벗어나게 만드는 힘입니다. - 주분력: 절삭면에 작용하는 가장 주요한 힘으로, + 절삭저항의 대부분을 차지합니다. 이러한 정보를 바탕으로, 주분력이 절삭저항의 대부분을 차지하므로, 탄소강을 가공할 때 가장 큰 절삭저항을 + 주는 것은 주분력일 것이라고 추론할 수 있습니다. 따라서, 정답은 (D) 입니다.' +include: _cot_kmmlu_yaml +task: kmmlu_hard_cot_industrial_engineer diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_information_technology.yaml b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_information_technology.yaml new file mode 100644 index 0000000000000000000000000000000000000000..aa557282f049e963bcc4b2ddd061955b47aacf3a --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_information_technology.yaml @@ -0,0 +1,83 @@ +dataset_name: information_technology +doc_to_text: '{{question}} + + A.{{A}} + + B.{{B}} + + C.{{C}} + + D.{{D}} + + 정답: 차근 차근 생각해봅시다. 정보 기술 관련 정보를 위해 위키피디아를 참조하겠습니다.' +fewshot_config: + sampler: first_n + samples: + - A: 상승 시간(rise time)이란 입력 펄스의 최대 진폭의 10%에서 90%까지 상승하는데 걸리는 시간 + B: 하강 시간(fall time)이란 펄스의 하강 속도를 나타내는 척도로서 최대 90%에서 10%까지 하강하는데 소요되는 시간 + C: 새그(sag)란 이상적인 펄스 파형의 상승하는 부분이 기준 레벨보다 높은 부분 + D: 링잉(ringing)은 높은 주파수에서 공진되기 때문에 발생하는 것으로 펄스 상승 부분의 진동의 정도 + question: '질문: 실제 펄스 파형의 구간별 명칭에 대한 설명으로 틀린 것은?' + target: 차근 차근 생각해봅시다. 정보 기술 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저 각 선택지에 대한 정확한 정의를 확인해보겠습니다. + (A) 상승 시간(rise time)은 일반적으로 펄스가 최저 수준에서 최고 수준까지 도달하는 데 걸리는 시간을 의미합니다. 특히, 입력 + 펄스의 최대 진폭의 10%에서 90%까지 상승하는데 걸리는 시간을 가리킵니다. 이 정의는 선택지와 일치합니다. (B) 하강 시간(fall + time)은 펄스가 최고 수준에서 최저 수준까지 도달하는 데 걸리는 시간을 의미합니다. 특히, 최대 90%에서 10%까지 하강하는데 소요되는 + 시간을 가리킵니다. 이 정의는 선택지와 일치합니다. (C) 새그(sag)는 전력 공급에서 전압이 일시적으로 떨어지는 현상을 의미합니다. + 이상적인 펄스 파형의 상승하는 부분이 기준 레벨보다 높은 부분을 의미하는 것은 새그(sag)의 정의와 일치하지 않습니다. (D) 링잉(ringing)은 + 펄스의 상승 또는 하강 부분에서 발생하는 과도한 진동을 의미합니다. 높은 주파수에서 공진되기 때문에 발생하는 것이라는 설명은 링잉(ringing)의 + 원인 중 하나로 볼 수 있습니다. , 각 선택지의 정의를 확인한 결과, 새그(sag)의 정의가 문제의 선택지와 일치하지 않습니다. 따라서, + 정답은 (C) 입니다. + - A: '0.60' + B: '0.65' + C: '0.70' + D: '0.75' + question: 진폭 변조에서 변조된 파형의 최대값 전압이 35 V 이고 최소값 전압이 5 V 일 때 변조도는? + target: '차근 차근 생각해봅시다. 정보 기술 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 진폭 변조에서 변조도를 계산하는 공식을 + 알아야 합니다. 변조도는 원래 신호의 진폭과 변조된 신호의 진폭의 차이를 나타내는 값입니다. 이는 변조된 신호의 진폭이 원래 신호의 진폭보다 + 얼마나 변했는지를 나타냅니다. 변조도는 다음과 같은 공식으로 계산됩니다: 변조도 = (변조된 파형의 최대값 전압 - 변조된 파형의 최소값 + 전압) / (변조된 파형의 최대값 전압 + 변조된 파형의 최소값 전압) 이 경우, 변조된 파형의 최대값 전압이 35V이고 최소값 전압이 + 5V입니다. , 이 값을 위의 공식에 대입하면 다음과 같습니다: 변조도 = (35V - 5V) / (35V + 5V) = 30V / 40V + = 0.75 따라서, 정답은 (D) 입니다.' + - A: '3' + B: '4.5' + C: '6' + D: '7.5' + question: 6Ω과 3Ω의 저항을 직렬로 접속할 경우는 병렬로 접속할 경우의 몇 배가 되는가? + target: '차근 차근 생각해봅시다. 정보 기술 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 저항의 직렬 연결과 병렬 연결에 대한 + 이해가 필요합니다. 1. 직렬 연결: 저항들이 한 줄로 연결되어 있을 때, 총 저항은 각 저항의 합과 같습니다. R_total = R1 + + R2 + ... + Rn 2. 병렬 연결: 저항들이 병렬로 연결되어 있을 때, 총 저항은 각 저항의 역수의 합의 역수와 같습니다. 1/R_total + = 1/R1 + 1/R2 + ... + 1/Rn 이 문제에서 주어진 저항은 6Ω과 3Ω입니다. 직렬 연결의 경우, 총 저항은 각 저항의 + 합, 즉 6Ω + 3Ω = 9Ω가 됩니다. 병렬 연결의 경우, 총 저항은 각 저항의 역수의 합의 역수로, 1/(1/6 + 1/3) = 2Ω가 + 됩니다. , 직렬 연결의 저항은 병렬 연결의 저항의 몇 배인지를 묻는 문제이므로, 9Ω / 2Ω = 4.5배가 됩니다. 따라서, 정답은 + (B) 입니다.' + - A: 주파수 대역폭이 무한대(∞)이다. + B: 입력 임피던스가 무한대(∞)이다. + C: 동상 이득은 무한대(∞)이다. + D: 오픈 루프 전압 이득이 무한대(∞)이다. + question: 이상적인 연산 증폭기의 특징에 대한 설명으로 틀린 것은? + target: 차근 차근 생각해봅시다. 정보 기술 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저 각 선택지에 대해 하나씩 살펴보겠습니다. + (A) 선택지는 '주파수 대역폭이 무한대(∞)이다'를 주장합니다. 이상적인 연산 증폭기의 경우, 주파수에 관계없이 동일한 이득을 유지하므로, + 이는 사실상 무한대의 대역폭을 의미합니다. 이 선택지는 올바른 설명입니다. (B) 선택지는 '입력 임피던스가 무한대(∞)이다'를 주장합니다. + 이상적인 연산 증폭기는 입력 부분에 아무런 전류가 흐르지 않도록 설계되어 있습니다. 이는 입력 임피던스가 무한대라는 것을 의미합니다. 이 + 선택지 역시 올바른 설명입니다. (C) 선택지는 '동상 이득은 무한대(∞)이다'를 주장합니다. 하지만 이는 틀린 설명입니다. 동상 이득(common-mode + gain)은 두 입력 사이의 차이가 아닌, 두 입력이 동시에 변할 때 증폭기의 반응을 설명하는 데 사용됩니다. 이상적인 연산 증폭기에서는 + 두 입력이 동시에 변하더라도 출력이 변하지 않아야 하므로, 동상 이득은 0이어야 합니다. 이 선택지는 잘못된 설명입니다. (D) 선택지는 + '오픈 루프 전압 이득이 무한대(∞)이다'를 주장합니다. 이상적인 연산 증폭기는 입력과 출력 사이의 전압 차이를 최대한 크게 만들기 위해 + 오픈 루프 전압 이득이 무한대로 설계되어 있습니다. 이 선택지는 올바른 설명입니다. 따라서, 정답은 (C) 입니다. + - A: 용량성 + B: 유도성 + C: 저항성 + D: 용량성 혹은 저항성 + question: 수정 발진 회로 중 피어스 B-E형 발진 회로는 컬렉터-이미터 간의 임피던스가 어떻게 될 때가 가장 안정한 발진을 지속하는가? + target: 차근 차근 생각해봅시다. 정보 기술 관련 정보를 위해 위키피디아를 참조하겠습니다. 피어스 B-E형 발진 회로는 BJT(비접점 + 트랜지스터)를 사용하는 발진 회로 중 하나입니다. 이 회로에서는 컬렉터와 이미터 사이의 임피던스 특성이 발진의 안정성에 중요한 역할을 합니다. + 용량성, 유도성, 저항성 중 어떤 임피던스가 발진의 안정성에 가장 좋을지 고려해보겠습니다. 용량성 임피던스는 주파수가 높아질수록 저항이 + 감소하는 특성을 가지고 있습니다. 이런 특성 때문에 발진 회로에서는 주파수가 높아질수록 회로의 안정성이 떨어질 수 있습니다. 용량성 + 임피던스는 발진의 안정성에 좋지 않습니다. 유도성 임피던스는 주파수가 높아질수록 저항이 증가하는 특성을 가지고 있습니다. 이런 특성 때문에 + 발진 회로에서는 주파수가 높아질수록 회로의 안정성이 증가할 수 있습니다. 유도성 임피던스는 발진의 안정성에 좋습니다. 저항성 임피던스는 + 주파수에 관계없이 일정한 저항 값을 가지고 있습니다. 이런 특성 때문에 발진 회로에서는 주파수가 변화해도 회로의 안정성이 유지될 수 있습니다. + 하지만, 발진 회로에서는 주파수의 변화에 따른 임피던스의 변화가 필요하기 때문에 저항성 임피던스만으로는 안정적인 발진을 유지하기 어렵습니다. , + 피어스 B-E형 발진 회로에서는 컬렉터-이미터 간의 임피던스가 유도성일 때 가장 안정한 발진을 지속할 수 있습니다. 따라서, 정답은 (B) + 입니다. +include: _cot_kmmlu_yaml +task: kmmlu_hard_cot_information_technology diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_interior_architecture_and_design.yaml b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_interior_architecture_and_design.yaml new file mode 100644 index 0000000000000000000000000000000000000000..2b3849d79c4846a5874891322da962fb4d4bbe7c --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_interior_architecture_and_design.yaml @@ -0,0 +1,95 @@ +dataset_name: interior_architecture_and_design +doc_to_text: '{{question}} + + A.{{A}} + + B.{{B}} + + C.{{C}} + + D.{{D}} + + 정답: 차근 차근 생각해봅시다. 건축 디자인 관련 정보를 위해 위키피디아를 참조하겠습니다.' +fewshot_config: + sampler: first_n + samples: + - A: 조화란 전체적인 조립방법이 모순없이 질서를 잡는 것을 말한다. + B: 조화에는 시각적으로 동일한 요소간에 이루어지는 유사조화와 이질적인 요소간에 이루어지는 대비조화가 있다. + C: 통일은 변화와 함께 모든 조형에 대한 미의 근원이 되는 원리이다. + D: 통일과 변화는 각각 독립된 것으로 상호대립관계에 있다. + question: '질문: 실내디자인의 원리 중 조화ㆍ통일ㆍ변화에 대한 설명으로 옳지 않은 것은?' + target: 차근 차근 생각해봅시다. 건축 디자인 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저 각 선택지에 대한 내용을 확인해보겠습니다. + (A) 조화란 전체적인 조립방법이 모순없이 질서를 잡는 것을 말한다. - 이는 조화의 정의에 부합합니다. 조화는 디자인 요소들이 서로 잘 + 어우러져 전체적인 질서와 균형을 이루는 것을 의미합니다. (B) 조화에는 시각적으로 동일한 요소간에 이루어지는 유사조화와 이질적인 요소간에 + 이루어지는 대비조화가 있다. - 이 역시 조화의 한 형태를 설명하고 있습니다. 유사조화는 같은 종류의 요소들이 서로 조화를 이루는 것을, + 대비조화는 서로 다른 요소들이 조화를 이루는 것을 의미합니다. (C) 통일은 변화와 함께 모든 조형에 대한 미의 근원이 되는 원리이다. + - 통일은 디자인 요소들이 일관성을 가지고 전체적으로 연결되는 것을 의미하며, 변화는 디자인에 다양성과 흥미를 더하는 요소입니다. 두 원리는 + 모두 디자인의 미를 창출하는 중요한 요소입니다. (D) 통일과 변화는 각각 독립된 것으로 상호대립관계에 있다. - 이 선택지는 잘못된 내용입니다. + 통일과 변화는 디자인의 중요한 원리로서, 상호 보완적인 관계에 있습니다. 통일 없이 변화만 있다면 디자인은 혼란스러울 것이고, 반대로 변화 + 없이 통일만 있다면 디자인은 단조로울 것입니다. 둘은 상호대립하는 것이 아니라, 상호보완적인 관계에 있습니다. 따라서, 정답은 (D) + 입니다. + - A: 모듈러 가구 + B: 가동 가구 + C: 유닛 가구 + D: 붙박이 가구 + question: 건물과 일체화해서 만든 가구로서, 가구배치의 혼란을 없애고 공간을 최대한 활용할 수 있는 것은? + target: '차근 차근 생각해봅시다. 건축 디자인 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저 각 선택지의 정의를 이해하는 것이 + 중요합니다. (A). 모듈러 가구: 모듈러 가구는 미리 제작된 독립적인 부품을 조립하여 사용하는 가구를 말합니다. 이 가구는 사용자의 필요에 + 따라 자유롭게 조립하거나 변경할 수 있습니다. (B). 가동 가구: 가동 가구는 위치를 쉽게 이동시킬 수 있는 가구를 말합니다. 이 가구는 + 공간의 배치를 쉽게 변경할 수 있어 유연성을 제공합니다. (C). 유닛 가구: 유닛 가구는 부분을 조립하여 다양한 형태를 만들 수 있는 + 가구를 의미합니다. 이 가구는 공간을 효율적으로 활용할 수 있습니다. (D). 붙박이 가구: 붙박이 가구는 건물의 일부로 설계되고 설치되는 + 가구를 말합니다. 이 가구는 공간을 최대한 활용하고 가구 배치의 혼란을 없앨 수 있습니다. 질문의 키워드는 ''건물과 일체화해서 만든 가구''와 + ''가구배치의 혼란을 없애고 공간을 최대한 활용''입니다. 이 키워드를 기반으로 선택지를 살펴보면, 붙박이 가구가 가장 적합한 것으로 보입니다. + 붙박이 가구는 건물과 일체화되어 설계되고, 공간을 최대한 활용하며 가구 배치의 혼란을 없앨 수 있습니다. 따라서, 정답은 (D) 입니다.' + - A: 현장 실측 조사를 통해 기존 공간의 현황을 명확하게 파악하여야 한다. + B: 기존 도면이 있을 경우 별도의 현장실측은 필요하지 않다. + C: 기존 건축 구조의 영향을 전혀 받지 않는다. + D: 전기 및 설비 관련사항에 대한 검토는 필요 없다. + question: 개보수(Renovation) 작업시 고려해야 할 사항으로 옳은 것은? + target: 차근 차근 생각해봅시다. 건축 디자인 관련 정보를 위해 위키피디아를 참조하겠습니다. 개보수(Renovation) 작업은 기존의 + 건물이나 공간을 새롭게 개선하거나 수정하는 작업을 말합니다. 이를 위해서는 다음과 같은 사항들을 고려해야 합니다. (A) 선택지에서는 현장 + 실측 조사를 통해 기존 공간의 현황을 명확하게 파악해야 한다고 합니다. 이는 매우 중요한 점입니다. 현장 실측 조사는 실제 공간의 구조, + 크기, 위치 등을 정확하게 파악하는 것을 돕습니다. 이를 통해 설계 도면을 만들거나 기존 도면을 수정하는데 필요한 정확한 정보를 얻을 수 + 있습니다. 이는 개보수 작업시 반드시 고려해야 할 사항입니다. (B) 선택지에서는 기존 도면이 있을 경우 별도의 현장실측은 필요하지 + 않다고 합니다. 하지만 이는 옳지 않습니다. 기존 도면이 있더라도 현장의 실제 상황과 도면이 일치하지 않을 수 있습니다. 또한, 건물의 + 사용 중에 생긴 변화나 손상 등을 파악하기 위해서도 현장 실측이 필요합니다. (C) 선택지에서는 기존 건축 구조의 영향을 전혀 받지 않는다고 + 합니다. 하지만 이는 잘못된 정보입니다. 기존 건축 구조는 개보수 작업에 큰 영향을 미칩니다. 구조의 안전성, 변경 가능성 등을 고려해야 + 하며, 구조를 무시하고 개보수를 진행하면 안전 문제가 발생할 수 있습니다. (D) 선택지에서는 전기 및 설비 관련사항에 대한 검토는 필요 + 없다고 합니다. 하지만 이 역시 옳지 않습니다. 전기 및 설비 시스템은 건물의 중요한 부분으로, 이들의 상태와 기능을 확인하고 필요한 경우 + 개선하거나 변경해야 합니다. 따라서, 정답은 (A) 입니다. + - A: '연속 순회형 : 순서별로 관람하기 때문에 지루하나 개개의 전시실을 폐쇄시키기에 유리하다.' + B: '갤러리 및 복도형 : 하나의 전시실을 패쇄시키면 전체 동선의 흐름이 막히게 되므로 비교적 소규모 전시실에 적합하다.' + C: '중앙홀형 : 중앙홀이 크면 동선의 혼란은 없으나 장래의 확장에는 무리가 있다.' + D: '갤러리 및 복도형 : 별도의 전시실 없이 복도만을 전시장으로 사용하며 뉴욕의 근대미술관, 구겐하임 미술관 등이 대표적이다.' + question: 전시공간 전시실의 순회 유형에 대한 설명으로 옳은 것은? + target: '차근 차근 생각해봅시다. 건축 디자인 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 각 선택지에 대한 개념을 정확히 + 이해하고 그에 따른 전시공간 전시실의 순회 유형을 분석해야 합니다. (A) 연속 순회형: 이 유형은 관람객이 한 방향으로만 움직이도록 설계된 + 공간을 의미합니다. 이는 관람객이 전시작품을 순서대로 볼 수 있게 해주지만, 각각의 전시실을 폐쇄하는 것이 용이하다는 점에서 장점이 있습니다. + 그러나 이는 반드시 지루하다는 의미는 아닙니다. (B) 갤러리 및 복도형: 이 유형은 각 전시실이 복도를 통해 연결되어 있어, 한 전시실이 + 폐쇄되면 전체 동선의 흐름이 막히게 되는 구조를 의미합니다. 이는 소규모 전시실에 적합하다고 할 수 있습니다. (C) 중앙홀형: 이 유형은 + 중앙에 큰 공간이 위치하고, 그 주변에 전시실이 배치된 구조를 의미합니다. 중앙홀이 크면 동선의 혼란은 없지만, 장래의 확장에는 어려움이 + 있을 수 있습니다. (D) 갤러리 및 복도형: 이 유형은 별도의 전시실 없이 복도만을 전시장으로 사용하는 구조를 의미합니다. 이는 뉴욕의 + 근대미술관, 구겐하임 미술관 등에서 볼 수 있습니다. 각 선택지를 분석한 결과, (A) 선택지의 ''지루하다''는 표현은 연속 순회형의 + 특징을 정확하게 반영하지 않습니다. (B) 선택지는 갤러리 및 복도형의 특징을 잘 설명하고 있습니다. (C) 선택지는 중앙홀형의 특징을 + 잘 설명하고 있습니다. (D) 선택지는 복도만을 전시장으로 사용하는 갤러리 및 복도형의 특징을 잘 설명하고 있습니다. , 정확한 설명을 + 한 것은 (B), (C), (D) 선택지입니다. 그러나 질문에서는 ''옳은 것''을 물어보고 있으므로 하나의 정답만 선택해야 합니다. 이 + 중에서 가장 일반적인 특징을 잘 설명하고 있는 것은 (C) 중앙홀형입니다. 이는 중앙홀이 크면 동선의 혼란은 없으나, 장래의 확장에는 무리가 + 있다는 특징을 잘 반영하고 있습니다. 따라서, 정답은 (C) 입니다.' + - A: 최소값 +α의 방법 + B: 최대값 -α의 방법 + C: 조정값 ±α의 방법 + D: 목표값 ±α의 방법 + question: 공간의 최적치수 선정방법에 해당되지 않은 것은? + target: '차근 차근 생각해봅시다. 건축 디자인 관련 정보를 위해 위키피디아를 참조하겠습니다. 공간의 최적치수 선정방법을 평가할 때, + 각 옵션의 의미와 일반적인 설계 및 계획 과정에서 사용되는 방법론을 고려해야 합니다. 각 옵션을 살펴보겠습니다: (A) 최소값 +α의 방법: + 이 방법은 주어진 공간에 대한 최소 요구치수에 어떤 마진(α)을 더하여 최적치수를 결정하는 방식입니다. 이는 안전 마진을 고려한 보수적인 + 접근법으로 볼 수 있습니다. (B) 최대값 -α의 방법: 이 방법은 가능한 최대치수에서 어떤 마진(α)을 빼서 최적치수를 결정하는 방식입니다. + 이 역시 마진을 고려하는 접근법으로, 과도한 공간 활용을 방지하기 위한 것일 수 있습니다. (C) 조정값 ±α의 방법: 이 방법은 특정 + 조정값에 대해 상하로 일정 범위(±α) 내에서 최적치수를 결정하는 방식입니다. 이는 유연성을 제공하는 동시에 특정 범위 내에서 조정을 허용하는 + 방식으로 해석될 수 있습니다. (D) 목표값 ±α의 방법: 이 방법은 특정 목표치수에 대해 상하로 일정 범위(±α) 내에서 최적치수를 결정하는 + 방식입니다. 이는 목표치에 대한 허용 오차를 고려한 방법으로, 실제 설계 및 계획 과정에서 흔히 사용됩니다. 이 중에서 "조정값 ±α의 + 방법" (C)은 다소 모호하고 일반적인 설계 및 계획 방법론과 다를 수 있습니다. "조정값"이라는 용어는 특정 기준이나 목표치를 명확하게 + 지칭하지 않으며, 실제 설계 및 계획 과정에서는 보통 최소값, 최대값, 또는 목표값과 같이 더 구체적이고 명확한 기준을 바탕으로 최적치수를 + 결정합니다. 따라서, 정답은 (C) 입니다.' +include: _cot_kmmlu_yaml +task: kmmlu_hard_cot_interior_architecture_and_design diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_korean_history.yaml b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_korean_history.yaml new file mode 100644 index 0000000000000000000000000000000000000000..7498080c53435e432f36448fcb7ea705fcd6533b --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_korean_history.yaml @@ -0,0 +1,100 @@ +dataset_name: korean_history +doc_to_text: '{{question}} + + A.{{A}} + + B.{{B}} + + C.{{C}} + + D.{{D}} + + 정답: 차근 차근 생각해봅시다. 한국사 관련 정보를 위해 위키피디아를 참조하겠습니다.' +fewshot_config: + sampler: first_n + samples: + - A: 북간도에서 무장 독립 단체인 중광단을 조직하였다. + B: 군자금을 모집하고 친일파를 공격하였다. + C: 공화제 국가 수립을 지향하였다. + D: 경상도 일대에서 결성되어 전국 조직으로 확대하였다. + question: '질문: (가)에 대한 설명으로 옳지 않은 것은? (가)은/는 의병계열과 애국계몽 운동 계열의 비밀결사가 모여 결성된 조직으로, + 총사령 박상진을 중심으로 독립군 양성을 목적으로 하였다.' + target: 차근 차근 생각해봅시다. 한국사 관련 정보를 위해 위키피디아를 참조하겠습니다. 대한광복회는 1915년 7월 15일 대구 달성공원에서 + 한말 의병계열과 계몽운동계열이 연합하여 결성한 독립운동단체입니다. 이 단체는 국권 회복과 독립 달성을 목적으로 만주에 무관학교를 설립하고 + 독립군을 양성해 무력이 준비되면 일제와 전쟁을 치를 계획이었습니다. 또한 한인들을 만주로 이주시키고 농토를 개간해 식량과 병력을 공급할 + 계획도 가지고 있었습니다. 대한광복회는 공화제 국가 수립을 지향하였으며, 이는 신민회가 공화주의를 주창한 것을 시작으로 독립운동가들 사이에서 + 공화주의 사상이 널리 퍼져 있었음을 보여줍니다. 대한광복회는 군자금을 모집하고 친일파를 공격하는 활동을 전개하였으며, 이를 위해 전국 각지에 + 상업조직으로 위장한 연락기관들을 설치하였습니다. 또한 중국 단동과 장춘에도 여관과 잡화상을 설립해 연락 거점으로 삼았습니다. 그러나 대한광복회는 + 북간도에서 무장 독립 단체인 중광단을 조직하지 않았습니다. 중광단은 나철과 오기호 등 대종교(단군) 단체에서 결성한 무장투쟁 조직으로, + 3.1운동 이후 중광단이 전신이 되어 북로군정서가 발족하였습니다. 북로군정서는 청산리 대첩에서 김좌진 장군이 이끈 부대로 유명합니다. , + (가)에 대한 설명으로 옳지 않은 것은 (A)입니다. 대한광복회는 북간도에서 무장 독립 단체인 중광단을 조직하지 않았으며, 이는 중광단과는 + 별개의 조직이었습니다. 따라서, 정답은 (A) 입니다. + - A: 이곳에 대장도감을 설치하여 재조대장경을 만들었다. + B: 지눌이 이곳에서 수선사 결사운동을 펼쳤다. + C: 망이 ․망소이가 이곳에서 봉기하였다. + D: 몽골이 이곳에 동녕부를 두었다. + question: (가) 지역에 대한 설명으로 옳은 것은? 나는 삼한(三韓) 산천의 음덕을 입어 대업을 이루었다.(가)는/은수덕(水德)이 순조로워 + 우리나라 지맥의 뿌리가 되니 대업을 만대에 전할 땅이다.왕은 춘하 추동네 계절의 중간달에 그곳에 가 100일 이상 머물러서 나라를 안녕케 + 하라. － 고려사－ + target: 차근 차근 생각해봅시다. 한국사 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 주어진 고려사의 기록을 보면, (가) 지역은 + 삼한의 산천의 음덕을 입은 곳으로, 수덕이 순조롭고 우리나라 지맥의 뿌리가 되는 곳으로 묘사되어 있습니다. 이에 따라, 이 지역은 고려의 + 수도인 개경으로 추정됩니다. 이제, 선택지들을 살펴보겠습니다. (A) 이곳에 대장도감을 설치하여 재조대장경을 만들었다. - 재조대장경은 + 고려 고종 23년(1236)부터 38년(1251)까지 16년간에 걸쳐 완성된 팔만대장경으로, 이 작업은 강화도에서 이루어졌습니다. , + (A)는 틀린 설명입니다. (B) 지눌이 이곳에서 수선사 결사운동을 펼쳤다. - 보조국사 지눌은 고려시대의 승려로, 송광사에서 수선사 결사운동을 + 펼쳤습니다. 송광사는 전라도 순천에 위치해 있습니다. , (B)는 틀린 설명입니다. (C) 망이 .망소이가 이곳에서 봉기하였다. - 망이 + .망소이는 고려시대의 천민 출신으로, 공주 명학소에서 봉기를 일으켰습니다. , (C)는 틀린 설명입니다. (D) 몽골이 이곳에 동녕부를 + 두었다. - 몽골은 고려를 침입한 후, 서경에 동녕부를 설치하여 통치하였습니다. , (D)는 맞는 설명입니다. 따라서, 정답은 (D) + 입니다. + - A: 살수에서 수의 군대를 물리쳤다 . + B: 김춘추 의 신라 왕위 계승을 지원하였다 . + C: 청해진을 설치하고 해상 무역을 전개하였다 . + D: 대가야를 정벌하여 낙동강 유역을 확보하였다 . + question: 밑줄 친 ‘그’에 대한 설명으로 옳은 것은? 이 날 소정방이 부총관 김인문 등과 함께 기 벌포에 도착하여 백제 군사와 마주쳤다 + . …(중략) …소정방이 신라군이 늦게 왔다는 이유로 군문에서 신라 독군 김문영의 목을 베고 자 하니, 그가 군사들 앞에 나아가 “황산 + 전투를 보지도 않고 늦게 온 것을 이유로 우리를 죄 주려 하는구나 . 죄도 없이 치욕을 당할 수는 없으니, 결단코 먼저 당나라 군사와 + 결전을 한 후에 백제를 쳐야겠다 .”라고 말하였다 . + target: 차근 차근 생각해봅시다. 한국사 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저 '그'가 가리키는 대상이 누구인지 확인해야 + 합니다. 이 문장에서 '그'는 신라 독군 김문영을 가리키고 있습니다. 선택지 중에서 김문영의 행적에 해당하는 것을 찾아야 합니다. 이제 + 선택지를 하나씩 살펴보겠습니다. (A) 살수에서 수의 군대를 물리쳤다. - 이 내용은 김유신이 살수 전투에서 수의 군대를 물리친 사건을 + 가리키는 것으로 보입니다. 김문영과는 관련이 없어 보입니다. (B) 김춘추의 신라 왕위 계승을 지원하였다. - 이 내용은 김유신이 김춘추의 + 왕위 계승을 지원한 사건을 가리키는 것으로 보입니다. 김문영이 김춘추의 왕위 계승을 지원한 것은 확실한 사실입니다. 김문영은 김춘추가 왕위를 + 계승하도록 도왔고, 이로 인해 신라는 삼국을 통일할 수 있었습니다. (C) 청해진을 설치하고 해상 무역을 전개하였다. - 이 내용은 진흥왕이 + 청해진을 설치하고 해상 무역을 전개한 사건을 가리키는 것으로 보입니다. 김문영과는 관련이 없어 보입니다. (D) 대가야를 정벌하여 낙동강 + 유역을 확보하였다. - 이 내용은 김유신이 대가야를 정벌하여 낙동강 유역을 확보한 사건을 가리키는 것으로 보입니다. 김문영과는 관련이 없어 + 보입니다. 위의 선택지 중에서 김문영의 행적을 가리키는 것은 "(B) 김춘추의 신라 왕위 계승을 지원하였다" 입니다. 따라서, 정답은 (B) + 입니다. + - A: 대통령은 통일 주체국민회의에서 토론 없이 무기명 투표로 선거한 다 . + B: 통일주체국민회의에서 재적 대의원 과반수의 찬성을 얻은 자를 대통령 당선자로 한다. ①대통령은 국회를 해산할 수 있다. ②대통령의 임기는 + 7년으로 하며, 중임할 수 없다. + C: 대법원장은 대통령이 국회의 동의를 얻어 임명한 다 . + D: 대통령은 국정 전반에 걸쳐 필요한 긴급조치를 할 수 있다. + question: 다음과 같은 대통령 선출 방식이 포함된 헌법의 내용으로 옳지 않은 것은? 제39조 + target: 차근 차근 생각해봅시다. 한국사 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 질문에서 언급한 제39조를 찾아보겠습니다. + 제39조는 대한민국 헌법에 나오는 내용으로, 대통령의 선출 방식과 관련된 내용을 담고 있습니다. 선택지 A, B, C, D 각각의 내용을 + 살펴보면서 제39조와 비교하겠습니다. (A) 대통령은 통일 주체국민회의에서 토론 없이 무기명 투표로 선거한 다. (B) 통일주체국민회의에서 + 재적 대의원 과반수의 찬성을 얻은 자를 대통령 당선자로 한다. ①대통령은 국회를 해산할 수 있다. ②대통령의 임기는 7년으로 하며, 중임할 + 수 없다. (C) 대법원장은 대통령이 국회의 동의를 얻어 임명한 다. (D) 대통령은 국정 전반에 걸쳐 필요한 긴급조치를 할 수 있다. + (A)와 (B)는 대통령 선출 방식에 대한 내용이며, (C)는 대법원장 임명에 대한 내용, (D)는 대통령의 권한에 대한 내용입니다. 제39조의 + 내용을 찾아보면, (A)와 (B)의 내용은 대통령 선출 방식에 대해 언급하고 있으나, 통일 주체국민회의에서 선출한다는 내용은 없습니다. + 또한, (B)의 내용 중 대통령의 임기가 7년이며, 중임할 수 없다는 내용도 헌법에는 없습니다. (C)의 내용은 제104조에 나오는 대법원장 + 임명 방식에 대한 내용이며, 제39조와는 관련이 없습니다. (D)의 내용은 제76조에 나오는 대통령의 권한에 대한 내용으로, 제39조와는 + 관련이 없습니다. , 제39조와 관련된 내용이 아닌 것은 (C) 대법원장은 대통령이 국회의 동의를 얻어 임명한 다와 (D) 대통령은 국정 + 전반에 걸쳐 필요한 긴급조치를 할 수 있다입니다. 하지만 질문에서는 '옳지 않은 것'을 묻고 있으므로, 제39조와 관련이 있으면서도 내용이 + 틀린 선택지를 찾아야 합니다. 그 결과, (B) 통일주체국민회의에서 재적 대의원 과반수의 찬성을 얻은 자를 대통령 당선자로 한다. ①대통령은 + 국회를 해산할 수 있다. ②대통령의 임기는 7년으로 하며, 중임할 수 없다가 옳지 않은 내용입니다. 따라서, 정답은 (B) 입니다. + - A: 사창제를 실시하였다 . + B: 대전회통을 편찬하였다 . + C: 비변사의 기능을 강화하였다 . + D: 통상 수교 거부 정책을 추진하였다 . + question: (가) 인물이 추진한 정책으로 옳지 않은 것은? 선비들 수만 명이 대궐 앞에 모여 만 동묘와 서원을 다시 설립할 것을 청하니, + (가)이/가 크게 노하여 한성부의 조례(皂隷)와 병졸로 하여 금 한 강 밖으로 몰아내게 하고 드디어 천여 곳의 서원을 철폐하고 그 토지를 + 몰수하여 관에 속하게 하였다 .－대한계년사 － + target: 차근 차근 생각해봅시다. 한국사 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 제시된 지문에서 (가) 인물이 추진한 정책으로 + 옳지 않은 것을 찾아야 합니다. 제시된 지문에서는 선비들이 만동묘와 서원을 다시 설립할 것을 청하자, (가) 인물이 크게 노하여 서원을 + 철폐하고 그 토지를 몰수한 것을 알 수 있습니다. 여기서, (가) 인물은 흥성대원군임을 알 수 있습니다. 선택지를 하나씩 살펴보면, (A) + 사창제를 실시하였다 - 사창제는 환곡의 문란을 해결하기 위해 실시한 정책으로, 흥선대원군이 추진한 정책 중 하나입니다. (B) 대전회통을 + 편찬하였다 - 대전회통은 조선시대의 법전으로, 흥선대원군이 편찬을 주도하였습니다. (C) 비변사의 기능을 강화하였다 - 비변사는 조선시대의 + 군사 기구로, 흥선대원군은 왕권 강화를 위해 비변사의 기능을 약화시켰습니다. (D) 통상 수교 거부 정책을 추진하였다 - 흥선대원군은 외세의 + 침략을 막기 위해 통상 수교 거부 정책을 추진하였습니다. 따라서, 정답은 (C) 입니다. +include: _cot_kmmlu_yaml +task: kmmlu_hard_cot_korean_history diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_machine_design_and_manufacturing.yaml b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_machine_design_and_manufacturing.yaml new file mode 100644 index 0000000000000000000000000000000000000000..4c6207bb29c5fc58779df1459019eb5e69d8e608 --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_machine_design_and_manufacturing.yaml @@ -0,0 +1,86 @@ +dataset_name: machine_design_and_manufacturing +doc_to_text: '{{question}} + + A.{{A}} + + B.{{B}} + + C.{{C}} + + D.{{D}} + + 정답: 차근 차근 생각해봅시다. 기계 디자인 제조 관련 정보를 위해 위키피디아를 참조하겠습니다.' +fewshot_config: + sampler: first_n + samples: + - A: 웜 기어 + B: 스퍼 기어 + C: 헬리컬 기어 + D: 더블 헬리컬 기어 + question: '질문: 기어 감소기의 분류 중 평행축형 감속기가 아닌 것은?' + target: 차근 차근 생각해봅시다. 기계 디자인 제조 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 각 선택지에 대한 기어의 특징과 + 분류를 이해해야 합니다. (A) 웜 기어(Worm gear)는 웜과 웜 휠로 구성되며, 웜 휠은 웜의 나사와 맞물려 회전하는 기어입니다. + 웜 기어는 주로 고속 감속에 사용되며, 이는 웜의 나사가 한 바퀴 돌 때 웜 휠이 한 칸만 이동하기 때문입니다. 웜 기어는 평행축형 감속기가 + 아니라 직교축형 감속기에 속합니다. (B) 스퍼 기어(Spur gear)는 가장 기본적인 형태의 기어로, 기어의 모든 치톱이 원통의 축선 + 방향에 위치해 있습니다. 이들은 평행한 축 사이에서 힘을 전달하는 데 사용되므로, 평행축형 감속기에 속합니다. (C) 헬리컬 기어(Helical + gear)는 기어의 치톱이 헬릭스 형태로 둘러져 있어, 기어가 맞물릴 때 접촉 면적이 크고, 작동이 부드럽고 소음이 적습니다. 헬리컬 기어는 + 평행축형 감속기에 속합니다. (D) 더블 헬리컬 기어(Double helical gear)는 헬리컬 기어의 변형 형태로, 치톱이 'V' + 모양을 이루며, 이는 기어의 축력을 상쇄하는 효과가 있습니다. 더블 헬리컬 기어 역시 평행축형 감속기에 속합니다. 따라서, 정답은 (A) + 입니다. + - A: 대용량이다. + B: 맥동압력이 없다. + C: 고압발생이 가능하다. + D: 윤활이 쉽다. + question: 왕복식 압축기의 장점으로 맞는 것은? + target: '차근 차근 생각해봅시다. 기계 디자인 제조 관련 정보를 위해 위키피디아를 참조하겠습니다. 왕복식 압축기는 그 이름에서 알 수 + 있듯이, 압축기의 움직임이 왕복운동을 따르는 형태입니다. 이러한 구조의 특성상 다음과 같은 특징들을 가지고 있습니다. (A) 대용량이다: + 왕복식 압축기는 일반적으로 소형에서 중형까지의 용량을 다루는데 적합하다고 알려져 있습니다. ''대용량''이라는 표현은 왕복식 압축기의 + 특성을 정확하게 반영하지 않습니다. (B) 맥동압력이 없다: 왕복식 압축기는 피스톤이 실린더 내에서 왕복운동을 하면서 가스를 압축하고, + 이 과정에서 맥동이 발생합니다. ''맥동압력이 없다''는 표현은 정확하지 않습니다. (C) 고압발생이 가능하다: 왕복식 압축기는 그 + 구조상 고압을 생성하는 데 적합합니다. 피스톤의 움직임에 의해 가스를 압축하므로, 상대적으로 높은 압력을 발생시킬 수 있습니다. (D) + 윤활이 쉽다: 왕복식 압축기의 경우, 피스톤과 실린더 사이의 마찰을 줄이기 위해 윤활이 필요합니다. 하지만 이것이 ''윤활이 쉽다''라는 + 표현을 정당화하는 것은 아닙니다. 오히려 윤활 상태를 유지하고 관리하는 것은 중요한 유지보수 작업 중 하나입니다. , 정확한 정보를 바탕으로 + 각 선택지를 분석한 결과, 왕복식 압축기의 장점으로 가장 적절한 것은 ''고압발생이 가능하다''입니다. 따라서, 정답은 (C) 입니다.' + - A: 속도 가동률을 높인다. + B: 미세한 결함을 시정한다. + C: 현상을 잘 파악한다. + D: 최적조건을 파악한다. + question: 일시 정체로스를 해결하기 위한 대책이 아닌 것은? + target: 차근 차근 생각해봅시다. 기계 디자인 제조 관련 정보를 위해 위키피디아를 참조하겠습니다. 일시 정체로스를 해결하기 위한 대책이 + 아닌 것을 찾기 위해서는, 일시 정체로스의 정의와 그에 따른 해결 방안을 알아야 합니다. 일시 정체로스는 생산 공정에서 발생하는 로스 중 + 하나로, 일정 시간 동안 생산이 정체되는 것을 의미합니다. 이러한 정체로스를 해결하기 위해서는 다양한 대책이 필요합니다. (A) 속도 가동률을 + 높이는 것은 일시 정체로스를 해결하는 대책 중 하나일 뿐, 모든 경우에 적용할 수 있는 것은 아닙니다. 때로는 속도 가동률을 높이는 것이 + 오히려 생산성을 떨어뜨릴 수도 있습니다. (B) 미세한 결함을 시정하는 것도 중요한 대책 중 하나입니다. 미세한 결함이 있으면 생산이 중단되거나 + 지연될 수 있기 때문에, 이를 미리 발견하고 시정함으로써 정체로스를 예방할 수 있습니다. (C) 현상을 잘 파악하는 것도 중요합니다. 현상을 + 잘 파악하면 정체로스의 원인을 파악하고, 그에 따른 적절한 대책을 세울 수 있습니다. (D) 최적 조건을 파악하는 것은 일시 정체로스를 + 해결하는 데 중요한 역할을 합니다. 최적 조건을 파악하면 생산 공정의 효율성을 높일 수 있으며, 이는 정체로스를 예방하는 데 큰 도움이 + 됩니다. 따라서, 정답은 (A) 입니다. + - A: 주철관 이음쇠 + B: 신축 관 이음쇠 + C: 패킹 이음쇠 + D: 나사 관 이음쇠 + question: 열에 의한 관의 팽창, 수축을 허용하여 과도한 응력 발생을 방지하는 이음쇠는? + target: 차근 차근 생각해봅시다. 기계 디자인 제조 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 각 선택지에 대한 이해를 바탕으로 + 생각해보겠습니다. (A) 주철관 이음쇠는 주로 철이나 철을 주재료로 한 합금으로 만들어진 관을 연결하는 데 사용됩니다. 그러나 주철관 이음쇠는 + 열에 의한 팽창과 수축에 대응하는 능력이 부족하다고 알려져 있습니다. (B) 신축 관 이음쇠는 이름에서 알 수 있듯이 '신축성'이 중요한 + 특징입니다. 신축 관 이음쇠는 관의 길이가 변동되더라도 이음쇠가 이를 수용하도록 설계되어 있습니다. 이는 열에 의해 관이 팽창하거나 수축하는 + 것을 허용하며, 이로 인한 과도한 응력 발생을 방지할 수 있습니다. (C) 패킹 이음쇠는 물이나 기체의 누출을 방지하기 위해 주로 사용되는 + 이음쇠입니다. 패킹 이음쇠는 보통 고무 또는 실리콘 같은 소재로 만들어져 있으며, 이러한 소재는 열에 의한 팽창과 수축에 대응하는 능력이 + 제한적일 수 있습니다. (D) 나사 관 이음쇠는 나사로 두 관을 연결하는 방식의 이음쇠입니다. 이러한 이음쇠는 열에 의한 팽창과 수축에 + 대응하는 능력이 부족하다고 알려져 있습니다. , 각 선택지를 고려해보면 열에 의한 팽창과 수축을 허용하고 과도한 응력 발생을 방지하는 + 이음쇠는 신축 관 이음쇠일 가능성이 높습니다. 따라서, 정답은 (B) 입니다. + - A: 해칭은 가는 실선으로 그린다. + B: 해칭선의 간격은 해칭을 하는 단면의 크기에 따라 선택한다. + C: 해칭은 주된 중심선 또는 단면도의 주된 외형선에 대하여 90℃ 기울기로 그린다. + D: 인접한 단면의 해칭은 선의 방향 또는 각도를 바꾸든지, 아니면 그 간격을 바꾸어서 구별한다. + question: 해칭의 일반적인 원칙 중 틀린 것은? + target: 차근 차근 생각해봅시다. 기계 디자인 제조 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 각 선택지에 대한 내용을 이해하고 + 검증해보겠습니다. (A) 선택지는 해칭이 가는 실선으로 그려진다는 내용입니다. 이는 일반적으로 맞는 내용입니다. 해칭은 기계 설계도나 제품 + 설계도에서 재료의 단면을 표시하는 데 사용되는 선을 말합니다. 이는 가는 실선으로 그려집니다. (B) 선택지는 해칭선의 간격이 해칭을 하는 + 단면의 크기에 따라 선택된다는 내용입니다. 이 역시 일반적으로 맞는 내용입니다. 해칭선의 간격은 그려지는 단면의 크기나 그림의 비율에 따라 + 결정됩니다. (D) 선택지는 인접한 단면의 해칭은 선의 방향 또는 각도를 바꾸든지, 아니면 그 간격을 바꾸어서 구별한다는 내용입니다. 이 + 역시 일반적으로 맞는 내용입니다. 인접한 단면의 해칭은 서로 구별하기 위해 선의 방향, 각도, 간격 등을 바꾸어 그립니다. 그러나 (C) + 선택지는 해칭이 주된 중심선 또는 단면도의 주된 외형선에 대하여 90℃ 기울기로 그린다는 내용인데, 이는 잘못된 내용입니다. 일반적으로 + 해칭은 45도 기울기로 그려집니다. , 이 선택지는 해칭의 일반적인 원칙을 잘못 설명하고 있습니다. 따라서, 정답은 (C) 입니다. +include: _cot_kmmlu_yaml +task: kmmlu_hard_cot_machine_design_and_manufacturing diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_management.yaml b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_management.yaml new file mode 100644 index 0000000000000000000000000000000000000000..116289043de2da5ac00079db7561ef602a33a35d --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_management.yaml @@ -0,0 +1,79 @@ +dataset_name: management +doc_to_text: '{{question}} + + A.{{A}} + + B.{{B}} + + C.{{C}} + + D.{{D}} + + 정답: 차근 차근 생각해봅시다. 경영학 관련 정보를 위해 위키피디아를 참조하겠습니다.' +fewshot_config: + sampler: first_n + samples: + - A: 조직문화 혁신 + B: 경영혁신의 수단 + C: 고객만족과 이윤극대화 + D: 기업 내부의 정보인프라 구축 + question: '질문: ERP 도입의 최종 목적으로 가장 적합한 것은 무엇인가?' + target: 차근 차근 생각해봅시다. 경영학 관련 정보를 위해 위키피디아를 참조하겠습니다. ERP (Enterprise Resource Planning) + 시스템 도입의 최종 목적을 이해하기 위해서는 ERP의 기본 개념과 목표에 대해 살펴볼 필요가 있습니다. ERP 시스템은 기업의 다양한 업무 + 프로세스를 통합하고 관리하는 소프트웨어입니다. 이는 기업 내부의 자원을 효율적으로 관리하고, 기업 전체의 업무 과정을 유기적으로 연결하는 + 역할을 합니다. ERP 시스템은 비즈니스 프로세스의 표준화와 단순화를 통해 비효율을 줄이고, 중복 업무를 축소합니다. 이러한 시스템은 실시간으로 + 정보를 관리하며, 기업의 의사결정을 지원하는 경영 정보 시스템의 역할을 수행합니다. ERP 도입의 주요 목적은 고객 만족과 이윤 극대화에 + 있습니다. 이는 잘못된 관행의 제거, 비부가가치 업무의 축소, 재고비용 절감, 납기 단축, 정보 공유를 통한 매출 증대 등을 통해 달성됩니다. + 또한, 경쟁력 강화 및 투명 경영을 실현하고 글로벌 경쟁에 대응하는 데에도 중요한 역할을 합니다. , ERP 도입의 최종 목적은 다양한 + 측면이 있지만, 가장 핵심적인 목적은 '고객만족과 이윤 극대화'로 볼 수 있습니다. 이를 통해 기업의 경쟁력을 강화하고, 글로벌 시장에서의 + 지속 가능한 성장을 도모할 수 있습니다. 따라서, 정답은 (C) 입니다. + - A: 현금 + B: 투자자산 + C: 재고자산 + D: 매출채권 + question: 재무상태표의 유동자산 항목에 해당하지 않는 것은? + target: '차근 차근 생각해봅시다. 경영학 관련 정보를 위해 위키피디아를 참조하겠습니다. 재무상태표는 기업의 일정 시점의 재무상태를 나타내는 + 표로, 자산, 부채, 자본으로 구성됩니다. 자산은 유동자산과 비유동자산으로 구분되는데, 유동자산은 1년 이내에 현금화할 수 있는 자산을 + 의미합니다. (A) 현금: 통화 및 통화 대용증권을 포함한 즉시 현금으로 전환이 가능한 자산입니다. (B) 투자자산은 재무상태표의 유동자산 + 항목에 해당하지 않습니다. 투자자산은 기업이 장기적인 투자수익을 얻기 위해 보유하는 자산으로, 1년 이내에 현금화할 수 없기 때문에 유동자산에 + 해당하지 않습니다. 대표적인 투자자산으로는 주식, 채권, 부동산 등이 있습니다. (C) 재고자산: 판매를 목적으로 보유하고 있는 자산으로, + 상품, 제품, 원재료 등이 해당됩니다. (D) 매출채권: 제품이나 상품을 판매하고 아직 대금을 회수하지 못한 채권입니다. 따라서, 정답은 + (B) 입니다.' + - A: 임기는 3년으로 하되, 한 번만 연임할 수 있다. + B: 업무에 관한 활동 결과보고서를 작성하여 매년 12월 말까지 규제개혁위원회와 중소벤처기업부 및 국회에 보고하여야 한다. + C: 중소기업 및 규제 분야의 학식과 경험이 많은 자 중에서 중소벤처기업부장관이 위촉한다. + D: 판사의 직에 5년 이상 있었던 사람은 중소기업 옴부즈만이 될 자격이 있다. + question: 중소기업기본법상 중소기업 옴부즈만에 관한 설명으로 옳은 것은? + target: 차근 차근 생각해봅시다. 경영학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 중소기업 옴부즈만에 대해 알아야 합니다. + 중소기업 옴부즈만은 중소기업기본법 제22조에 따라 중소기업에 영향을 주는 규제 및 애로사항을 개선하기 위해 중소벤처기업부장관이 위촉하는 + 독립적인 전문가입니다. 이제 선택지를 보겠습니다. (A)를 살펴보면, 중소기업 옴부즈만은 국무총리가 위촉되는 임기 3년의 독립적 정부기관이다. + 한 번 연임이 가능하며, 다른 중소기업청 관계 기관과는 달리, 규제개혁위원회의 동의를 받아 임명됩니다. 이는 옳은 설명입니다. (B)를 + 살펴보면, 중소기업기본법 제22조에 따라 중소기업 옴부즈만은 업무에 관한 활동 결과보고서를 작성하여 매년 1월 말까지 규제개혁위원회와 중소벤처기업부 + 및 국회에 보고하여야 한다고 명시되어 있습니다. 이는 틀린 설명입니다. (C)를 살펴보면, 중소기업 옴부즈만은 중소기업 및 규제 분야의 + 학식과 경험이 풍부한 사람 중에서 국무총리가 위촉한다고 명시되어 있습니다. 이는 틀린 설명입니다. (D)를 살펴보면, 중소기업기본법 + 제22조에 판사의 직에 5년 이상 있었던 사람은 중소기업 옴부즈만이 될 자격이 있다는 내용은 명시되어 있지 않습니다. 이는 옳지 않은 + 설명입니다. 따라서, 정답은 (A) 입니다. + - A: 직무급은 종업원이 맡은 직무의 상대적 가치에 따라 임금을 결정하는 방식이다. + B: 연봉제란 개인의 능력발휘와 기여도(업적평가결과)에 따라 차등적인 임금을 결정하는 방식이다. + C: 직무성과급이란 기본급이 직무급이고, 고과승급과 인센티브를 운영하는 임금체계이다. + D: 직능급은 종업원이 수행하는 직무의 난이도를 기준으로 임금을 결정하는 방식이다. + question: 임금체계에 대한 설명으로 옳지 않은 것은? + target: 차근 차근 생각해봅시다. 경영학 관련 정보를 위해 위키피디아를 참조하겠습니다. (A) 먼저, 직무급은 종업원이 맡은 직무의 상대적 + 가치에 따라 임금을 결정하는 방식입니다. 이는 직무의 중요도와 난이도, 책임 등을 평가하여 결정됩니다. (B) 다음으로, 연봉제는 개인의 + 능력발휘와 기여도(업적평가결과)에 따라 차등적인 임금을 결정하는 방식입니다. 이는 개인의 성과와 업적에 따라 임금이 변동될 수 있습니다. + (C) 직무성과급은 기본급이 직무급이고, 고과승급과 인센티브를 운영하는 임금체계입니다. 이는 직무의 가치와 성과에 따라 임금이 결정됩니다. + (D) 마지막으로, 직능급은 종업원이 수행하는 직무의 난이도를 기준으로 임금을 결정하는 방식이 아니라, 종업원의 직무수행능력에 따라 임금을 + 결정하는 방식입니다. 따라서, 정답은 (D) 입니다. + - A: 고객의 주문에 신속하게 반응할 수 있도록 재고를 최대한으로 유지한다. + B: 물류시스템을 생산지에서 소비지까지 연계되도록 구축한다. + C: 기업의 총비용을 최소화하기 위해 물류서비스 수준을 최대로 유지한다. + D: 물류합리화를 위해 기업내 각 부문별로 목표를 정하고 분산된 시스템을 구축한다. + question: 물류시스템에 관한 설명으로 옳은 것은? + target: 차근 차근 생각해봅시다. 경영학 관련 정보를 위해 위키피디아를 참조하겠습니다. (A) 고객의 주문에 신속하게 반응하기 위해 재고를 + 최대한으로 유지하는 것은 물류 시스템의 목적 중 하나일 수 있지만, 이는 과도한 재고 유지 비용을 초래할 수 있습니다. (B) 물류시스템은 + 생산지에서 소비지까지 연계되도록 구축하는 것이 가장 중요한 역할 중 하나입니다. (C) 기업의 총비용을 최소화하기 위해 물류서비스 수준을 + 최대로 유지하는 것은 물류 시스템의 목적 중 하나일 수 있지만, 이는 고객 만족도를 저하시킬 수 있습니다. (D) 물류합리화를 위해 기업내 + 각 부문별로 목표를 정하고 분산된 시스템을 구축하는 것은 물류 시스템의 효율성을 높일 수 있지만, 이는 통합적인 관리가 어려울 수 있습니다. + 따라서, 정답은 (B) 입니다. +include: _cot_kmmlu_yaml +task: kmmlu_hard_cot_management diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_maritime_engineering.yaml b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_maritime_engineering.yaml new file mode 100644 index 0000000000000000000000000000000000000000..e168371f2d703facf5b6073e290a51c85bbd999d --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_maritime_engineering.yaml @@ -0,0 +1,101 @@ +dataset_name: maritime_engineering +doc_to_text: '{{question}} + + A.{{A}} + + B.{{B}} + + C.{{C}} + + D.{{D}} + + 정답: 차근 차근 생각해봅시다. 해양 공학 관련 정보를 위해 위키피디아를 참조하겠습니다.' +fewshot_config: + sampler: first_n + samples: + - A: GM ＞ 0 + B: GM = 0 + C: GM ＜ 0 + D: GM = -1 + question: '질문: 복원력을 갖는 안정 평형 상태인 선박의 메타센터 높이의 조건은?' + target: '차근 차근 생각해봅시다. 해양 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 복원력(復原力, restoring + force)이란 선박이 기울어졌을 때 원래의 위치로 되돌아가려는 힘을 의미합니다. 안정 평형 상태(stable equilibrium state)란 + 선박이 기울어져도 원래의 위치로 되돌아오는 상태를 말합니다. 메타센터 높이(GM, metacenter height)는 선박이 기울어졌을 + 때, 복원력의 중심과 무게중심 사이의 거리를 의미합니다. 이제 각 선택지를 살펴보겠습니다. (A) GM > 0: GM이 0보다 크면, 복원력의 + 중심이 무게중심보다 위에 위치하게 됩니다. 이 경우, 선박이 기울어지면 복원력이 작용하여 원래의 위치로 되돌아오게 됩니다. , GM > + 0은 안정 평형 상태인 선박의 조건입니다. (B) GM = 0: GM이 0이면, 복원력의 중심과 무게중심이 일치하게 됩니다. 이 경우, + 선박이 기울어져도 복원력이 작용하지 않아 원래의 위치로 되돌아오지 않습니다. , GM = 0은 안정 평형 상태인 선박의 조건이 아닙니다. + (C) GM < 0: GM이 0보다 작으면, 복원력의 중심이 무게중심보다 아래에 위치하게 됩니다. 이 경우, 선박이 기울어지면 복원력이 + 작용하여 원래의 위치로 되돌아오지 않고, 더욱 기울어지게 됩니다. , GM < 0은 안정 평형 상태인 선박의 조건이 아닙니다. (D) + GM = -1: GM이 -1인 경우는 안정 평형 상태인 선박의 조건이 아닙니다. GM은 거리를 나타내는 물리량이므로 음수 값을 가질 수 + 없습니다. 따라서, 정답은 (A) 입니다.' + - A: 냉간가공이 가능하고, 선상가열해도 좋은 것 + B: 냉간가공이 가능하고, 선상가열을 못하는 것 + C: 극저온(極低溫)에서 파괴되지 않는 것 + D: 용접할 수 없는 것 + question: 일반조선용 강재가 가져야 하는 성질은? + target: 차근 차근 생각해봅시다. 해양 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 일반조선용 강재는 배를 만드는데 사용되는 주요 + 재료입니다. 이 강재는 배를 만드는데 필요한 여러 가지 성질을 가져야 합니다. (A) 선택지는 냉간가공이 가능하다는 점과 선상가열해도 + 좋다는 점을 언급하고 있습니다. 냉간가공이 가능하다는 것은 강재가 저온에서도 물리적 특성을 유지할 수 있다는 것을 의미하며, 이는 배가 + 극지방과 같은 매우 추운 환경에서도 안정적으로 작동할 수 있게 해줍니다. 또한 선상가열이 가능하다는 것은 강재가 열에 의해 손상되지 않는다는 + 것을 의미합니다. 이는 배가 열을 발생시키는 엔진 등의 장치를 안전하게 운용할 수 있게 해줍니다. (B) 선택지는 냉간가공이 가능하다는 + 점을 언급하고 있지만, 선상가열을 못한다는 점을 지적하고 있습니다. 이는 강재가 열에 약하다는 것을 의미하며, 이는 배의 안전성을 저해할 + 수 있습니다. (C) 선택지는 극저온에서 파괴되지 않는다는 점을 언급하고 있습니다. 이는 배가 극지방과 같은 매우 추운 환경에서도 안정적으로 + 작동할 수 있음을 의미합니다. 이는 (A) 선택지에서 언급한 냉간가공이 가능하다는 점과 비슷한 이점을 제공합니다. (D) 선택지는 용접할 + 수 없다는 점을 언급하고 있습니다. 이는 배를 만드는데 필요한 주요 기술 중 하나인 용접을 사용할 수 없다는 것을 의미하며, 이는 배를 + 제작하는 데 큰 장애가 될 수 있습니다. 이러한 분석을 통해, 일반조선용 강재는 냉간가공이 가능하고, 선상가열에도 견딜 수 있으며, 극저온에서도 + 안정적인 성질을 가져야 하며, 용접이 가능해야 한다는 것을 알 수 있습니다. 선택지 중에서는 (A)와 (C)가 이러한 성질을 가장 잘 + 반영하고 있습니다. 그러나 (C)는 (A)가 가지고 있는 선상가열에 견딜 수 있다는 중요한 성질을 갖고 있지 않습니다. 따라서, 정답은 + (A) 입니다. + - A: 준설선 + B: 3도형선 + C: 평갑판선 + D: 트렁크선 + question: 선형에 따라 분류한 선박의 종류에 해당되지 않는 것은? + target: '차근 차근 생각해봅시다. 해양 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 선형에 따라 분류한 선박의 종류를 + 알아보겠습니다. 선형에 따른 선박의 종류는 크게 다음과 같이 나눌 수 있습니다. 1. 3도형선: 3개의 선체를 연결한 형태의 선박으로, + 화물 수송에 사용됩니다. 2. 평갑판선: 선체의 상부가 평평한 형태의 선박으로, 화물 수송에 사용됩니다. 3. 갑판일체선: 선체의 상부가 + 갑판과 일체화된 형태의 선박으로, 화물 수송에 사용됩니다. 4. 트렁크선: 선체의 중앙에 트렁크(trunk)라는 큰 공간이 있는 선박으로, + 화물 수송에 사용됩니다. 5. 유조선: 원유나 석유 제품을 수송하는 선박입니다. 6. LNG선: 액화천연가스를 수송하는 선박입니다. 7. + 컨테이너선: 컨테이너를 수송하는 선박입니다. 8. 벌크선: 곡물, 철광석 등의 화물을 포장하지 않고 그대로 수송하는 선박입니다. 9. 여객선: + 승객을 수송하는 선박입니다. 이제 선택지를 보겠습니다. (A) 준설선: 준설선은 강이나 바다의 바닥을 파내어 수심을 깊게 하거나, 토사를 + 채취하는 데 사용되는 선박으로 선형에 따라 분류한 선박의 종류에 해당되지 않습니다. (B) 3도형선: 3개의 선체를 연결한 형태의 선박으로, + 선형에 따라 분류한 선박의 종류에 해당됩니다. (C) 평갑판선: 선체의 상부가 평평한 형태의 선박으로, 선형에 따라 분류한 선박의 종류에 + 해당됩니다. (D) 트렁크선: 선체의 중앙에 트렁크(trunk)라는 큰 공간이 있는 선박으로, 선형에 따라 분류한 선박의 종류에 해당됩니다. + 따라서, 정답은 (A) 입니다.' + - A: 염분약층 + B: 열전도층 + C: 수온약층 + D: 조경층 + question: 따뜻하고 밀도가 낮은 물은 수심이 얕은 곳에 위치하며 차고 밀도가 높은 물은 수심이 깊은 곳에 위치한다. 이 때 두 물이 + 만나서 형성하는 경계면은? + target: 차근 차근 생각해봅시다. 해양 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 이 질문은 바다의 수층 구조에 관한 + 것입니다. 바다의 수층 구조는 수온, 염분, 밀도 등에 따라 크게 세 가지 층으로 나뉘는데, 이는 표층층(surface layer), 중간층(thermocline/pycnocline/halocline), + 그리고 심해층(deep layer)입니다. 표층층은 수심 약 200m까지이며, 이곳에서는 바다의 온도와 염분이 거의 일정하다. 이 층은 + 일반적으로 따뜻하고 밀도가 낮습니다. 그 다음으로, 중간층은 수심 약 200m부터 1000m까지로, 이 층에서는 수온과 염분이 급격하게 + 변화합니다. , 이 층은 밀도가 높은 층이라고 할 수 있습니다. 중간층에서 수온이 급격하게 변하는 부분을 '수온약층(thermocline)', + 염분이 급격하게 변하는 부분을 '염분약층(halocline)', 밀도가 급격하게 변하는 부분을 '밀도약층(pycnocline)'이라고 합니다. + 마지막으로, 심해층은 수심 1000m 이하로, 이곳에서는 수온과 염분이 거의 일정하며, 밀도가 가장 높습니다. , 질문에서 말하는 '따뜻하고 + 밀도가 낮은 물'은 표층층을, '차고 밀도가 높은 물'은 중간층을 의미하는 것으로 보입니다. 그리고 이 두 층 사이에서 수온과 밀도가 급격하게 + 변하는 경계면을 가리키는 것으로 해석할 수 있습니다. 그렇다면 선택지 중에서 어떤 것이 이 경계면을 가장 잘 설명하는지 살펴보겠습니다. + (A) 염분약층은 염분이 급격하게 변하는 부분을 가리키는 용어입니다. 하지만 질문에서는 염분에 대한 언급이 없으므로 이 선택지는 제외할 + 수 있습니다. (B) 열전도층은 열이 전달되는 층을 가리키는 용어입니다. 이 용어는 바다의 수층 구조와는 직접적인 연관이 없으므로 이 선택지도 + 제외할 수 있습니다. (C) 수온약층은 수온이 급격하게 변하는 부분을 가리키는 용어입니다. 따뜻한 표층층과 찬 중간층 사이에서 수온이 급격하게 + 변하므로, 이 용어는 질문의 경계면을 잘 설명하는 것으로 보입니다. (D) 조경층은 바다의 수심에 따라 조류의 성질이 변하는 층을 가리키는 + 용어입니다. 이 용어는 바다의 수층 구조와는 직접적인 연관이 없으므로 이 선택지도 제외할 수 있습니다. 따라서, 정답은 (C) 입니다. + - A: 헬륨 + B: 산소 + C: 질소 + D: 아르곤 + question: 압축공기에 포함된 불활성 기체로서 지방질에 용해가 잘되고 압력이 증가함에 따라 강한 마취효과를 내는 주된기체는? + target: '차근 차근 생각해봅시다. 해양 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 각 선지에 대한 설명과 올바른 답변이 왜 + 맞는지에 대한 풀이 과정은 다음과 같습니다: (A) 헬륨: 헬륨은 불활성 기체로 알려져 있으며, 지방질에 용해되는 성질이나 마취 효과는 + 거의 없습니다. 헬륨은 주로 잠수할 때 질소 중독을 방지하기 위한 혼합 가스로 사용됩니다. (B) 산소: 산소는 압축 공기에 포함된 주요 + 기체 중 하나이며, 고압 상태에서 지방질에 용해되는 경향이 있습니다. 고압 산소는 혈액과 조직에 더 많이 용해되어 강한 마취 효과를 나타낼 + 수 있습니다. 이 현상은 산소 독성 또는 산소 마취로 알려져 있으며, 특히 잠수병과 관련된 깊은 잠수에서 중요한 역할을 합니다. (C) + 질소: 질소는 지방질에 용해되거나 마취 효과를 나타내지 않습니다. 잠수병(디콤프레션 병증)은 주로 해수면 아래에서의 압력 변화로 인해 질소 + 기체가 혈액과 조직에서 과도하게 용해되었다가, 압력이 감소하면서 기체로 변환되어 발생하는 것으로, 질소 자체가 마취 효과를 내는 것은 아닙니다. + (D) 아르곤: 아르곤도 불활성 기체로, 지방질에 용해되거나 마취 효과를 나타내지 않습니다. 아르곤은 주로 산업 공정에서 보호 가스로 사용됩니다. + 따라서, 정답은 (B) 입니다.' +include: _cot_kmmlu_yaml +task: kmmlu_hard_cot_maritime_engineering diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_marketing.yaml b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_marketing.yaml new file mode 100644 index 0000000000000000000000000000000000000000..240d92a2f05061fa6f27a53c6b20fec6341db048 --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_marketing.yaml @@ -0,0 +1,94 @@ +dataset_name: marketing +doc_to_text: '{{question}} + + A.{{A}} + + B.{{B}} + + C.{{C}} + + D.{{D}} + + 정답: 차근 차근 생각해봅시다. 마케팅 관련 정보를 위해 위키피디아를 참조하겠습니다.' +fewshot_config: + sampler: first_n + samples: + - A: 주문에 대한 신속하고 정확한 대응 + B: 품질이 낮아도 저렴한 제품의 대량공급 + C: 배송 등 철저한 사후관리 + D: 기술적인 지원체제 구축 + question: '질문: e-CRM상에서 고객유지를 위한 전략으로 맞지 않는 것은?' + target: '차근 차근 생각해봅시다. 마케팅 관련 정보를 위해 위키피디아를 참조하겠습니다. e-CRM(Electronic Customer + Relationship Management)은 인터넷을 기반으로 한 고객관계관리를 의미합니다. 고객 유지를 위한 전략은 고객 만족도를 높이고 + 이탈을 방지하는 것이 목적입니다. 선택지를 하나씩 살펴보겠습니다. (A). 주문에 대한 신속하고 정확한 대응: 고객이 주문한 제품이나 서비스를 + 빠르게 제공하고 정확하게 처리하는 것은 고객 만족도를 높일 수 있습니다. , 이는 고객 유지를 위한 전략으로 적합합니다. (B). 품질이 + 낮아도 저렴한 제품의 대량공급: 고객 만족도를 높이기 위해서는 제품의 품질이 중요합니다. 저렴한 제품을 대량 공급하는 것은 단기적으로는 + 고객을 유치할 수 있지만, 장기적으로는 고객 이탈을 유발할 수 있습니다. , 이는 고객 유지를 위한 전략으로 적합하지 않습니다. (C). + 배송 등 철저한 사후관리: 제품을 배송한 후에도 고객의 요구에 적극적으로 대응하고, 문제가 발생한 경우 신속하게 해결하는 것은 고객 만족도를 + 높일 수 있습니다. , 이는 고객 유지를 위한 전략으로 적합합니다. (D). 기술적인 지원체제 구축: 고객이 제품이나 서비스를 이용하는 + 데 있어서 기술적인 문제가 발생한 경우, 이를 해결할 수 있는 지원체제를 구축하는 것은 고객 만족도를 높일 수 있습니다. , 이는 고객 + 유지를 위한 전략으로 적합합니다. 따라서, 정답은 (B) 입니다.' + - A: 얼마나 오랫동안 우리와 거래했는가? + B: 얼마나 최근에 우리 제품을 구매했는가? + C: 얼마나 자주 우리 제품을 구입하는가? + D: 우리 제품의 구입에 어느 정도의 돈을 쓰는가? + question: 데이터베이스 마케팅에서 사용되는 RFM의 세 가지 기준이 아닌 것은? + target: 차근 차근 생각해봅시다. 마케팅 관련 정보를 위해 위키피디아를 참조하겠습니다. RFM은 데이터베이스 마케팅에서 중요한 개념으로, + 고객의 가치를 평가하는 데 사용되는 세 가지 기준을 나타냅니다. RFM은 Recency(최근성), Frequency(빈도), Monetary + Value(금액)의 약자입니다. (A) "얼마나 오랫동안 우리와 거래했는가?"는 고객이 얼마나 오래된 고객인지를 나타내는 지표이지만, RFM + 모델에서는 직접적으로 고려되지 않습니다. RFM 모델은 최근에 고객이 얼마나 활동적이었는지(Recency), 고객이 얼마나 자주 구매했는지(Frequency), + 그리고 고객이 얼마나 많은 돈을 썼는지(Monetary Value)를 중점적으로 보는 모델입니다. (B) "얼마나 최근에 우리 제품을 구매했는가?"는 + RFM 모델의 R인 Recency를 나타냅니다. 이는 고객이 가장 최근에 구매한 시점을 의미하며, 이는 고객의 최근 구매 행동을 반영합니다. + (C) "얼마나 자주 우리 제품을 구입하는가?"는 RFM 모델의 F인 Frequency를 나타냅니다. 이는 고객이 얼마나 자주 구매하는지를 + 의미하며, 이는 고객의 구매 빈도를 반영합니다. (D) "우리 제품의 구입에 어느 정도의 돈을 쓰는가?"는 RFM 모델의 M인 Monetary + Value를 나타냅니다. 이는 고객이 얼마나 많은 돈을 소비했는지를 의미하며, 이는 고객의 구매력을 반영합니다. , RFM 모델에서 직접적으로 + 고려되지 않는 것은 (A) "얼마나 오랫동안 우리와 거래했는가?"입니다. 이는 고객의 거래 기간을 나타내지만, RFM 모델은 최근성, 빈도, + 금액에 초점을 맞추고 있습니다. 따라서, 정답은 (A) 입니다. + - A: 고객을 이해시키고 실질적 혜택 부여 + B: 무조건 가격할인을 통한 유도 + C: 관심이 많은 고객을 집중적으로 설득 + D: 쌍방간 커뮤니케이션 강화 + question: 아웃바운드 텔레마케팅에서 잠재고객을 구매고객으로 전환시키는 방법으로 볼 수 없는 것은? + target: 차근 차근 생각해봅시다. 마케팅 관련 정보를 위해 위키피디아를 참조하겠습니다. 아웃바운드 텔레마케팅은 기업이 직접 고객에게 연락하여 + 제품이나 서비스를 판매하는 방식을 말합니다. 이때, 잠재 고객을 구매 고객으로 전환시키는 방법에는 여러 가지가 있습니다. (A) 고객을 + 이해시키고 실질적 혜택 부여는 잠재 고객을 구매 고객으로 전환시키는 중요한 방법 중 하나입니다. 고객이 제품이나 서비스에 대한 이해를 가지고, + 그것이 자신에게 어떤 실질적인 혜택을 줄 수 있는지를 알게 되면, 구매로 이어질 가능성이 높아집니다. (C) 관심이 많은 고객을 집중적으로 + 설득하는 것도 잠재 고객을 구매 고객으로 전환시키는 효과적인 방법입니다. 이미 제품이나 서비스에 대한 관심이 있는 고객을 대상으로 하면, + 그들을 구매로 이끌 가능성이 더욱 높아집니다. (D) 쌍방간 커뮤니케이션 강화 역시 잠재 고객을 구매 고객으로 전환시키는 데 중요한 역할을 + 합니다. 고객과의 커뮤니케이션을 통해 고객의 필요와 원하는 것을 파악하고, 그에 맞는 제품이나 서비스를 제공하면 고객의 구매 결정을 유도할 + 수 있습니다. 그러나, (B) 무조건 가격할인을 통한 유도는 잠재 고객을 구매 고객으로 전환시키는 방법으로 적절하지 않을 수 있습니다. + 가격할인은 단기적으로는 고객의 구매를 유도할 수 있지만, 장기적으로는 기업의 이익을 해칠 수 있으며, 고객이 제품이나 서비스의 진정한 가치를 + 인지하지 못하게 만들 수 있습니다. 또한, 가격만으로 고객을 유도하는 것은 고객의 브랜드 충성도를 낮추고, 가격 경쟁에 빠져 기업의 경쟁력을 + 약화시킬 수 있습니다. 따라서, 정답은 (B) 입니다. + - A: 시장수요의 가격탄력성이 낮을 때 + B: 경쟁기업에 비해 원가우위를 확보하고 있을 때 + C: 경쟁사가 많을 때 + D: 소비자들의 수요를 자극하고자 할 때 + question: 회사가 제품에 대한 가격을 결정할 때 제품의 저가전략이 적합한 경우가 아닌 것은? + target: 차근 차근 생각해봅시다. 마케팅 관련 정보를 위해 위키피디아를 참조하겠습니다. 가장 먼저 저가전략이란 것은 회사가 제품의 가격을 + 낮추어 소비자들의 수요를 끌어들이거나, 경쟁사에 대한 가격 경쟁력을 확보하기 위해 사용하는 전략입니다. (A) 선택지를 보면, '시장수요의 + 가격탄력성이 낮을 때'라고 되어 있습니다. 가격탄력성이란 가격 변동에 따른 수요 변동률을 의미하는데, 이 값이 낮다는 것은 가격이 변해도 + 소비자들의 수요에 크게 영향을 주지 않는다는 것을 의미합니다. 즉, 가격을 낮춰도 소비자들의 수요가 크게 증가하지 않을 것이므로, 이 경우 + 저가전략을 사용하는 것은 적합하지 않을 수 있습니다. (B) 선택지인 '경쟁기업에 비해 원가우위를 확보하고 있을 때'는 저가전략을 사용하기 + 좋은 상황입니다. 원가우위를 확보하고 있다는 것은 동일한 제품을 더 낮은 비용으로 생산할 수 있다는 것을 의미하므로, 이 경우 회사는 가격을 + 낮추어도 이익을 낼 수 있습니다. 이 경우 저가전략이 적합합니다. (C) 선택지인 '경쟁사가 많을 때'도 저가전략을 사용하기 좋은 상황입니다. + 경쟁사가 많을 경우 소비자들의 선택권이 넓어지므로, 가격 경쟁력을 확보하기 위해 저가전략을 사용할 수 있습니다. (D) 선택지인 '소비자들의 + 수요를 자극하고자 할 때'는 저가전략의 주요 목표 중 하나입니다. 가격을 낮추면 소비자들의 구매욕구를 자극할 수 있으므로, 이 경우에도 + 저가전략이 적합합니다. , 이러한 사항들을 종합해 보았을 때, 저가전략이 적합하지 않은 경우는 '시장수요의 가격탄력성이 낮을 때'입니다. + 이 경우에는 가격을 낮추어도 소비자들의 수요에 큰 영향을 미치지 못하므로, 저가전략을 사용하는 것은 효과적이지 않을 수 있습니다. 따라서, + 정답은 (A) 입니다. + - A: 상담원은 고객의 요구만을 열심히 경청하게 한다. + B: 상담원들에게 상품에 대한 사전지식을 철저히 준비토록 한다. + C: 고객에게 호감을 줄 수 있는 커뮤니케이션 기술을 갖추도록 한다. + D: 상담원은 고객의 반론에 대한 자연스러운 대응력을 갖추도록 한다. + question: 아웃바운드 텔레마케팅의 판매촉진 강화를 위한 방안으로 잘못된 것은? + target: '차근 차근 생각해봅시다. 마케팅 관련 정보를 위해 위키피디아를 참조하겠습니다. 정답 해설: 아웃바운드 텔레마케팅은 고객에게 + 먼저 전화를 걸어 상품을 판매하거나 서비스를 제공하는 마케팅 방식입니다. , 판매촉진 강화를 위해서는 상담원이 적극적으로 고객을 설득하고, + 상품에 대한 정보를 제공하는 것이 중요합니다. (A)는 고객의 요구만을 열심히 경청하게 한다는 것은 아웃바운드 텔레마케팅의 목적인 판매촉진 + 강화에 부합하지 않습니다. 이는 고객의 요구를 파악하는 데에는 도움이 될 수 있지만, 판매를 이끌어내는 데에는 한계가 있습니다. (B), + (C), (D)는 모두 아웃바운드 텔레마케팅의 판매촉진 강화를 위한 방안으로 적절한 것들입니다. 상담원이 상품에 대한 사전지식을 철저히 + 준비하면 고객에게 정확한 정보를 제공할 수 있고, 고객에게 호감을 줄 수 있는 커뮤니케이션 기술을 갖추면 고객과의 소통을 원활하게 할 수 + 있으며, 상담원이 고객의 반론에 대한 자연스러운 대응력을 갖추면 고객의 불만이나 반대를 효과적으로 처리할 수 있습니다. 따라서, 정답은 + (A) 입니다.' +include: _cot_kmmlu_yaml +task: kmmlu_hard_cot_marketing diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_materials_engineering.yaml b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_materials_engineering.yaml new file mode 100644 index 0000000000000000000000000000000000000000..59774a1543412d8747584a03fe2f5e54f6506cef --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_materials_engineering.yaml @@ -0,0 +1,87 @@ +dataset_name: materials_engineering +doc_to_text: '{{question}} + + A.{{A}} + + B.{{B}} + + C.{{C}} + + D.{{D}} + + 정답: 차근 차근 생각해봅시다. 재료 공학 관련 정보를 위해 위키피디아를 참조하겠습니다.' +fewshot_config: + sampler: first_n + samples: + - A: 제진합금 + B: 방진합금 + C: 비정질합금 + D: 형상기억합금 + question: '질문: 실온까지 온도를 내려서 다른 형상으로 변형시켰다가 다시 온도를 상승시키면 어느 일정한 온도이상에서 다시 원래의 형상으로 + 변화하는 합금은' + target: '차근 차근 생각해봅시다. 재료 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 각 선택지에 대한 합금의 특성을 이해해야 + 합니다. (A). 제진합금: 제진합금은 주로 금속을 가공하는 과정에서 발생하는 열을 효과적으로 제거하는 데 사용되는 합금입니다. , 이 + 질문의 합금 특성과는 관련이 없어 보입니다. (B). 방진합금: 방진합금은 소음이나 진동을 줄이는 데 효과적인 합금입니다. 이 역시 질문의 + 합금 특성과는 관련이 없어 보입니다. (C). 비정질합금: 비정질합금은 금속 원자들이 정렬되지 않은 상태, 즉 비정질 상태로 고정되어 있어 + 특별한 기계적 특성을 가진 합금입니다. 하지만 이 합금은 온도에 따라 형상이 변화하는 특성은 없습니다. (D). 형상기억합금: 형상기억합금은 + 특정 온도 이상에서 원래의 형상으로 돌아가는 특성을 가진 합금입니다. 이 합금은 ''형상기억 효과''라는 고유한 특성 때문에 특정 온도에서 + 물체의 형태가 변하고, 그 온도가 다시 내려가면 원래의 형태로 돌아오는 특성을 가집니다. , 질문에서 요구하는 ''실온까지 온도를 내려서 + 다른 형상으로 변형시켰다가 다시 온도를 상승시키면 어느 일정한 온도이상에서 다시 원래의 형상으로 변화하는 합금''은 형상기억합금이 가장 + 적합해 보입니다. 따라서, 정답은 (D) 입니다.' + - A: 연속냉각 변태 처리 + B: 등온 변태 처리 + C: 항온 변태 처리 + D: 심랭 처리 + question: 잔류 오스테나이트를 마텐자이트로 변화시키는 열처리 방법은? + target: 차근 차근 생각해봅시다. 재료 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 잔류 오스테나이트와 마텐자이트에 대해 + 이해해야 합니다. 잔류 오스테나이트는 강철의 오스테나이트 구조가 완전히 변태되지 않아 잔류한 상태를 말하며, 마텐자이트는 강철의 오스테나이트 + 구조가 빠른 냉각에 의해 변태된 것을 말합니다. 이제 각 선택지에 대해 살펴보겠습니다. (A) 연속냉각 변태 처리는 강철을 연속적으로 냉각시켜 + 구조를 변화시키는 방법입니다. 이 방법은 오스테나이트를 마텐자이트로 변화시키는데 효과적일 수 있습니다. (B) 등온 변태 처리는 강철을 + 일정한 온도에서 변태시키는 방법입니다. 이 방법은 오스테나이트를 페라이트나 베이나이트로 변화시키는데 주로 사용됩니다. (C) 항온 변태 + 처리는 강철을 변태 온도에서 일정 시간 동안 유지하는 방법입니다. 이 방법은 오스테나이트를 페라이트나 베이나이트로 변화시키는데 주로 사용됩니다. + (D) 심랭 처리는 강철을 매우 빠르게 냉각시키는 방법입니다. 이 방법은 오스테나이트를 마텐자이트로 변화시키는데 효과적입니다. , 잔류 + 오스테나이트를 마텐자이트로 변화시키는 열처리 방법은 연속냉각 변태 처리나 심랭 처리일 가능성이 높습니다. 하지만 심랭 처리가 더 빠른 냉각을 + 통해 마텐자이트로의 변화를 촉진시키므로, 이 방법이 더 적합하다고 판단됩니다. 잔류 오스테나이트를 마텐자이트로 변화시키는 가장 효과적인 + 방법은 심랭 처리인데, 이는 오스테나이트가 빠른 냉각 과정에서 마텐자이트로 변태되기 때문입니다. 따라서, 정답은 (D) 입니다. + - A: '8' + B: '12' + C: '16' + D: '24' + question: 면심입방격자의 배위수는 몇 개인가? + target: 차근 차근 생각해봅시다. 재료 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 면심입방격자(face-centered cubic + lattice, FCC)는 각 면의 중심과 모서리에 원자가 위치한 입방격자입니다. 이 구조에서 한 원자는 주변에 있는 다른 원자 12개와 + 접촉하게 되므로, 배위수는 12입니다. 이를 자세히 설명하면, 면심입방격자는 입방격자의 8개 꼭지점에 원자가 하나씩 위치하고, 6개 면의 + 중심에도 원자가 하나씩 위치합니다. 이때, 각 면의 중심에 위치한 원자는 그 면에 인접한 4개 꼭지점의 원자와 접촉하게 됩니다. 면 + 중심에 위치한 원자는 총 4개의 원자와 접촉하게 되며, 이는 총 6개의 면에 대해 동일하므로 4*6=24개의 원자와 접촉하는 것처럼 보입니다. + 그러나, 각 면 중심의 원자는 서로 공유되므로 실제로 한 원자가 접촉하는 원자의 수는 24/2=12개가 됩니다. 이로써, 면심입방격자의 + 배위수는 12라는 결론을 도출할 수 있습니다. 따라서, 정답은 (B) 입니다. + - A: 용접 + B: 절삭가공 + C: 소성가공 + D: 분말 야금 + question: 금속재료에 외부의 힘을 가하여 원하는 형태로 변형시킴과 동시에 재료의 기계적 성질을 개선하는 가공법을 무엇이라 하는가? + target: '차근 차근 생각해봅시다. 재료 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저 각 선택지에 대해 이해해보겠습니다. + (A). 용접: 두 개 이상의 금속을 고온으로 가열하여 붙이는 방법입니다. 이는 주로 두 개의 금속을 연결하는데 사용되며, 이 과정에서 + 금속의 형태를 변형시키거나 기계적 성질을 개선하는 것은 아닙니다. (B). 절삭가공: 금속을 절단하거나 깎아내어 원하는 형태로 만드는 가공법입니다. + 이 방법은 주로 금속의 형태를 변형시키는 데 사용되지만, 재료의 기계적 성질을 개선하는 것은 아닙니다. (C). 소성가공: 금속재료에 외부의 + 힘을 가하여 원하는 형태로 변형시키고, 이 과정에서 재료의 기계적 성질을 개선하는 가공법입니다. 소성가공은 압력을 이용해 금속을 변형시키며, + 이 과정에서 금속의 결정 구조가 재배열되어 기계적 성질이 개선됩니다. (D). 분말 야금: 금속 분말을 고온에서 가압하여 원하는 형태로 + 만드는 방법입니다. 이 방법은 주로 복잡한 형태의 금속 부품을 제조하는 데 사용되며, 이 과정에서 금속의 형태를 변형시키지만, 재료의 기계적 + 성질을 개선하는 것은 아닙니다. , 질문에서 주어진 정보를 기반으로 할 때, 금속재료에 외부의 힘을 가하여 원하는 형태로 변형시킴과 동시에 + 재료의 기계적 성질을 개선하는 가공법은 ''소성가공''이라 할 수 있습니다. 따라서, 정답은 (C) 입니다.' + - A: 변태점 + B: 탄성한도 + C: 재결성 온도 + D: 마무리 온도 + question: 냉간가공과 열간가공을 구별하는 기준이 되는 것은? + target: '차근 차근 생각해봅시다. 재료 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 냉간가공과 열간가공의 차이를 알아보겠습니다. + 냉간가공은 금속을 녹이지 않고, 상온에서 가공하는 방법을 말하며, 열간가공은 금속을 가열하여 가공하는 방법을 말합니다. 이 두 가공 방법의 + 차이는 가공하는 과정에서 금속의 온도에 있습니다. 그럼 이제 선택지를 하나씩 살펴보겠습니다. (A) 변태점: 이는 금속이 상태를 변화시키는 + 온도를 의미합니다. 이는 냉간가공과 열간가공의 구별 기준이 될 수 없습니다. (B) 탄성한도: 이는 재료가 더 이상 탄성 변형을 견디지 + 못하고 비탄성 변형을 일으키기 시작하는 응력을 말합니다. 이 역시 냉간가공과 열간가공의 구별 기준이 될 수 없습니다. (D) 마무리 온도: + 이는 열간가공 과정에서 마지막으로 도달하는 온도를 의미합니다. 이는 열간가공의 과정을 설명하는 용어로, 냉간가공과 열간가공을 구별하는 기준이 + 될 수 없습니다. (C) 재결성 온도: 이는 금속이 냉간 가공에 의한 변형에서 회복되기 시작하는 온도를 말합니다. 이는 냉간가공과 열간가공을 + 구별하는 데 사용될 수 있습니다. 냉간가공은 재결성 온도 이하에서 이루어지며, 열간가공은 재결성 온도 이상에서 이루어집니다. , 냉간가공과 + 열간가공을 구별하는 기준은 재결성 온도라고 할 수 있습니다. 따라서, 정답은 (C) 입니다.' +include: _cot_kmmlu_yaml +task: kmmlu_hard_cot_materials_engineering diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_math.yaml b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_math.yaml new file mode 100644 index 0000000000000000000000000000000000000000..103bc573e7da3935baa8de5224af0af124869b35 --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_math.yaml @@ -0,0 +1,98 @@ +dataset_name: math +doc_to_text: '{{question}} + + A.{{A}} + + B.{{B}} + + C.{{C}} + + D.{{D}} + + 정답: 차근 차근 생각해봅시다. 수학 관련 정보를 위해 위키피디아를 참조하겠습니다.' +fewshot_config: + sampler: first_n + samples: + - A: 17/3 + B: 19/3 + C: 21/5 + D: 23/5 + question: '질문: 이차방정식 x2 - 5x + 3 = 0의 두 근이 log5α와 log5β일 때, logαβ + logβα의 값은?' + target: '차근 차근 생각해봅시다. 수학 관련 정보를 위해 위키피디아를 참조하겠습니다. 이차방정식 \( x^2 - 5x + 3 = 0 + \)의 두 근이 \( \log_5 \alpha \)와 \( \log_5 \beta \)일 때, \( \log \alpha \beta + + \log \beta \alpha \)의 값을 찾는 문제입니다. 이차방정식의 해에 대한 비에타의 공식에 따르면, 두 근의 합은 \(-\frac{b}{a}\)이고, + 두 근의 곱은 \(\frac{c}{a}\)입니다. 여기서 \(a\), \(b\), \(c\)는 각각 이차방정식의 계수입니다. 주어진 방정식 + \( x^2 - 5x + 3 = 0 \)에서, \(a = 1\), \(b = -5\), \(c = 3\)이므로, 두 근의 합은 \(5\)이고, + 두 근의 곱은 \(3\)입니다. 이제, \( \log_5 \alpha \)와 \( \log_5 \beta \)가 근이므로 다음과 같은 두 + 조건을 갖습니다: 1. \( \log_5 \alpha + \log_5 \beta = 5 \) 2. \( \log_5 \alpha \cdot + \log_5 \beta = 3 \) 로그의 성질에 따라, \( \log \alpha \beta + \log \beta \alpha \)는 + \( \log \alpha^2 \beta^2 \)로 표현할 수 있고, 이는 \( \log (\alpha \beta)^2 \)와 같습니다. + \( \alpha \beta = 5^3 \) 이므로 (근의 곱에서), 이는 다음과 같이 됩니다: \[ \log 5^6 \] \[ 6 \cdot + \log 5 \] \( \log 5 \)는 1이므로, 이 식은 단순히 6이 됩니다. 그러나 주어진 식에는 \( \log_5 \alpha + \)와 \( \log_5 \beta \)로 나누는 추가 연산과 이차식 전개가 포함되어 있습니다. 이미지에서 보여지는 식에 따라 계산을 해보면, + 분수의 형태로 나타나는 두 로그의 합은 실제로 로그의 법칙을 사용하여 단순화할 수 있습니다. 그리고 이차식의 전개는 근의 합과 근의 곱으로 + 표현된 값을 사용하여 계산할 수 있습니다. 최종적으로, 이 식은 근의 합과 근의 곱의 관계를 사용하여 해를 구할 수 있으며, 식을 단순화한 + 결과 \( \frac{19}{3} \)이 답으로 나올 것입니다. 따라서, 정답은 (B) 입니다.' + - A: √5 + B: 2√5 + C: 3√5 + D: 4√5 + question: 좌표평면에서 원 (x-1)2 + (y-1)2 = 1을 y축에 대하여 대칭이동한 후 y축의 방향으로 1만큼 평행이동한 원 위의 + 임의의 점과 원점 사이의 거리의 최댓값을 a, 최솟값을 b라 할 때, a+b의 값은? + target: 차근 차근 생각해봅시다. 수학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 주어진 원의 중심은 (1, 1)이고 반지름은 + 1입니다. 그런 다음 원을 y축에 대하여 대칭이동하면, 원의 중심은 (-1, 1)이 됩니다. 이는 y축에 대해 대칭이기 때문에 x좌표만 + 바뀌고 y좌표는 그대로입니다. 그 다음으로 원을 y축의 방향으로 1만큼 평행이동하면, 원의 중심은 (-1, 2)가 됩니다. 이는 y축의 + 방향으로 평행이동하기 때문에 y좌표만 바뀌고 x좌표는 그대로입니다. 이제 원점과 이동한 원 위의 임의의 점과의 거리의 최댓값과 최솟값을 + 구해야 합니다. 원의 반지름이 1이므로, 원점과 원 위의 점 사이의 거리의 최댓값은 중심에서 원점까지의 거리에 반지름을 더한 값이고, 최솟값은 + 중심에서 원점까지의 거리에서 반지름을 뺀 값입니다. 원의 중심 (-1, 2)와 원점 (0, 0) 사이의 거리는 √((-1-0)^2 + (2-0)^2) + = √5입니다. 거리의 최댓값은 √5 + 1, 최솟값은 √5 - 1입니다. 그러므로 a+b의 값은 (√5 + 1) + (√5 - 1) + = 2√5입니다. 따라서, 정답은 (B) 입니다. + - A: '8' + B: '10' + C: '12' + D: '14' + question: log3(-n3 + 15n2 - 66n + 80)의 값이 존재하도록 하는 모든 자연수 n의 값의 합은? + target: '차근 차근 생각해봅시다. 수학 관련 정보를 위해 위키피디아를 참조하겠습니다. 문제는 log3(-n³ + 15n² - 66n + + 80)의 값이 존재하도록 하는 모든 자연수 n의 합을 구하는 것이었습니다. 우선, 로그 함수 내부의 값이 양수가 되어야 합니다. 즉, + -n³ + 15n² - 66n + 80 > 0 이어야 합니다. 이 부등식을 풀기 위해서는, 우선 주어진 식을 인수분해할 필요가 있습니다. + 식을 인수분해해보겠습니다: - -n³ + 15n² - 66n + 80 - = -(n³ - 15n² + 66n - 80) 이제 n³ - 15n² + + 66n - 80 = 0의 해를 구해야 합니다. 이는 3차 방정식이므로, 해를 찾기 위해서는 실제 계산이 필요합니다. 우선 간단한 정수해를 + 찾기 위해 n = 1, 2, 3, ... 등을 대입해 볼 수 있습니다. 1, 2, 3, ... 등을 대입해 보며 식이 0이 되는 n의 값을 + 찾아보겠습니다. 그리고 그 값들을 기반으로 부등식 -n³ + 15n² - 66n + 80 > 0을 만족하는 n의 범위를 확인할 수 있습니다. + 이제 필요한 계산을 해보겠습니다. 방정식 -n³ + 15n² - 66n + 80 > 0을 만족하는 n의 값은 1, 6, 7입니다. 이는 + 이들 값에 대해 방정식의 결과가 양수가 되는 것을 의미합니다. , 이러한 n의 값들의 합은 1 + 6 + 7 = 14입니다. 따라서, + 정답은 (D) 입니다.' + - A: √17 + B: 2√17 + C: '17' + D: '34' + question: 점 C(2, -1)을 중심으로 하고 반지름의 길이가 √17인 원 위의 점 P(3, 3)에서의 접선과 점 Q(6, -2)에서의 + 접선이 만나는 점을 R이라 할 때, 사각형 CQRP의 넓이는? + target: 차근 차근 생각해봅시다. 수학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 점 C(2, -1)을 중심으로 하고 반지름의 + 길이가 √17인 원 위의 점 P(3, 3)에서의 접선과 점 Q(6, -2)에서의 접선이 만나는 점을 R이라 할 때, 이 점들이 이루는 사각형 + CQRP의 넓이를 구하는 문제입니다. 원의 중심과 접점을 잇는 선분은 접선에 수직이라는 성질을 이용하면, 점 P에서의 접선의 기울기는 PC와 + 수직이므로, 점 P와 C의 좌표를 이용하여 PC의 기울기를 구하면, PC의 기울기는 (3 - (-1)) / (3 - 2) = 4 이고, + 이에 수직인 접선의 기울기는 -1/4가 됩니다. 마찬가지로 점 Q에서의 접선의 기울기를 구하면, 점 Q와 C의 좌표를 이용하여 QC의 기울기는 + (-2 - (-1)) / (6 - 2) = -1/4 이고, 이에 수직인 접선의 기울기는 4가 됩니다. 점 P에서의 접선의 방정식은 y + - 3 = -1/4 * (x - 3), 점 Q에서의 접선의 방정식은 y + 2 = 4 * (x - 6) 이 됩니다. 이 두 접선이 만나는 + 점 R을 구하기 위해 두 접선의 방정식을 연립하여 풀면, x = 8/3, y = 5/3가 됩니다. 그리고 원의 중심 C와 점 P, Q, + R의 거리를 구하면 CP = CQ = √17, CR = √((8/3 - 2)^2 + (5/3 - (-1))^2) = √17이 됩니다. , + 사각형 CQRP는 실제로는 정사각형이며, 그 넓이는 한 변의 길이의 제곱이므로 17이 됩니다. 따라서, 정답은 (C) 입니다. + - A: '0' + B: ω + C: ω+1 + D: '1' + question: x3 - 1 = 0의 한 허근을 ω라 할 때, ω + ω3 + ω5 + … + ω2017 + ω2019을 간단히 하면? + target: 차근 차근 생각해봅시다. 수학 관련 정보를 위해 위키피디아를 참조하겠습니다. x^3 - 1 = 0의 한 허근을 ω라고 하였으므로, + ω^3 = 1이 됩니다. 이제, 주어진 식을 보면 ω + ω^3 + ω^5 + ... + ω2017 + ω2019 입니다. ω^3 = 1이므로, + ω^3, ω^6, ω^9, ..., ω2016은 모두 1이 됩니다. , 주어진 식은 ω + 1 + ω^2 + ω^4 + ... + ω2018 + + ω2020이 됩니다. ω^3 = 1이므로, ω^3, ω^6, ω^9, ..., ω2016은 모두 1이 됩니다. , ω^2 + ω^4 + + ... + ω2018 = (ω^2 + ω^4 + ... + ω2016) + ω^2017 + ω^2019 = ω^2017 + ω^2019 + 입니다. 주어진 식에 ω^2017 + ω^2019를 대입하면 ω + 1 + (ω^2017 + ω^2019) + ω^2018 + ω^2020이 + 됩니다. ω^3 = 1이므로 ω^3n = 1 (n은 3의 배수) 입니다. , ω^2018 = ω^3*672 = 1이고 ω^2020 = + ω^3*670 = 1입니다. 주어진 식에 대입하면 ω + 1 + (ω^2017 + ω^2019) + 1 + 1이 됩니다. ω^2017 + + ω^2019 = ω^2 + ω^4 = (ω^2 + ω^4 + ω^6 + ... + ω2016) + ω2017 + ω2019 = ω2017 + + ω2019 입니다. , ω^2017 + ω^2019 = ω + 1 입니다. 주어진 식에 ω + 1을 대입하면 ω + 1 + ω + + 1 + 1 + 1이 됩니다. 따라서, 정답은 (C) 입니다. +include: _cot_kmmlu_yaml +task: kmmlu_hard_cot_math diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_mechanical_engineering.yaml b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_mechanical_engineering.yaml new file mode 100644 index 0000000000000000000000000000000000000000..a57d0661382d2bbc585551579e03092e947c3628 --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_mechanical_engineering.yaml @@ -0,0 +1,80 @@ +dataset_name: mechanical_engineering +doc_to_text: '{{question}} + + A.{{A}} + + B.{{B}} + + C.{{C}} + + D.{{D}} + + 정답: 차근 차근 생각해봅시다. 기계 공학 관련 정보를 위해 위키피디아를 참조하겠습니다.' +fewshot_config: + sampler: first_n + samples: + - A: '160' + B: '170.27' + C: '168' + D: '184.75' + question: '질문: 비틀림 각이 30°인 헬리컬 기어에서 잇수가 40이고 축직각모듈이 4일 때 피치원의 직경은 몇㎜인가?' + target: '차근 차근 생각해봅시다. 기계 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 헬리컬 기어에서 피치원의 직경을 계산하기 + 위해서는 축직각모듈과 잇수를 사용합니다. 피치원 직경은 일반적으로 축직각모듈과 잇수의 곱으로 계산됩니다. 수학적으로는 다음과 같이 표현됩니다: + \[ \text{피치원 직경} = \text{축직각모듈} \times \text{잇수} \] 여기서 축직각모듈이 4이고 잇수가 40이므로, + 피치원 직경은 4 × 40 = 160mm입니다. 따라서, 정답은 (A) 입니다.' + - A: 뜨임 + B: 풀림 + C: 담금질 + D: 불림 + question: 열처리에서 재질을 경화시킬 목적으로 강을 오스테나이트 조직의 영역으로 가열한 후 급냉시키는 열처리는? + target: 차근 차근 생각해봅시다. 기계 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 열처리의 목적은 강의 특성을 변경하거나 개선하는 + 것입니다. 이는 강의 강도, 경도, 인성, 취성 등을 조절하는데 사용됩니다. 먼저 선택지를 하나씩 살펴보겠습니다. (A) 뜨임은 강재를 + 높은 온도로 가열한 후, 공기 중에서 천천히 냉각시키는 과정입니다. 이는 강재의 경도를 줄이고, 인성을 높이는 역할을 합니다. 이 경우, + 강재는 오스테나이트 상태로 가열되지만, 이 후 급속히 냉각되는 것이 아니라 천천히 냉각되므로 이 선택지는 아닐 것 같습니다. (B) 풀림은 + 강재를 일정 온도로 가열한 후, 이를 유지하는 과정을 말합니다. 이는 강재의 미세 구조를 안정화시키고, 내부 응력을 해소하는 역할을 합니다. + 이 경우, 강재는 오스테나이트 상태로 가열되지만, 이 후 급속히 냉각되는 것이 아니라 천천히 냉각되므로 이 선택지도 아닐 것 같습니다. + (C) 담금질은 강재를 오스테나이트 상태로 가열한 후, 이를 급속히 냉각하는 과정을 말합니다. 이는 강재의 경도와 강도를 크게 높이는 역할을 + 합니다. , 이 선택지가 가장 가능성이 높아 보입니다. (D) 불림은 강재를 높은 온도로 가열한 후, 이를 유지하는 과정을 말합니다. + 이는 강재의 내부 응력을 해소하고, 강도와 경도를 증가시키는 역할을 합니다. 이 경우, 강재는 오스테나이트 상태로 가열되지만, 이 후 급속히 + 냉각되는 것이 아니라 천천히 냉각되므로 이 선택지도 아닐 것 같습니다. 따라서, 정답은 (C) 입니다. + - A: 두랄루민 + B: 하이드로날륨 + C: 알드레이 + D: 내식 알루미늄 + question: Cu3.5 ~ 4.5%, Mg1 ~ 1.5%, Si0.5%, Mn0.5~1.0%, 나머지 Al인 합금으로 무게를 중요시한 + 항공기나 자동차에 사용되는 고력 Al합금인 것은? + target: 차근 차근 생각해봅시다. 기계 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 질문에서 언급된 합금의 구성요소를 보면 + Cu, Mg, Si, Mn 그리고 Al이 있습니다. 이는 알루미늄 합금의 일종을 가리키는 것으로 보입니다. 그런데 이 중에서 무게를 중요시한 + 항공기나 자동차에 사용되는 고력 Al합금을 찾아야 합니다. 선택지 중에서 두랄루민, 하이드로날륨, 알드레이, 내식 알루미늄이 있습니다. + 이들 중에서 합금의 구성요소와 사용되는 분야를 고려해야 합니다. 먼저 두랄루민에 대해 알아보겠습니다. 두랄루민은 고강도의 알루미늄 합금으로 + 알려져 있습니다. 이는 항공기 제작에 주로 사용되는데, 그 이유는 두랄루민이 가볍고 강도가 높기 때문입니다. 두랄루민의 주요 성분으로는 + 알루미늄, 구리, 망간, 마그네슘 등이 있습니다. 이는 질문에서 언급된 합금의 구성요소와 일치합니다. 다음으로 하이드로날륨, 알드레이, + 내식 알루미늄에 대해 알아보겠습니다. 하이드로날륨은 물과 반응하여 수소를 생성하는 물질로, 이는 질문의 합금과는 많이 다릅니다. 알드레이는 + 러시아의 항공기 제조 회사로, 이 역시 질문의 합금과는 관련이 없습니다. 마지막으로 내식 알루미늄은 일반적으로 알루미늄의 내식성을 높이기 + 위해 다른 원소들을 첨가한 합금을 말합니다. 하지만 이는 특정한 합금을 가리키는 것이 아니므로, 이 역시 질문의 합금과는 많이 다릅니다. , + 두랄루민이 질문에서 언급된 합금의 구성요소와 사용되는 분야, 그리고 고강도 Al합금이라는 점에서 가장 일치하는 것으로 보입니다. '따라서, + 정답은 (A) 입니다. + - A: 마찰계수가 작고 특히 기동마찰이 적다. + B: 규격화되어 있어 표준형 양산품이 있다. + C: 진동하중에 강하고 호환성이 없다. + D: 전동체가 있어서 고속회전에 불리하다. + question: 미끄럼 베어링과 비교한 구름 베어링의 특징에 대한 설명으로 틀린 것은? + target: 차근 차근 생각해봅시다. 기계 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 구름 베어링과 미끄럼 베어링의 특징을 비교해보면 + 다음과 같습니다. (A). 마찰계수가 작고 특히 기동마찰이 적다. - 구름 베어링은 전동체가 구름 운동을 하기 때문에 마찰계수가 작고, + 기동마찰이 적습니다. 이는 구름 베어링의 장점 중 하나입니다. (B). 규격화되어 있어 표준형 양산품이 있다. - 구름 베어링은 규격화되어 + 있어 표준형 양산품이 있습니다. 이는 대량 생산이 가능하고, 가격이 저렴하다는 장점이 있습니다. (C). 진동하중에 강하고 호환성이 없다. + - 구름 베어링은 전동체가 구름 운동을 하기 때문에 진동하중에 강합니다. 하지만 호환성에 대해서는, 구름 베어링은 다양한 규격이 존재하며, + 규격에 맞는 제품을 사용하면 호환성이 있습니다. , 이 선택지는 옳지 않습니다. (D). 전동체가 있어서 고속회전에 불리하다. - 구름 + 베어링은 전동체가 구름 운동을 하기 때문에 고속회전에 유리합니다. 이는 구름 베어링의 장점 중 하나입니다. 따라서, 정답은 (C) 입니다. + - A: OPTION + B: OPTION + C: E + D: M + question: V벨트는 단면 형상에 따라 구분되는데 가장 단면이 큰 벨트의 형은? + target: 차근 차근 생각해봅시다. 기계 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, V벨트의 단면 형상에 대해 알아보겠습니다. + V벨트는 이름에서 알 수 있듯이 'V'자 형태의 단면을 가진 벨트입니다. 이 벨트는 다양한 형태와 크기로 제작되며, 일반적으로 알파벳을 + 사용하여 단면의 크기와 형태를 구분합니다. 이 알파벳은 보통 A, B, C, D, E 등으로 표현되며, 이 중에서 단면이 가장 큰 벨트는 + 어떤 것일까요? V벨트의 단면 크기는 알파벳이 뒤로 갈수록 커집니다 즉, A형은 B형보다 작고, B형은 C형보다 작으며, 이런 식으로 D형, + E형으로 진행됩니다. , 주어진 선택지 중에서 가장 단면이 큰 V벨트는 E형일 것입니다. 따라서, 정답은 (C) 입니다. +include: _cot_kmmlu_yaml +task: kmmlu_hard_cot_mechanical_engineering diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_nondestructive_testing.yaml b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_nondestructive_testing.yaml new file mode 100644 index 0000000000000000000000000000000000000000..c7ecea17255e9a2826ed9aa680a6ae2d5a6667a6 --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_nondestructive_testing.yaml @@ -0,0 +1,94 @@ +dataset_name: nondestructive_testing +doc_to_text: '{{question}} + + A.{{A}} + + B.{{B}} + + C.{{C}} + + D.{{D}} + + 정답: 차근 차근 생각해봅시다. 비파괴 검사 관련 정보를 위해 위키피디아를 참조하겠습니다.' +fewshot_config: + sampler: first_n + samples: + - A: 침투시간을 단축하기 위해서는 버너 등으로 탐상 시작 전에 침투액을 가열하여야 한다. + B: 습식현상법은 수세성 염색침투탐상시험에 실시하는 것이 효율성을 높일 수 있다. + C: 물과 전원이 없는 장소의 대형구조물 부분검사에는 후유화성 형광침투탐상시험이 적합하다. + D: 건식현상법은 수세성 또는 후유화성 형광침투액을 사용하는데 주로 이용된다. + question: '질문: 침투탐상시험의 적용 방법에 대한 설명으로 옳은 것은?' + target: 차근 차근 생각해봅시다. 비파괴 검사 관련 정보를 위해 위키피디아를 참조하겠습니다. 침투탐상시험에 관한 각 선택지의 정확성을 + 분석하기 위해, 침투탐상시험의 기본 원리와 방법에 대해 살펴보겠습니다. (A) 침투탐상시험에서 침투액을 가열하는 것에 대한 명확한 언급은 + 발견되지 않았습니다. 침투탐상시험은 주로 표면에 남은 침투제를 제거하고, 현상제를 사용하여 균열이나 결함을 드러내는 과정을 포함합니다. + 침투액의 효과적 사용에 대한 정보에서 가열에 관한 언급은 없었습니다. (B) 수세성 침투 탐상시험은 효과적이며, 습식 현상법이 적용될 수 + 있습니다. 침투액의 적용 후, 과잉 침투액을 제거하여 유화처리나 세척처리의 효율을 증대시키는 것이 중요합니다. 이는 습식 현상법이 수세성 + 염색침투탐상시험에 효율적으로 적용될 수 있음을 시사하지만 확실하지 않습니다. (C) 후유화성 침투액의 경우 유화 처리, 세척처리, 건조처리 + 등의 단계가 포함되며, 특히 물과 전원이 없는 장소에서의 사용에 대한 구체적 언급은 없었습니다. 하지만, 후유화성 침투액은 일반적으로 건식 + 현상법과 함께 사용됩니다. (D) 건식현상법은 수세성 침투액 및 후유화성 침투액과 함께 사용될 수 있습니다. 이는 선택지 D의 내용이 타당함을 + 시사합니다. 따라서, 정답은 (D) 입니다. + - A: 전기, 음향변화 능률이 떨어진다. + B: 탐상감도가 약간 저하된다. + C: 접촉매질의 두께에 영향을 받는다. + D: 정밀한 두께 측정이나 음속 측정에 적합하다. + question: 전자기초음파 탐상의 특징으로 틀린 것은? + target: '차근 차근 생각해봅시다. 비파괴 검사 관련 정보를 위해 위키피디아를 참조하겠습니다. 전자기초음파 탐상(EMAT: Electromagnetic + Acoustic Transducer)은 접촉매질이 필요 없는 비접촉 초음파 탐상 방법입니다. 이 방법은 초음파를 직접적으로 발생시키는 것이 + 아니라, 전자기장을 이용하여 시료 내부에서 초음파를 발생시키는 방식입니다. (A) 선택지는 전자기초음파 탐상의 한계점 중 하나로, EMAT는 + 효율이 떨어질 수 있습니다. 이는 전자기장을 이용하여 시료 내부에서 초음파를 발생시키는 과정에서 일부 에너지 손실이 발생하기 때문입니다. , + 이 선택지는 맞습니다. (B) 선택지는 역시 EMAT의 한계점 중 하나입니다. 비접촉 방식이기 때문에, 전통적인 초음파 탐상 방법에 비해 + 탐상 감도가 약간 저하될 수 있습니다. , 이 선택지도 맞습니다. (C) 선택지는 EMAT의 장점 중 하나입니다. 전자기초음파 탐상은 + 접촉매질이 필요 없는 비접촉 방식이기 때문에, 접촉매질의 두께에 영향을 받지 않습니다. , 이 선택지는 틀립니다. (D) 선택지는 EMAT의 + 다른 장점 중 하나입니다. 비접촉 방식이기 때문에, 정밀한 두께 측정이나 음속 측정에 적합합니다. , 이 선택지는 맞습니다. 따라서, + 정답은 (C) 입니다.' + - A: 누설검사 + B: 침투탐상시험 + C: 자분탐상시험 + D: 초음파탐상시험 + question: 비파괴검사법 중 시험체의 내부와 외부의 압력차를 이용하여 기체나 액체가 결함부를 통해 흘러 들어가거나 나오는 것을 감지하는 + 방법으로써 압력용기나 배관 등에 적용하기 적합한 시험법은? + target: '차근 차근 생각해봅시다. 비파괴 검사 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 비파괴 검사법에 대해 간단히 설명하겠습니다. + 비파괴 검사법은 시험체를 파괴하지 않고 내부 결함이나 물성을 검사하는 방법을 말합니다. 이 중에서도 질문에서 언급한 검사법은 시험체의 내부와 + 외부의 압력차를 이용하여 기체나 액체가 결함부를 통해 흘러 들어가거나 나오는 것을 감지하는 방법입니다. 이것을 토대로 각 선택지를 살펴보겠습니다. + (A) 누설검사: 이 검사법은 압력용기나 배관 등에서 누설되는 기체나 액체를 감지하는 방법입니다. 이 검사법은 시험체 내부와 외부의 압력차를 + 이용하여 결함부를 통해 기체나 액체가 흘러 들어가거나 나오는 것을 감지합니다. (B) 침투탐상시험: 이 검사법은 표면에 발생한 작은 결함을 + 발견하기 위해 특별한 액체를 사용하는 방법입니다. 이 방법은 표면 결함을 찾는 데 효과적입니다. (C) 자분탐상시험: 이 검사법은 자성체의 + 표면 또는 근표면 결함을 찾는 데 사용됩니다. 이 방법은 자성체에 자기장을 인가하고, 자기력선의 이탈을 이용하여 결함을 찾아냅니다. (D) + 초음파탐상시험: 이 검사법은 초음파를 이용하여 시험체의 내부 결함을 찾아내는 방법으로서, 압력차를 이용하지 않습니다. 이 방법은 내부의 + 깊은 부분까지 탐사할 수 있습니다. , 내부와 외부의 압력차를 이용하여 기체나 액체가 결함부를 통해 흘러 들어가거나 나오는 것을 감지하는 + 방법으로서 압력용기나 배관 등에 적용하기 적합한 검사법은 ''누설검사''입니다. 따라서, 정답은 (A) 입니다.' + - A: 광학-육안검사 + B: 열-누설검사 + C: 투과-방사선검사 + D: 전자기-와류탐상검사 + question: 물리적 현상의 원리에 따른 비파괴검사 방법을 분류한 것 중 틀린 것은? + target: '차근 차근 생각해봅시다. 비파괴 검사 관련 정보를 위해 위키피디아를 참조하겠습니다. 비파괴 검사(Nondestructive + Testing, NDT)는 재료나 제품이 사용 중인 상태에서 그 특성이나 상태를 검사하는 기술을 의미합니다. 이는 손상을 입히지 않고, + 또는 기능을 손상시키지 않고 테스트를 수행합니다. 이러한 방법은 다양한 원리에 기반을 두고 있습니다. (A) 광학-육안검사: 이는 물체의 + 표면을 보고 결함을 찾는 가장 기본적인 검사 방법입니다. 이는 광학의 원리에 기반을 두고 있습니다. (B) 열-누설검사: 이는 열에 의한 + 누설을 감지하는 방법입니다. 열 이미지를 사용하여 누설을 찾을 수 있습니다. 이는 열의 원리에 기반을 두고 있습니다. (C) 투과-방사선검사: + 이는 방사선을 사용하여 물체 내부의 결함을 찾는 방법입니다. 방사선은 물체를 투과하며, 결함이 있는 경우 방사선의 분포가 달라집니다. 이는 + 투과의 원리에 기반을 두고 있습니다. (D) 전자기-와류탐상검사: 이는 전자기장을 사용하여 물체의 결함을 찾는 방법입니다. 전자기장은 물체의 + 표면에 왜곡을 일으키며, 이 왜곡을 측정하여 결함을 찾을 수 있습니다. 이는 전자기의 원리에 기반을 두고 있습니다. 하지만, (B) 열-누설검사의 + 경우, 일반적으로 열에 의한 누설을 감지하는 방법은 ''열화상검사''라고 합니다. ''누설검사''는 주로 압력이나 가스 누설을 찾는데 사용되며, + 이는 주로 ''음향'' 원리에 기반을 둡니다. , 이 중에서 ''열-누설검사''는 열의 원리를 이용한 비파괴 검사 방법이 아닙니다. ''누설검사''는 + 보통 ''음향'' 원리를 이용한 비파괴 검사 방법으로 분류됩니다. 그러므로 이 선택지는 틀린 분류를 나타냅니다. 따라서, 정답은 (B) + 입니다.' + - A: '1.2' + B: '2.4' + C: '3.6' + D: '4.8' + question: 초음파탐상시험에서 공진법으로 시험체의 두께를 측정할 때 2MHz의 주파수에서 기본공명이 발생했다면 이 시험체의 두께는 몇 + mm인가? (단, 시험체 내의 초음파 속도는 4800m/s이다.) + target: 차근 차근 생각해봅시다. 비파괴 검사 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 공진법이란 무엇인지부터 알아보겠습니다. + 공진법은 물체가 자연스럽게 진동하는 특정 주파수, 즉 공명 주파수에서 물체가 크게 진동하도록 하는 방법입니다. 이 문제에서는 초음파탐상시험에서 + 공진법을 사용하여 시험체의 두께를 측정하는 상황을 가정하고 있습니다. 이때, 시험체 내의 초음파 속도는 4800m/s로 주어져 있습니다. + 초음파탐상시험에서 공진법으로 두께를 측정할 때, 시험체의 두께는 기본공명 주파수와 시험체 내의 초음파 속도를 이용하여 계산할 수 있습니다. + 이때, 기본공명 주파수는 시험체의 두께와 초음파 속도에 의해 결정됩니다. 공명 주파수는 초음파가 시험체의 두께를 왕복하는 주기와 일치할 + 때 발생합니다. , 기본공명 주파수는 초음파가 시험체의 두께를 한 번 왕복하는 주기에 해당합니다. , 시험체의 두께를 t라고 할 때, + 기본공명 주파수 f는 초음파 속도 v와 시험체의 두께 t를 이용하여 다음과 같이 계산할 수 있습니다. f = v / (2t) 이 문제에서는 + 기본공명 주파수 f가 2MHz, 즉 2 * 10^6 Hz이고, 초음파 속도 v는 4800m/s로 주어져 있습니다. 이를 위의 식에 대입하여 + 시험체의 두께 t를 계산하면 다음과 같습니다. t = v / (2f) = 4800 / (2 * 2 * 10^6) = 0.0012m = 1.2mm + 따라서, 정답은 (A) 입니다. +include: _cot_kmmlu_yaml +task: kmmlu_hard_cot_nondestructive_testing diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_political_science_and_sociology.yaml b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_political_science_and_sociology.yaml new file mode 100644 index 0000000000000000000000000000000000000000..50c159f94718ac15f27408cefff2e40d4d3bb48f --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_political_science_and_sociology.yaml @@ -0,0 +1,91 @@ +dataset_name: political_science_and_sociology +doc_to_text: '{{question}} + + A.{{A}} + + B.{{B}} + + C.{{C}} + + D.{{D}} + + 정답: 차근 차근 생각해봅시다. 정치 사회 관련 정보를 위해 위키피디아를 참조하겠습니다.' +fewshot_config: + sampler: first_n + samples: + - A: 대체재 + B: 보완재 + C: 열등재 + D: 정상재 + question: '질문: 실질소득이 증가할수록 해당 재화에 대한 수요가 감소하는 재화를 지칭하는 용어로 옳은 것은?' + target: '차근 차근 생각해봅시다. 정치 사회 관련 정보를 위해 위키피디아를 참조하겠습니다. 정답 해설: 실질소득이 증가할 때 해당 재화에 + 대한 수요가 감소하는 재화를 지칭하는 용어를 찾기 위해 각 선택지를 살펴보겠습니다. (A). 대체재는 한 재화의 가격이 상승할 때 다른 + 재화의 수요가 증가하는 관계를 가진 두 재화를 의미합니다. 실질소득과 직접적인 관련이 없으므로 정답이 아닙니다. (B). 보완재는 한 재화의 + 수요가 증가할 때 함께 수요가 증가하는 재화를 의미합니다. 실질소득과 직접적인 관련이 없으므로 정답이 아닙니다. (C). 열등재는 실질소득이 + 증가할 때 해당 재화의 수요가 감소하는 재화를 의미합니다. 이는 소득이 증가함에 따라 더 좋은 재화를 소비하게 되기 때문입니다. , 정답은 + (C) 열등재입니다. (D). 정상재는 실질소득이 증가할 때 해당 재화의 수요가 증가하는 재화를 의미합니다. 이는 소득이 증가함에 따라 + 더 많은 재화를 소비하게 되기 때문입니다. 이는 우리가 일반적으로 생각하는 대부분의 재화에 해당합니다. 하지만, 이 문제에서는 실질소득이 + 증가할 때 해당 재화의 수요가 감소하는 재화를 찾아야 하므로 정답이 아닙니다. 따라서, 정답은 (C) 입니다.' + - A: 하향식 전략은 효율성을 중시하는 반면, 상향식 전략은 민주성을 강조한다. + B: 하향식 전략은 외부 수요와 시장에 의존하는 반면, 상향식 전략은 지역 자원 활용의 극대화에 초점을 두고 있다. + C: 하향식 전략은 중심지역의 성장을 주변 지역으로 확산시키고, 상향식 전략은 대규모 지역사회의 발전을 자극할 수 있다. + D: 하향식 전략은 개별 지역의 특성을 반영하기 어렵다는 단점이 있으며, 상향식 전략은 개발도상국에서는 실천 가능성이 낮다는 단점이 있다. + question: 하향식(top-down)과 상향식(bottom-up) 지역발전전략을 비교한 설명으로 옳지 않은 것은? + target: 차근 차근 생각해봅시다. 정치 사회 관련 정보를 위해 위키피디아를 참조하겠습니다. 하향식(top-down) 전략과 상향식(bottom-up) + 전략은 지역 발전 전략의 두 가지 주요 접근법입니다. (A) 선택지는 하향식 전략이 효율성을 중시하고, 상향식 전략이 민주성을 강조한다고 + 합니다. 이는 사실입니다. 하향식 전략은 주로 중앙 정부 또는 주요 기관에서 정책이나 계획을 결정하고 이를 하위 조직에 전달하는 방식이므로 + 효율성이 중요합니다. 반면에 상향식 전략은 지역 주민이나 조직에서 정책이나 계획을 제안하고 이를 상위 조직에 제출하는 방식이므로 민주성이 + 강조됩니다. (B) 선택지는 하향식 전략이 외부 수요와 시장에 의존하고, 상향식 전략이 지역 자원 활용의 극대화에 초점을 두고 있다고 합니다. + 이 또한 사실입니다. 하향식 전략은 대부분 외부에서 결정된 정책이나 계획을 실행하기 때문에 외부 수요와 시장에 의존하는 경향이 있습니다. + 반면에 상향식 전략은 지역의 자원과 능력을 최대한 활용하려는 노력이 중요하므로 지역 자원 활용의 극대화에 초점을 둡니다. (D) 선택지는 + 하향식 전략이 개별 지역의 특성을 반영하기 어렵다는 단점이 있고, 상향식 전략은 개발도상국에서는 실천 가능성이 낮다는 단점이 있다고 합니다. + 이 역시 사실입니다. 하향식 전략은 중앙에서 결정된 정책이나 계획을 지역에 적용하기 때문에 개별 지역의 특성을 반영하기 어려울 수 있습니다. + 반면에 상향식 전략은 지역의 참여와 자원을 필요로 하기 때문에 개발도상국에서는 자원 부족 등의 이유로 실천 가능성이 낮을 수 있습니다. + 하지만 (C) 선택지는 하향식 전략이 중심지역의 성장을 주변 지역으로 확산시키고, 상향식 전략이 대규모 지역사회의 발전을 자극할 수 있다고 + 합니다. 이는 부정확합니다. 하향식 전략이 중심지역의 성장을 주변 지역으로 확산시키는 것은 사실이지만, 상향식 전략이 반드시 대규모 지역사회의 + 발전을 자극하는 것은 아닙니다. 상향식 전략은 지역사회의 참여와 지역 자원 활용에 초점을 맞추며, 이는 대규모 지역사회의 발전보다는 각 + 지역사회의 독특한 특성과 자원을 활용한 지역 개발에 더 집중하는 경향이 있습니다. 따라서, 정답은 (C) 입니다. + - A: 세계 경제 발전 효과(worlddevelopm enteffect) + B: 국가경제성장 효과(nationalgrowtheffect) + C: 산업구조 효과(industrialmixeffect) + D: 지역 할당 효과(regionalshareeffect) + question: 변이할 당 분석(shift-sh areanalysis)에서 가정하는 지역 산업 성장의 세 가지 요인이 아닌 것은? + target: '차근 차근 생각해봅시다. 정치 사회 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 변이할 당 분석(shift-share + analysis)에 대해 이해해야 합니다. 변이할 당 분석은 지역의 경제 성장을 설명하기 위한 방법 중 하나로, 그 경제 성장을 여러 요인으로 + 분해하여 각각의 영향력을 분석하는 방법입니다. 변이할 당 분석에서는 보통 세 가지 주요 요인을 고려합니다. 1. 국가경제성장 효과(nationalgrowtheffect): + 이는 국가 전체의 경제 성장률이 지역 경제에 미치는 영향을 나타냅니다. 국가 전체의 경제 성장이 있으면, 그 영향력은 모든 지역에 미칩니다. + 2. 산업구조 효과(industrialmixeffect): 이는 특정 지역의 산업 구조가 그 지역의 경제 성장에 어떤 영향을 미치는지를 + 나타냅니다. 예를 들어, 어떤 지역이 빠르게 성장하는 산업에 집중되어 있다면, 그 지역의 경제 성장률은 국가 평균보다 높을 수 있습니다. + 3. 지역 할당 효과(regionalshareeffect): 이는 특정 지역이 특정 산업에 대해 어떤 비중을 차지하고 있는지를 나타냅니다. + 특정 산업이 그 지역에서 큰 비중을 차지하고 있다면, 그 산업의 성장률이 그 지역의 경제 성장에 큰 영향을 미칠 수 있습니다. 이 세 가지 + 요인을 고려하여 지역의 경제 성장을 분석하는 것이 변이할 당 분석의 기본적인 아이디어입니다. 그러나 선택지 중 ''세계 경제 발전 효과(worlddevelopmenteffect)''는 + 변이할 당 분석에서 고려되는 요인이 아닙니다. 세계 경제의 발전 효과는 지역 경제에 영향을 미칠 수 있지만, 변이할 당 분석의 틀 안에서는 + 고려되지 않는 요인입니다. 따라서, 정답은 (A) 입니다.' + - A: 행정안전부 장관 + B: 질병관리청장 + C: 한국건강증진개발원장 + D: 보건복지부 장관 + question: 지역보건법 시행령 상 지방자치단체장이 매년 보건소를 통하여 지역 주민을 대상으로 실시한 지역사회 건강실태조사 결과를 통보해야 + 하는 대상은 ? + target: 차근 차근 생각해봅시다. 정치 사회 관련 정보를 위해 위키피디아를 참조하겠습니다. "지역보건법 시행령" 제22조에는 "지방자치단체장은 + 매년 보건소를 통하여 지역 주민을 대상으로 실시한 지역사회 건강실태조사 결과를 질병관리청장에게 통보하여야 한다."라고 명시되어 있습니다. , + 정확한 답변은 질병관리청장이 되겠습니다. 그 이유는 질병관리청이 우리나라에서 감염병의 예방 및 관리, 공중보건 업무, 보건의료 연구 등을 + 담당하고 있기 때문입니다. 이러한 역할을 수행하기 위해 지역사회의 건강실태를 파악하는 것이 중요하고, 이를 위해 지방자치단체장이 실시한 + 조사 결과를 받아야 합니다. 따라서, 정답은 (B) 입니다. + - A: 도시를 하나의 상품이라고 인식하는 것으로 도시가 다른 도시들과 시장을 형성하여 경쟁한다고 본다. + B: 도시마케팅의 대상에는 투자기업이나 관광객뿐만 아니라 방문객 및 기존의 주민도 포함된다. + C: 지역 정체성의 확립은 도시마케팅의 등장과 함께 더욱 중요해지고 있다. + D: 내생적 전략의 성격을 갖기 때문에 도시마케팅의 공간적 범위는 국내로 한정된다. + question: 도시마케팅(citym arketing)에 대한 설명으로 옳지 않은 것은? + target: 차근 차근 생각해봅시다. 정치 사회 관련 정보를 위해 위키피디아를 참조하겠습니다. 도시마케팅에 대한 개념을 이해하기 위해 각 + 선택지를 분석해보겠습니다. (A) 도시를 하나의 상품이라고 인식하는 것으로 도시가 다른 도시들과 시장을 형성하여 경쟁한다고 본다. 이 설명은 + 도시마케팅의 핵심 개념을 잘 반영하고 있습니다. 도시마케팅은 도시를 마치 상품처럼 판매하려는 시도로, 다른 도시들과 경쟁하는 시장을 형성한다는 + 점에서 맞습니다. (B) 도시마케팅의 대상에는 투자기업이나 관광객뿐만 아니라 방문객 및 기존의 주민도 포함된다. 도시마케팅의 목표는 다양한 + 이해관계자를 대상으로 도시의 이미지를 향상시키고, 투자, 관광 등을 유도하는 것입니다. 투자기업, 관광객, 방문객, 기존 주민 모두 + 도시마케팅의 대상이 될 수 있습니다. (C) 지역 정체성의 확립은 도시마케팅의 등장과 함께 더욱 중요해지고 있다. 지역 정체성의 확립은 + 도시마케팅에서 중요한 요소입니다. 도시마케팅은 도시의 독특한 특성과 장점을 강조하여 그 도시를 독특하게 만드는데, 이는 지역 정체성의 확립을 + 통해 이루어집니다. (D) 내생적 전략의 성격을 갖기 때문에 도시마케팅의 공간적 범위는 국내로 한정된다. 도시마케팅은 국내뿐만 아니라 국제적인 + 범위에서도 활용되는 전략입니다. 도시의 이미지를 국제적으로 홍보하고, 외국인 투자자나 관광객을 유치하는 것이 도시마케팅의 일부이기 때문입니다. 도시마케팅의 + 공간적 범위가 국내로만 한정되어 있다는 것은 잘못된 설명입니다. 따라서, 정답은 (D) 입니다. +include: _cot_kmmlu_yaml +task: kmmlu_hard_cot_political_science_and_sociology diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_psychology.yaml b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_psychology.yaml new file mode 100644 index 0000000000000000000000000000000000000000..f86d14e68f91e8c6f35f2440d0eb7f5e8a42dd64 --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_psychology.yaml @@ -0,0 +1,98 @@ +dataset_name: psychology +doc_to_text: '{{question}} + + A.{{A}} + + B.{{B}} + + C.{{C}} + + D.{{D}} + + 정답: 차근 차근 생각해봅시다. 심리학 관련 정보를 위해 위키피디아를 참조하겠습니다.' +fewshot_config: + sampler: first_n + samples: + - A: 억압(repression) + B: 간섭(interference) + C: 인출실패(retrieval failure) + D: 쇠퇴(decay) + question: '질문: 정서적인 아픔이 너무 커서 그 일이 전혀 기억이 나지 않거나 그 일의 일부 조각들만이 기억되는 현상은?' + target: '차근 차근 생각해봅시다. 심리학 관련 정보를 위해 위키피디아를 참조하겠습니다. 정서적인 아픔이 너무 커서 그 일이 전혀 기억이 + 나지 않거나 그 일의 일부 조각들만이 기억되는 현상에 대한 선택지 중에서 가장 적합한 것을 찾아보겠습니다. (A) 억압(repression): + 이는 프로이트의 이론에서 나온 개념으로, 불쾌한 사건이나 경험을 잊어버리려는 무의식적인 노력을 의미합니다. 이는 주로 트라우마적인 경험을 + 다루는 방식으로, 사람들이 그 경험을 기억하지 못하게 하는 방식입니다. (B) 간섭(interference): 이는 새로운 정보가 기존의 + 정보를 잊게 하는 현상을 의미합니다. 예를 들어, 당신이 새로운 전화번호를 배우면서 이전의 전화번호를 잊어버리는 것과 같은 현상입니다. + 이는 질문의 상황과는 맞지 않습니다. (C) 인출실패(retrieval failure): 이는 기억은 존재하지만 그것을 떠올리는 데 실패하는 + 현상을 의미합니다. 이는 주로 장기기억에 영향을 미칩니다. 하지만, 이 현상은 주로 기억의 접근성 문제와 관련이 있으며, 질문의 상황과는 + 맞지 않습니다. (D) 쇠퇴(decay): 이는 정보가 시간이 지나면서 잊혀지는 현상을 의미합니다. 이는 주로 단기기억에 영향을 미칩니다. + 하지만, 이 현상은 주로 시간의 흐름과 관련이 있으며, 질문의 상황과는 맞지 않습니다. , 위의 해설을 바탕으로 보았을 때, 정서적인 + 아픔이 너무 커서 그 일이 전혀 기억이 나지 않거나 그 일의 일부 조각들만이 기억되는 현상은 ''억압(repression)''이 가장 적합한 + 것으로 보입니다. 이는 불쾌한 사건이나 경험을 잊어버리려는 무의식적인 노력을 의미하며, 이 현상은 주로 트라우마적인 경험을 다루는 방식으로, + 사람들이 그 경험을 기억하지 못하게 하는 방식입니다. 따라서, 정답은 (A) 입니다.' + - A: 모델의 행동에 집중한다면 반드시 모방하게 된다. + B: 모델은 반드시 실제 인물이 아니라도 효과가 있다. + C: 학습이 이루어지기 위해서는 모델의 행동을 기억해야 한다. + D: 행동, 환경, 개인은 서로 양방향적 영향을 미친다. + question: 반두라(A. Bandura)의 관찰학습에 관한 설명으로 옳지 않은 것은? + target: 차근 차근 생각해봅시다. 심리학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 반두라의 관찰학습 이론에 대해 간략히 설명하겠습니다. + 관찰학습 이론은 사람이 다른 사람의 행동을 관찰하고, 그 결과를 보고 학습하는 과정을 설명합니다. 이 이론에 따르면, 학습은 반드시 행동의 + 결과를 경험하거나 보상을 받아야만 이루어지는 것은 아닙니다. 단지 다른 사람의 행동을 관찰하는 것만으로도 학습이 가능하다는 것이죠. 선택지를 + 하나씩 살펴보겠습니다. (A) 모델의 행동에 집중한다면 반드시 모방하게 된다. 반두라의 관찰학습 이론에서는 모델의 행동에 집중하면 학습이 + 이루어진다고 설명하지만, 반드시 모방하게 된다는 것은 아닙니다. 관찰자는 모델의 행동을 관찰하고, 그 결과를 평가한 후에 스스로의 행동을 + 결정합니다. 즉, 모델의 행동을 그대로 모방하는 것이 아니라, 그 행동의 결과를 고려하여 자신의 행동을 결정하게 됩니다. (B) 모델은 + 반드시 실제 인물이 아니라도 효과가 있다. 이 설명은 옳습니다. 반두라는 모델이 반드시 실제 인물일 필요는 없다고 말했습니다. 즉, 모델은 + 실제 사람일 수도 있고, 애니메이션 캐릭터나 동물 등 다양한 형태가 될 수 있습니다. (C) 학습이 이루어지기 위해서는 모델의 행동을 기억해야 + 한다. 이 설명도 옳습니다. 관찰학습 이론에 따르면, 관찰자는 모델의 행동을 관찰하고, 그 행동을 기억해야 합니다. 그래야 나중에 그 행동을 + 모방하거나, 그 행동의 결과를 고려하여 자신의 행동을 결정할 수 있습니다. (D) 행동, 환경, 개인은 서로 양방향적 영향을 미친다. 이 + 설명은 반두라의 '삼위일체 이론'에 해당하는 내용입니다. 이 이론은 행동, 개인(인지적 요인 포함), 그리고 환경이 서로 상호작용하여 행동을 + 결정한다는 것을 주장합니다. 이 세 가지 요인은 동등한 위치에 있으며, 한 가지 요인이 변하면 다른 요인들도 변하게 된다는 것이 이 이론의 + 핵심입니다. 따라서, 정답은 (A) 입니다. + - A: 수행목표지향성이 높은 학생은 타인과의 비교를 통하여 자신의 성공여부를 판단한다. + B: 숙달목표지향성이 낮은 학생은 도전적 과제를 선호한다. + C: 규준지향평가는 숙달목표지향성 발달에 부정적 영향을 미친다. + D: 숙달목표지향성이 높은 학생은 지능에 대한 고정 신념(entity beliefs)보다 증가 신념(incremental beliefs)이 + 강하다. + question: 숙달목표지향성과 수행목표지향성에 관한 설명으로 옳지 않은 것은? + target: 차근 차근 생각해봅시다. 심리학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 숙달목표지향성(mastery goal orientation)과 + 수행목표지향성(performance goal orientation)에 대해 이해해야 합니다. 숙달목표지향성은 개인이 자신의 능력을 개발하고, + 실력을 향상시키는 것에 초점을 맞추는 경향을 의미합니다. 반면, 수행목표지향성은 개인이 자신의 능력을 타인과 비교하며, 자신의 성공을 측정하는 + 경향을 의미합니다. 선택지를 보면, (A) 수행목표지향성이 높은 학생이 타인과의 비교를 통해 자신의 성공여부를 판단한다는 설명은 맞습니다. + 수행목표지향성은 타인과의 비교를 통해 자신의 능력을 측정하는 경향이 있기 때문입니다. (B) 숙달목표지향성이 낮은 학생이 도전적 과제를 + 선호한다는 말은 일반적으로 틀린 설명입니다. 왜냐하면 숙달목표지향성이 높은 학생들이 자신의 능력을 개발하고 싶어하는 경향이 있기 때문에 + 새로운 도전이나 어려운 과제를 선호하는 경향이 있습니다. (C) 규준지향평가는 숙달목표지향성 발달에 부정적 영향을 미친다는 설명도 맞습니다. + 규준지향평가는 개인의 성과를 표준이나 기준에 따라 평가하는 것을 의미하며, 이는 개인의 능력 개발보다는 타인과의 비교에 초점을 맞추게 되므로 + 숙달목표지향성에는 부정적인 영향을 미칠 수 있습니다. (D) 숙달목표지향성이 높은 학생은 지능에 대한 고정 신념(entity beliefs)보다 + 증가 신념(incremental beliefs)이 강하다는 설명도 맞습니다. 숙달목표지향성이 높은 학생들은 자신의 능력이 시간과 노력에 + 따라 발전할 수 있다는 증가 신념을 가지는 경향이 있습니다. 따라서, 정답은 (B) 입니다. + - A: 수퍼비전 관계는 수퍼비전이 진행되면서 변화한다. + B: 내담자를 보호하는 것은 수퍼비전의 중요한 목적이다. + C: 프로이트(S. Freud)의 수요모임이 수퍼비전의 시발점이라 할 수 있다. + D: 수퍼바이저가 평가할 경우에 생산적인 수퍼비전 관계가 이루어지지 않는다. + question: 수퍼비전에 관한 설명으로 옳지 않은 것은? + target: 차근 차근 생각해봅시다. 심리학 관련 정보를 위해 위키피디아를 참조하겠습니다. 수퍼비전에 관한 설명으로 옳지 않은 것을 고르는 + 문제입니다. (A) 수퍼비전 관계는 수퍼비전이 진행되면서 변화한다는 것은 맞는 말입니다. 수퍼비전 초기에는 수퍼바이저와 수퍼바이지 간에 + 신뢰를 구축하고, 역할을 명확하게 정의하는 등의 작업이 필요하며, 이러한 과정을 통해 서로를 이해하고 신뢰하게 되면서 수퍼비전 관계가 발전합니다. + (B) 내담자를 보호하는 것은 수퍼비전의 중요한 목적 중 하나입니다. 수퍼바이저는 수퍼바이지가 내담자를 적절히 다루지 못할 위험이 있는 + 경우, 이를 미리 파악하고 적절한 조치를 취할 수 있도록 도와주어야 합니다. (C) 프로이트(S. Freud)의 수요모임이 수퍼비전의 시발점이라 + 할 수 있다는 것은 맞는 말입니다. 프로이트는 자신의 이론을 발전시키는 과정에서 자신의 제자들과 함께 수요모임을 진행하였고, 이를 통해 + 제자들에게 자신의 이론을 전달하고, 제자들의 임상 경험을 공유하였습니다. (D) 수퍼바이저가 평가할 경우에 생산적인 수퍼비전 관계가 이루어지지 + 않는다는 것은 옳지 않은 말입니다. 수퍼바이저는 수퍼바이지의 행동이나 성과를 평가하고, 이에 대한 피드백을 제공해야 합니다. 평가가 없다면 + 수퍼바이지의 성장과 발전을 기대하기 어렵습니다. 따라서, 정답은 (D) 입니다. + - A: 내담자를 이해하기 보다는 상담자로서 어떻게 반응해야 하는지를 더 생각한다. + B: 자신과 타인에 대한 감정을 알아차리기 힘들어 불안해한다. + C: 내담자에게 의도적으로 주의를 기울이고 중요한 정보를 수집하고 인식할 수 있다. + D: 내담자와 상담자의 상호관계에 대한 역동을 이해하기 힘들어 한다. + question: 고급 상담자의 상담 특징은? + target: 차근 차근 생각해봅시다. 심리학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저 각 선택지에 대한 분석을 해보겠습니다. (A) + 선택지는 상담자가 내담자를 이해하기 보다는 상담자로서 어떻게 반응해야 하는지를 더 생각한다는 내용입니다. 이는 상담자가 내담자를 이해하려는 + 노력보다는 자신의 반응에 더 집중한다는 내용으로, 고급 상담자라면 내담자를 이해하려는 노력이 먼저일 것입니다. (B) 선택지는 상담자가 + 자신과 타인에 대한 감정을 알아차리기 힘들어 불안해한다는 내용입니다. 이는 상담자의 역량을 의심하는 내용으로, 고급 상담자라면 자신과 타인의 + 감정을 잘 알아차리고 이를 상담에 활용할 수 있어야 합니다. (C) 선택지는 상담자가 내담자에게 주의를 기울이고 중요한 정보를 수집하고 + 인식할 수 있다는 내용입니다. 이는 상담자의 기본적인 역량 중 하나로 보입니다. 고급 상담자라면 더욱 더 이러한 역량을 갖추고 있을 것입니다. + (D) 선택지는 상담자가 내담자와 상담자의 상호관계에 대한 역동을 이해하기 힘들어 한다는 내용입니다. 이는 상담자가 상담 과정에서의 관계 + 역동을 이해하는 데 어려움을 겪는다는 내용으로, 고급 상담자라면 이러한 관계 역동을 잘 이해하고 이를 상담에 활용할 수 있어야 합니다. , + 이러한 분석을 통해 고급 상담자의 특징은 (C) 내담자에게 의도적으로 주의를 기울이고 중요한 정보를 수집하고 인식할 수 있다는 것으로 보입니다. + 이는 상담자의 기본적인 역량을 넘어서서 고급 상담자가 갖추어야 할 능력으로 보입니다. 따라서, 정답은 (C) 입니다. +include: _cot_kmmlu_yaml +task: kmmlu_hard_cot_psychology diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_public_safety.yaml b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_public_safety.yaml new file mode 100644 index 0000000000000000000000000000000000000000..5cc5c148e8e19f60bb4c8264b0a1800fc31e5120 --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_public_safety.yaml @@ -0,0 +1,93 @@ +dataset_name: public_safety +doc_to_text: '{{question}} + + A.{{A}} + + B.{{B}} + + C.{{C}} + + D.{{D}} + + 정답: 차근 차근 생각해봅시다. 공공 안전 관련 정보를 위해 위키피디아를 참조하겠습니다.' +fewshot_config: + sampler: first_n + samples: + - A: 근로자대표는 작업환경측정의 결과를 통지할 것을 사업주에게 요청할 수 있고, 사업주는 이에 성실히 응하여야 한다. + B: 야간에 필요한 안전ㆍ보건표지는 야광물질을 사용하는 등 쉽게 알아볼 수 있도록 제작하여야 한다. + C: 안전ㆍ보건표지의 표시를 명백히 하기 위하여 필요한 경우에는 안전ㆍ보건표지의 주위에 표시사항을 글자로 덧붙여 적을 수 있으며, 이 경우 + 글자는 노란색 바탕에 검은색 한글고딕체로 표기하여야 한다. + D: 안전ㆍ보건표지의 성질상 설치하거나 부착하는 것이 곤란한 경우에는 해당 물체에 직접 도장(塗裝)할 수 있다. + question: '질문: 산업안전보건법령상 법령 요지의 게시 등과 안전ㆍ보건표지의 부착 등에 관한 설명으로 옳지 않은 것은?' + target: 차근 차근 생각해봅시다. 공공 안전 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 각 선택지에 대한 내용을 살펴보겠습니다. + (A) 선택지는 근로자대표가 작업환경 측정 결과를 사업주에게 통지 요청을 할 수 있고, 사업주는 이에 성실히 응해야 한다는 내용입니다. + 이 내용은 산업안전보건법 제28조의2에 명시되어 있습니다. 이 선택지는 옳습니다. (B) 선택지는 야간에 필요한 안전ㆍ보건표지는 야광물질을 + 사용하는 등 쉽게 알아볼 수 있도록 제작해야 한다는 내용입니다. 이 내용은 산업안전보건법 시행규칙 제77조의2에 따라, 야간에는 야광물질을 + 사용하여 쉽게 알아볼 수 있도록 해야 한다고 명시되어 있습니다. 이 선택지는 옳습니다. (C) 선택지는 안전ㆍ보건표지의 표시를 명백히 + 하기 위하여 필요한 경우에는 안전ㆍ보건표지의 주위에 표시사항을 글자로 덧붙여 적을 수 있으며, 이 경우 글자는 노란색 바탕에 검은색 한글고딕체로 + 표기해야 한다는 내용입니다. 하지만, 산업안전보건법 시행규칙 제77조의2에서는 글자 색상이나 폰트에 대한 구체적인 규정을 하지 않았습니다. 이 + 선택지는 옳지 않습니다. (D) 선택지는 안전ㆍ보건표지의 성질상 설치하거나 부착하는 것이 곤란한 경우에는 해당 물체에 직접 도장(塗裝)할 + 수 있다는 내용입니다. 이 내용은 산업안전보건법 시행규칙 제77조의2에 따라, 안전표지의 성질상 설치하거나 부착하기 어려운 경우에는 해당 + 물체에 직접 도장할 수 있다고 명시되어 있습니다. 이 선택지는 옳습니다. 따라서, 정답은 (C) 입니다. + - A: 사업장의 개요 + B: 근로자의 인적 사항 및 재산 보유현황 + C: 재해 발생의 일시 및 장소 + D: 재해 발생의 원인 및 과정 + question: 사업주 갑(甲)의 사업장에 산업재해가 발생하였다. 이 경우 갑(甲)이 기록ㆍ보존해야 할 사항으로 산업안전보건법령상 명시되지 + 않은 것은? (다만, 법령에 따른 산업재해조사표 사본을 보존하거나 요양신청서의 사본에 재해 재발방지 계획을 첨부하여 보존한 경우에 해당하지 + 아니 한다.) + target: '차근 차근 생각해봅시다. 공공 안전 관련 정보를 위해 위키피디아를 참조하겠습니다. 산업안전보건법은 산업재해의 예방 및 산업재해로 + 인한 근로자의 보호를 위해 필요한 사항을 규정하고 있습니다. 사업주가 기록 및 보존해야 하는 사항에 대해 살펴보면, (A) 사업장의 개요: + 사업장의 규모, 종류, 위치 등에 대한 정보는 산업재해의 상황 파악 및 예방에 중요한 요소이므로 이는 기록 및 보존해야 하는 사항에 해당합니다. + (B) 근로자의 인적 사항 및 재산 보유현황: 이는 산업재해의 발생 원인이나 예방과 직접적인 연관성이 없습니다. 산업재해의 발생과 근로자의 + 재산 보유현황은 별개의 사항이며, 이를 기록 및 보존하는 것은 산업안전보건법에서 요구하는 사항이 아닙니다. (C) 재해 발생의 일시 및 + 장소: 재해 발생 시간과 장소는 재해의 원인 분석 및 예방책 수립에 중요한 정보이므로 이 역시 기록 및 보존해야 하는 사항입니다. (D) + 재해 발생의 원인 및 과정: 재해의 원인과 과정을 기록하는 것은 재해의 원인을 파악하고, 비슷한 상황에서의 재해를 예방하기 위한 중요한 + 절차입니다. 이 역시 기록 및 보존해야 하는 사항입니다. , 사업주 갑(甲)이 기록ㆍ보존해야 할 사항으로 산업안전보건법령상 명시되지 + 않은 것은 ''근로자의 인적 사항 및 재산 보유현황''입니다. 따라서, 정답은 (B) 입니다.' + - A: 사업주는 안전보건관리책임자를 선임하였을 때에는 그 선임 사실 및 법령에 따른 업무의 수행내용을 증명할 수 있는 서류를 갖춰 둬야 한다. + B: 안전보건관리책임자는 안전관리자와 보건관리자를 지휘ㆍ감독한다. + C: 사업주는 안전보건조정자로 하여금 근로자의 건강진단 등 건강관리에 관한 업무를 총괄관리하도록 하여야 한다. + D: 사업주는 관리감독자에게 법령에 따른 업무 수행에 필요한 권한을 부여하고 시설ㆍ장비ㆍ예산, 그 밖의 업무수행에 필요한 지원을 하여야 한다. + question: 산업안전보건법령상 안전ㆍ보건 관리체제에 관한 설명으로 옳지 않은 것은? + target: 차근 차근 생각해봅시다. 공공 안전 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저 각 선택지를 하나씩 분석해보겠습니다. + (A) 선택지는 사업주가 안전보건관리책임자를 선임하였을 때, 그 선임 사실 및 법령에 따른 업무의 수행내용을 증명할 수 있는 서류를 갖추어야 + 한다고 되어있습니다. 이 내용은 산업안전보건법에 따라 사업주가 안전보건관리체제를 운영하는데 필요한 요건 중 하나입니다. 이 선택지는 + 옳습니다. (B) 선택지는 안전보건관리책임자가 안전관리자와 보건관리자를 지휘ㆍ감독한다고 되어있습니다. 이 역시 산업안전보건법에 따라 안전보건관리책임자의 + 역할 중 하나입니다. 이 선택지는 옳습니다. (C) 선택지는 사업주가 안전보건조정자로 하여금 근로자의 건강진단 등 건강관리에 관한 업무를 + 총괄관리하도록 하여야 한다고 되어있습니다. 하지만, 산업안전보건법에 따르면, 안전보건조정자의 역할은 안전보건관리체제의 운영을 총괄하고, + 사업주와 안전보건관리책임자 사이의 조정 역할을 수행하는 것이며, 근로자의 건강진단 등 건강관리에 관한 업무를 총괄하는 것은 보건관리자의 + 역할입니다. 이 선택지는 옳지 않습니다. (D) 선택지는 사업주가 관리감독자에게 법령에 따른 업무 수행에 필요한 권한을 부여하고 시설ㆍ장비ㆍ예산, + 그 밖의 업무수행에 필요한 지원을 하여야 한다고 되어있습니다. 이 역시 산업안전보건법에 따라 사업주의 의무 중 하나입니다. 이 선택지는 + 옳습니다. 따라서, 정답은 (C) 입니다. + - A: 소프트웨어 개발 및 공급업에서 상시 근로자 100명을 사용하는 사업장은 안전보건관리규정을 작성하여야 한다. + B: 안전보건관리규정의 내용에는 작업지휘자 배치 등에 관한 사항이 포함되어야 한다. + C: 안전보건관리규정은 해당 사업장에 적용되는 단체협약 및 취업규칙에 반할 수 없다. + D: 안전보건관리규정에 관하여는 산업안전보건법에서 규정한 것을 제외하고는 그 성질에 반하지 아니하는 범위에서 「근로기준법」의 취업규칙에 관한 + 규정을 준용한다. + question: 산업안전보건법령상 안전보건관리규정에 관한 설명으로 옳지 않은 것은? + target: 차근 차근 생각해봅시다. 공공 안전 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 각 선택지에 대해 검토해보겠습니다. + (A) 선택지는 산업안전보건법 제25조의1에서 "사업주는 사업장의 안전 및 보건을 유지하기 위하여 다음 각 호의 사항이 포함된 안전보건관리규정을 + 작성하여야 한다."라고 규정하고 있습니다. 소프트웨어 개발 및 공급업의 경우 상시 근로자가 300명을 초과할때 안전보건관리규정을 작성해야 + 합니다. (B) 선택지는 산업안전보건법 제26조의2에서 "안전보건관리규정의 내용에는 작업지휘자 배치 등에 관한 사항이 포함되어야 한다."라고 + 명시하고 있습니다. 이 선택지는 정확한 내용입니다. (C) 선택지는 안전보건관리규정이 단체협약 및 취업규칙에 반할 수 없다는 내용입니다. + 이는 사업장의 안전보건을 위한 기본적인 원칙이므로 이 선택지는 정확한 내용입니다. (D) 선택지는 안전보건관리규정에 관하여는 산업안전보건법에서 + 규정한 것을 제외하고는 그 성질에 반하지 아니하는 범위에서 「근로기준법」의 취업규칙에 관한 규정을 준용한다는 내용입니다. 이 역시 안전보건관리규정의 + 성질을 반영한 내용이므로 이 선택지는 정확한 내용입니다. , 위 내용을 종합하면 (A) 선택지가 산업안전보건법령상 안전보건관리규정에 관한 + 설명으로 옳지 않은 것입니다. 이는 산업안전보건법에서 규정한 대로 특정 업종과 근로자 수에 따라 안전보건관리규정을 작성해야 하는데, 이를 + 정확히 반영하지 않았기 때문입니다. 따라서, 정답은 (A) 입니다. + - A: 유해하거나 위험한 기계ㆍ기구와 그 밖의 설비를 도입한 경우 안전ㆍ보건조치에 관한 사항 + B: 안전ㆍ보건과 관련된 안전장치 구입 시의 적격품 여부 확인에 관한 사항 + C: 산업재해에 관한 통계의 기록 및 유지에 관한 사항 + D: 산업재해 예방계획의 수립에 관한 사항 + question: 산업안전보건법령상 산업안전보건위원회의 심의ㆍ의결을 거쳐야 하는 사항에 해당하지 않는 것은? + target: 차근 차근 생각해봅시다. 공공 안전 관련 정보를 위해 위키피디아를 참조하겠습니다. 산업안전보건법령에 따르면, 산업안전보건위원회의 + 심의ᆞ의결을 거쳐야 하는 사항은 다음과 같습니다. 1. 안전 및 보건에 관한 중요 사항 2. 유해하거나 위험한 기계ᆞ기구와 그 밖의 설비를 + 도입한 경우 안전ᆞ보건조치에 관한 사항 3. 안전ᆞ보건과 관련된 안전장치 및 보호구 구입 시의 적격품 여부 확인에 관한 사항 4. 산업재해에 + 관한 통계의 기록 및 유지에 관한 사항 5. 안전ᆞ보건 관련 인력ᆞ시설 및 장비 등의 현황 파악과 관리에 관한 사항 6. 산업재해 예방 + 및 재발 방지대책 수립에 관한 사항 7. 안전ᆞ보건에 관한 규정의 제정 또는 개정에 관한 사항 8. 작업환경의 측정 등 작업환경의 점검 + 및 개선에 관한 사항 9. 근로자의 건강진단 등 건강관리에 관한 사항 10. 중대재해의 원인조사 및 재발 방지대책 수립에 관한 사항 11. + 산업안전ᆞ보건과 관련된 그 밖의 사항 , 선택지 중에서 산업안전보건위원회의 심의ᆞ의결을 거치지 않아도 되는 사항은 (B) 안전ᆞ보건과 + 관련된 안전장치 구입 시의 적격품 여부 확인에 관한 사항입니다. 따라서, 정답은 (B) 입니다. +include: _cot_kmmlu_yaml +task: kmmlu_hard_cot_public_safety diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_railway_and_automotive_engineering.yaml b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_railway_and_automotive_engineering.yaml new file mode 100644 index 0000000000000000000000000000000000000000..c81e158a082332dfb17616e16b26c859cc867148 --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_railway_and_automotive_engineering.yaml @@ -0,0 +1,88 @@ +dataset_name: railway_and_automotive_engineering +doc_to_text: '{{question}} + + A.{{A}} + + B.{{B}} + + C.{{C}} + + D.{{D}} + + 정답: 차근 차근 생각해봅시다. 철도 공학 관련 정보를 위해 위키피디아를 참조하겠습니다.' +fewshot_config: + sampler: first_n + samples: + - A: 매연 + B: 알데히드 + C: 입자상물질 + D: 질소산화물 + question: '질문: 경유를 사용하는 자동차에서 배출되는 오염물질과 가장 거리가 먼 것은?' + target: 차근 차근 생각해봅시다. 철도 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 경유를 사용하는 자동차에서 배출되는 + 오염물질을 알아보겠습니다. 경유를 사용하는 자동차는 주로 디젤 엔진을 사용하는데, 이 엔진은 고온 고압의 환경에서 연료를 연소시키기 때문에 + 다양한 오염물질을 배출합니다. 대표적인 오염물질로는 매연, 입자상물질, 질소산화물 등이 있습니다. (A) 매연은 연료가 불완전하게 연소하면서 + 발생하는 검은 연기로, 대기오염을 유발하는 대표적인 물질 중 하나입니다. (C) 입자상물질은 경유가 연소하면서 발생하는 미세한 입자로, + 대기 중에 떠다니며 호흡기 질환 등을 유발할 수 있습니다. (D) 질소산화물은 고온 고압의 환경에서 질소가 산소와 결합하여 발생하는 물질로, + 대기 중에서 화학 반응을 일으켜 미세먼지 등의 2차 오염물질을 생성할 수 있습니다. 반면, (B) 알데히드는 주로 휘발성 유기화합물(VOC)이 + 산화하면서 발생하는 물질로, 경유를 사용하는 자동차에서는 배출되지 않는 물질입니다. 따라서, 정답은 (B) 입니다. + - A: 연료의 보관성 향상 + B: 역화 발생 문제 개선 + C: 겨울철 냉간 시동성 향상 + D: 정밀한 공연비 제어로 연비 향상 + question: 믹서 방식의 LPG엔진과 비교한 LPI엔진의 장점으로 틀린 것은? + target: '차근 차근 생각해봅시다. 철도 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 믹서 방식의 LPG엔진과 비교한 LPI엔진의 + 장점을 살펴보면, (A) 연료의 보관성 향상: LPG는 액화된 상태에서 보관되며, 믹서 방식과 LPI 방식 모두 연료의 보관성에는 큰 차이가 + 없습니다. LPI는 액체 연료를 직접 분사하는 방식이므로, 연료의 보관성이 더욱 향상될 수 있습니다. (B) 역화 발생 문제 개선: LPG엔진에서는 + 역화라는 현상이 발생할 수 있는데, 이는 연료가 기화되지 않고 액체 상태로 존재하면서 발생하는 문제입니다. LPI엔진은 연료를 직접 분사하는 + 방식을 사용하므로, 이런 역화 현상을 개선할 수 있습니다. (C) 겨울철 냉간 시동성 향상: LPG는 냉간에서 기화하기 어려운 성질이 있어, + 겨울철 냉간 시동성이 떨어질 수 있습니다. 그러나 LPI엔진은 연료를 직접 분사하는 방식을 사용하므로, 이런 문제를 해결하고 냉간 시동성을 + 향상시킬 수 있습니다. (D) 정밀한 공연비 제어로 연비 향상: LPI엔진은 연료를 직접 분사하는 방식을 사용하므로, 연료의 분사와 혼합을 + 더욱 정밀하게 제어할 수 있습니다. 이로 인해 연비를 향상시킬 수 있습니다. , 모든 선택지가 LPI엔진의 장점을 정확하게 나타내고 있습니다. + 그러나 문제에서 요구하는 것은 잘못된 장점을 찾는 것이므로, 이를 고려하면 선택지 중에서 가장 덜 중요한 장점을 찾아야 합니다. 이 경우, + (A) 연료의 보관성 향상이 LPG엔진과 LPI엔진 간에 가장 큰 차이를 만들지 못하는 요소일 수 있습니다. 왜냐하면 LPG는 원래 액화되어 + 보관되는 연료이기 때문에, 믹서 방식과 LPI 방식 사이에 연료의 보관성에 큰 차이를 만들지는 못합니다. 따라서, 정답은 (A) 입니다.' + - A: '12.2' + B: '26.2' + C: '32.5' + D: '46.5' + question: 실린더 지름과 행정이 70×70㎜이고, 회전속도가 3000rpm인 기관의 밸브 지름은 약 몇 ㎜ 인가? (단, 밸브를 통과하는 + 가스의 속도는 50m/sec이다.) + target: 차근 차근 생각해봅시다. 철도 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 밸브의 지름을 찾기 위해서는 밸브를 + 통과하는 가스의 체적 흐름률을 알아야 합니다. 체적 흐름률은 실린더의 퇴적 체적과 엔진의 회전 속도에 의해 결정됩니다. 실린더의 퇴적 체적은 + π/4 * 실린더 지름^2 * 행정입니다. 문제에서 주어진 실린더 지름과 행정은 각각 70mm입니다. , 실린더의 퇴적 체적은 π/4 + * 70mm^2 * 70mm = 269,391 mm^3 또는 0.269391 m^3입니다. 엔진의 회전속도는 3000rpm입니다. 이는 + 분당 3000회전을 의미하므로, 초당 회전수는 3000/60 = 50회전입니다. , 밸브를 통과하는 가스의 체적 흐름률은 실린더의 퇴적 + 체적 * 엔진의 회전속도 = 0.269391 m^3/회전 * 50회전/초 = 13.46955 m^3/sec입니다. 밸브를 통과하는 가스의 + 속도는 50m/sec로 주어졌습니다. , 밸브의 지름은 체적 흐름률 / (π/4 * 가스의 속도)의 제곱근으로 계산할 수 있습니다. 이를 + 계산하면, 밸브의 지름 = (13.46955 m^3/sec / (π/4 * 50m/sec))^0.5 = 0.262 m 또는 262 mm입니다. + 따라서, 정답은 (B) 입니다. + - A: '11.67' + B: '13.33' + C: '16.67' + D: '20.33' + question: 행정 체적이 800cc, 크랭크축 회전수 1000rpm, 체적효율 80%, 2행정 사이클 기관의 흡기중량 유량은 몇 g/s인가? + (단, 흡기의 비중량은 1.25kg/m3이다.) + target: 차근 차근 생각해봅시다. 철도 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 이 문제는 기관의 흡기 중량 유량을 + 계산하는 것입니다. 흡기 중량 유량은 기관이 흡입하는 공기의 양을 의미합니다. 문제에서 주어진 정보를 바탕으로 계산해보겠습니다. 행정 체적(V)은 + 800cc, 크랭크축 회전수(N)는 1000rpm, 체적효율(ηv)는 80%, 2행정 사이클 기관이므로, 이 모든 정보를 토대로 흡기중량 + 유량(Qm)을 계산할 수 있습니다. 그리고 흡기의 비중량(ρ)은 1.25kg/m3입니다. 흡기 중량 유량은 다음과 같이 계산할 수 있습니다. + Qm = (V * N * ηv * ρ) / (2 * 60) 먼저, 행정 체적(V)은 cc에서 m3로 변환해야 합니다. 1m3 = 10^6 + cc이므로, V = 800cc = 0.0008 m3입니다. 그 다음, 체적효율(ηv)는 퍼센트에서 소수로 변환해야 합니다. ηv = 80% + = 0.8입니다. 이제 모든 값을 대입하여 계산해보겠습니다. Qm = (0.0008 m3 * 1000 rpm * 0.8 * 1.25 kg/m3) + / (2 * 60) = 0.01333 kg/s 이 값을 g/s로 변환하려면 1kg = 1000g을 사용하면 됩니다. , Qm = 0.01333 + kg/s = 13.33 g/s입니다. 따라서, 정답은 (B) 입니다. + - A: 라디에이터 앞쪽에 설치 + B: 물 펌프축과 일체로 회전 + C: 라디에이터 통풍을 도와줌 + D: 기관의 과냉 및 소음방지를 위해 일정 회전수이상 시 슬립 발생 + question: 유체 커플링식 냉각 팬에 대한 설명으로 틀린 것은? + target: '차근 차근 생각해봅시다. 철도 공학 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 유체 커플링식 냉각 팬이 무엇인지부터 + 알아야 합니다. 유체 커플링식 냉각 팬은 유체 커플링을 이용하여 물 펌프와 일체로 회전하는 냉각 팬입니다. 유체 커플링은 기관의 회전수에 + 따라 자동으로 회전수를 조절하여 기관의 과냉 및 소음 방지를 위해 일정 회전수 이상 시 슬립이 발생하도록 합니다. 이제 선택지를 하나씩 + 살펴보겠습니다. (A) 라디에이터 앞쪽에 설치: 유체 커플링식 냉각 팬은 팬과 물펌프 사이에 설치됩니다. 이는 틀린 설명입니다. (B) + 물 펌프축과 일체로 회전: 유체 커플링식 냉각 팬은 물 펌프축과 일체로 회전합니다. 이는 유체 커플링을 이용하여 물 펌프와 함께 회전하기 + 때문입니다. (C) 라디에이터 통풍을 도와줌: 유체 커플링식 냉각 팬은 라디에이터의 통풍을 도와줍니다. 이는 엔진의 열을 효과적으로 식혀주기 + 위한 것입니다. (D) 기관의 과냉 및 소음방지를 위해 일정 회전수 이상 시 슬립 발생: 유체 커플링식 냉각 팬은 기관의 과냉 및 소음 + 방지를 위해 일정 회전수 이상 시 슬립이 발생합니다. 이는 유체 커플링의 특성 때문입니다. 따라서, 정답은 (A) 입니다.' +include: _cot_kmmlu_yaml +task: kmmlu_hard_cot_railway_and_automotive_engineering diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_real_estate.yaml b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_real_estate.yaml new file mode 100644 index 0000000000000000000000000000000000000000..0e7d81001ba6c163a851a3cdb35d84d6a03d8950 --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_real_estate.yaml @@ -0,0 +1,91 @@ +dataset_name: real_estate +doc_to_text: '{{question}} + + A.{{A}} + + B.{{B}} + + C.{{C}} + + D.{{D}} + + 정답: 차근 차근 생각해봅시다. 부동산 관련 정보를 위해 위키피디아를 참조하겠습니다.' +fewshot_config: + sampler: first_n + samples: + - A: 중개사무소 이전신고 + B: 중개사무소 폐업신고 + C: 분사무소 설치신고 + D: 분사무소 폐업신고 + question: '질문: 공인중개사법령상 법인인 개업공인중개사의 중개사무소등록증 원본 또는 사본이 첨부되어야 하는 경우에 해당하지 않는 것은?' + target: 차근 차근 생각해봅시다. 부동산 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 공인중개사법에 따르면, 법인인 개업공인중개사가 + 중개사무소를 등록하려면 등록증의 원본 또는 사본을 첨부해야 합니다. 이 규정은 중개사무소의 설치, 이전, 폐업 등의 경우에 모두 적용됩니다. + (A) 중개사무소 이전신고의 경우, 중개사무소의 위치가 변경되는 것이므로, 중개사무소등록증의 원본 또는 사본을 첨부해야 합니다. (B) + 중개사무소 폐업신고의 경우에도, 중개사무소의 운영을 중단하는 것이므로, 중개사무소등록증의 원본 또는 사본을 첨부해야 합니다. (C) 분사무소 + 설치신고의 경우에는 중개사무소등록증을 필요로 하지 않습니다. 중개사무소등록증은 분사무소의 휴업과 폐업에만 요구됩니다. (D) 분사무소 폐업신고의 + 경우, 분사무소의 운영을 중단하는 것이므로, 중개사무소등록증의 원본 또는 사본을 첨부해야 합니다. 따라서, 정답은 (C) 입니다. + - A: 개업공인중개사는 의뢰받은 중개대상물에 대하여 표시ㆍ광고를 하려면 개업공인중개사, 소속공인중개사 및 중개보조원에 관한 사항을 명시해야 한다. + B: 개업공인중개사는 중개대상물이 존재하지 않아서 실제로 거래를 할 수 없는 중개대상물에 대한 광고와 같은 부당한 표시ㆍ광고를 해서는 안 된다. + C: 개업공인중개사는 중개대상물의 가격 등 내용을 과장되게 하는 부당한 표시ㆍ광고를 해서는 안 된다. + D: 국토교통부장관은 인터넷을 이용한 중개대상물에 대한 표시ㆍ광고의 규정준수 여부에 관하여 기본 모니터링과 수시 모니터링을 할 수 있다. + question: 공인중개사법령상 중개대상물의 표시ㆍ광고 및 모니터링에 관한 설명으로 틀린 것은? + target: 차근 차근 생각해봅시다. 부동산 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 공인중개사법령에 따라 중개대상물의 표시·광고 + 및 모니터링에 관한 규정을 살펴보겠습니다. (A) 개업공인중개사가 의뢰받은 중개대상물에 대해 표시·광고를 할 때, 소속공인중개사나 중개보조원에 + 관한 사항을 명시해야 하는 것은 의무가 아닙니다. (B) 개업공인중개사는 중개대상물이 존재하지 않아서 실제로 거래를 할 수 없는 중개대상물에 + 대한 광고와 같은 부당한 표시·광고를 해서는 안 됩니다. 이는 소비자의 피해를 방지하고, 중개시장의 공정성을 유지하기 위한 것입니다. (C) + 개업공인중개사는 중개대상물의 가격 등 내용을 과장되게 하는 부당한 표시·광고를 해서는 안 됩니다. 이 역시 소비자의 피해를 방지하고, 중개시장의 + 공정성을 유지하기 위한 것입니다. (D) 국토교통부장관은 인터넷을 이용한 중개대상물에 대한 표시·광고의 규정 준수 여부에 관하여 기본 모니터링과 + 수시 모니터링을 할 수 있습니다. 이는 중개대상물에 대한 표시·광고가 규정에 맞게 이루어지고 있는지 확인하고, 부당한 표시·광고를 방지하기 + 위한 것입니다. 따라서, 정답은 (A) 입니다. + - A: 공인중개사인 개업공인중개사는 그 사무소의 명칭에 "공인중개사사무소" 또는 "부동산중개"라는 문자를 사용하여야 한다. + B: 공인중개사가 중개사무소의 개설등록을 하지 않은 경우, 그 사무소에 "공인중개사사부소"라는 명칭을 사용할 수 없지만, "부동산중개"라는 + 명칭은 사용할 수 있다. + C: 공인중개사인 개업공인중개사가 관련 법령에 따른 옥외광고물을 설치하는 경우, 중개사무소등록증에 표기된 개업공인중개사의 성명을 표기할 필요는 + 없다. + D: 중개사무소 개설등록을 하지 않은 공인중개사가 "부동산중개"라는 명칭을 사용한 경우, 국토교통부장관은 그 명칭이 사용된 간판 등의 철거를 + 명할 수 있다. + question: 공인중개사법령상 중개사무소 명청에 관한 설명으로 옳은 것은? + target: 차근 차근 생각해봅시다. 부동산 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 공인중개사법령상 중개사무소 명칭에 관한 + 설명으로 옳은 것을 찾아야 합니다. (A) 선택지를 보면, 공인중개사인 개업공인중개사는 그 사무소의 명칭에 "공인중개사사무소" 또는 "부동산중개"라는 + 문자를 사용하여야 한다고 명시되어 있습니다. 이는 공인중개사법 제 18조 제1항에 규정되어 있는 내용으로 옳은 설명입니다. (B) 선택지를 + 보면, 공인중개사가 중개사무소의 개설등록을 하지 않은 경우, 그 사무소에 "공인중개사사무소"라는 명칭을 사용할 수 없지만, "부동산중개"라는 + 명칭은 사용할 수 있다고 되어 있습니다. 이는 옳지 않은 설명입니다. 공인중개사법 제 18조 제2항에 따르면, 중개사무소의 개설등록을 하지 + 않은 자는 "공인중개사사무소", "부동산중개" 또는 이와 유사한 명칭을 사용하여서는 아니된다고 규정되어 있습니다. (C) 선택지를 보면, + 공인중개사인 개업공인중개사가 관련 법령에 따른 옥외광고물을 설치하는 경우, 중개사무소등록증에 표기된 개업공인중개사의 성명을 표기할 필요는 + 없다고 되어 있습니다. 이는 옳지 않은 설명입니다. 공인중개사법 시행령 제 17조의 2에 따르면, 개업공인중개사가 법 제18조제3항에 따라 + 옥외광고물을 설치하는 경우 중개사무소등록증에 표기된 개업공인중개사의 성명을 표기하여야 합니다. (D) 선택지를 보면, 중개사무소 개설등록을 + 하지 않은 공인중개사가 "부동산중개"라는 명칭을 사용한 경우, 국토교통부장관은 그 명칭이 사용된 간판 등의 철거를 명할 수 있다고 되어 + 있습니다. 이는 옳지 않은 설명입니다. 공인중개사가 아닌 자는 "공인중개사사무소", "부동산중개" 또는 이와 유사한 명칭을 사용하여서는 + 아니되지만, 이를 위반한 경우 국토교통부장관이 아닌 해당 등록관청이 철거를 명하게 됩니다. 따라서, 정답은 (A) 입니다. + - A: 국토교통부장관이 직접 시험을 시행하려는 경우에는 미리 공인중개사 정책심의위원회의 의결을 거치지 않아도 된다. + B: 공인중개사자격증의 재교부를 신청하는 자는 재교부신청서를 국토교통부장관에게 제출해야 한다. + C: 국토교통부장관은 공인중개사시험의 합격자에게 공인중개사자격증을 교부해야 한다. + D: 시험시행기관장은 시험에서 부정한 행위를 한 응시자에 대해서는 그 시험을 무효로 하고, 그 처분이 있은 날부터 5년간 시험응시자격을 정지한다. + question: 공인중개사법령상 공인중개사 자격시험 등에 관한 설명으로 옳은 것은? + target: 차근 차근 생각해봅시다. 부동산 관련 정보를 위해 위키피디아를 참조하겠습니다. 공인중개사법령상 공인중개사 자격시험 등에 관한 + 설명으로 옳은 것을 고르는 문제입니다. 선택지를 하나씩 살펴보며 정답을 찾아보겠습니다. (A) 국토교통부장관이 직접 시험을 시행하려는 경우에는 + 미리 공인중개사 정책심의위원회의 의결을 거치지 않아도 된다. - 공인중개사 정책심의위원회는 공인중개사의 시험 등에 관한 사항을 심의하는 + 기관으로, 국토교통부장관이 시험을 시행할 때는 이 위원회의 의결을 거쳐야 합니다. 이 선택지는 옳지 않습니다. (B) 공인중개사자격증의 + 재교부를 신청하는 자는 재교부신청서를 국토교통부장관에게 제출해야 한다. - 공인중개사 자격증의 재교부를 신청하는 경우, 재교부신청서를 작성하여 + 시·도지사에게 제출해야 합니다. 이 선택지도 옳지 않습니다. (C) 국토교통부장관은 공인중개사시험의 합격자에게 공인중개사자격증을 교부해야 + 한다. - 공인중개사 자격시험에 합격한 사람은 시·도지사로부터 자격증을 교부받아야 합니다. 이 선택지도 옳지 않습니다. (D) 시험시행기관장은 + 시험에서 부정한 행위를 한 응시자에 대해서는 그 시험을 무효로 하고, 그 처분이 있은 날부터 5년간 시험응시자격을 정지한다. - 공인중개사법령에 + 따르면 시험시행기관장은 시험에서 부정한 행위를 한 응시자에 대해 그 시험을 무효로 하고, 처분일로부터 5년간 응시자격을 정지할 수 있습니다. 이 + 선택지는 옳은 설명입니다. 따라서, 정답은 (D) 입니다. + - A: 개업공인중개사는 그 등록관천의 관할구역안에 1개의 중개사무소만을 둘수 있다. + B: 개업공인중개사는 천막 그 밖에 이동이 용이한 임시 중개시설물을 설치하여서는 아니된다. + C: 법인이 아닌 개업공인중개사는 분사무소를 둘수 없다. + D: 개업공인중개사는 등록관청의 관할구역 외의 지역에 있는 중개대상물을 중개할 수 없다. + question: 공인중개사법령상 중개사무소의 설치 등에 관한 설명으로 틀린 것은? + target: 차근 차근 생각해봅시다. 부동산 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 각 선택지에 대한 내용을 확인하겠습니다. + (A) 개업공인중개사는 그 등록관청의 관할구역안에 1개의 중개사무소만을 둘 수 있다. 이 내용은 공인중개사법에 따라 개업공인중개사가 등록한 + 관할구역 안에 1개의 중개사무소를 설치해야 한다는 것을 의미합니다. 이는 공인중개사법에 따라 올바른 내용입니다. (B) 개업공인중개사는 + 천막 그 밖에 이동이 용이한 임시 중개시설물을 설치하여서는 아니된다. 이 내용은 공인중개사법에 따라 개업공인중개사가 천막이나 이동이 용이한 + 임시 중개시설물을 설치해서는 안된다는 것을 의미합니다. 이는 공인중개사법에 따라 올바른 내용입니다. (C) 법인이 아닌 개업공인중개사는 + 분사무소를 둘 수 없다. 이 내용은 공인중개사법에 따라 법인이 아닌 개업공인중개사는 분사무소를 설치할 수 없다는 것을 의미합니다. 이는 + 공인중개사법에 따라 올바른 내용입니다. (D) 개업공인중개사는 등록관청의 관할구역 외의 지역에 있는 중개대상물을 중개할 수 없다. 이 내용은 + 공인중개사법에 따라 개업공인중개사가 등록한 관할구역 외의 지역에 있는 중개대상물을 중개할 수 없다는 것을 의미합니다. 하지만, 공인중개사법에 + 따르면 개업공인중개사는 등록한 관할구역 외의 지역에 있는 중개대상물을 중개할 수 있습니다. 이 내용은 잘못된 내용입니다. 따라서, 정답은 + (D) 입니다. +include: _cot_kmmlu_yaml +task: kmmlu_hard_cot_real_estate diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_refrigerating_machinery.yaml b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_refrigerating_machinery.yaml new file mode 100644 index 0000000000000000000000000000000000000000..7c3984e4b923675a47c582ebfec110188d0f4801 --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_refrigerating_machinery.yaml @@ -0,0 +1,91 @@ +dataset_name: refrigerating_machinery +doc_to_text: '{{question}} + + A.{{A}} + + B.{{B}} + + C.{{C}} + + D.{{D}} + + 정답: 차근 차근 생각해봅시다. 냉동 기계 관련 정보를 위해 위키피디아를 참조하겠습니다.' +fewshot_config: + sampler: first_n + samples: + - A: '-9.79' + B: '-15.17' + C: '-87.25' + D: '-180.52' + question: '질문: 보일러 입구의 압력이 9800 kN/m2 이고, 응축기의 압력이 4900 N/m2 일 때 펌프 일은 약 몇 kJ/kg + 인가? (단, 물의 비체적은 0.001 m3/kg 이다.)' + target: 차근 차근 생각해봅시다. 냉동 기계 관련 정보를 위해 위키피디아를 참조하겠습니다. 펌프 일은 펌프에 의해 수행되는 일을 나타내며, + 보일러와 응축기 간의 압력 차이에 의해 발생합니다. 펌프 일은 보통 펌프 입구와 출구 사이의 압력 차이와 물의 비체적을 곱하여 계산됩니다. + 펌프 일(Wp)은 다음과 같은 공식으로 계산할 수 있습니다. Wp = v * (P2 - P1) 여기서 v는 물의 비체적(0.001 m3/kg), + P2는 보일러의 압력(9800 kN/m2 = 9800000 N/m2), P1은 응축기의 압력(4900 N/m2)입니다. , 펌프 일은 + 다음과 같이 계산됩니다. Wp = 0.001 m3/kg * (9800000 N/m2 - 4900 N/m2) = 9795100 J/kg = + 9795.1 kJ/kg 하지만, 이 값은 양수인데, 선택지 모두 음수입니다. 이는 펌프 일을 구할 때 압력 단위를 맞추지 않아서 발생한 + 문제입니다. 펌프 입구와 출구의 압력 단위를 같게 맞추어 계산해야 합니다. , 보일러의 압력을 N/m2 단위로 변환하면 9800 kN/m2 + = 9800000 N/m2입니다. 그러므로, 펌프 일은 다음과 같이 다시 계산됩니다. Wp = 0.001 m3/kg * (9800000 + N/m2 - 4900 N/m2) = 9795100 J/kg = 9.7951 kJ/kg 그러나 이 값도 선택지에 없습니다. 문제가 있는 것 + 같습니다. 다시 확인해보니, 펌프 일의 부호가 음수인 이유를 찾았습니다. 펌프 일은 시스템에 에너지를 공급하는 것이므로, 일반적으로 음수로 + 표시됩니다. , 계산한 펌프 일에 음수 부호를 붙여주면 됩니다. 그래서, 펌프 일은 -9.7951 kJ/kg로 계산되며, 이는 선택지 + A에 가장 가까운 값입니다. 따라서, 정답은 (A) 입니다. + - A: -53.3 kJ + B: -1.1 kJ + C: 253 kJ + D: -40 kJ + question: 피스턴-실린더 장치 내에 있는 공기가 0.3m3에서 0.1m3으로 압축되었다. 압축되는 동안 압력과 체적 사이에 P=aV-2의 + 관계가 성립하며, 계수 a=6 kPaㆍm2 이다. 이 과정 동안 공기가 한 일은 얼마인가? + target: '차근 차근 생각해봅시다. 냉동 기계 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 이 문제는 공기가 수행하는 일을 계산하는 + 문제입니다. 주어진 정보를 바탕으로 공기가 수행하는 일을 계산하는 공식을 이용하면 됩니다. 피스턴-실린더 장치에서의 공기가 수행하는 일은 + 보통 압력과 체적의 변화에 따라 결정됩니다. 이 문제에서는 압력과 체적 사이에 P=aV-2의 관계가 성립한다고 주어졌습니다. 이 관계식은 + 압력이 체적의 제곱에 반비례하며, 계수 a는 6 kPaㆍm2로 주어졌습니다. 일반적으로 가스의 압축에 의해 수행되는 일은 압력과 체적의 + 변화에 따른 적분으로 계산할 수 있습니다. 즉, 공기가 수행하는 일 W는 다음과 같이 표현됩니다: W = ∫PdV 여기서 P는 압력, V는 + 체적, dV는 체적의 미소 변화량입니다. 이 경우, 압력 P는 체적 V에 대한 함수로 주어졌으므로, 이를 대입하여 적분을 수행하면 됩니다. , + 공기가 수행하는 일 W는 다음과 같이 계산됩니다: W = ∫PdV = ∫(aV-2)dV = a∫V-2dV = a[V-1/-1] (체적이 + 0.3m3에서 0.1m3으로 변할 때) = -6[(0.1)^-1 - (0.3)^-1] kJ = -6[10 - 3.33] kJ = -6*6.67 + kJ = -40 kJ , 공기가 수행하는 일은 -40 kJ입니다. 이는 압축 과정에서 공기가 일을 하는 것이 아니라, 일을 받는 것을 + 의미합니다. 즉, 외부에서 공기를 압축하기 위해 40 kJ의 에너지를 공급받았다는 것을 의미합니다. 따라서, 정답은 (D) 입니다.' + - A: 0.78×10-3 + B: 1.35×10-3 + C: 2.35×10-3 + D: 2.98×10-3 + question: 어떤 유체의 밀도가 741 kg/m3 이다. 이 유체의 비체적은 약 몇 m3kg인가? + target: 차근 차근 생각해봅시다. 냉동 기계 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 비체적이란 무엇인지 알아야 합니다. + 비체적은 어떤 물질의 질량 당 부피를 나타내는 물리량으로, 그 단위는 m3/kg입니다. 이는 밀도의 역수와 같습니다. 이 문제에서 주어진 + 유체의 밀도는 741 kg/m3입니다. 비체적을 구하려면 이 밀도의 역수를 취하면 됩니다. 즉, 1/741 m3/kg를 계산하면 됩니다. + 1/741을 계산하면 약 0.00135 m3/kg가 나옵니다. 이를 지수 표기법으로 표현하면 1.35×10-3 m3/kg입니다. 따라서, + 정답은 (B) 입니다. + - A: '306' + B: '206' + C: '155' + D: '115' + question: 1 kg의 기체가 압력 50 kPa, 체적 2.5m3 상태에서 압력 1.2 MPa, 체적 0.2m3의 상태로 변하였다. 엔탈피의 + 변화량은 약 몇 kJ 인가? (단, 내부에너지의 증가 U2-U1=0이다.) + target: 차근 차근 생각해봅시다. 냉동 기계 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 이 문제는 열역학의 첫 번째 법칙에 + 관한 문제입니다. 열역학의 첫 번째 법칙은 에너지 보존의 법칙을 표현한 것으로, 고립 시스템의 총 에너지는 일정하다는 내용입니다. 문제에서 + 주어진 내부에너지의 증가 U2-U1=0이라는 정보는 이 시스템에서 내부에너지의 변화가 없다는 것을 의미합니다. 그 다음으로 엔탈피의 변화량을 + 알아내기 위해서는 엔탈피의 정의를 알아야 합니다. 엔탈피 H는 시스템의 내부에너지 U와 그 시스템의 압력 P와 체적 V의 곱의 합으로 정의됩니다. + 즉, H = U + PV입니다. 엔탈피의 변화 ΔH는 내부에너지의 변화 ΔU와 압력-체적 작용의 변화 Δ(PV)의 합이 됩니다. 문제에서 + 내부에너지의 변화는 0이므로, ΔH는 Δ(PV)와 같습니다. 압력-체적 작용의 변화는 최종 상태의 PV 값에서 초기 상태의 PV 값을 뺀 + 것입니다. 즉, Δ(PV) = (P2V2) - (P1V1)입니다. 여기서 주의할 점은 압력과 체적의 단위입니다. 문제에서 주어진 압력의 + 단위는 kPa와 MPa이고, 체적의 단위는 m3입니다. 이를 모두 같은 단위로 맞추어야 합니다. 1 MPa = 1000 kPa이므로, 1.2 + MPa는 1200 kPa입니다. , Δ(PV) = (1200 kPa * 0.2 m3) - (50 kPa * 2.5 m3) = 240 kPa*m3 + - 125 kPa*m3 = 115 kPa*m3입니다. 마지막으로, kPa*m3를 kJ로 변환해야 합니다. 1 kPa*m3는 1 kJ와 같습니다. , + ΔH는 115 kJ입니다. 따라서, 정답은 (D) 입니다. + - A: 2 kJ + B: 1.5 kJ + C: 1 kJ + D: 0.5 kJ + question: 주위의 온도가 27℃일 때, -73℃에서 1kJ의 냉동효과를 얻으려 한다. 냉동 사이클을 구동하는데 필요한 최소일은 얼마인가? + target: '차근 차근 생각해봅시다. 냉동 기계 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저 이 문제는 냉동 사이클에 대한 문제이며, + 냉동 사이클의 성능을 평가하는 지표 중 하나인 ''최소일''에 대한 문제입니다. 냉동 사이클에서 최소일은 카르노 사이클에 의해 결정되며, + 이는 절대온도에 비례하여 결정됩니다. 카르노 사이클에서 냉동효과(Qc)를 얻기 위해 필요한 일(W)는 다음의 공식에 의해 결정됩니다: W + = Qc * (Th - Tc) / Tc 여기서 Th는 높은 온도(절대온도로 표현)이며, Tc는 낮은 온도(절대온도로 표현)입니다. 이 문제에서는 + Th가 27℃, Tc가 -73℃입니다. 그러나 이 온도들은 절대온도로 변환해야 합니다. 절대온도는 켈빈(K)으로 표현되며, 섭씨온도를 켈빈으로 + 변환하는 공식은 K = ℃ + 273.15입니다. Th = 27℃ + 273.15 = 300.15K, Tc = -73℃ + 273.15 + = 200.15K입니다. 그러므로, W = 1kJ * (300.15K - 200.15K) / 200.15K = 0.5kJ입니다. 따라서, + 정답은 (D) 입니다.' +include: _cot_kmmlu_yaml +task: kmmlu_hard_cot_refrigerating_machinery diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_social_welfare.yaml b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_social_welfare.yaml new file mode 100644 index 0000000000000000000000000000000000000000..d19fb51108b300b56cf3bbe83de806c77ea9b144 --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_social_welfare.yaml @@ -0,0 +1,93 @@ +dataset_name: social_welfare +doc_to_text: '{{question}} + + A.{{A}} + + B.{{B}} + + C.{{C}} + + D.{{D}} + + 정답: 차근 차근 생각해봅시다. 사회 복지 관련 정보를 위해 위키피디아를 참조하겠습니다.' +fewshot_config: + sampler: first_n + samples: + - A: 사회보험은 국가의 책임으로 시행한다. + B: 공공부조는 지방자치단체가 전적으로 책임지고 시행한다. + C: 사회서비스는 지방자치단체만의 책임으로 시행한다. + D: 국가는 사회보장에 관하여 민간단체의 참여를 제한한다. + question: '질문: 우리나라 사회보장제도 운영주체의 책임에 관한 원칙으로 옳은 것은?' + target: 차근 차근 생각해봅시다. 사회 복지 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 사회보장제도 운영주체의 책임에 관한 + 원칙을 확인하기 위해 사회보장기본법을 찾아보겠습니다. 사회보장기본법 제5조에 따르면, "국가와 지방자치단체는 국가발전의 수준에 부응하는 + 사회보장제도를 확립하고 매년 이에 필요한 재원을 조달하여야 한다."고 명시되어 있습니다. 또한, 제27조에는 "사회보험은 국가의 책임으로 + 시행한다."고 되어 있습니다. , 선택지 중에서 (A) 사회보험은 국가의 책임으로 시행한다. 가 옳은 것으로 확인됩니다. (B) 공공부조는 + 지방자치단체가 전적으로 책임지고 시행한다는 것은 옳지 않습니다. 사회보장기본법 제24조에 따르면, "국가 및 지방자치단체는 생활유지능력이 + 없거나 생활이 어려운 국민의 보호와 지원을 위하여 필요한 경우에는 공공부조를 실시한다."고 되어 있습니다. 이는 공공부조가 국가와 지방자치단체의 + 공동 책임으로 시행되는 것을 의미합니다. (C) 사회서비스는 지방자치단체만의 책임으로 시행한다는 것도 옳지 않습니다. 사회보장기본법 제28조에 + 따르면, "국가 및 지방자치단체는 사회서비스를 국가발전에 필요한 사회서비스의 원활한 제공과 국민의 복지증진을 위하여 적정한 수준으로 제공하여야 + 한다."고 되어 있습니다. 이는 사회서비스가 국가와 지방자치단체의 공동 책임으로 시행되는 것을 의미합니다. (D) 국가는 사회보장에 관하여 + 민간단체의 참여를 제한한다는 것도 옳지 않습니다. 사회보장기본법 제40조에 따르면, "국가와 지방자치단체는 사회보장에 대한 민간부문의 참여를 + 조장할 수 있도록 정책을 개발·시행하고 그 여건을 조성하여야 한다."고 되어 있습니다. 이는 국가가 사회보장에 관하여 민간단체의 참여를 + 조장하고 참여를 유도해야 한다는 것을 의미합니다. 따라서, 정답은 (A) 입니다. + - A: 무지 + B: 질병 + C: 산업재해 + D: 나태 + question: 1942년 베버리지 보고서에서 규정한 5대 악에 해당되지 않는 것은? + target: 차근 차근 생각해봅시다. 사회 복지 관련 정보를 위해 위키피디아를 참조하겠습니다. 1942년에 발표된 베버리지 보고서는 사회복지의 + 기본적인 원칙을 제시했으며, 이 보고서에서는 '5대 악'이라는 개념을 도입했습니다. '5대 악'은 사회복지의 목표가 해결해야 할 문제로, + 궁핍(want), 질병(disease), 무지(ignorance), 불결(squalor), 나태(idleness) 을 지칭합니다. 이 중에서 + 선택지에 주어진 것들을 확인해보면, 무지(A), 질병(B), 나태(D)는 베버리지 보고서의 '5대 악'에 포함되어 있습니다. 반면에 산업재해(C)는 + '5대 악'에 직접적으로 언급된 내용이 아닙니다. , 1942년 베버리지 보고서에서 규정한 5대 악에 해당되지 않는 것은 '산업재해'입니다. + 따라서, 정답은 (C) 입니다. + - A: 사회보험은 현금급여를 원칙으로 하고, 민영보험은 현물급여를 원칙으로 한다. + B: 사회보험은 대부분 국가 또는 공법인이 운영하지만 민영보험은 사기업이 운영한다. + C: 사회보험은 강제로 가입되지만 민영보험은 임의로 가입한다. + D: 사회보험은 국가가 주로 독점하지만 민영보험은 사기업들이 경쟁한다. + question: 사회보험과 민영보험의 차이점에 관한 설명으로 옳지 않은 것은? + target: 차근 차근 생각해봅시다. 사회 복지 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 사회보험과 민영보험의 차이점을 비교해보겠습니다. + - 사회보험은 국민에게 발생하는 사회적 위험을 보험의 방식으로 대처함으로써 국민의 건강과 소득을 보장하는 제도입니다. 이는 국가가 법에 + 의해 가입을 의무화하고 있으며, 대부분의 재원을 국가가 부담합니다. - 반면에 민영보험은 개인이나 기업이 자신의 필요에 따라 가입하는 보험으로, + 보험회사가 운영하며 보험료를 개인이나 기업이 부담합니다. 이제 선택지를 하나씩 살펴보겠습니다. (A) 사회보험은 현금급여를 원칙으로 하고, + 민영보험은 현물급여를 원칙으로 한다는 설명은 옳지 않습니다. 사회보험과 민영보험 모두 현금급여와 현물급여를 제공할 수 있습니다. 예를 들어, + 국민건강보험은 의료서비스를 제공하는 현물급여와 함께 진료비를 지급하는 현금급여를 제공하고, 자동차보험은 수리비나 치료비 등의 현금급여와 + 함께 차량 수리나 치료 등의 현물급여를 제공합니다. (B) 사회보험은 대부분 국가 또는 공법인이 운영하지만 민영보험은 사기업이 운영한다는 + 설명은 맞습니다. 사회보험은 국민의 복지를 증진하기 위한 것으로, 국가가 운영하는 것이 일반적입니다. 반면에 민영보험은 이윤을 추구하는 + 사기업이 운영합니다. (C) 사회보험은 강제로 가입되지만 민영보험은 임의로 가입한다는 설명도 맞습니다. 사회보험은 국민의 사회적 위험을 + 대비하기 위해 강제로 가입해야 합니다. 반면에 민영보험은 개인이나 기업이 자신의 필요에 따라 가입 여부를 결정할 수 있습니다. (D) 사회보험은 + 국가가 주로 독점하지만 민영보험은 사기업들이 경쟁한다는 설명도 맞습니다. 사회보험은 국민의 복지를 증진하기 위해 국가가 독점적으로 운영하는 + 것이 일반적입니다. 반면에 민영보험은 사기업들이 경쟁을 통해 운영됩니다. 따라서, 정답은 (A) 입니다. + - A: 신우파 + B: 반집합주의 + C: 마르크스주의 + D: 페이비언 사회주의 + question: 조지와 윌딩(V. George & P. Wilding, 1976; 1994)의 사회복지모형에서 복지국가의 확대를 가장 지지하는 + 이념은? + target: '차근 차근 생각해봅시다. 사회 복지 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 조지와 윌딩(V. George & + P. Wilding, 1976; 1994)의 사회복지모형은 다음과 같이 4가지 이념으로 구성되어 있습니다. 1. 반집합주의(Anti-Collectivism): + 개인주의에 기반하여 국가의 개입을 최소화하고 시장경제를 강조하며, 사회복지는 개인의 책임으로 간주합니다. 2. 소극적 집합주의(Reluctant + Collectivism): 자유주의에 기반하여 국가 개입의 필요성은 인정하나, 최소한의 수준에 그쳐야 한다고 주장하며, 사회복지는 기본적인 + 욕구를 충족시키는 것으로 제한합니다. 3. 페이비언 사회주의(Fabian Socialism): 점진적 개혁을 추구하며, 국가의 적극적인 + 개입을 통해 평등과 사회적 정의를 실현하고자 합니다. 이를 위해 누진세, 사회보험 등의 정책을 지지합니다. 4. 마르크스주의(Marxism): + 자본주의를 부정하고, 국가의 개입을 통해 평등한 사회를 구현하고자 하며, 이를 위해 생산수단의 공유화를 주장합니다. 이러한 이념들 중에서 + 복지국가의 확대를 가장 지지하는 이념은 페이비언 사회주의입니다. 페이비언 사회주의는 국가의 적극적인 개입을 통해 평등과 사회적 정의를 실현하고자 + 하며, 이를 위해 누진세, 사회보험 등의 정책을 지지합니다. 이러한 정책들은 복지국가의 확대를 뒷받침하는 중요한 요소들입니다. 따라서, + 정답은 (D) 입니다.' + - A: 소득을 재분배하는 기능을 한다. + B: 능력에 비례한 배분을 원칙으로 한다. + C: 경제의 자동안정화 기능을 한다. + D: 국민의 최저생활을 보장하는 기능을 한다. + question: 사회복지정책의 원칙과 기능에 관한 설명으로 옳지 않은 것은? + target: 차근 차근 생각해봅시다. 사회 복지 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 사회복지정책의 원칙과 기능에 대해 알아보겠습니다. + 사회복지정책은 사회적 불평등을 해소하고, 모든 사람이 기본적인 생활을 유지할 수 있도록 지원하는 정책입니다. 이러한 정책은 국가나 지역 + 사회의 복지를 향상시키는 데 중점을 두고 있습니다. 선택지를 하나씩 살펴보겠습니다. (A) 소득을 재분배하는 기능을 한다. - 이는 사회복지정책의 + 주요 기능 중 하나입니다. 소득재분배를 통해 사회적 불평등을 해소하려는 목표를 가지고 있습니다. (B) 능력에 비례한 배분을 원칙으로 한다. + - 이는 사회복지정책의 원칙과는 거리가 먼 개념입니다. 사회복지정책은 능력이 아닌 필요에 따라 지원을 하는 것이 원칙입니다. (C) 경제의 + 자동안정화 기능을 한다. - 이 역시 사회복지정책의 중요한 기능 중 하나입니다. 사회복지정책은 경제적 불안정을 완화하고, 경제의 안정화에 + 기여합니다. (D) 국민의 최저생활을 보장하는 기능을 한다. - 이 역시 사회복지정책의 중요한 기능입니다. 국민의 최저생활 보장은 사회복지정책의 + 핵심적인 목표입니다. , 사회복지정책의 원칙과 기능에 관한 설명으로 옳지 않은 것은 '능력에 비례한 배분을 원칙으로 한다'는 (B) 선택지입니다. + 이는 사회복지정책의 본질적인 목표와 원칙을 반영하지 못하고 있습니다. 사회복지정책은 능력이 아닌 필요에 따라 지원을 하는 것이 원칙이며, + 이를 통해 사회적 불평등을 해소하고 모든 사람이 기본적인 생활을 유지할 수 있도록 지원하는 것이 목표입니다. 따라서, 정답은 (B) 입니다. +include: _cot_kmmlu_yaml +task: kmmlu_hard_cot_social_welfare diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_taxation.yaml b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_taxation.yaml new file mode 100644 index 0000000000000000000000000000000000000000..937a864e21cad34587a6887cb55f69f7ce23eb9d --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_taxation.yaml @@ -0,0 +1,107 @@ +dataset_name: taxation +doc_to_text: '{{question}} + + A.{{A}} + + B.{{B}} + + C.{{C}} + + D.{{D}} + + 정답: 차근 차근 생각해봅시다. 세법 관련 정보를 위해 위키피디아를 참조하겠습니다.' +fewshot_config: + sampler: first_n + samples: + - A: 연대 납세의무자에게 대표자가 없으면 납세의 고지와 독촉에 관한 서류는 연대 납세의무자 중 지방세를 징수하기 유리한 자에게만 송달하여야 + 한다. + B: 서류를 교부하였을 때에는 수령인이 서명 또는 날인을 거부하면 그 사실을 송달서에 적어야 한다. + C: 서류의 송달을 받아야 할 자가 사전 반대한 경우가 아니면 전자 송달의 방식으로 서류를 송달할 수 있다. + D: 서류를 송달받을 자가 주소, 거소, 사무소 및 영업소 외의 다른 장소를 송달받을 장소로 요청한 경우 그 장소에 송달하여야 한다. + question: '질문: 지방세기본법 상 서류의 송달에 대한 설명으로 옳은 것은?' + target: 차근 차근 생각해봅시다. 세법 관련 정보를 위해 위키피디아를 참조하겠습니다. (A) 연대 납세의무자에게 대표자가 없으면 납세의 + 고지와 독촉에 관한 서류는 연대 납세의무자 중 지방세를 징수하기 유리한 자에게만 송달하여야 한다는 설명은 옳지 않습니다. 연대납세의무자에게 + 대표자가 없으면 연대납세의무자 모두에게 서류를 송달해야 합니다. (B) 서류를 교부하였을 때에는 수령인이 서명 또는 날인을 거부하면 그 + 사실을 송달서에 적어야 한다는 설명은 옳은 설명입니다. 지방세기본법 제24조에 따르면 송달하는 서류에 수령인이 서명 또는 날인을 거부하면 + 그 사실을 송달서에 적어야 합니다. (C) 서류의 송달을 받아야 할 자가 사전에 반대한 경우가 아니면 전자 송달의 방식으로 서류를 송달할 + 수 있다는 설명은 옳지 않습니다. 서류의 송달을 받아야 할 자가 동의한 경우에만 전자송달을 할 수 있습니다. (D) 서류를 송달받을 자가 + 주소, 거소, 사무소 및 영업소 외의 다른 장소를 송달받을 장소로 요청한 경우 그 장소에 송달하여야 한다는 설명은 옳지 않습니다. 서류를 + 송달받을 자가 송달받을 장소를 지정한 경우에는 그 장소에 송달해야 하지만, 송달받을 장소를 지정하지 않은 경우에는 주소, 거소, 영업소 + 또는 사무소에 송달해야 합니다. 따라서, 정답은 (B) 입니다. + - A: 세관장은 다른 법령에 따라 수입 후 특정한 용도로 사용하여야 하는 등의 의무가 부가되어 있는 물품에 대하여는 문서로써 해당의무를 이행할 + 것을 요구할 수 있다. + B: 세관장은 관세 보전을 위하여 필요하다고 인정할 때에는 대통령령으로 정하는 바에 따라 수입하는 물품에 통관표지를 첨부할 것을 명할 수 있다. + C: 관세청장이나 세관장은 감시에 필요하다고 인정될 때에는 통관역 ․통관장 또는 특정한 세관에서 통관할 수 있는 물품을 제한할 수 있다. + D: 세관장은 외국 물품의 일시 양륙에 따라 일시적으로 육지에 내려진 외국 물품의 원산지가 우리나라로 허위표시된 물품 이더라도 유치할 수 없다. + question: 관세법상 통관의 통칙에 대한 설명으로 옳지 않은 것은? + target: 차근 차근 생각해봅시다. 세법 관련 정보를 위해 위키피디아를 참조하겠습니다. 관세법상 통관의 통칙에 대한 설명으로 옳지 않은 + 것을 찾기 위해 각 선택지를 검토해보겠습니다. (A) 선택지는 "세관장은 다른 법령에 따라 수입 후 특정한 용도로 사용하여야 하는 등의 + 의무가 부가되어 있는 물품에 대하여는 문서로써 해당 의무를 이행할 것을 요구할 수 있다"는 내용을 담고 있습니다. 이는 관세법 제 227조에 + 명시되어 있으며, 세관장은 수입신고가 수리된 물품이 다른 법령에 따라 수입 후 특정 용도로 사용하거나 그 밖의 조건을 충족해야 하는 경우 + 해당 법령에서 정하는 바에 따라 필요한 조치를 할 수 있습니다. (A) 선택지는 옳은 설명입니다. (B) 선택지는 "세관장은 관세 보전을 + 위하여 필요하다고 인정할 때에는 대통령령으로 정하는 바에 따라 수입하는 물품에 통관표지를 첨부할 것을 명할 수 있다"는 내용을 담고 있습니다. + 이는 관세법 제228조에 명시되어 있으며, 세관장은 관세의 부과·징수를 위해 필요하다고 인정되면 수입신고 대상 물품에 통관표지를 첨부할 + 것을 명할 수 있습니다. (B) 선택지도 옳은 설명입니다. (C) 선택지는 "관세청장이나 세관장은 감시에 필요하다고 인정될 때에는 통관역 + .통관장 또는 특정한 세관에서 통관할 수 있는 물품을 제한할 수 있다"는 내용을 담고 있습니다. 이는 관세법 제236조에 명시되어 있으며, + 관세청장이나 세관장은 감시상 필요하다고 인정되면 통관역·통관장 또는 특정 세관에서 통관할 수 있는 물품을 제한할 수 있습니다. (C) + 선택지도 옳은 설명입니다. (D) 선택지는 "세관장은 외국 물품의 일시 양륙에 따라 일시적으로 육지에 내려진 외국 물품의 원산지가 우리나라로 + 허위표시된 물품 이더라도 유치할 수 없다"는 내용을 담고 있습니다. 그러나 이는 사실이 아닙니다. 관세법 제231조에 따르면, 세관장은 + 외국 물품이 원산지의 표시가 명확하지 아니하거나 그 밖에 대통령령으로 정하는 원산지표시의 요건을 갖추지 아니한 경우에는 그 외국 물품을 + 유치할 수 있습니다. (D) 선택지는 옳지 않은 설명입니다. 따라서, 정답은 (D) 입니다. + - A: 납세의무자는 신고납부한 세액이 부족하다는 것을 알게 되었을 때에는 신고납부한 날부터 6개월 이내에 대통령령으로 정하는 바에 따라 해당 + 세액을 보정하여 줄 것을 세관장에게 신청할 수 있다. + B: 납세의무자는 신고납부한 세액이 과다한 것을 알게 되었을 때에는 최초로 납세신고를 한 날부터 5년 이내에 대통령령으로 정하는 바에 따라 + 신고한 세액의 경정을 세관장에게 청구할 수 있다. + C: 경정청구에 따른 세관장의 통지에 이의가 있는 청구인은 그 통지를 받은 날부터 2개월 이내에 관세청장에게 국세의 정상 가격과 관세의 과세가 + 격간의 조정을 신청할 수 있다. + D: 세관장은 납세의무자가 납부하여야 하는 세액이 1만원 미만인 경우에는 이를 징수하지 아니한다. + question: 관세법령상 세액의 확정에 대한 설명으로 옳지 않은 것은? + target: 차근 차근 생각해봅시다. 세법 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저 각 선택지에 대한 내용을 분석해보겠습니다. + (A) 선택지는 납세의무자가 신고납부한 세액이 부족하다는 것을 알게 되었을 때, 6개월 이내에 해당 세액을 보정하여 줄 것을 세관장에게 + 신청할 수 있다는 내용입니다. 이 내용은 관세법 제30조에 따라 납세의무자가 신고한 세액이 부족하다는 사실을 알게 된 경우, 그 부족한 + 세액을 보충납부할 수 있다는 규정이 있습니다. 이 선택지는 옳습니다. (B) 선택지는 납세의무자가 신고납부한 세액이 과다하다는 것을 + 알게 되었을 때, 5년 이내에 신고한 세액의 경정을 세관장에게 청구할 수 있다는 내용입니다. 이 내용은 관세법 제38조에 따라 납세의무자가 + 신고한 세액이 과다하다는 사실을 알게 된 경우, 그 과다한 세액의 반환을 청구할 수 있다는 규정이 있습니다. 이 선택지는 옳습니다. + (C) 선택지는 경정청구에 따른 세관장의 통지에 이의가 있는 청구인이, 통지를 받은 날부터 2개월 이내에 관세청장에게 국세의 정상 가격과 + 관세의 과세가 격간의 조정을 신청할 수 있다는 내용입니다. 이 내용은 관세법 제38조의2에 따라 납세의무자가 세관장의 결정에 불복할 경우 + 이의신청을 할 수 있으며, 이의신청은 통지를 받은 날로부터 90일 이내에 하여야 합니다. 그러나 이 선택지에서는 '2개월 이내'라고 명시하고 + 있어, 이 부분이 잘못된 정보입니다. (D) 선택지는 세관장이 납세의무자가 납부하여야 하는 세액이 1만원 미만인 경우에는 이를 징수하지 + 않는다는 내용입니다. 이 내용은 관세법 제29조에 따라 세액이 1만원 미만인 경우에는 징수하지 않는다는 규정이 있습니다. 이 선택지는 + 옳습니다. 따라서, 정답은 (C) 입니다. + - A: 관세법 에 따른 기간을 계산할 때 관세법 제252조(수입신고 수리 전반출)에 따른 수입신고 수리 전반 출 승인을 받은 경우에는 그승인 + 일을 수입신고의 수리일로 본다. + B: 관세법 에 따른 기간의 계산은 관세법 에 특별한 규정이 있는 것을 제외하고는 민원처리에 관한 법률 에 따른다. + C: 관세법 시행령 제1조의 5(월별 납부) 제2항의 규정에 의하여 월별 납부의 승인을 받은 납세의무자가 관세를 납부기한까지 납부하지 아니하는 + 때에는, 세관장은 월별 납부의 승인을 취소할 수 있다. + D: 세관장은 관세법 제10조(천재지변 등으로 인한 기한의 연장)에 따라 납부기한을 연장하는 때에는 기획재정부 장관이 정하는 기준에 의하여야 + 하며, 납부자의 신청으로 납부기한을 연장하는 경우 관세법 제39조(부과고지)에 따른 납부고지를 생략할 수 있다. + question: 관세법령상 기간과 기한에 대한 설명으로 옳은 것은? + target: 차근 차근 생각해봅시다. 세법 관련 정보를 위해 위키피디아를 참조하겠습니다. 관세법령상 기간과 기한에 대한 설명으로 옳은 것을 + 찾기 위해서는 각 선택지를 검토해야 합니다. (A) 선택지는 관세법 제252조(수입신고 수리 전반출)에 따른 수입신고 수리 전반 출 승인을 + 받은 경우에는 그 승인 일을 수입신고의 수리일로 본다는 내용입니다. 이는 관세법령상 기간과 기한에 대한 설명으로 적절하므로, (A) 선택지는 + 정답일 가능성이 높습니다. (B) 선택지는 관세법에 따른 기간의 계산은 관세법에 특별한 규정이 있는 것을 제외하고는 민원처리에 관한 법률에 + 따른다는 내용입니다. 이는 관세법령상 기간과 기한에 대한 설명으로 적절하지 않습니다. , (B) 선택지는 정답이 아닙니다. (C) 선택지는 + 관세법 시행령 제1조의 5(월별 납부) 제2항의 규정에 의하여 월별 납부의 승인을 받은 납세의무자가 관세를 납부기한까지 납부하지 아니하는 + 때에는 세관장은 월별 납부의 승인을 취소할 수 있다는 내용입니다. 이는 관세법령상 기간과 기한에 대한 설명으로 적절하지 않으므로, (C) + 선택지는 정답이 아닙니다. (D) 선택지는 세관장은 관세법 제10조(천재지변 등으로 인한 기한의 연장)에 따라 납부기한을 연장하는 때에는 + 기획재정부 장관이 정하는 기준에 의하여야 하며, 납부자의 신청으로 납부기한을 연장하는 경우 관세법 제39조(부과고지)에 따른 납부고지를 + 생략할 수 있다는 내용입니다. 이는 관세법령상 기간과 기한에 대한 설명으로 적절하지 않으므로, (D) 선택지는 정답이 아닙니다. 따라서, + 정답은 (A) 입니다. + - A: 정보처리 기술을 응용한 공장 자동화기계 ․기구 ․설비 및 그 핵심 부분품으로서 기획재정부령으로 정하는 물품 + B: 과학기술 정보통신부 장관이 국가의 안전보장을 위하여 긴요하다고 인정하여 수입하는 비상통신용 물품 + C: 상수도 수질을 측정하기 위하 여 지방자치단체가 수입하는 물품으로서 기획재정부령으로 정하는 물품 + D: 국가정보원장이 국가의 안전보장 목적의 수행상 긴요하다고 인정하여 수입하는 물품 + question: 관세법상 ‘정부용품 등의 면세’를 적용받을 수 있는 물품에 해당하지 않는 것은? + target: 차근 차근 생각해봅시다. 세법 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 관세법상 '정부용품 등의 면세'에 대해 알아보겠습니다. + '정부용품 등의 면세'는 특정 목적을 위해 정부가 수입하는 물품에 대해 관세를 면제하는 것을 말합니다. 이는 국가의 공공적인 목적을 위해 + 수입하는 물품에 대한 경제적 부담을 줄이기 위한 조치입니다. 다음으로 각 선택지에 대해 분석해보겠습니다. (A) 선택지는 정보처리 기술을 + 응용한 공장 자동화기계 등의 물품으로, 기획재정부령으로 정하는 물품을 의미합니다. 해당 선택지의 경우에는 정보처리 기술을 응용한 공장 자동화기계 + 등의 물품이지만, 이 물품이 반드시 기획재정부령으로 정해진 특정 물품이어야 면세를 적용받을 수 있다는 점이 특이하게 보입니다. , 이 + 선택지의 물품이 기획재정부령으로 정해진 특정 물품이 아닌 경우에는 면세를 적용받을 수 없을 것으로 판단됩니다. (B) 선택지는 과학기술 + 정보통신부 장관이 국가의 안전보장을 위해 긴요하다고 인정하여 수입하는 비상통신용 물품을 의미합니다. 이 또한 국가의 안전보장을 위해 필요한 + 물품이므로 면세 대상에 해당할 것으로 보입니다. (C) 선택지는 상수도 수질을 측정하기 위해 지방자치단체가 수입하는 물품으로, 기획재정부령으로 + 정하는 물품을 의미합니다. 이는 공공의 안전과 건강을 위해 필요한 물품이므로 면세 대상에 해당할 것으로 보입니다. (D) 선택지는 국가정보원장이 + 국가의 안전보장 목적의 수행상 긴요하다고 인정하여 수입하는 물품을 의미합니다. 이 또한 국가의 안전보장을 위해 필요한 물품이므로 면세 대상에 + 해당할 것으로 보입니다. 따라서, 정답은 (A) 입니다. +include: _cot_kmmlu_yaml +task: kmmlu_hard_cot_taxation diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_telecommunications_and_wireless_technology.yaml b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_telecommunications_and_wireless_technology.yaml new file mode 100644 index 0000000000000000000000000000000000000000..ca23afc0bbf16002687bf658961164075bc13662 --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/kmmlu/cot_hard/kmmlu_cot_hard_telecommunications_and_wireless_technology.yaml @@ -0,0 +1,86 @@ +dataset_name: telecommunications_and_wireless_technology +doc_to_text: '{{question}} + + A.{{A}} + + B.{{B}} + + C.{{C}} + + D.{{D}} + + 정답: 차근 차근 생각해봅시다. 무선 정보통신 관련 정보를 위해 위키피디아를 참조하겠습니다.' +fewshot_config: + sampler: first_n + samples: + - A: 'UHF대역 : 900㎒ 대역과 433㎒ 대역이 사용됨' + B: '13.56㎒ : ISM 밴드 대역으로 UHF대역보다 인식거리가 짧음' + C: '2.45㎓ : 능동형과 수동형의 두 가지 형태가 사용됨' + D: '135㎑ 미만 : 자기장이 아닌 전기장 결합으로 동작함' + question: '질문: 주파수 대역에 따른 RFID 특징 중 틀린 것은?' + target: '차근 차근 생각해봅시다. 무선 정보통신 관련 정보를 위해 위키피디아를 참조하겠습니다. RFID(Radio Frequency + Identification)는 무선 주파수 신호를 사용하여 태그에 저장된 정보를 읽거나 쓰는 기술입니다. RFID 시스템은 주파수 대역에 + 따라 다양한 특징을 가지며, 이는 시스템의 성능과 용도에 영향을 미칩니다. (A) UHF 대역: UHF(Ultra High Frequency) + 대역은 300 MHz에서 3 GHz 사이의 주파수를 포함합니다. RFID에서는 주로 860 MHz에서 960 MHz 범위가 사용되며, 433 + MHz 대역도 사용되는 경우가 있습니다. 이 선택지는 올바릅니다. (B) 13.56 MHz: 이 주파수는 HF(High Frequency) + 대역에 속하며, ISM(Industrial, Scientific, and Medical) 밴드로도 알려져 있습니다. UHF 대역보다 인식 + 거리가 짧은 것이 일반적이므로, 이 선택지도 올바릅니다. (C) 2.45 GHz: 이 주파수는 또한 ISM 밴드에 속하며, RFID에서는 + 주로 능동형 태그에 사용됩니다. 수동형 태그도 이 주파수를 사용할 수 있지만, 일반적으로 능동형 태그가 더 널리 사용됩니다. 이 선택지도 + 올바르다고 볼 수 있습니다. (D) 135 KHz 미만: 이 주파수는 LF(Low Frequency) 대역에 속합니다. LF RFID 시스템은 + 주로 자기장 결합을 사용하여 동작하며, 전기장 결합은 주로 더 높은 주파수 대역에서 사용됩니다. 이 선택지는 잘못된 정보를 제공하고 + 있습니다. 따라서, 정답은 (D) 입니다.' + - A: 433㎒ 대역 + B: 900㎒ 대역 + C: 13.56㎒ 대역 + D: 2.45㎓ 대역 + question: 현재 국내에서 항만 지역에만 제한적으로 사용되는 반능동형 RFID 시스템의 주파수 대역은? + target: 차근 차근 생각해봅시다. 무선 정보통신 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, RFID 시스템에 대해 이해해야 + 합니다. RFID는 Radio Frequency Identification의 약자로, 무선 주파수를 이용하여 정보를 저장하고 읽는 시스템을 + 말합니다. 이 시스템은 태그, 리더기, 그리고 관련된 데이터베이스로 구성되어 있습니다. 태그는 물체에 부착되며, 주파수를 통해 정보를 전송합니다. + 리더기는 태그의 정보를 읽어 데이터베이스에 저장하거나 처리합니다. 이러한 RFID 시스템은 물류, 유통, 보안 등 다양한 분야에서 활용되고 + 있습니다. 다음으로, 반능동형 RFID에 대해 알아보겠습니다. 반능동형 RFID는 태그가 리더기의 신호를 받아 그 에너지를 이용해 정보를 + 되돌려 보내는 형태의 RFID를 말합니다. 이러한 반능동형 RFID는 주로 물류 트래킹, 차량 트래킹, 자산 관리 등에 활용됩니다. 이제, + 주파수 대역에 대해 알아보겠습니다. RFID는 사용 목적에 따라 다양한 주파수 대역을 사용합니다. 일반적으로, 낮은 주파수 대역은 짧은 + 거리에서 작동하며, 높은 주파수 대역은 더 넓은 거리에서 작동합니다. 국내에서 항만 지역에 제한적으로 사용되는 반능동형 RFID 시스템은 + 433㎒ 대역을 사용합니다. 이 주파수 대역은 국제적으로 자유롭게 사용할 수 있는 ISM 대역 중 하나이며, 이 대역을 사용하는 RFID + 시스템은 주로 차량 추적, 컨테이너 추적 등에 활용됩니다. 따라서, 정답은 (A) 입니다. + - A: 0.7 dOPTIONm + B: -7 dOPTIONm + C: 27 dOPTIONm + D: 37 dOPTIONm + question: 리더의 안테나 출력이 0.5W라고 할 때 dBm의 환산 값은? (단,log105≒ 0.7) + target: '차근 차근 생각해봅시다. 무선 정보통신 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, dBm은 전력을 나타내는 단위로, + 1mW를 기준으로 한 로그 스케일입니다. dBm의 계산 공식은 다음과 같습니다: dBm = 10 * log10(전력(W) / 1mW) 이 + 문제에서는 리더의 안테나 출력이 0.5W로 주어졌습니다. 그런데, dBm은 mW를 기준으로 하므로, 이 값을 mW로 변환해야 합니다. 1W + = 1000mW 이므로, 0.5W = 500mW입니다. 이제 dBm로 변환해보겠습니다. dBm = 10 * log10(500mW / 1mW) + = 10 * log10(500) = 10 * 2.7 (log105≒ 0.7이므로, log10(500)는 log10(5) + log10(100)으로 + 계산할 수 있으며, 이를 통해 약 2.7로 추정할 수 있습니다.) , dBm은 약 27입니다. 이는 선택지 C와 일치합니다. 따라서, + 정답은 (C) 입니다.' + - A: 리더와 태그는 전자파 결합 방식이다. + B: 안테나를 통한 원거리장에서의 전자기파에 의해 이루어지므로 원거리장 조건인 λ/2π보다 가까운 거리에서 이루어진다. + C: UHF 수동태그에서 이용한다. + D: '태그의 레이더 단면적(ROPTIONS: radar cross section)을 변화시키는 방식이다.' + question: 후방 산란(back-scattering) 방식에 대한 설명으로 틀린 것은? + target: '차근 차근 생각해봅시다. 무선 정보통신 관련 정보를 위해 위키피디아를 참조하겠습니다. 먼저, 후방 산란(back-scattering) + 방식이란 RFID 기술에서 리더와 태그 간의 통신 방식 중 하나입니다. 리더에서 전송한 전자기파를 태그가 반사하여 다시 리더로 전송하는 + 방식으로, UHF 수동태그에서 이용됩니다. 이 방식에서는 리더와 태그가 전자파 결합 방식으로 통신하며, 태그의 레이더 단면적(RCS: radar + cross section)을 변화시키는 방식입니다. 이제 선택지를 하나씩 살펴보겠습니다. (A) 리더와 태그는 전자파 결합 방식이다. - + 이는 옳은 설명입니다. 후방 산란 방식은 리더와 태그가 전자파 결합 방식으로 통신합니다. (B) 안테나를 통한 원거리장에서의 전자기파에 + 의해 이루어지므로 원거리장 조건인 λ/2π보다 가까운 거리에서 이루어진다. - 이는 옳지 않은 설명입니다. 후방 산란 방식은 안테나를 통한 + 원거리장에서의 전자기파에 의해 이루어지는 것은 맞지만, 원거리장 조건인 λ/2π보다 먼 거리에서 이루어집니다. (C) UHF 수동태그에서 + 이용한다. - 이는 옳은 설명입니다. UHF 수동태그는 후방 산란 방식을 이용하여 리더와 통신합니다. (D) 태그의 레이더 단면적(RCS: + radar cross section)을 변화시키는 방식이다. - 이는 옳은 설명입니다. 후방 산란 방식은 태그의 레이더 단면적을 변화시키는 + 방식으로 동작합니다. 따라서, 정답은 (B) 입니다.' + - A: 거리가 2배가 되면 전력 밀도도 2배가 된다. + B: 거리가 2배가 되면 전력 밀도는 1/2배가 된다. + C: 거리가 2배가 되면 전력 밀도는 4배가 된다. + D: 거리가 2배가 되면 전력 밀도는 1/4배가 된다. + question: 전자파가 자유공간을 진행할 때 거리와 전력 밀도와의 관계는? + target: 차근 차근 생각해봅시다. 무선 정보통신 관련 정보를 위해 위키피디아를 참조하겠습니다. 전자파가 자유공간을 진행할 때, 거리와 + 전력 밀도와의 관계를 이해하기 위해서는 전자기파의 특성을 고려해야 합니다. 전자기파는 전기장과 자기장이 서로 수직으로 진동하며 공간을 전파하는 + 파동입니다. 이 때, 전자기파의 전력 밀도는 전기장과 자기장의 제곱에 비례합니다. 전력 밀도를 P, 전기장을 E, 자기장을 H라고 하면, + P = (E^2 + H^2) / 2 로 나타낼 수 있습니다. 이때, 전자기파의 세기는 거리에 따라 지수적으로 감소합니다. 즉, 거리가 r배 + 증가하면, 전자기파의 세기는 1/r^2배 감소합니다. , 거리가 2배가 되면, 전자기파의 세기는 1/4배가 됩니다. 그리고 전력 밀도는 + 전기장과 자기장의 제곱에 비례하므로, 거리가 2배가 되면 전력 밀도는 1/4배가 됩니다. 따라서, 정답은 (D) 입니다. +include: _cot_kmmlu_yaml +task: kmmlu_hard_cot_telecommunications_and_wireless_technology diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/lambada_multilingual_stablelm/README.md b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/lambada_multilingual_stablelm/README.md new file mode 100644 index 0000000000000000000000000000000000000000..546ac1168604d2980736cb538f89b19570842cb5 --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/lambada_multilingual_stablelm/README.md @@ -0,0 +1,56 @@ +# LAMBADA + +### Paper +The LAMBADA dataset: Word prediction requiring a broad discourse context +https://arxiv.org/pdf/1606.06031.pdf + +LAMBADA is a dataset to evaluate the capabilities of computational models for text +understanding by means of a word prediction task. LAMBADA is a collection of narrative +passages sharing the characteristic that human subjects are able to guess their last +word if they are exposed to the whole passage, but not if they only see the last +sentence preceding the target word. To succeed on LAMBADA, computational models +cannot simply rely on local context, but must be able to keep track of information +in the broader discourse. + +Homepage: https://zenodo.org/record/2630551#.X4Xzn5NKjUI + +### Citation + +@misc{ + author={Paperno, Denis and Kruszewski, Germán and Lazaridou, Angeliki and Pham, Quan Ngoc and Bernardi, Raffaella and Pezzelle, Sandro and Baroni, Marco and Boleda, Gemma and Fernández, Raquel}, + title={The LAMBADA dataset}, + DOI={10.5281/zenodo.2630551}, + publisher={Zenodo}, + year={2016}, + month={Aug} +} + +@article{bellagente2024stable, + title={Stable LM 2 1.6 B Technical Report}, + author={Bellagente, Marco and Tow, Jonathan and Mahan, Dakota and Phung, Duy and Zhuravinskyi, Maksym and Adithyan, Reshinth and Baicoianu, James and Brooks, Ben and Cooper, Nathan and Datta, Ashish and others}, + journal={arXiv preprint arXiv:2402.17834}, + year={2024} +} + +### Groups and Tasks + +#### Groups + +* `lambada_multilingual_stablelm`: Evaluates all `lambada_mt_stablelm_X` tasks + +#### Tasks + +* `lambada_mt_stablelm_{en, fr, de, it, es}`: Machine-translated versions of OpenAI's Lambada variant as reported in "Stable LM 2 1.6 B Technical Report" (Bellagente et. al.). + +### Checklist + +* [x] Is the task an existing benchmark in the literature? + * [x] Have you referenced the original paper that introduced the task? + * [x] If yes, does the original paper provide a reference implementation? If so, have you checked against the reference implementation and documented how to run such a test? +(This task is novel to the Evaluation Harness, and has been checked against v0.3.0 of the harness.) + + +If other tasks on this dataset are already supported: +* [x] Is the "Main" variant of this task clearly denoted? +* [x] Have you provided a short sentence in a README on what each new variant adds / evaluates? +* [x] Have you noted which, if any, published evaluation setups are matched by this variant? diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/lambada_multilingual_stablelm/lambada_mt_stablelm_de.yaml b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/lambada_multilingual_stablelm/lambada_mt_stablelm_de.yaml new file mode 100644 index 0000000000000000000000000000000000000000..e1aa61edb49e95ec7488533c0fe9f3a69dc5cb47 --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/lambada_multilingual_stablelm/lambada_mt_stablelm_de.yaml @@ -0,0 +1,3 @@ +include: lambada_mt_stablelm_en.yaml +task: lambada_openai_mt_stablelm_de +dataset_name: de diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/lambada_multilingual_stablelm/lambada_mt_stablelm_en.yaml b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/lambada_multilingual_stablelm/lambada_mt_stablelm_en.yaml new file mode 100644 index 0000000000000000000000000000000000000000..a6e6041db541ff64a735d5c1a485a5725a5d1057 --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/lambada_multilingual_stablelm/lambada_mt_stablelm_en.yaml @@ -0,0 +1,20 @@ +group: + - lambada_multilingual_stablelm +task: lambada_openai_mt_stablelm_en +dataset_path: marcob/lambada_multilingual +dataset_name: en +output_type: loglikelihood +test_split: test +doc_to_text: "{{text.split(' ')[:-1]|join(' ')}}" +doc_to_target: "{{' '+text.split(' ')[-1]}}" +should_decontaminate: true +doc_to_decontamination_query: "{{text}}" +metric_list: + - metric: perplexity + aggregation: perplexity + higher_is_better: false + - metric: acc + aggregation: mean + higher_is_better: true +metadata: + version: 1.0 diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/lambada_multilingual_stablelm/lambada_mt_stablelm_es.yaml b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/lambada_multilingual_stablelm/lambada_mt_stablelm_es.yaml new file mode 100644 index 0000000000000000000000000000000000000000..e7e75944a8e862bdcab7afaf29ae79ff48636356 --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/lambada_multilingual_stablelm/lambada_mt_stablelm_es.yaml @@ -0,0 +1,3 @@ +include: lambada_mt_stablelm_en.yaml +task: lambada_openai_mt_stablelm_es +dataset_name: es diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/lambada_multilingual_stablelm/lambada_mt_stablelm_fr.yaml b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/lambada_multilingual_stablelm/lambada_mt_stablelm_fr.yaml new file mode 100644 index 0000000000000000000000000000000000000000..37768ac60b60b7eba9eb2d15a9defe8b8fdee422 --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/lambada_multilingual_stablelm/lambada_mt_stablelm_fr.yaml @@ -0,0 +1,3 @@ +include: lambada_mt_stablelm_en.yaml +task: lambada_openai_mt_stablelm_fr +dataset_name: fr diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/lambada_multilingual_stablelm/lambada_mt_stablelm_it.yaml b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/lambada_multilingual_stablelm/lambada_mt_stablelm_it.yaml new file mode 100644 index 0000000000000000000000000000000000000000..76d920f3eeead817c00b6579c8908183448c62cd --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/lambada_multilingual_stablelm/lambada_mt_stablelm_it.yaml @@ -0,0 +1,3 @@ +include: lambada_mt_stablelm_en.yaml +task: lambada_openai_mt_stablelm_it +dataset_name: it diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/lambada_multilingual_stablelm/lambada_mt_stablelm_nl.yaml b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/lambada_multilingual_stablelm/lambada_mt_stablelm_nl.yaml new file mode 100644 index 0000000000000000000000000000000000000000..fa96c8c63e289e5739c752c9348652ad2f6b9853 --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/lambada_multilingual_stablelm/lambada_mt_stablelm_nl.yaml @@ -0,0 +1,3 @@ +include: lambada_mt_stablelm_en.yaml +task: lambada_openai_mt_stablelm_nl +dataset_name: nl diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/lambada_multilingual_stablelm/lambada_mt_stablelm_pt.yaml b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/lambada_multilingual_stablelm/lambada_mt_stablelm_pt.yaml new file mode 100644 index 0000000000000000000000000000000000000000..9399d5e7a801d63f87838d868718fe408703a853 --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/lambada_multilingual_stablelm/lambada_mt_stablelm_pt.yaml @@ -0,0 +1,3 @@ +include: lambada_mt_stablelm_en.yaml +task: lambada_openai_mt_stablelm_pt +dataset_name: pt diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/mathqa/README.md b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/mathqa/README.md new file mode 100644 index 0000000000000000000000000000000000000000..6e7e3dbda409256afdd7493ee7862a0268eb9933 --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/mathqa/README.md @@ -0,0 +1,50 @@ +# MathQA + +### Paper + +MathQA: Towards Interpretable Math Word Problem Solving with Operation-Based Formalisms +https://arxiv.org/pdf/1905.13319.pdf + +MathQA is a large-scale dataset of 37k English multiple-choice math word problems +covering multiple math domain categories by modeling operation programs corresponding +to word problems in the AQuA dataset (Ling et al., 2017). + +Homepage: https://math-qa.github.io/math-QA/ + + +### Citation + +``` +@misc{amini2019mathqa, + title={MathQA: Towards Interpretable Math Word Problem Solving with Operation-Based Formalisms}, + author={Aida Amini and Saadia Gabriel and Peter Lin and Rik Koncel-Kedziorski and Yejin Choi and Hannaneh Hajishirzi}, + year={2019}, + eprint={1905.13319}, + archivePrefix={arXiv}, + primaryClass={cs.CL} +} +``` + +### Groups and Tasks + +#### Groups + +* `math_word_problems` + +#### Tasks + +* `mathqa`: The MathQA dataset, as a multiple choice dataset where the answer choices are not in context. + +### Checklist + +For adding novel benchmarks/datasets to the library: +* [x] Is the task an existing benchmark in the literature? + * [x] Have you referenced the original paper that introduced the task? + * [ ] If yes, does the original paper provide a reference implementation? If so, have you checked against the reference implementation and documented how to run such a test? + * The MathQA dataset predates transformer-based prompted LLMs. We should, however, return to this task to ensure equivalence to the non-CoT version of mathQA used in the Chain-of-Thought paper. + +If other tasks on this dataset are already supported: +* [x] Is the "Main" variant of this task clearly denoted? +* [x] Have you provided a short sentence in a README on what each new variant adds / evaluates? +* [x] Have you noted which, if any, published evaluation setups are matched by this variant? + * [x] Checked for equivalence with v0.3.0 LM Evaluation Harness diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/mathqa/mathqa.yaml b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/mathqa/mathqa.yaml new file mode 100644 index 0000000000000000000000000000000000000000..23fc01d2e9d27c95fb7f742084aa4b6a938ae7ca --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/mathqa/mathqa.yaml @@ -0,0 +1,22 @@ +tag: + - math_word_problems +task: mathqa +dataset_path: math_qa +output_type: multiple_choice +training_split: train +validation_split: validation +test_split: test +doc_to_text: "Question: {{Problem}}\nAnswer:" +doc_to_target: "{{['a', 'b', 'c', 'd', 'e'].index(correct)}}" +doc_to_choice: !function utils.doc_to_choice +should_decontaminate: true +doc_to_decontamination_query: "Question: {{Problem}}\nAnswer:" +metric_list: + - metric: acc + aggregation: mean + higher_is_better: true + - metric: acc_norm + aggregation: mean + higher_is_better: true +metadata: + version: 1.0 diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/mathqa/utils.py b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/mathqa/utils.py new file mode 100644 index 0000000000000000000000000000000000000000..d44fb440bef9c3adcfe353d6028fe1531c7a77ed --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/mathqa/utils.py @@ -0,0 +1,9 @@ +import re + + +def doc_to_choice(doc): + choices = [ + c[4:].rstrip(" ,") + for c in re.findall(r"[abcd] \) .*?, |e \) .*?$", doc["options"]) + ] + return choices diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/mutual/README.md b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/mutual/README.md new file mode 100644 index 0000000000000000000000000000000000000000..966fb84083b2fdabd54af81fb06b76b23f580dec --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/mutual/README.md @@ -0,0 +1,48 @@ +# MuTual + +### Paper + +Title: `MuTual: A Dataset for Multi-Turn Dialogue Reasoning` + +Abstract: https://www.aclweb.org/anthology/2020.acl-main.130/ + +MuTual is a retrieval-based dataset for multi-turn dialogue reasoning, which is +modified from Chinese high school English listening comprehension test data. + +Homepage: https://github.com/Nealcly/MuTual + +### Citation + +``` +@inproceedings{mutual, + title = "MuTual: A Dataset for Multi-Turn Dialogue Reasoning", + author = "Cui, Leyang and Wu, Yu and Liu, Shujie and Zhang, Yue and Zhou, Ming" , + booktitle = "Proceedings of the 58th Conference of the Association for Computational Linguistics", + year = "2020", + publisher = "Association for Computational Linguistics", +} +``` + +### Groups and Tasks + +#### Groups + +* Not part of a group yet. + +#### Tasks + +* `mutual` +* `mutual_plus` + +### Checklist + +For adding novel benchmarks/datasets to the library: +* [ ] Is the task an existing benchmark in the literature? + * [ ] Have you referenced the original paper that introduced the task? + * [ ] If yes, does the original paper provide a reference implementation? If so, have you checked against the reference implementation and documented how to run such a test? + + +If other tasks on this dataset are already supported: +* [ ] Is the "Main" variant of this task clearly denoted? +* [ ] Have you provided a short sentence in a README on what each new variant adds / evaluates? +* [ ] Have you noted which, if any, published evaluation setups are matched by this variant? diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/mutual/multual_plus.yaml b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/mutual/multual_plus.yaml new file mode 100644 index 0000000000000000000000000000000000000000..5c53ef6be354fff2fe8c3e707bf8727e46a466f8 --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/mutual/multual_plus.yaml @@ -0,0 +1,3 @@ +include: mutual.yaml +task: mutual_plus +dataset_name: mutual_plus diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/mutual/mutual.yaml b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/mutual/mutual.yaml new file mode 100644 index 0000000000000000000000000000000000000000..102da1559f9c6ac3f79f631af83dbcb76dc75067 --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/mutual/mutual.yaml @@ -0,0 +1,27 @@ +task: mutual +dataset_path: "EleutherAI/mutual" +dataset_name: mutual +output_type: multiple_choice +training_split: train +validation_split: validation +doc_to_text: "{{article}}" +doc_to_target: "{{['A', 'B', 'C', 'D'].index(answers)}}" +doc_to_choice: "{{options}}" +process_docs: !function utils.process_docs +process_results: !function utils.process_results +should_decontaminate: true +doc_to_decontamination_query: "{{article}}" +metric_list: + - metric: r@1 + aggregation: mean + higher_is_better: true + - metric: r@2 + aggregation: mean + higher_is_better: true + - metric: mrr + aggregation: mean + higher_is_better: true +metadata: + version: 2.0 +dataset_kwargs: + trust_remote_code: true diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/mutual/utils.py b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/mutual/utils.py new file mode 100644 index 0000000000000000000000000000000000000000..972ffec1025d29e49aa7e01f1849c90ebc5ddae3 --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/mutual/utils.py @@ -0,0 +1,36 @@ +import numpy as np + + +def process_docs(dataset): + def _detokenize(text): + text = text.replace(" '", "'") + text = text.replace(" \n", "\n") + text = text.replace("\n ", "\n") + text = text.replace(" n't", "n't") + text = text.replace("`` ", '"') + text = text.replace("''", '"') + # punctuation + text = text.replace(" :", ":") + text = text.replace(" ;", ";") + text = text.replace(" !", "!") + text = text.replace(" ?", "?") + text = text.replace(" ,", ",") + text = text.replace(" .", ".") + return text + + def _process(doc): + return { + "article": _detokenize(doc["article"]), + "options": [_detokenize(option) for option in doc["options"]], + } + + return dataset.map(_process) + + +def process_results(doc, results): + gold = ["A", "B", "C", "D"].index(doc["answers"]) + r4_1 = np.argmax(results) == gold # r4_1 = accuracy + ranks = sorted(results, reverse=True) + r4_2 = (ranks.index(results[gold]) == 1) + r4_1 + mrr = 1.0 / (ranks.index(results[gold]) + 1) # `+ 1` for index offset + return {"r@1": r4_1, "r@2": r4_2, "mrr": mrr} diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/qasper/README.md b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/qasper/README.md new file mode 100644 index 0000000000000000000000000000000000000000..ada111e1ca7b0df493182939960559bdeb96b9f2 --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/qasper/README.md @@ -0,0 +1,63 @@ +# QASPER + +### Paper + +Title: `A Dataset of Information-Seeking Questions and Answers Anchored in Research Papers` + +Abstract: https://arxiv.org/abs/2105.03011 + +QASPER is a dataset of 5,049 questions over 1,585 Natural Language Processing papers. +Each question is written by an NLP practitioner who read only the title and abstract +of the corresponding paper, and the question seeks information present in the full +text. The questions are then answered by a separate set of NLP practitioners who also +provide supporting evidence to answers. + +Homepage: https://allenai.org/data/qasper + +### Citation + +``` +@article{DBLP:journals/corr/abs-2105-03011, + author = {Pradeep Dasigi and + Kyle Lo and + Iz Beltagy and + Arman Cohan and + Noah A. Smith and + Matt Gardner}, + title = {A Dataset of Information-Seeking Questions and Answers Anchored in + Research Papers}, + journal = {CoRR}, + volume = {abs/2105.03011}, + year = {2021}, + url = {https://arxiv.org/abs/2105.03011}, + eprinttype = {arXiv}, + eprint = {2105.03011}, + timestamp = {Fri, 14 May 2021 12:13:30 +0200}, + biburl = {https://dblp.org/rec/journals/corr/abs-2105-03011.bib}, + bibsource = {dblp computer science bibliography, https://dblp.org} +} +``` + +### Groups and Tasks + +#### Groups + +* `qasper`: executes both `qasper_bool` and `qasper_freeform` + +#### Tasks + +* `qasper_bool`: Multiple choice task that evaluates the task with `answer_type="bool"` +* `qasper_freeform`: Greedy generation task that evaluates the samples from the task with `answer_type="free form answer"` + +### Checklist + +For adding novel benchmarks/datasets to the library: +* [ ] Is the task an existing benchmark in the literature? + * [ ] Have you referenced the original paper that introduced the task? + * [ ] If yes, does the original paper provide a reference implementation? If so, have you checked against the reference implementation and documented how to run such a test? + + +If other tasks on this dataset are already supported: +* [ ] Is the "Main" variant of this task clearly denoted? +* [ ] Have you provided a short sentence in a README on what each new variant adds / evaluates? +* [ ] Have you noted which, if any, published evaluation setups are matched by this variant? diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/qasper/bool.yaml b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/qasper/bool.yaml new file mode 100644 index 0000000000000000000000000000000000000000..52305c1217e57c3455df20b0e0f0e6a0c5a55ba1 --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/qasper/bool.yaml @@ -0,0 +1,14 @@ +tag: qasper +task: qasper_bool +dataset_path: allenai/qasper +output_type: multiple_choice +training_split: train +validation_split: validation +process_docs: !function utils.process_docs_bool +doc_to_text: "TITLE: {{title}}\nABSTRACT: {{abstract}}\n\nQ: {{question}}\n\nA:" +doc_to_target: 1 +doc_to_choice: ["no", "yes"] +metric_list: + - metric: f1 +metadata: + version: 1.0 diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/qasper/freeform.yaml b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/qasper/freeform.yaml new file mode 100644 index 0000000000000000000000000000000000000000..318fb430ff87961d3da88f4b367f792de67772b6 --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/qasper/freeform.yaml @@ -0,0 +1,18 @@ +tag: qasper +task: qasper_freeform +dataset_path: allenai/qasper +output_type: generate_until +training_split: train +validation_split: validation +process_docs: !function utils.process_docs_freeform +doc_to_text: "TITLE: {{title}}\nABSTRACT: {{abstract}}\n\nQ: {{question}}\n\nA:" +doc_to_target: answer +generation_kwargs: + until: + - "\n" +metric_list: + - metric: !function metrics.f1_abstractive + aggregation: mean + higher_is_better: true +metadata: + version: 2.0 diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/qasper/metrics.py b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/qasper/metrics.py new file mode 100644 index 0000000000000000000000000000000000000000..cc832912250ae45a4637daaac3f278d0da654ce1 --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/qasper/metrics.py @@ -0,0 +1,41 @@ +import re +import string +from collections import Counter + + +def normalize_answer(s): + """ + Taken from the official evaluation script for v1.1 of the SQuAD dataset. + Lower text and remove punctuation, articles and extra whitespace. + """ + + def remove_articles(text): + return re.sub(r"\b(a|an|the)\b", " ", text) + + def white_space_fix(text): + return " ".join(text.split()) + + def remove_punc(text): + exclude = set(string.punctuation) + return "".join(ch for ch in text if ch not in exclude) + + def lower(text): + return text.lower() + + return white_space_fix(remove_articles(remove_punc(lower(s)))) + + +def f1_abstractive(predictions, references): + """ + Taken from the official evaluation script for v1.1 of the SQuAD dataset. + """ + prediction_tokens = normalize_answer(predictions[0]).split() + references_tokens = normalize_answer(references[0]).split() + common = Counter(prediction_tokens) & Counter(references_tokens) + num_same = sum(common.values()) + if num_same == 0: + return 0 + precision = 1.0 * num_same / len(prediction_tokens) + recall = 1.0 * num_same / len(references_tokens) + f1 = (2 * precision * recall) / (precision + recall) + return f1 diff --git a/scripts/yans/lm-evaluation-harness/lm_eval/tasks/qasper/utils.py b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/qasper/utils.py new file mode 100644 index 0000000000000000000000000000000000000000..fb3d4c55cf7e16a1d2c527510b8ae48d0d3b05fa --- /dev/null +++ b/scripts/yans/lm-evaluation-harness/lm_eval/tasks/qasper/utils.py @@ -0,0 +1,72 @@ +from functools import partial + +from datasets import Dataset + + +def process_docs(dataset, set_answer_type="bool"): + FEATURES = ["title", "abstract", "question", "answer", "answer_type"] + + def _categorise_answer(answer_blob): + if answer_blob["unanswerable"]: + answer = "unanswerable" + answer_type = "unanswerable" + return answer, answer_type + elif answer_blob["yes_no"]: + answer = "yes" + answer_type = "bool" + return answer, answer_type + elif answer_blob["free_form_answer"]: + answer = answer_blob["free_form_answer"] + answer_type = "free form answer" + return answer, answer_type + elif answer_blob["extractive_spans"]: + answer = answer_blob["extractive_spans"] + answer_type = "extractive_spans" + return answer, answer_type + elif answer_blob["yes_no"] is False: + answer = "no" + answer_type = "bool" + return answer, answer_type + + def _flatten(doc): + """Given a `doc`, flatten it out so that each JSON blob + contains exactly one question and one answer. Logic taken from + the reference implementation available at + https://github.com/allenai/qasper-led-baseline/blob/main/scripts/evaluator.py + """ + obs_list = { + "title": [], + "abstract": [], + "question": [], + "answer": [], + "answer_type": [], + } + title = doc.pop("title") + abstract = doc.pop("abstract") + for question, answer_list in zip(doc["qas"]["question"], doc["qas"]["answers"]): + for answer_blob in answer_list["answer"]: + answer, answer_type = _categorise_answer(answer_blob) + if answer_type == set_answer_type: + obs_list["title"].append(title) + obs_list["abstract"].append(abstract) + obs_list["question"].append(question) + obs_list["answer_type"].append(answer_type) + if isinstance(answer, list): + answer = ", ".join(answer) + obs_list["answer"].append(answer) + + return obs_list + + dataset = dataset.map( + _flatten, + remove_columns=[key for key in dataset.features.keys() if key not in FEATURES], + ) + new_dataset = {} + for key in dataset.features.keys(): + new_dataset[key] = [x for row in dataset[key] for x in row] + + return Dataset.from_dict(new_dataset) + + +process_docs_bool = partial(process_docs, set_answer_type="bool") +process_docs_freeform = partial(process_docs, set_answer_type="free form answer")