api-demo / opencompass-my-api /tmp /215566_0_params.py

Upload 2667 files

256a159 verified almost 2 years ago

178 kB

	datasets = [
	[
	dict(
	abbr='ceval-college_economics',
	eval_cfg=dict(
	evaluator=dict(
	type='opencompass.openicl.icl_evaluator.AccEvaluator')),
	infer_cfg=dict(
	ice_template=dict(
	ice_token='</E>',
	template=dict(
	A=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于大学经济学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='A', role='BOT'),
	]),
	B=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于大学经济学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='B', role='BOT'),
	]),
	C=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于大学经济学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='C', role='BOT'),
	]),
	D=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于大学经济学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='D', role='BOT'),
	])),
	type=
	'opencompass.openicl.icl_prompt_template.PromptTemplate'),
	inferencer=dict(
	type='opencompass.openicl.icl_inferencer.PPLInferencer'),
	retriever=dict(
	fix_id_list=[
	0,
	1,
	2,
	3,
	4,
	],
	type='opencompass.openicl.icl_retriever.FixKRetriever')),
	name='college_economics',
	path='./data/ceval/formal_ceval',
	reader_cfg=dict(
	input_columns=[
	'question',
	'A',
	'B',
	'C',
	'D',
	],
	output_column='answer',
	test_split='val',
	train_split='dev'),
	type='opencompass.datasets.CEvalDataset'),
	dict(
	abbr='ceval-accountant',
	eval_cfg=dict(
	evaluator=dict(
	type='opencompass.openicl.icl_evaluator.AccEvaluator')),
	infer_cfg=dict(
	ice_template=dict(
	ice_token='</E>',
	template=dict(
	A=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于注册会计师考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='A', role='BOT'),
	]),
	B=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于注册会计师考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='B', role='BOT'),
	]),
	C=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于注册会计师考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='C', role='BOT'),
	]),
	D=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于注册会计师考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='D', role='BOT'),
	])),
	type=
	'opencompass.openicl.icl_prompt_template.PromptTemplate'),
	inferencer=dict(
	type='opencompass.openicl.icl_inferencer.PPLInferencer'),
	retriever=dict(
	fix_id_list=[
	0,
	1,
	2,
	3,
	4,
	],
	type='opencompass.openicl.icl_retriever.FixKRetriever')),
	name='accountant',
	path='./data/ceval/formal_ceval',
	reader_cfg=dict(
	input_columns=[
	'question',
	'A',
	'B',
	'C',
	'D',
	],
	output_column='answer',
	test_split='val',
	train_split='dev'),
	type='opencompass.datasets.CEvalDataset'),
	dict(
	abbr='ceval-tax_accountant',
	eval_cfg=dict(
	evaluator=dict(
	type='opencompass.openicl.icl_evaluator.AccEvaluator')),
	infer_cfg=dict(
	ice_template=dict(
	ice_token='</E>',
	template=dict(
	A=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于税务师考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='A', role='BOT'),
	]),
	B=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于税务师考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='B', role='BOT'),
	]),
	C=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于税务师考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='C', role='BOT'),
	]),
	D=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于税务师考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='D', role='BOT'),
	])),
	type=
	'opencompass.openicl.icl_prompt_template.PromptTemplate'),
	inferencer=dict(
	type='opencompass.openicl.icl_inferencer.PPLInferencer'),
	retriever=dict(
	fix_id_list=[
	0,
	1,
	2,
	3,
	4,
	],
	type='opencompass.openicl.icl_retriever.FixKRetriever')),
	name='tax_accountant',
	path='./data/ceval/formal_ceval',
	reader_cfg=dict(
	input_columns=[
	'question',
	'A',
	'B',
	'C',
	'D',
	],
	output_column='answer',
	test_split='val',
	train_split='dev'),
	type='opencompass.datasets.CEvalDataset'),
	dict(
	abbr='ceval-physician',
	eval_cfg=dict(
	evaluator=dict(
	type='opencompass.openicl.icl_evaluator.AccEvaluator')),
	infer_cfg=dict(
	ice_template=dict(
	ice_token='</E>',
	template=dict(
	A=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于医师资格考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='A', role='BOT'),
	]),
	B=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于医师资格考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='B', role='BOT'),
	]),
	C=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于医师资格考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='C', role='BOT'),
	]),
	D=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于医师资格考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='D', role='BOT'),
	])),
	type=
	'opencompass.openicl.icl_prompt_template.PromptTemplate'),
	inferencer=dict(
	type='opencompass.openicl.icl_inferencer.PPLInferencer'),
	retriever=dict(
	fix_id_list=[
	0,
	1,
	2,
	3,
	4,
	],
	type='opencompass.openicl.icl_retriever.FixKRetriever')),
	name='physician',
	path='./data/ceval/formal_ceval',
	reader_cfg=dict(
	input_columns=[
	'question',
	'A',
	'B',
	'C',
	'D',
	],
	output_column='answer',
	test_split='val',
	train_split='dev'),
	type='opencompass.datasets.CEvalDataset'),
	dict(
	abbr='ceval-civil_servant',
	eval_cfg=dict(
	evaluator=dict(
	type='opencompass.openicl.icl_evaluator.AccEvaluator')),
	infer_cfg=dict(
	ice_template=dict(
	ice_token='</E>',
	template=dict(
	A=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于公务员考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='A', role='BOT'),
	]),
	B=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于公务员考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='B', role='BOT'),
	]),
	C=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于公务员考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='C', role='BOT'),
	]),
	D=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于公务员考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='D', role='BOT'),
	])),
	type=
	'opencompass.openicl.icl_prompt_template.PromptTemplate'),
	inferencer=dict(
	type='opencompass.openicl.icl_inferencer.PPLInferencer'),
	retriever=dict(
	fix_id_list=[
	0,
	1,
	2,
	3,
	4,
	],
	type='opencompass.openicl.icl_retriever.FixKRetriever')),
	name='civil_servant',
	path='./data/ceval/formal_ceval',
	reader_cfg=dict(
	input_columns=[
	'question',
	'A',
	'B',
	'C',
	'D',
	],
	output_column='answer',
	test_split='val',
	train_split='dev'),
	type='opencompass.datasets.CEvalDataset'),
	dict(
	abbr='ceval-urban_and_rural_planner',
	eval_cfg=dict(
	evaluator=dict(
	type='opencompass.openicl.icl_evaluator.AccEvaluator')),
	infer_cfg=dict(
	ice_template=dict(
	ice_token='</E>',
	template=dict(
	A=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于注册城乡规划师考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='A', role='BOT'),
	]),
	B=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于注册城乡规划师考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='B', role='BOT'),
	]),
	C=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于注册城乡规划师考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='C', role='BOT'),
	]),
	D=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于注册城乡规划师考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='D', role='BOT'),
	])),
	type=
	'opencompass.openicl.icl_prompt_template.PromptTemplate'),
	inferencer=dict(
	type='opencompass.openicl.icl_inferencer.PPLInferencer'),
	retriever=dict(
	fix_id_list=[
	0,
	1,
	2,
	3,
	4,
	],
	type='opencompass.openicl.icl_retriever.FixKRetriever')),
	name='urban_and_rural_planner',
	path='./data/ceval/formal_ceval',
	reader_cfg=dict(
	input_columns=[
	'question',
	'A',
	'B',
	'C',
	'D',
	],
	output_column='answer',
	test_split='val',
	train_split='dev'),
	type='opencompass.datasets.CEvalDataset'),
	dict(
	abbr='ceval-teacher_qualification',
	eval_cfg=dict(
	evaluator=dict(
	type='opencompass.openicl.icl_evaluator.AccEvaluator')),
	infer_cfg=dict(
	ice_template=dict(
	ice_token='</E>',
	template=dict(
	A=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于教师资格考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='A', role='BOT'),
	]),
	B=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于教师资格考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='B', role='BOT'),
	]),
	C=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于教师资格考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='C', role='BOT'),
	]),
	D=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于教师资格考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='D', role='BOT'),
	])),
	type=
	'opencompass.openicl.icl_prompt_template.PromptTemplate'),
	inferencer=dict(
	type='opencompass.openicl.icl_inferencer.PPLInferencer'),
	retriever=dict(
	fix_id_list=[
	0,
	1,
	2,
	3,
	4,
	],
	type='opencompass.openicl.icl_retriever.FixKRetriever')),
	name='teacher_qualification',
	path='./data/ceval/formal_ceval',
	reader_cfg=dict(
	input_columns=[
	'question',
	'A',
	'B',
	'C',
	'D',
	],
	output_column='answer',
	test_split='val',
	train_split='dev'),
	type='opencompass.datasets.CEvalDataset'),
	dict(
	abbr='ceval-college_programming',
	eval_cfg=dict(
	evaluator=dict(
	type='opencompass.openicl.icl_evaluator.AccEvaluator')),
	infer_cfg=dict(
	ice_template=dict(
	ice_token='</E>',
	template=dict(
	A=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于大学编程考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='A', role='BOT'),
	]),
	B=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于大学编程考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='B', role='BOT'),
	]),
	C=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于大学编程考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='C', role='BOT'),
	]),
	D=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于大学编程考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='D', role='BOT'),
	])),
	type=
	'opencompass.openicl.icl_prompt_template.PromptTemplate'),
	inferencer=dict(
	type='opencompass.openicl.icl_inferencer.PPLInferencer'),
	retriever=dict(
	fix_id_list=[
	0,
	1,
	2,
	3,
	4,
	],
	type='opencompass.openicl.icl_retriever.FixKRetriever')),
	name='college_programming',
	path='./data/ceval/formal_ceval',
	reader_cfg=dict(
	input_columns=[
	'question',
	'A',
	'B',
	'C',
	'D',
	],
	output_column='answer',
	test_split='val',
	train_split='dev'),
	type='opencompass.datasets.CEvalDataset'),
	dict(
	abbr='ceval-electrical_engineer',
	eval_cfg=dict(
	evaluator=dict(
	type='opencompass.openicl.icl_evaluator.AccEvaluator')),
	infer_cfg=dict(
	ice_template=dict(
	ice_token='</E>',
	template=dict(
	A=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于注册电气工程师考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='A', role='BOT'),
	]),
	B=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于注册电气工程师考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='B', role='BOT'),
	]),
	C=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于注册电气工程师考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='C', role='BOT'),
	]),
	D=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于注册电气工程师考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='D', role='BOT'),
	])),
	type=
	'opencompass.openicl.icl_prompt_template.PromptTemplate'),
	inferencer=dict(
	type='opencompass.openicl.icl_inferencer.PPLInferencer'),
	retriever=dict(
	fix_id_list=[
	0,
	1,
	2,
	3,
	4,
	],
	type='opencompass.openicl.icl_retriever.FixKRetriever')),
	name='electrical_engineer',
	path='./data/ceval/formal_ceval',
	reader_cfg=dict(
	input_columns=[
	'question',
	'A',
	'B',
	'C',
	'D',
	],
	output_column='answer',
	test_split='val',
	train_split='dev'),
	type='opencompass.datasets.CEvalDataset'),
	dict(
	abbr='ceval-business_administration',
	eval_cfg=dict(
	evaluator=dict(
	type='opencompass.openicl.icl_evaluator.AccEvaluator')),
	infer_cfg=dict(
	ice_template=dict(
	ice_token='</E>',
	template=dict(
	A=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于工商管理考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='A', role='BOT'),
	]),
	B=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于工商管理考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='B', role='BOT'),
	]),
	C=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于工商管理考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='C', role='BOT'),
	]),
	D=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于工商管理考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='D', role='BOT'),
	])),
	type=
	'opencompass.openicl.icl_prompt_template.PromptTemplate'),
	inferencer=dict(
	type='opencompass.openicl.icl_inferencer.PPLInferencer'),
	retriever=dict(
	fix_id_list=[
	0,
	1,
	2,
	3,
	4,
	],
	type='opencompass.openicl.icl_retriever.FixKRetriever')),
	name='business_administration',
	path='./data/ceval/formal_ceval',
	reader_cfg=dict(
	input_columns=[
	'question',
	'A',
	'B',
	'C',
	'D',
	],
	output_column='answer',
	test_split='val',
	train_split='dev'),
	type='opencompass.datasets.CEvalDataset'),
	dict(
	abbr='ceval-art_studies',
	eval_cfg=dict(
	evaluator=dict(
	type='opencompass.openicl.icl_evaluator.AccEvaluator')),
	infer_cfg=dict(
	ice_template=dict(
	ice_token='</E>',
	template=dict(
	A=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于艺术学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='A', role='BOT'),
	]),
	B=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于艺术学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='B', role='BOT'),
	]),
	C=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于艺术学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='C', role='BOT'),
	]),
	D=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于艺术学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='D', role='BOT'),
	])),
	type=
	'opencompass.openicl.icl_prompt_template.PromptTemplate'),
	inferencer=dict(
	type='opencompass.openicl.icl_inferencer.PPLInferencer'),
	retriever=dict(
	fix_id_list=[
	0,
	1,
	2,
	3,
	4,
	],
	type='opencompass.openicl.icl_retriever.FixKRetriever')),
	name='art_studies',
	path='./data/ceval/formal_ceval',
	reader_cfg=dict(
	input_columns=[
	'question',
	'A',
	'B',
	'C',
	'D',
	],
	output_column='answer',
	test_split='val',
	train_split='dev'),
	type='opencompass.datasets.CEvalDataset'),
	dict(
	abbr='ceval-fire_engineer',
	eval_cfg=dict(
	evaluator=dict(
	type='opencompass.openicl.icl_evaluator.AccEvaluator')),
	infer_cfg=dict(
	ice_template=dict(
	ice_token='</E>',
	template=dict(
	A=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于注册消防工程师考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='A', role='BOT'),
	]),
	B=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于注册消防工程师考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='B', role='BOT'),
	]),
	C=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于注册消防工程师考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='C', role='BOT'),
	]),
	D=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于注册消防工程师考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='D', role='BOT'),
	])),
	type=
	'opencompass.openicl.icl_prompt_template.PromptTemplate'),
	inferencer=dict(
	type='opencompass.openicl.icl_inferencer.PPLInferencer'),
	retriever=dict(
	fix_id_list=[
	0,
	1,
	2,
	3,
	4,
	],
	type='opencompass.openicl.icl_retriever.FixKRetriever')),
	name='fire_engineer',
	path='./data/ceval/formal_ceval',
	reader_cfg=dict(
	input_columns=[
	'question',
	'A',
	'B',
	'C',
	'D',
	],
	output_column='answer',
	test_split='val',
	train_split='dev'),
	type='opencompass.datasets.CEvalDataset'),
	dict(
	abbr='ceval-environmental_impact_assessment_engineer',
	eval_cfg=dict(
	evaluator=dict(
	type='opencompass.openicl.icl_evaluator.AccEvaluator')),
	infer_cfg=dict(
	ice_template=dict(
	ice_token='</E>',
	template=dict(
	A=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于环境影响评价工程师考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='A', role='BOT'),
	]),
	B=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于环境影响评价工程师考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='B', role='BOT'),
	]),
	C=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于环境影响评价工程师考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='C', role='BOT'),
	]),
	D=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于环境影响评价工程师考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='D', role='BOT'),
	])),
	type=
	'opencompass.openicl.icl_prompt_template.PromptTemplate'),
	inferencer=dict(
	type='opencompass.openicl.icl_inferencer.PPLInferencer'),
	retriever=dict(
	fix_id_list=[
	0,
	1,
	2,
	3,
	4,
	],
	type='opencompass.openicl.icl_retriever.FixKRetriever')),
	name='environmental_impact_assessment_engineer',
	path='./data/ceval/formal_ceval',
	reader_cfg=dict(
	input_columns=[
	'question',
	'A',
	'B',
	'C',
	'D',
	],
	output_column='answer',
	test_split='val',
	train_split='dev'),
	type='opencompass.datasets.CEvalDataset'),
	dict(
	abbr='ceval-education_science',
	eval_cfg=dict(
	evaluator=dict(
	type='opencompass.openicl.icl_evaluator.AccEvaluator')),
	infer_cfg=dict(
	ice_template=dict(
	ice_token='</E>',
	template=dict(
	A=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于教育学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='A', role='BOT'),
	]),
	B=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于教育学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='B', role='BOT'),
	]),
	C=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于教育学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='C', role='BOT'),
	]),
	D=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于教育学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='D', role='BOT'),
	])),
	type=
	'opencompass.openicl.icl_prompt_template.PromptTemplate'),
	inferencer=dict(
	type='opencompass.openicl.icl_inferencer.PPLInferencer'),
	retriever=dict(
	fix_id_list=[
	0,
	1,
	2,
	3,
	4,
	],
	type='opencompass.openicl.icl_retriever.FixKRetriever')),
	name='education_science',
	path='./data/ceval/formal_ceval',
	reader_cfg=dict(
	input_columns=[
	'question',
	'A',
	'B',
	'C',
	'D',
	],
	output_column='answer',
	test_split='val',
	train_split='dev'),
	type='opencompass.datasets.CEvalDataset'),
	dict(
	abbr='ceval-professional_tour_guide',
	eval_cfg=dict(
	evaluator=dict(
	type='opencompass.openicl.icl_evaluator.AccEvaluator')),
	infer_cfg=dict(
	ice_template=dict(
	ice_token='</E>',
	template=dict(
	A=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于导游资格考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='A', role='BOT'),
	]),
	B=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于导游资格考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='B', role='BOT'),
	]),
	C=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于导游资格考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='C', role='BOT'),
	]),
	D=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于导游资格考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='D', role='BOT'),
	])),
	type=
	'opencompass.openicl.icl_prompt_template.PromptTemplate'),
	inferencer=dict(
	type='opencompass.openicl.icl_inferencer.PPLInferencer'),
	retriever=dict(
	fix_id_list=[
	0,
	1,
	2,
	3,
	4,
	],
	type='opencompass.openicl.icl_retriever.FixKRetriever')),
	name='professional_tour_guide',
	path='./data/ceval/formal_ceval',
	reader_cfg=dict(
	input_columns=[
	'question',
	'A',
	'B',
	'C',
	'D',
	],
	output_column='answer',
	test_split='val',
	train_split='dev'),
	type='opencompass.datasets.CEvalDataset'),
	dict(
	abbr='ceval-college_chemistry',
	eval_cfg=dict(
	evaluator=dict(
	type='opencompass.openicl.icl_evaluator.AccEvaluator')),
	infer_cfg=dict(
	ice_template=dict(
	ice_token='</E>',
	template=dict(
	A=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于大学化学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='A', role='BOT'),
	]),
	B=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于大学化学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='B', role='BOT'),
	]),
	C=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于大学化学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='C', role='BOT'),
	]),
	D=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于大学化学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='D', role='BOT'),
	])),
	type=
	'opencompass.openicl.icl_prompt_template.PromptTemplate'),
	inferencer=dict(
	type='opencompass.openicl.icl_inferencer.PPLInferencer'),
	retriever=dict(
	fix_id_list=[
	0,
	1,
	2,
	3,
	4,
	],
	type='opencompass.openicl.icl_retriever.FixKRetriever')),
	name='college_chemistry',
	path='./data/ceval/formal_ceval',
	reader_cfg=dict(
	input_columns=[
	'question',
	'A',
	'B',
	'C',
	'D',
	],
	output_column='answer',
	test_split='val',
	train_split='dev'),
	type='opencompass.datasets.CEvalDataset'),
	dict(
	abbr='ceval-metrology_engineer',
	eval_cfg=dict(
	evaluator=dict(
	type='opencompass.openicl.icl_evaluator.AccEvaluator')),
	infer_cfg=dict(
	ice_template=dict(
	ice_token='</E>',
	template=dict(
	A=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于注册计量师考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='A', role='BOT'),
	]),
	B=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于注册计量师考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='B', role='BOT'),
	]),
	C=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于注册计量师考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='C', role='BOT'),
	]),
	D=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于注册计量师考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='D', role='BOT'),
	])),
	type=
	'opencompass.openicl.icl_prompt_template.PromptTemplate'),
	inferencer=dict(
	type='opencompass.openicl.icl_inferencer.PPLInferencer'),
	retriever=dict(
	fix_id_list=[
	0,
	1,
	2,
	3,
	4,
	],
	type='opencompass.openicl.icl_retriever.FixKRetriever')),
	name='metrology_engineer',
	path='./data/ceval/formal_ceval',
	reader_cfg=dict(
	input_columns=[
	'question',
	'A',
	'B',
	'C',
	'D',
	],
	output_column='answer',
	test_split='val',
	train_split='dev'),
	type='opencompass.datasets.CEvalDataset'),
	dict(
	abbr='ceval-mao_zedong_thought',
	eval_cfg=dict(
	evaluator=dict(
	type='opencompass.openicl.icl_evaluator.AccEvaluator')),
	infer_cfg=dict(
	ice_template=dict(
	ice_token='</E>',
	template=dict(
	A=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于毛泽东思想和中国特色社会主义理论体系概论考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='A', role='BOT'),
	]),
	B=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于毛泽东思想和中国特色社会主义理论体系概论考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='B', role='BOT'),
	]),
	C=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于毛泽东思想和中国特色社会主义理论体系概论考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='C', role='BOT'),
	]),
	D=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于毛泽东思想和中国特色社会主义理论体系概论考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='D', role='BOT'),
	])),
	type=
	'opencompass.openicl.icl_prompt_template.PromptTemplate'),
	inferencer=dict(
	type='opencompass.openicl.icl_inferencer.PPLInferencer'),
	retriever=dict(
	fix_id_list=[
	0,
	1,
	2,
	3,
	4,
	],
	type='opencompass.openicl.icl_retriever.FixKRetriever')),
	name='mao_zedong_thought',
	path='./data/ceval/formal_ceval',
	reader_cfg=dict(
	input_columns=[
	'question',
	'A',
	'B',
	'C',
	'D',
	],
	output_column='answer',
	test_split='val',
	train_split='dev'),
	type='opencompass.datasets.CEvalDataset'),
	dict(
	abbr='ceval-law',
	eval_cfg=dict(
	evaluator=dict(
	type='opencompass.openicl.icl_evaluator.AccEvaluator')),
	infer_cfg=dict(
	ice_template=dict(
	ice_token='</E>',
	template=dict(
	A=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于法学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='A', role='BOT'),
	]),
	B=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于法学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='B', role='BOT'),
	]),
	C=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于法学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='C', role='BOT'),
	]),
	D=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于法学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='D', role='BOT'),
	])),
	type=
	'opencompass.openicl.icl_prompt_template.PromptTemplate'),
	inferencer=dict(
	type='opencompass.openicl.icl_inferencer.PPLInferencer'),
	retriever=dict(
	fix_id_list=[
	0,
	1,
	2,
	3,
	4,
	],
	type='opencompass.openicl.icl_retriever.FixKRetriever')),
	name='law',
	path='./data/ceval/formal_ceval',
	reader_cfg=dict(
	input_columns=[
	'question',
	'A',
	'B',
	'C',
	'D',
	],
	output_column='answer',
	test_split='val',
	train_split='dev'),
	type='opencompass.datasets.CEvalDataset'),
	dict(
	abbr='ceval-veterinary_medicine',
	eval_cfg=dict(
	evaluator=dict(
	type='opencompass.openicl.icl_evaluator.AccEvaluator')),
	infer_cfg=dict(
	ice_template=dict(
	ice_token='</E>',
	template=dict(
	A=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于兽医学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='A', role='BOT'),
	]),
	B=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于兽医学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='B', role='BOT'),
	]),
	C=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于兽医学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='C', role='BOT'),
	]),
	D=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于兽医学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='D', role='BOT'),
	])),
	type=
	'opencompass.openicl.icl_prompt_template.PromptTemplate'),
	inferencer=dict(
	type='opencompass.openicl.icl_inferencer.PPLInferencer'),
	retriever=dict(
	fix_id_list=[
	0,
	1,
	2,
	3,
	4,
	],
	type='opencompass.openicl.icl_retriever.FixKRetriever')),
	name='veterinary_medicine',
	path='./data/ceval/formal_ceval',
	reader_cfg=dict(
	input_columns=[
	'question',
	'A',
	'B',
	'C',
	'D',
	],
	output_column='answer',
	test_split='val',
	train_split='dev'),
	type='opencompass.datasets.CEvalDataset'),
	dict(
	abbr='ceval-modern_chinese_history',
	eval_cfg=dict(
	evaluator=dict(
	type='opencompass.openicl.icl_evaluator.AccEvaluator')),
	infer_cfg=dict(
	ice_template=dict(
	ice_token='</E>',
	template=dict(
	A=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于近代史纲要考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='A', role='BOT'),
	]),
	B=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于近代史纲要考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='B', role='BOT'),
	]),
	C=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于近代史纲要考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='C', role='BOT'),
	]),
	D=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于近代史纲要考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='D', role='BOT'),
	])),
	type=
	'opencompass.openicl.icl_prompt_template.PromptTemplate'),
	inferencer=dict(
	type='opencompass.openicl.icl_inferencer.PPLInferencer'),
	retriever=dict(
	fix_id_list=[
	0,
	1,
	2,
	3,
	4,
	],
	type='opencompass.openicl.icl_retriever.FixKRetriever')),
	name='modern_chinese_history',
	path='./data/ceval/formal_ceval',
	reader_cfg=dict(
	input_columns=[
	'question',
	'A',
	'B',
	'C',
	'D',
	],
	output_column='answer',
	test_split='val',
	train_split='dev'),
	type='opencompass.datasets.CEvalDataset'),
	dict(
	abbr='ceval-chinese_language_and_literature',
	eval_cfg=dict(
	evaluator=dict(
	type='opencompass.openicl.icl_evaluator.AccEvaluator')),
	infer_cfg=dict(
	ice_template=dict(
	ice_token='</E>',
	template=dict(
	A=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于中国语言文学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='A', role='BOT'),
	]),
	B=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于中国语言文学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='B', role='BOT'),
	]),
	C=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于中国语言文学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='C', role='BOT'),
	]),
	D=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于中国语言文学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='D', role='BOT'),
	])),
	type=
	'opencompass.openicl.icl_prompt_template.PromptTemplate'),
	inferencer=dict(
	type='opencompass.openicl.icl_inferencer.PPLInferencer'),
	retriever=dict(
	fix_id_list=[
	0,
	1,
	2,
	3,
	4,
	],
	type='opencompass.openicl.icl_retriever.FixKRetriever')),
	name='chinese_language_and_literature',
	path='./data/ceval/formal_ceval',
	reader_cfg=dict(
	input_columns=[
	'question',
	'A',
	'B',
	'C',
	'D',
	],
	output_column='answer',
	test_split='val',
	train_split='dev'),
	type='opencompass.datasets.CEvalDataset'),
	dict(
	abbr='ceval-legal_professional',
	eval_cfg=dict(
	evaluator=dict(
	type='opencompass.openicl.icl_evaluator.AccEvaluator')),
	infer_cfg=dict(
	ice_template=dict(
	ice_token='</E>',
	template=dict(
	A=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于法律职业资格考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='A', role='BOT'),
	]),
	B=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于法律职业资格考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='B', role='BOT'),
	]),
	C=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于法律职业资格考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='C', role='BOT'),
	]),
	D=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于法律职业资格考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='D', role='BOT'),
	])),
	type=
	'opencompass.openicl.icl_prompt_template.PromptTemplate'),
	inferencer=dict(
	type='opencompass.openicl.icl_inferencer.PPLInferencer'),
	retriever=dict(
	fix_id_list=[
	0,
	1,
	2,
	3,
	4,
	],
	type='opencompass.openicl.icl_retriever.FixKRetriever')),
	name='legal_professional',
	path='./data/ceval/formal_ceval',
	reader_cfg=dict(
	input_columns=[
	'question',
	'A',
	'B',
	'C',
	'D',
	],
	output_column='answer',
	test_split='val',
	train_split='dev'),
	type='opencompass.datasets.CEvalDataset'),
	dict(
	abbr='ceval-logic',
	eval_cfg=dict(
	evaluator=dict(
	type='opencompass.openicl.icl_evaluator.AccEvaluator')),
	infer_cfg=dict(
	ice_template=dict(
	ice_token='</E>',
	template=dict(
	A=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于逻辑学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='A', role='BOT'),
	]),
	B=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于逻辑学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='B', role='BOT'),
	]),
	C=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于逻辑学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='C', role='BOT'),
	]),
	D=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于逻辑学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='D', role='BOT'),
	])),
	type=
	'opencompass.openicl.icl_prompt_template.PromptTemplate'),
	inferencer=dict(
	type='opencompass.openicl.icl_inferencer.PPLInferencer'),
	retriever=dict(
	fix_id_list=[
	0,
	1,
	2,
	3,
	4,
	],
	type='opencompass.openicl.icl_retriever.FixKRetriever')),
	name='logic',
	path='./data/ceval/formal_ceval',
	reader_cfg=dict(
	input_columns=[
	'question',
	'A',
	'B',
	'C',
	'D',
	],
	output_column='answer',
	test_split='val',
	train_split='dev'),
	type='opencompass.datasets.CEvalDataset'),
	dict(
	abbr='ceval-middle_school_history',
	eval_cfg=dict(
	evaluator=dict(
	type='opencompass.openicl.icl_evaluator.AccEvaluator')),
	infer_cfg=dict(
	ice_template=dict(
	ice_token='</E>',
	template=dict(
	A=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于初中历史考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='A', role='BOT'),
	]),
	B=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于初中历史考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='B', role='BOT'),
	]),
	C=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于初中历史考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='C', role='BOT'),
	]),
	D=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于初中历史考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='D', role='BOT'),
	])),
	type=
	'opencompass.openicl.icl_prompt_template.PromptTemplate'),
	inferencer=dict(
	type='opencompass.openicl.icl_inferencer.PPLInferencer'),
	retriever=dict(
	fix_id_list=[
	0,
	1,
	2,
	3,
	4,
	],
	type='opencompass.openicl.icl_retriever.FixKRetriever')),
	name='middle_school_history',
	path='./data/ceval/formal_ceval',
	reader_cfg=dict(
	input_columns=[
	'question',
	'A',
	'B',
	'C',
	'D',
	],
	output_column='answer',
	test_split='val',
	train_split='dev'),
	type='opencompass.datasets.CEvalDataset'),
	dict(
	abbr='ceval-plant_protection',
	eval_cfg=dict(
	evaluator=dict(
	type='opencompass.openicl.icl_evaluator.AccEvaluator')),
	infer_cfg=dict(
	ice_template=dict(
	ice_token='</E>',
	template=dict(
	A=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于植物保护考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='A', role='BOT'),
	]),
	B=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于植物保护考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='B', role='BOT'),
	]),
	C=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于植物保护考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='C', role='BOT'),
	]),
	D=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于植物保护考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='D', role='BOT'),
	])),
	type=
	'opencompass.openicl.icl_prompt_template.PromptTemplate'),
	inferencer=dict(
	type='opencompass.openicl.icl_inferencer.PPLInferencer'),
	retriever=dict(
	fix_id_list=[
	0,
	1,
	2,
	3,
	4,
	],
	type='opencompass.openicl.icl_retriever.FixKRetriever')),
	name='plant_protection',
	path='./data/ceval/formal_ceval',
	reader_cfg=dict(
	input_columns=[
	'question',
	'A',
	'B',
	'C',
	'D',
	],
	output_column='answer',
	test_split='val',
	train_split='dev'),
	type='opencompass.datasets.CEvalDataset'),
	dict(
	abbr='ceval-clinical_medicine',
	eval_cfg=dict(
	evaluator=dict(
	type='opencompass.openicl.icl_evaluator.AccEvaluator')),
	infer_cfg=dict(
	ice_template=dict(
	ice_token='</E>',
	template=dict(
	A=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于临床医学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='A', role='BOT'),
	]),
	B=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于临床医学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='B', role='BOT'),
	]),
	C=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于临床医学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='C', role='BOT'),
	]),
	D=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于临床医学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='D', role='BOT'),
	])),
	type=
	'opencompass.openicl.icl_prompt_template.PromptTemplate'),
	inferencer=dict(
	type='opencompass.openicl.icl_inferencer.PPLInferencer'),
	retriever=dict(
	fix_id_list=[
	0,
	1,
	2,
	3,
	4,
	],
	type='opencompass.openicl.icl_retriever.FixKRetriever')),
	name='clinical_medicine',
	path='./data/ceval/formal_ceval',
	reader_cfg=dict(
	input_columns=[
	'question',
	'A',
	'B',
	'C',
	'D',
	],
	output_column='answer',
	test_split='val',
	train_split='dev'),
	type='opencompass.datasets.CEvalDataset'),
	dict(
	abbr='ceval-computer_architecture',
	eval_cfg=dict(
	evaluator=dict(
	type='opencompass.openicl.icl_evaluator.AccEvaluator')),
	infer_cfg=dict(
	ice_template=dict(
	ice_token='</E>',
	template=dict(
	A=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于计算机组成考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='A', role='BOT'),
	]),
	B=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于计算机组成考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='B', role='BOT'),
	]),
	C=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于计算机组成考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='C', role='BOT'),
	]),
	D=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于计算机组成考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='D', role='BOT'),
	])),
	type=
	'opencompass.openicl.icl_prompt_template.PromptTemplate'),
	inferencer=dict(
	type='opencompass.openicl.icl_inferencer.PPLInferencer'),
	retriever=dict(
	fix_id_list=[
	0,
	1,
	2,
	3,
	4,
	],
	type='opencompass.openicl.icl_retriever.FixKRetriever')),
	name='computer_architecture',
	path='./data/ceval/formal_ceval',
	reader_cfg=dict(
	input_columns=[
	'question',
	'A',
	'B',
	'C',
	'D',
	],
	output_column='answer',
	test_split='val',
	train_split='dev'),
	type='opencompass.datasets.CEvalDataset'),
	dict(
	abbr='ceval-middle_school_biology',
	eval_cfg=dict(
	evaluator=dict(
	type='opencompass.openicl.icl_evaluator.AccEvaluator')),
	infer_cfg=dict(
	ice_template=dict(
	ice_token='</E>',
	template=dict(
	A=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于初中生物考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='A', role='BOT'),
	]),
	B=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于初中生物考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='B', role='BOT'),
	]),
	C=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于初中生物考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='C', role='BOT'),
	]),
	D=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于初中生物考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='D', role='BOT'),
	])),
	type=
	'opencompass.openicl.icl_prompt_template.PromptTemplate'),
	inferencer=dict(
	type='opencompass.openicl.icl_inferencer.PPLInferencer'),
	retriever=dict(
	fix_id_list=[
	0,
	1,
	2,
	3,
	4,
	],
	type='opencompass.openicl.icl_retriever.FixKRetriever')),
	name='middle_school_biology',
	path='./data/ceval/formal_ceval',
	reader_cfg=dict(
	input_columns=[
	'question',
	'A',
	'B',
	'C',
	'D',
	],
	output_column='answer',
	test_split='val',
	train_split='dev'),
	type='opencompass.datasets.CEvalDataset'),
	dict(
	abbr='ceval-middle_school_politics',
	eval_cfg=dict(
	evaluator=dict(
	type='opencompass.openicl.icl_evaluator.AccEvaluator')),
	infer_cfg=dict(
	ice_template=dict(
	ice_token='</E>',
	template=dict(
	A=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于初中政治考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='A', role='BOT'),
	]),
	B=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于初中政治考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='B', role='BOT'),
	]),
	C=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于初中政治考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='C', role='BOT'),
	]),
	D=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于初中政治考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='D', role='BOT'),
	])),
	type=
	'opencompass.openicl.icl_prompt_template.PromptTemplate'),
	inferencer=dict(
	type='opencompass.openicl.icl_inferencer.PPLInferencer'),
	retriever=dict(
	fix_id_list=[
	0,
	1,
	2,
	3,
	4,
	],
	type='opencompass.openicl.icl_retriever.FixKRetriever')),
	name='middle_school_politics',
	path='./data/ceval/formal_ceval',
	reader_cfg=dict(
	input_columns=[
	'question',
	'A',
	'B',
	'C',
	'D',
	],
	output_column='answer',
	test_split='val',
	train_split='dev'),
	type='opencompass.datasets.CEvalDataset'),
	dict(
	abbr='ceval-middle_school_chemistry',
	eval_cfg=dict(
	evaluator=dict(
	type='opencompass.openicl.icl_evaluator.AccEvaluator')),
	infer_cfg=dict(
	ice_template=dict(
	ice_token='</E>',
	template=dict(
	A=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于初中化学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='A', role='BOT'),
	]),
	B=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于初中化学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='B', role='BOT'),
	]),
	C=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于初中化学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='C', role='BOT'),
	]),
	D=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于初中化学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='D', role='BOT'),
	])),
	type=
	'opencompass.openicl.icl_prompt_template.PromptTemplate'),
	inferencer=dict(
	type='opencompass.openicl.icl_inferencer.PPLInferencer'),
	retriever=dict(
	fix_id_list=[
	0,
	1,
	2,
	3,
	4,
	],
	type='opencompass.openicl.icl_retriever.FixKRetriever')),
	name='middle_school_chemistry',
	path='./data/ceval/formal_ceval',
	reader_cfg=dict(
	input_columns=[
	'question',
	'A',
	'B',
	'C',
	'D',
	],
	output_column='answer',
	test_split='val',
	train_split='dev'),
	type='opencompass.datasets.CEvalDataset'),
	dict(
	abbr='ceval-high_school_history',
	eval_cfg=dict(
	evaluator=dict(
	type='opencompass.openicl.icl_evaluator.AccEvaluator')),
	infer_cfg=dict(
	ice_template=dict(
	ice_token='</E>',
	template=dict(
	A=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于高中历史考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='A', role='BOT'),
	]),
	B=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于高中历史考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='B', role='BOT'),
	]),
	C=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于高中历史考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='C', role='BOT'),
	]),
	D=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于高中历史考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='D', role='BOT'),
	])),
	type=
	'opencompass.openicl.icl_prompt_template.PromptTemplate'),
	inferencer=dict(
	type='opencompass.openicl.icl_inferencer.PPLInferencer'),
	retriever=dict(
	fix_id_list=[
	0,
	1,
	2,
	3,
	4,
	],
	type='opencompass.openicl.icl_retriever.FixKRetriever')),
	name='high_school_history',
	path='./data/ceval/formal_ceval',
	reader_cfg=dict(
	input_columns=[
	'question',
	'A',
	'B',
	'C',
	'D',
	],
	output_column='answer',
	test_split='val',
	train_split='dev'),
	type='opencompass.datasets.CEvalDataset'),
	dict(
	abbr='ceval-computer_network',
	eval_cfg=dict(
	evaluator=dict(
	type='opencompass.openicl.icl_evaluator.AccEvaluator')),
	infer_cfg=dict(
	ice_template=dict(
	ice_token='</E>',
	template=dict(
	A=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于计算机网络考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='A', role='BOT'),
	]),
	B=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于计算机网络考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='B', role='BOT'),
	]),
	C=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于计算机网络考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='C', role='BOT'),
	]),
	D=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于计算机网络考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='D', role='BOT'),
	])),
	type=
	'opencompass.openicl.icl_prompt_template.PromptTemplate'),
	inferencer=dict(
	type='opencompass.openicl.icl_inferencer.PPLInferencer'),
	retriever=dict(
	fix_id_list=[
	0,
	1,
	2,
	3,
	4,
	],
	type='opencompass.openicl.icl_retriever.FixKRetriever')),
	name='computer_network',
	path='./data/ceval/formal_ceval',
	reader_cfg=dict(
	input_columns=[
	'question',
	'A',
	'B',
	'C',
	'D',
	],
	output_column='answer',
	test_split='val',
	train_split='dev'),
	type='opencompass.datasets.CEvalDataset'),
	dict(
	abbr='ceval-operating_system',
	eval_cfg=dict(
	evaluator=dict(
	type='opencompass.openicl.icl_evaluator.AccEvaluator')),
	infer_cfg=dict(
	ice_template=dict(
	ice_token='</E>',
	template=dict(
	A=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于操作系统考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='A', role='BOT'),
	]),
	B=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于操作系统考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='B', role='BOT'),
	]),
	C=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于操作系统考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='C', role='BOT'),
	]),
	D=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于操作系统考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='D', role='BOT'),
	])),
	type=
	'opencompass.openicl.icl_prompt_template.PromptTemplate'),
	inferencer=dict(
	type='opencompass.openicl.icl_inferencer.PPLInferencer'),
	retriever=dict(
	fix_id_list=[
	0,
	1,
	2,
	3,
	4,
	],
	type='opencompass.openicl.icl_retriever.FixKRetriever')),
	name='operating_system',
	path='./data/ceval/formal_ceval',
	reader_cfg=dict(
	input_columns=[
	'question',
	'A',
	'B',
	'C',
	'D',
	],
	output_column='answer',
	test_split='val',
	train_split='dev'),
	type='opencompass.datasets.CEvalDataset'),
	dict(
	abbr='ceval-college_physics',
	eval_cfg=dict(
	evaluator=dict(
	type='opencompass.openicl.icl_evaluator.AccEvaluator')),
	infer_cfg=dict(
	ice_template=dict(
	ice_token='</E>',
	template=dict(
	A=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于大学物理考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='A', role='BOT'),
	]),
	B=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于大学物理考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='B', role='BOT'),
	]),
	C=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于大学物理考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='C', role='BOT'),
	]),
	D=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于大学物理考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='D', role='BOT'),
	])),
	type=
	'opencompass.openicl.icl_prompt_template.PromptTemplate'),
	inferencer=dict(
	type='opencompass.openicl.icl_inferencer.PPLInferencer'),
	retriever=dict(
	fix_id_list=[
	0,
	1,
	2,
	3,
	4,
	],
	type='opencompass.openicl.icl_retriever.FixKRetriever')),
	name='college_physics',
	path='./data/ceval/formal_ceval',
	reader_cfg=dict(
	input_columns=[
	'question',
	'A',
	'B',
	'C',
	'D',
	],
	output_column='answer',
	test_split='val',
	train_split='dev'),
	type='opencompass.datasets.CEvalDataset'),
	dict(
	abbr='ceval-advanced_mathematics',
	eval_cfg=dict(
	evaluator=dict(
	type='opencompass.openicl.icl_evaluator.AccEvaluator')),
	infer_cfg=dict(
	ice_template=dict(
	ice_token='</E>',
	template=dict(
	A=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于高等数学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='A', role='BOT'),
	]),
	B=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于高等数学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='B', role='BOT'),
	]),
	C=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于高等数学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='C', role='BOT'),
	]),
	D=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于高等数学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='D', role='BOT'),
	])),
	type=
	'opencompass.openicl.icl_prompt_template.PromptTemplate'),
	inferencer=dict(
	type='opencompass.openicl.icl_inferencer.PPLInferencer'),
	retriever=dict(
	fix_id_list=[
	0,
	1,
	2,
	3,
	4,
	],
	type='opencompass.openicl.icl_retriever.FixKRetriever')),
	name='advanced_mathematics',
	path='./data/ceval/formal_ceval',
	reader_cfg=dict(
	input_columns=[
	'question',
	'A',
	'B',
	'C',
	'D',
	],
	output_column='answer',
	test_split='val',
	train_split='dev'),
	type='opencompass.datasets.CEvalDataset'),
	dict(
	abbr='ceval-high_school_physics',
	eval_cfg=dict(
	evaluator=dict(
	type='opencompass.openicl.icl_evaluator.AccEvaluator')),
	infer_cfg=dict(
	ice_template=dict(
	ice_token='</E>',
	template=dict(
	A=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于高中物理考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='A', role='BOT'),
	]),
	B=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于高中物理考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='B', role='BOT'),
	]),
	C=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于高中物理考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='C', role='BOT'),
	]),
	D=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于高中物理考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='D', role='BOT'),
	])),
	type=
	'opencompass.openicl.icl_prompt_template.PromptTemplate'),
	inferencer=dict(
	type='opencompass.openicl.icl_inferencer.PPLInferencer'),
	retriever=dict(
	fix_id_list=[
	0,
	1,
	2,
	3,
	4,
	],
	type='opencompass.openicl.icl_retriever.FixKRetriever')),
	name='high_school_physics',
	path='./data/ceval/formal_ceval',
	reader_cfg=dict(
	input_columns=[
	'question',
	'A',
	'B',
	'C',
	'D',
	],
	output_column='answer',
	test_split='val',
	train_split='dev'),
	type='opencompass.datasets.CEvalDataset'),
	dict(
	abbr='ceval-high_school_chemistry',
	eval_cfg=dict(
	evaluator=dict(
	type='opencompass.openicl.icl_evaluator.AccEvaluator')),
	infer_cfg=dict(
	ice_template=dict(
	ice_token='</E>',
	template=dict(
	A=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于高中化学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='A', role='BOT'),
	]),
	B=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于高中化学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='B', role='BOT'),
	]),
	C=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于高中化学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='C', role='BOT'),
	]),
	D=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于高中化学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='D', role='BOT'),
	])),
	type=
	'opencompass.openicl.icl_prompt_template.PromptTemplate'),
	inferencer=dict(
	type='opencompass.openicl.icl_inferencer.PPLInferencer'),
	retriever=dict(
	fix_id_list=[
	0,
	1,
	2,
	3,
	4,
	],
	type='opencompass.openicl.icl_retriever.FixKRetriever')),
	name='high_school_chemistry',
	path='./data/ceval/formal_ceval',
	reader_cfg=dict(
	input_columns=[
	'question',
	'A',
	'B',
	'C',
	'D',
	],
	output_column='answer',
	test_split='val',
	train_split='dev'),
	type='opencompass.datasets.CEvalDataset'),
	dict(
	abbr='ceval-high_school_biology',
	eval_cfg=dict(
	evaluator=dict(
	type='opencompass.openicl.icl_evaluator.AccEvaluator')),
	infer_cfg=dict(
	ice_template=dict(
	ice_token='</E>',
	template=dict(
	A=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于高中生物考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='A', role='BOT'),
	]),
	B=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于高中生物考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='B', role='BOT'),
	]),
	C=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于高中生物考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='C', role='BOT'),
	]),
	D=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于高中生物考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='D', role='BOT'),
	])),
	type=
	'opencompass.openicl.icl_prompt_template.PromptTemplate'),
	inferencer=dict(
	type='opencompass.openicl.icl_inferencer.PPLInferencer'),
	retriever=dict(
	fix_id_list=[
	0,
	1,
	2,
	3,
	4,
	],
	type='opencompass.openicl.icl_retriever.FixKRetriever')),
	name='high_school_biology',
	path='./data/ceval/formal_ceval',
	reader_cfg=dict(
	input_columns=[
	'question',
	'A',
	'B',
	'C',
	'D',
	],
	output_column='answer',
	test_split='val',
	train_split='dev'),
	type='opencompass.datasets.CEvalDataset'),
	dict(
	abbr='ceval-middle_school_mathematics',
	eval_cfg=dict(
	evaluator=dict(
	type='opencompass.openicl.icl_evaluator.AccEvaluator')),
	infer_cfg=dict(
	ice_template=dict(
	ice_token='</E>',
	template=dict(
	A=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于初中数学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='A', role='BOT'),
	]),
	B=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于初中数学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='B', role='BOT'),
	]),
	C=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于初中数学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='C', role='BOT'),
	]),
	D=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于初中数学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='D', role='BOT'),
	])),
	type=
	'opencompass.openicl.icl_prompt_template.PromptTemplate'),
	inferencer=dict(
	type='opencompass.openicl.icl_inferencer.PPLInferencer'),
	retriever=dict(
	fix_id_list=[
	0,
	1,
	2,
	3,
	4,
	],
	type='opencompass.openicl.icl_retriever.FixKRetriever')),
	name='middle_school_mathematics',
	path='./data/ceval/formal_ceval',
	reader_cfg=dict(
	input_columns=[
	'question',
	'A',
	'B',
	'C',
	'D',
	],
	output_column='answer',
	test_split='val',
	train_split='dev'),
	type='opencompass.datasets.CEvalDataset'),
	dict(
	abbr='ceval-middle_school_physics',
	eval_cfg=dict(
	evaluator=dict(
	type='opencompass.openicl.icl_evaluator.AccEvaluator')),
	infer_cfg=dict(
	ice_template=dict(
	ice_token='</E>',
	template=dict(
	A=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于初中物理考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='A', role='BOT'),
	]),
	B=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于初中物理考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='B', role='BOT'),
	]),
	C=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于初中物理考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='C', role='BOT'),
	]),
	D=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于初中物理考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='D', role='BOT'),
	])),
	type=
	'opencompass.openicl.icl_prompt_template.PromptTemplate'),
	inferencer=dict(
	type='opencompass.openicl.icl_inferencer.PPLInferencer'),
	retriever=dict(
	fix_id_list=[
	0,
	1,
	2,
	3,
	4,
	],
	type='opencompass.openicl.icl_retriever.FixKRetriever')),
	name='middle_school_physics',
	path='./data/ceval/formal_ceval',
	reader_cfg=dict(
	input_columns=[
	'question',
	'A',
	'B',
	'C',
	'D',
	],
	output_column='answer',
	test_split='val',
	train_split='dev'),
	type='opencompass.datasets.CEvalDataset'),
	dict(
	abbr='ceval-marxism',
	eval_cfg=dict(
	evaluator=dict(
	type='opencompass.openicl.icl_evaluator.AccEvaluator')),
	infer_cfg=dict(
	ice_template=dict(
	ice_token='</E>',
	template=dict(
	A=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于马克思主义基本原理考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='A', role='BOT'),
	]),
	B=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于马克思主义基本原理考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='B', role='BOT'),
	]),
	C=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于马克思主义基本原理考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='C', role='BOT'),
	]),
	D=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于马克思主义基本原理考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='D', role='BOT'),
	])),
	type=
	'opencompass.openicl.icl_prompt_template.PromptTemplate'),
	inferencer=dict(
	type='opencompass.openicl.icl_inferencer.PPLInferencer'),
	retriever=dict(
	fix_id_list=[
	0,
	1,
	2,
	3,
	4,
	],
	type='opencompass.openicl.icl_retriever.FixKRetriever')),
	name='marxism',
	path='./data/ceval/formal_ceval',
	reader_cfg=dict(
	input_columns=[
	'question',
	'A',
	'B',
	'C',
	'D',
	],
	output_column='answer',
	test_split='val',
	train_split='dev'),
	type='opencompass.datasets.CEvalDataset'),
	dict(
	abbr='ceval-high_school_politics',
	eval_cfg=dict(
	evaluator=dict(
	type='opencompass.openicl.icl_evaluator.AccEvaluator')),
	infer_cfg=dict(
	ice_template=dict(
	ice_token='</E>',
	template=dict(
	A=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于高中政治考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='A', role='BOT'),
	]),
	B=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于高中政治考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='B', role='BOT'),
	]),
	C=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于高中政治考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='C', role='BOT'),
	]),
	D=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于高中政治考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='D', role='BOT'),
	])),
	type=
	'opencompass.openicl.icl_prompt_template.PromptTemplate'),
	inferencer=dict(
	type='opencompass.openicl.icl_inferencer.PPLInferencer'),
	retriever=dict(
	fix_id_list=[
	0,
	1,
	2,
	3,
	4,
	],
	type='opencompass.openicl.icl_retriever.FixKRetriever')),
	name='high_school_politics',
	path='./data/ceval/formal_ceval',
	reader_cfg=dict(
	input_columns=[
	'question',
	'A',
	'B',
	'C',
	'D',
	],
	output_column='answer',
	test_split='val',
	train_split='dev'),
	type='opencompass.datasets.CEvalDataset'),
	dict(
	abbr='ceval-high_school_geography',
	eval_cfg=dict(
	evaluator=dict(
	type='opencompass.openicl.icl_evaluator.AccEvaluator')),
	infer_cfg=dict(
	ice_template=dict(
	ice_token='</E>',
	template=dict(
	A=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于高中地理考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='A', role='BOT'),
	]),
	B=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于高中地理考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='B', role='BOT'),
	]),
	C=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于高中地理考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='C', role='BOT'),
	]),
	D=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于高中地理考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='D', role='BOT'),
	])),
	type=
	'opencompass.openicl.icl_prompt_template.PromptTemplate'),
	inferencer=dict(
	type='opencompass.openicl.icl_inferencer.PPLInferencer'),
	retriever=dict(
	fix_id_list=[
	0,
	1,
	2,
	3,
	4,
	],
	type='opencompass.openicl.icl_retriever.FixKRetriever')),
	name='high_school_geography',
	path='./data/ceval/formal_ceval',
	reader_cfg=dict(
	input_columns=[
	'question',
	'A',
	'B',
	'C',
	'D',
	],
	output_column='answer',
	test_split='val',
	train_split='dev'),
	type='opencompass.datasets.CEvalDataset'),
	dict(
	abbr='ceval-ideological_and_moral_cultivation',
	eval_cfg=dict(
	evaluator=dict(
	type='opencompass.openicl.icl_evaluator.AccEvaluator')),
	infer_cfg=dict(
	ice_template=dict(
	ice_token='</E>',
	template=dict(
	A=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于思想道德修养与法律基础考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='A', role='BOT'),
	]),
	B=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于思想道德修养与法律基础考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='B', role='BOT'),
	]),
	C=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于思想道德修养与法律基础考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='C', role='BOT'),
	]),
	D=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于思想道德修养与法律基础考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='D', role='BOT'),
	])),
	type=
	'opencompass.openicl.icl_prompt_template.PromptTemplate'),
	inferencer=dict(
	type='opencompass.openicl.icl_inferencer.PPLInferencer'),
	retriever=dict(
	fix_id_list=[
	0,
	1,
	2,
	3,
	4,
	],
	type='opencompass.openicl.icl_retriever.FixKRetriever')),
	name='ideological_and_moral_cultivation',
	path='./data/ceval/formal_ceval',
	reader_cfg=dict(
	input_columns=[
	'question',
	'A',
	'B',
	'C',
	'D',
	],
	output_column='answer',
	test_split='val',
	train_split='dev'),
	type='opencompass.datasets.CEvalDataset'),
	dict(
	abbr='ceval-high_school_chinese',
	eval_cfg=dict(
	evaluator=dict(
	type='opencompass.openicl.icl_evaluator.AccEvaluator')),
	infer_cfg=dict(
	ice_template=dict(
	ice_token='</E>',
	template=dict(
	A=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于高中语文考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='A', role='BOT'),
	]),
	B=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于高中语文考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='B', role='BOT'),
	]),
	C=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于高中语文考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='C', role='BOT'),
	]),
	D=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于高中语文考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='D', role='BOT'),
	])),
	type=
	'opencompass.openicl.icl_prompt_template.PromptTemplate'),
	inferencer=dict(
	type='opencompass.openicl.icl_inferencer.PPLInferencer'),
	retriever=dict(
	fix_id_list=[
	0,
	1,
	2,
	3,
	4,
	],
	type='opencompass.openicl.icl_retriever.FixKRetriever')),
	name='high_school_chinese',
	path='./data/ceval/formal_ceval',
	reader_cfg=dict(
	input_columns=[
	'question',
	'A',
	'B',
	'C',
	'D',
	],
	output_column='answer',
	test_split='val',
	train_split='dev'),
	type='opencompass.datasets.CEvalDataset'),
	dict(
	abbr='ceval-sports_science',
	eval_cfg=dict(
	evaluator=dict(
	type='opencompass.openicl.icl_evaluator.AccEvaluator')),
	infer_cfg=dict(
	ice_template=dict(
	ice_token='</E>',
	template=dict(
	A=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于体育学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='A', role='BOT'),
	]),
	B=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于体育学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='B', role='BOT'),
	]),
	C=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于体育学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='C', role='BOT'),
	]),
	D=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于体育学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='D', role='BOT'),
	])),
	type=
	'opencompass.openicl.icl_prompt_template.PromptTemplate'),
	inferencer=dict(
	type='opencompass.openicl.icl_inferencer.PPLInferencer'),
	retriever=dict(
	fix_id_list=[
	0,
	1,
	2,
	3,
	4,
	],
	type='opencompass.openicl.icl_retriever.FixKRetriever')),
	name='sports_science',
	path='./data/ceval/formal_ceval',
	reader_cfg=dict(
	input_columns=[
	'question',
	'A',
	'B',
	'C',
	'D',
	],
	output_column='answer',
	test_split='val',
	train_split='dev'),
	type='opencompass.datasets.CEvalDataset'),
	dict(
	abbr='ceval-basic_medicine',
	eval_cfg=dict(
	evaluator=dict(
	type='opencompass.openicl.icl_evaluator.AccEvaluator')),
	infer_cfg=dict(
	ice_template=dict(
	ice_token='</E>',
	template=dict(
	A=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于基础医学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='A', role='BOT'),
	]),
	B=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于基础医学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='B', role='BOT'),
	]),
	C=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于基础医学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='C', role='BOT'),
	]),
	D=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于基础医学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='D', role='BOT'),
	])),
	type=
	'opencompass.openicl.icl_prompt_template.PromptTemplate'),
	inferencer=dict(
	type='opencompass.openicl.icl_inferencer.PPLInferencer'),
	retriever=dict(
	fix_id_list=[
	0,
	1,
	2,
	3,
	4,
	],
	type='opencompass.openicl.icl_retriever.FixKRetriever')),
	name='basic_medicine',
	path='./data/ceval/formal_ceval',
	reader_cfg=dict(
	input_columns=[
	'question',
	'A',
	'B',
	'C',
	'D',
	],
	output_column='answer',
	test_split='val',
	train_split='dev'),
	type='opencompass.datasets.CEvalDataset'),
	dict(
	abbr='ceval-probability_and_statistics',
	eval_cfg=dict(
	evaluator=dict(
	type='opencompass.openicl.icl_evaluator.AccEvaluator')),
	infer_cfg=dict(
	ice_template=dict(
	ice_token='</E>',
	template=dict(
	A=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于概率统计考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='A', role='BOT'),
	]),
	B=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于概率统计考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='B', role='BOT'),
	]),
	C=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于概率统计考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='C', role='BOT'),
	]),
	D=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于概率统计考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='D', role='BOT'),
	])),
	type=
	'opencompass.openicl.icl_prompt_template.PromptTemplate'),
	inferencer=dict(
	type='opencompass.openicl.icl_inferencer.PPLInferencer'),
	retriever=dict(
	fix_id_list=[
	0,
	1,
	2,
	3,
	4,
	],
	type='opencompass.openicl.icl_retriever.FixKRetriever')),
	name='probability_and_statistics',
	path='./data/ceval/formal_ceval',
	reader_cfg=dict(
	input_columns=[
	'question',
	'A',
	'B',
	'C',
	'D',
	],
	output_column='answer',
	test_split='val',
	train_split='dev'),
	type='opencompass.datasets.CEvalDataset'),
	dict(
	abbr='ceval-high_school_mathematics',
	eval_cfg=dict(
	evaluator=dict(
	type='opencompass.openicl.icl_evaluator.AccEvaluator')),
	infer_cfg=dict(
	ice_template=dict(
	ice_token='</E>',
	template=dict(
	A=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于高中数学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='A', role='BOT'),
	]),
	B=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于高中数学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='B', role='BOT'),
	]),
	C=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于高中数学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='C', role='BOT'),
	]),
	D=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于高中数学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='D', role='BOT'),
	])),
	type=
	'opencompass.openicl.icl_prompt_template.PromptTemplate'),
	inferencer=dict(
	type='opencompass.openicl.icl_inferencer.PPLInferencer'),
	retriever=dict(
	fix_id_list=[
	0,
	1,
	2,
	3,
	4,
	],
	type='opencompass.openicl.icl_retriever.FixKRetriever')),
	name='high_school_mathematics',
	path='./data/ceval/formal_ceval',
	reader_cfg=dict(
	input_columns=[
	'question',
	'A',
	'B',
	'C',
	'D',
	],
	output_column='answer',
	test_split='val',
	train_split='dev'),
	type='opencompass.datasets.CEvalDataset'),
	dict(
	abbr='ceval-discrete_mathematics',
	eval_cfg=dict(
	evaluator=dict(
	type='opencompass.openicl.icl_evaluator.AccEvaluator')),
	infer_cfg=dict(
	ice_template=dict(
	ice_token='</E>',
	template=dict(
	A=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于离散数学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='A', role='BOT'),
	]),
	B=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于离散数学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='B', role='BOT'),
	]),
	C=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于离散数学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='C', role='BOT'),
	]),
	D=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于离散数学考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='D', role='BOT'),
	])),
	type=
	'opencompass.openicl.icl_prompt_template.PromptTemplate'),
	inferencer=dict(
	type='opencompass.openicl.icl_inferencer.PPLInferencer'),
	retriever=dict(
	fix_id_list=[
	0,
	1,
	2,
	3,
	4,
	],
	type='opencompass.openicl.icl_retriever.FixKRetriever')),
	name='discrete_mathematics',
	path='./data/ceval/formal_ceval',
	reader_cfg=dict(
	input_columns=[
	'question',
	'A',
	'B',
	'C',
	'D',
	],
	output_column='answer',
	test_split='val',
	train_split='dev'),
	type='opencompass.datasets.CEvalDataset'),
	dict(
	abbr='ceval-middle_school_geography',
	eval_cfg=dict(
	evaluator=dict(
	type='opencompass.openicl.icl_evaluator.AccEvaluator')),
	infer_cfg=dict(
	ice_template=dict(
	ice_token='</E>',
	template=dict(
	A=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于初中地理考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='A', role='BOT'),
	]),
	B=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于初中地理考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='B', role='BOT'),
	]),
	C=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于初中地理考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='C', role='BOT'),
	]),
	D=dict(
	begin='</E>',
	round=[
	dict(
	prompt=
	'以下是中国关于初中地理考试的单项选择题，请选出其中的正确答案。\n{question}\nA. {A}\nB. {B}\nC. {C}\nD. {D}\n答案: ',
	role='HUMAN'),
	dict(prompt='D', role='BOT'),
	])),
	type=
	'opencompass.openicl.icl_prompt_template.PromptTemplate'),
	inferencer=dict(
	type='opencompass.openicl.icl_inferencer.PPLInferencer'),
	retriever=dict(
	fix_id_list=[
	0,
	1,
	2,
	3,
	4,
	],
	type='opencompass.openicl.icl_retriever.FixKRetriever')),
	name='middle_school_geography',
	path='./data/ceval/formal_ceval',
	reader_cfg=dict(
	input_columns=[
	'question',
	'A',
	'B',
	'C',
	'D',
	],
	output_column='answer',
	test_split='val',
	train_split='dev'),
	type='opencompass.datasets.CEvalDataset'),
	],
	]
	models = [
	dict(
	abbr='my_api',
	api_key='',
	batch_size=8,
	max_out_len=100,
	max_seq_len=2048,
	meta_template=dict(round=[
	dict(api_role='HUMAN', role='HUMAN'),
	dict(api_role='BOT', generate=True, role='BOT'),
	]),
	path='my_api',
	run_cfg=dict(num_gpus=1, num_procs=1),
	type='opencompass.models.my_api.MyAPIModel',
	url='http://127.0.0.1:12345/testing'),
	]
	work_dir = './outputs/default/20240306_165219'