File size: 387 Bytes
9ed01de | 1 2 3 4 5 6 7 8 9 10 11 12 | from .pair_dataset import make_pair_data_module
from .single_dataset import make_single_data_module
def make_data_module(tokenizer, data_args):
if data_args.dataset_type == "single":
return make_single_data_module(tokenizer, data_args)
elif data_args.dataset_type == "pair":
return make_pair_data_module(tokenizer, data_args)
else:
raise ValueError
|