File size: 387 Bytes
9ed01de
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
from .pair_dataset import make_pair_data_module
from .single_dataset import make_single_data_module


def make_data_module(tokenizer, data_args):
    if data_args.dataset_type == "single":
        return make_single_data_module(tokenizer, data_args)
    elif data_args.dataset_type == "pair":
        return make_pair_data_module(tokenizer, data_args)
    else:
        raise ValueError