Mauricio-100 commited on
Commit
8555e75
·
verified ·
1 Parent(s): 8775924

Create core/dataset_loader.py

Browse files
Files changed (1) hide show
  1. core/dataset_loader.py +6 -0
core/dataset_loader.py ADDED
@@ -0,0 +1,6 @@
 
 
 
 
 
 
 
1
+ from datasets import load_dataset, concatenate_datasets
2
+
3
+ def load_multiple_datasets():
4
+ print("📦 Téléchargement et préparation des datasets...")
5
+ ds1 = load_dataset("OpenAssistant/oasst1", split="train[:2%]")
6
+ return concatenate_datasets([ds1, ds2, ds3])