Update finetuning.py

finetuning.py

@@ -21,23 +21,23 @@ from peft import LoraConfig, PeftModel, get_peft_model
 from trl import SFTTrainer
 
 # Le modèle que nous allons utiliser dans le Hugging Face hub
-model_name = "mistral-hermes"
+model_name = "mistral-hermes-2.5"
 
 torch.cuda.empty_cache()
 
 #project_directory = "~/finetuning/sigmund-spplus"
 
 # Le nom du nouveau modèle
-new_model_name = "mistral-mfs-reference"
+new_model_name = "mistral-mfs-reference-2"
 
 # The output directory where the model predictions and checkpoints will be written
-output_dir = "./mistral-mfs-reference"
+output_dir = "./mistral-mfs-reference-2"
 
 # Tensorboard logs
-tb_log_dir = "./mistral-mfs-reference/logs"
+tb_log_dir = "./mistral-mfs-reference-2/logs"
 
 # Nombre de steps : à ajuster selon la taille du corpus et le nombre d'epochs à faire tourner.
-max_steps = 500
+max_steps = 2000
 
 # Les paramètres importants !!
 per_device_train_batch_size = 4 #Nombre d'exemples envoyés par batch. En mettre plus pour aller plus vite.
@@ -117,7 +117,7 @@ tokenizer = AutoTokenizer.from_pretrained(model_name)
 
 # This is the fix for fp16 training
 #tokenizer.padding_side = "right"
-#tokenizer.pad_token = tokenizer.eos_token
+tokenizer.pad_token = tokenizer.eos_token
 
 #3. Préparation de la base de données
 
@@ -134,7 +134,7 @@ def template_dataset(sample):
 
 # Chargement du dataset.
 #dataset = load_dataset("databricks/databricks-dolly-15k", split="train")
-data_files = {"train": "references_mfs_corpus.json"}
+data_files = {"train": "corpus_guillaume_tell_2.json"}
 dataset = load_dataset("json", data_files=data_files, split="train")
 
 # Shuffle the dataset