Create app.py

app.py

@@ -0,0 +1,41 @@
+from transformers import AutoModelForSequenceClassification, AutoTokenizer, Trainer, TrainingArguments
+from datasets import load_dataset
+import os
+
+# Charger le jeu de données SST-2
+dataset = load_dataset("glue", "sst2")
+
+# Charger le modèle BERT pré-entraîné et le tokenizer associé
+model_name = "bert-base-uncased"
+tokenizer = AutoTokenizer.from_pretrained(model_name)
+model = AutoModelForSequenceClassification.from_pretrained(model_name, num_labels=2)  # 2 classes : positif et négatif
+
+# Prétraitement des données
+def preprocess_function(examples):
+    return tokenizer(examples["sentence"], padding="max_length", truncation=True)
+
+encoded_dataset = dataset.map(preprocess_function, batched=True)
+
+# Configuration des arguments d'entraînement
+training_args = TrainingArguments(
+    per_device_train_batch_size=8,
+    evaluation_strategy="epoch",
+    logging_dir="./logs",
+    output_dir="./results",
+    num_train_epochs=3,
+)
+
+# Entraînement du modèle
+trainer = Trainer(
+    model=model,
+    args=training_args,
+    train_dataset=encoded_dataset["train"],
+    eval_dataset=encoded_dataset["validation"],
+)
+
+# Entraîner le modèle
+trainer.train()
+
+# Sauvegarder le modèle fine-tuné et le tokenizer
+model.save_pretrained("./fine_tuned_model")
+tokenizer.save_pretrained("./fine_tuned_model")