|
|
--- |
|
|
language: en |
|
|
tags: |
|
|
- text-classification |
|
|
- roberta |
|
|
- custom |
|
|
datasets: |
|
|
- google/jigsaw_toxicity_pred |
|
|
base_model: |
|
|
- FacebookAI/roberta-base |
|
|
pipeline_tag: text-classification |
|
|
--- |
|
|
|
|
|
Lien Hugging Face: https://huggingface.co/dorian20/roberta_base_6000_sl |
|
|
|
|
|
# Modèle finetuné de RoBERTa-base pour la détection de toxicité dans un texte |
|
|
|
|
|
Le modèle a pour objectif de détecter la toxicité dans un texte en prédisant la probabilité d'appartenir à ces catégories attribuant un score pour chacune de ces catégories. |
|
|
Catégories: toxic, severe_toxic, obscene, threat, insult, identity_hate |
|
|
|
|
|
Le dataset utilisé est celui de Google appelé jigsaw_toxicity_pred. Nous avons utilisé un subset pour cette version du modèle. |
|
|
|
|
|
# Paramètres d'entraînement |
|
|
training_args = TrainingArguments( |
|
|
output_dir="./results", |
|
|
evaluation_strategy="epoch", |
|
|
save_strategy="epoch", |
|
|
learning_rate=2e-5, |
|
|
per_device_train_batch_size=32, |
|
|
per_device_eval_batch_size=16, |
|
|
num_train_epochs=10, |
|
|
weight_decay=0.01, |
|
|
save_total_limit=5, |
|
|
logging_dir="./logs", |
|
|
logging_steps=50, |
|
|
load_best_model_at_end=True, |
|
|
gradient_accumulation_steps=4, |
|
|
dataloader_num_workers=8, |
|
|
dataloader_pin_memory=True, |
|
|
fp16=True, |
|
|
|
|
|
) |
|
|
|
|
|
# Erreur moyenne absolue par catégorie sur le dataset d'entraînement: |
|
|
|
|
|
toxic: 0.1266 |
|
|
severe_toxic: 0.0386 |
|
|
obscene: 0.0673 |
|
|
threat: 0.0437 |
|
|
insult: 0.0832 |
|
|
identity_hate: 0.0513 |
|
|
|
