Refractor Readme

README.md

@@ -1,2 +1,73 @@
-# CamemBert-Gpt POIDS UNIQUEMENT
-Projet Final pour Sorbonne Université, machine learning avancé
+---
+language: fr
+tags:
+- french
+- camembert
+- nlp
+- language-model
+- transformers
+- oscar
+- moscar
+license: mit
+datasets:
+- oscar
+- moscar
+metrics:
+- loss
+- learning_rate
+- eval_loss
+- eval_runtime
+- eval_samples_per_second
+- eval_steps_per_second
+- train_runtime
+- train_samples_per_second
+- train_steps_per_second
+---
+
+# CamemBERT-Gpt POIDS UNIQUEMENT
+
+Ce dépôt contient les poids et checkpoints des différentes itérations d'entraînement de notre implémentation de CamemBERT, réalisée dans le cadre d'un projet à Sorbonne Université.
+
+## Structure du Projet
+
+```
+cam_runX/
+├── checkpoints/
+│   ├── checkpoint-XXX/
+│   └── checkpoint-XXX/
+├── weights/
+└── model_info.txt
+```
+
+## Description du Modèle
+
+CamemBERT est un modèle de langue français basé sur l'architecture RoBERTa. Cette implémentation vise à reproduire et potentiellement améliorer le modèle original.
+
+## Données d'Entraînement
+
+- **Datasets**: mOSCAR/OSCAR
+- **Langue**: Français
+- **Source**: [OSCAR Corpus](https://oscar-corpus.com/)
+
+## Paramètres d'Entraînement
+
+Les checkpoints sont sauvegardés à intervalles réguliers pendant l'entraînement. Chaque dossier `cam_runX` représente une session d'entraînement complète avec ses propres paramètres et résultats.
+
+## Repository GitHub associé
+
+Le code source complet et la documentation détaillée sont disponibles sur notre [repository GitHub](https://github.com/CocoLng/CamemBERT-Gpt).
+
+## Citations
+
+```bibtex
+@inproceedings{martin2020camembert,
+    title={CamemBERT: a Tasty French Language Model},
+    author={Martin, Louis and Muller, Benjamin and Ortiz Suárez, Pedro Javier and Dupont, Yoann and Romary, Laurent and de la Clergerie, Éric Villemonte and Seddah, Djamé and Sagot, Benoît},
+    booktitle={Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics},
+    year={2020}
+}
+```
+
+## Contact
+
+Pour toute question concernant ce modèle ou son utilisation, veuillez ouvrir une issue sur le [repository GitHub](https://github.com/CocoLng/CamemBERT-Gpt).