Update README.md

README.md

@@ -1,151 +1,70 @@
 ---
-library_name: transformers
-tags:
-- generated_from_trainer
 datasets:
-- 2025-01_conversations_truncated.jsonl
-model-index:
-- name: outputs/
-  results: []
+- Error410/sharegpt
+language:
+- fr
+base_model:
+- meta-llama/Llama-3.2-3B-Instruct
+tags:
+- jvc
+- issou
+- aya
 ---
+# Error410/JVCGPT-Mini-beta
 
-<!-- This model card has been generated automatically according to the information the Trainer had access to. You
-should probably proofread and complete it, then remove this comment. -->
+![image/png](https://cdn-uploads.huggingface.co/production/uploads/63ab1241ad514ca8d1430003/R0ZRrgMITvprcoXajAnPi.png)
 
-[<img src="https://raw.githubusercontent.com/axolotl-ai-cloud/axolotl/main/image/axolotl-badge-web.png" alt="Built with Axolotl" width="200" height="32"/>](https://github.com/axolotl-ai-cloud/axolotl)
-<details><summary>See axolotl config</summary>
+## Description
+Ce modèle est une version fine-tunée de **Llama 3.2 3B** ayant pour objectif de reproduire les styles d’écriture et les posts des utilisateurs du forum **jeuxvideo.com**. Entraîné sur une fraction des données publiques de **JVArchive**, ce modèle est conçu pour capturer le ton, l’humour et les références propres à cette communauté en ligne.
 
-axolotl version: `0.6.0`
-```yaml
-base_model: ./meta-llama_Llama-3.2-3B
-# optionally might have model_type or tokenizer_type
-model_type: LlamaForCausalLM
-tokenizer_type: AutoTokenizer
-# Automatically upload checkpoint and final model to HF
-# hub_model_id: username/custom_model_name
 
-load_in_8bit: false
-load_in_4bit: false
-strict: false
+## Détails du modèle
+- **Base** : Llama 3.2 (3B paramètres)
+- **Dataset utilisé** : 2% de JVArchive (public et accessible librement)
+- **Entraînement** : 3 heures pour 2 epoch sur un cluster de 8 NVIDIA L40S sur un contexte de 4096 tokens.
+- **Objectif** : Générer des messages imitant le style des utilisateurs de jeuxvideo.com
+- **Accès** : Dataset et modèles disponibles gratuitement sur notre repo [Error410](https://huggingface.co/Error410/).
 
-datasets:
-  - path: 2025-01_conversations_truncated.jsonl
-    type: chat_template
-    chat_template: llama3
-    field_messages: conversations
-    message_field_role: from
-    message_field_content: value
-    roles:
-      user:
-        - human
-      assistant:
-        - gpt
-      system:
-        - system
-dataset_prepared_path:
-val_set_size: 0.05
-output_dir: ./outputs/
-dataset_prepared_path: last_run_prepared
-
-sequence_len: 4096
-eval_sample_packing: false
-sample_packing: true
-pad_to_sequence_len: true
-
-wandb_project: JVCGPT Light 3b base
-wandb_entity:
-wandb_watch:
-wandb_name:
-wandb_log_model:
-
-gradient_accumulation_steps: 4
-micro_batch_size: 2
-num_epochs: 4
-optimizer: paged_adamw_8bit
-lr_scheduler: cosine
-learning_rate: 0.000007
-
-train_on_inputs: true
-group_by_length: false
-bf16: auto
-fp16:
-tf32: false
-
-gradient_checkpointing: unsloth
-early_stopping_patience:
-resume_from_checkpoint:
-local_rank:
-logging_steps: 1
-xformers_attention:
-flash_attention: true
-s2_attention:
-
-warmup_steps: 100
-eval_table_size:
-saves_per_epoch: 2
-debug:
-deepspeed:
-weight_decay: 0.0
-fsdp:
-fsdp_config:
-special_tokens:
-   pad_token: <|end_of_text|>
-save_safetensors: true
-save_total_limit: 10
-```
 
-</details><br>
+## Format du prompt
 
-# outputs/
+```
+<|begin_of_text|><|start_header_id|>system<|end_header_id|>
 
-This model was trained from scratch on the 2025-01_conversations_truncated.jsonl dataset.
-It achieves the following results on the evaluation set:
-- Loss: 1.1520
+Réponds comme un membre actif du forum, en respectant le style, les références et le ton typiques du topic en cours.
+Topic: <TOPIC>|eot_id|><|start_header_id|>user<|end_header_id|>
 
-## Model description
+<|im_pseudo|>PSEUDO<|end_pseudo|>
+<|im_date|>DATE<|end_date|>
 
-More information needed
+<|begin_of_post|>POST<|end_of_post|><|eot_id|><|start_header_id|>assistant<|end_header_id|>
 
-## Intended uses & limitations
+<|im_pseudo|>PSEUDO<|end_pseudo|>
+<|im_date|>DATE<|end_date|>
 
-More information needed
+<|begin_of_post|>POST<|end_of_post|><|eot_id|>
+```
 
-## Training and evaluation data
+Template SillyTavern: https://huggingface.co/Error410/JVCGPT-Mini-beta/blob/main/SillyTavern%20Prompt%20Format.json
 
-More information needed
+## Performances
+- **Style** : Captures efficacement les références, expressions, et styles d’écriture caractéristiques des forums jeuxvideo.com.
+- **Légèreté** : Adapté pour tout grâce à sa petit taille de 3B de paramètres.
+- **Temps de réponse** : Optimisé pour des générations rapides à faible coût.
 
-## Training procedure
 
-### Training hyperparameters
+## Dataset
+Le modèle a été entraîné sur une sélection de **2% des archives de JVArchive** (100 000 topics). Ces données ont été traitées et filtrées pour garantir une qualité et une diversité optimales.
 
-The following hyperparameters were used during training:
-- learning_rate: 7e-06
-- train_batch_size: 2
-- eval_batch_size: 2
-- seed: 42
-- distributed_type: multi-GPU
-- num_devices: 4
-- gradient_accumulation_steps: 4
-- total_train_batch_size: 32
-- total_eval_batch_size: 8
-- optimizer: Use OptimizerNames.PAGED_ADAMW_8BIT with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
-- lr_scheduler_type: cosine
-- lr_scheduler_warmup_steps: 100
-- num_epochs: 4
 
-### Training results
+## Licence
+Le modèle, le dataset, et tous les fichiers associés sont mis à disposition gratuitement sous la même license (PUBLIC) que JVArchive, dans notre repo.
 
-| Training Loss | Epoch  | Step | Validation Loss |
-|:-------------:|:------:|:----:|:---------------:|
-| 0.6055        | 1.0006 | 789  | 1.1893          |
-| 0.5619        | 2.0006 | 1578 | 1.1576          |
-| 0.4873        | 3.0006 | 2367 | 1.1522          |
-| 1.2133        | 3.9917 | 3148 | 1.1520          |
 
+## Remerciements
+Un grand merci à **JVArchive** pour l’accès aux données publiques et à la communauté jeuxvideo.com pour son inspiration. Ce projet est dédié aux passionnés de l’histoire du forum et à la culture internet.
 
-### Framework versions
+## Auteurs
 
-- Transformers 4.47.1
-- Pytorch 2.5.1+cu124
-- Datasets 3.2.0
-- Tokenizers 0.21.0
+- [Greums](https://huggingface.co/Greums/) : Pro des datasets bordelent cimer chef
+- [Undi](https://huggingface.co/Undi95/)