auto push 2025-05-04 21:11:35

Automatic upload of model artifacts.

README.md

@@ -22,10 +22,21 @@ Este directorio contiene checkpoints intermedios y el modelo final fine-tuned co
 # Lógica de Entrenamiento
 Cada ciclo de entrenamiento:
 1. Lista todos los datasets públicos de Hugging Face.
-2. Para cada dataset, descarga completo y concatena splits.
+2. Para cada dataset, recorre en streaming todos los splits.
 3. Tokeniza cada ejemplo según la longitud máxima del modelo.
-4. Aplica LoRA sobre el modelo base, entrena en todo el dataset.
+4. Aplica LoRA sobre el modelo base, entrena un paso por dataset.
 5. Fusiona los parámetros LoRA al modelo y guarda el checkpoint.
 6. Sube periódicamente los artefactos al repositorio.
 
 # Estadísticas de Entrenamiento
+- Dataset: <dataset_id>
+  - Ejemplos procesados: <número>
+  - Tokens procesados: <número>
+
+- Dataset: nvidia/OpenMathReasoning
+  - Ejemplos procesados: 10
+  - Tokens procesados: 10240
+
+- Dataset: nvidia/Nemotron-CrossThink
+  - Ejemplos procesados: 10
+  - Tokens procesados: 10240

model.safetensors

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:2292746bbdb6602312062d3fc17596e8ea2f571ea4dced676511072549c0cbf7
+oid sha256:d9668603f9eacc7c271f90d4bda4b56dbbe566a43f5f8d50af2feaac20006286
 size 51957256

tokenizer_config.json

@@ -33,7 +33,7 @@
   "eos_token": "</s>",
   "extra_special_tokens": {},
   "legacy": true,
-  "model_max_length": 1024,
+  "model_max_length": 2048,
   "pad_token": "</s>",
   "sp_model_kwargs": {},
   "spaces_between_special_tokens": false,