Update README.md

README.md

@@ -11,13 +11,9 @@ language:
 Este modelo es el primer paso hacia un modelo de lenguaje que pueda usarse para reescribir de textos de carácter adminsitrativo 
 con el objetivo de mejorar su comprensión para personas con alto y bajo nivel cultural y socieconómico. 
 
-
-
-## Model Details
-
 ### Model Description
 
-El modelo es el resultado de un proceso de ajuste fino de phi-2, desarrollado por microsoft con unos 2.5b de parámetros. Para el
+El modelo es el resultado de un proceso de ajuste fino de [phi-2](https://huggingface.co/microsoft/phi-2), desarrollado por microsoft con unos 2.5b de parámetros. Para el
 ajuste se han extraído multitud de textos de índole administrativa de las principales páginas web de la administración del Estado español. 
 
 Para la carga y ajuste del modelo se han utilizado técnicas de cuantización con la siguiente configuración: 
@@ -27,17 +23,60 @@ bnb_config = BitsAndBytesConfig(load_in_4bit=True,
                                 bnb_4bit_quant_type='nf4',
                                 bnb_4bit_compute_dtype='float16',
                                 bnb_4bit_use_double_quant=True)
+```
 
 
-
-
+y se ha aplicado LoRA a las capas lineales para el fine-tunning:
+```
+config = LoraConfig(
+    r=16,
+    lora_alpha=32,
+    target_modules=[
+    'q_proj',
+    'k_proj',
+    'v_proj',
+    'dense',
+    'fc1',
+    'fc2',
+    ], #print(model) will show the modules to use
+    bias="none",
+    lora_dropout=0.05,
+    task_type="CAUSAL_LM",
 ```
-y se ha aplicado LoRA a las capas lineales para el fine-tunning. 
-
 
+## Parámetros de entrenamiento
+Para el entrenamiento se utilizaron los siguientes parámetros:
+```
+training_args = TrainingArguments(
+    output_dir='./results', 
+    overwrite_output_dir=True, 
+    per_device_train_batch_size=2,  
+    per_device_eval_batch_size=2,  
+    gradient_accumulation_steps=5, 
+    gradient_checkpointing=True,   
+    gradient_checkpointing_kwargs={"use_reentrant": False},
+    warmup_steps=50,  
+    #max_steps=1000,  
+    num_train_epochs=2, 
+    learning_rate=5e-5,  
+    weight_decay=0.01, 
+    optim="paged_adamw_8bit", 
+    fp16=True, 
+    logging_dir='./logs',
+    logging_strategy="steps",
+    logging_steps=100,
+    save_strategy="steps",
+    save_steps=200,
+    save_total_limit=2, 
+    evaluation_strategy="steps",
+    eval_steps=200,
+    load_best_model_at_end=True, 
+)
+```
 ## Prompting
 El prompt para el uso sigue la siguiente estructura:
 
+```
 prompt = f"""###System:
 Lee el siguiente texto y hazlo más claro:
 ###Texto:
@@ -46,25 +85,23 @@ Lee el siguiente texto y hazlo más claro:
 
 ###Texto aclarado:
 """
+```
 
 
 
 
-- **Developed by:** [More Information Needed]
+- **Developed by:** [Sergio Chicón](https://huggingface.co/telodigoensergio)
 - **Funded by [optional]:** [More Information Needed]
 - **Shared by [optional]:** [More Information Needed]
 - **Model type:** [More Information Needed]
 - **Language(s) (NLP):** [More Information Needed]
 - **License:** [More Information Needed]
-- **Finetuned from model [optional]:** [More Information Needed]
+- **Finetuned from model:** [Microsoft/phi-2](https://huggingface.co/microsoft/phi-2)
 
-### Model Sources [optional]
+### Model Sources
 
-<!-- Provide the basic links for the model. -->
+- **Repository:** [Google Colab](https://colab.research.google.com/drive/1qSOtPtRHCN5D1VW6MG-pe17OUZf4D2Q5?usp=sharing)
 
-- **Repository:** [More Information Needed]
-- **Paper [optional]:** [More Information Needed]
-- **Demo [optional]:** [More Information Needed]
 
 ## Uses