course/pr_1213/es/chapter11/1.md

Ajuste fino supervisado

En la Sección 2 del Capítulo 2, vimos que los modelos de lenguaje generativos se pueden ajustar para tareas concretas, como la resumición y la respuesta a preguntas. Sin embargo, hoy en día es mucho más habitual ajustar modelos de lenguaje para una amplia variedad de tareas al mismo tiempo; un método conocido como ajuste fino supervisado (SFT, por sus siglas en inglés). Este proceso ayuda a que los modelos sean más versátiles y capaces de manejar casos de uso diversos. La mayoría de los LLM con los que la gente interactúa en plataformas como ChatGPT han pasado por SFT para ser más útiles y estar mejor alineados con las preferencias humanas. Dividiremos este capítulo en cuatro secciones:

1️⃣ Plantillas de chat

Las plantillas de chat estructuran las interacciones entre los usuarios y los modelos de IA, garantizando respuestas coherentes y apropiadas para el contexto. Incluyen componentes como prompts de sistema y mensajes basados en roles.

2️⃣ Ajuste fino supervisado

El ajuste fino supervisado (SFT) es un proceso crítico para adaptar modelos de lenguaje preentrenados a tareas específicas. Consiste en entrenar el modelo con un conjunto de datos específico de la tarea y ejemplos etiquetados. Para obtener una guía detallada sobre SFT, incluidos los pasos clave y las mejores prácticas, consulta la sección sobre ajuste fino supervisado de la documentación de TRL.

3️⃣ Adaptación de bajo rango (LoRA)

La adaptación de bajo rango (LoRA) es una técnica para ajustar modelos de lenguaje añadiendo matrices de bajo rango a las capas del modelo. Esto permite un ajuste eficiente mientras se conserva el conocimiento preentrenado del modelo. Uno de los beneficios clave de LoRA es el importante ahorro de memoria que ofrece, lo que hace posible ajustar modelos grandes en hardware con recursos limitados.

4️⃣ Evaluación

La evaluación es un paso crucial en el proceso de ajuste. Nos permite medir el rendimiento del modelo en un conjunto de datos específico de la tarea.

⚠️ Para aprovechar todas las funciones disponibles en el Hub de Modelos y 🤗 Transformers, recomendamos crear una cuenta.

Referencias

• Documentación de Transformers sobre plantillas de chat
• Script para ajuste fino supervisado en TRL
• SFTTrainer en TRL
• Artículo sobre Direct Preference Optimization
• Ajuste fino supervisado con TRL
• Cómo ajustar Google Gemma con ChatML y Hugging Face TRL
• Ajuste de un LLM para generar catálogos de productos persas en formato JSON