course/pr_1213/es/chapter1/1.md

Introducción[[introduction]]

Te damos la bienvenida al curso de 🤗[[welcome-to-the-course]]

Este curso te enseñará sobre Large Language Models (LLMs) y procesamiento de lenguaje natural (PLN) usando librerías del ecosistema Hugging Face — 🤗 Transformers, 🤗 Datasets, 🤗 Tokenizers y 🤗 Accelerate — así como el Hugging Face Hub.

También cubriremos librerías fuera del ecosistema de Hugging Face. Son contribuciones excelentes para la comunidad de IA y herramientas muy útiles.

Es completamente gratuito y sin anuncios.

Entender el PLN y los LLMs[[understanding-nlp-and-llms]]

Aunque este curso se centraba originalmente en PLN, ha evolucionado para poner más énfasis en los Large Language Models (LLMs), que representan el avance más reciente del campo.

¿Cuál es la diferencia?

• PLN (procesamiento de lenguaje natural) es el campo más amplio que busca que las computadoras entiendan, interpreten y generen lenguaje humano. El PLN abarca tareas como análisis de sentimiento, reconocimiento de entidades nombradas y traducción automática.
• LLMs (Large Language Models) son un subconjunto muy potente de modelos de PLN, caracterizados por su enorme tamaño, la gran cantidad de datos con los que se entrenan y su capacidad para resolver muchas tareas del lenguaje con poco o ningún entrenamiento específico por tarea. Modelos como las familias Llama, GPT o Claude son ejemplos de LLMs que han cambiado lo que es posible hacer en PLN.

A lo largo del curso aprenderás tanto conceptos tradicionales de PLN como técnicas modernas de LLMs, porque entender los fundamentos del PLN es clave para trabajar bien con LLMs.

¿Qué esperar?[[what-to-expect]]

Aquí tienes una breve visión general del curso:

• Los capítulos 1 a 4 ofrecen una introducción a los conceptos principales de la librería 🤗 Transformers. Al final de esta parte del curso, entenderás cómo funcionan los modelos Transformer y sabrás usar un modelo del Hugging Face Hub, ajustarlo sobre un dataset y compartir tus resultados en el Hub.
• Los capítulos 5 a 8 enseñan los fundamentos de 🤗 Datasets y 🤗 Tokenizers antes de entrar en tareas clásicas de PLN y técnicas de LLMs. Al final de esta parte, podrás abordar por tu cuenta los retos más comunes del procesamiento de lenguaje.
• El capítulo 9 va más allá del PLN y cubre cómo construir y compartir demos de tus modelos en el 🤗 Hub. Al final de esta parte, estarás listo para mostrar al mundo tu aplicación basada en 🤗 Transformers.
• Los capítulos 10 a 12 profundizan en temas avanzados de LLMs, como ajuste, curación de datasets de alta calidad y construcción de modelos de razonamiento.

Este curso:

• Requiere un buen conocimiento de Python
• Se aprovecha mejor después de un curso introductorio de deep learning, como Practical Deep Learning for Coders de fast.ai o alguno de los programas desarrollados por DeepLearning.AI
• No presupone conocimientos previos de PyTorch o TensorFlow, aunque cierta familiaridad con alguno de ellos ayuda

Después de completar este curso, te recomendamos revisar la Especialización en Procesamiento de Lenguaje Natural de DeepLearning.AI, que cubre una gran variedad de modelos tradicionales de PLN, como naive Bayes y LSTMs, que sigue valiendo la pena conocer.

¿Quiénes somos?[[who-are-we]]

Sobre los autores:

Abubakar Abid completó su doctorado en Stanford en machine learning aplicado. Durante ese doctorado fundó Gradio, una librería open source de Python con la que se han construido más de 600.000 demos de machine learning. Gradio fue adquirida por Hugging Face, donde Abubakar ahora lidera un equipo de machine learning.

Ben Burtenshaw es Machine Learning Engineer en Hugging Face. Completó su doctorado en procesamiento de lenguaje natural en la Universidad de Amberes, donde aplicó modelos Transformer para generar cuentos infantiles con el objetivo de mejorar la alfabetización. Desde entonces se ha centrado en materiales y herramientas educativas para la comunidad.

Matthew Carrigan es Machine Learning Engineer en Hugging Face. Vive en Dublín, Irlanda, y anteriormente trabajó como ML engineer en Parse.ly y antes de eso como investigador posdoctoral en Trinity College Dublin. No cree que vayamos a llegar a una AGI escalando arquitecturas actuales, pero aun así tiene grandes esperanzas en la inmortalidad robótica.

Lysandre Debut es Machine Learning Engineer en Hugging Face y ha trabajado en la librería 🤗 Transformers desde las primeras etapas de su desarrollo. Su objetivo es hacer que el PLN sea accesible para todo el mundo mediante herramientas con una API muy simple.

Sylvain Gugger es Research Engineer en Hugging Face y uno de los principales mantenedores de la librería 🤗 Transformers. Anteriormente fue Research Scientist en fast.ai y escribió Deep Learning for Coders with fastai and PyTorch junto con Jeremy Howard. El foco principal de su investigación es hacer el deep learning más accesible, diseñando y mejorando técnicas que permitan entrenar modelos rápidamente con recursos limitados.

Dawood Khan es Machine Learning Engineer en Hugging Face. Es de Nueva York y se graduó en informática por la Universidad de Nueva York. Tras trabajar varios años como iOS Engineer, dejó su empleo para fundar Gradio junto con sus cofundadores. Más tarde, Gradio fue adquirida por Hugging Face.

Merve Noyan es developer advocate en Hugging Face y trabaja en desarrollar herramientas y crear contenido alrededor de ellas para democratizar el machine learning.

Lucile Saulnier es Machine Learning Engineer en Hugging Face, donde desarrolla y apoya el uso de herramientas open source. También participa activamente en numerosos proyectos de investigación en procesamiento de lenguaje natural, como entrenamiento colaborativo y BigScience.

Lewis Tunstall es Machine Learning Engineer en Hugging Face, centrado en desarrollar herramientas open source y hacerlas accesibles a una comunidad más amplia. También es coautor del libro de O'Reilly Natural Language Processing with Transformers.

Leandro von Werra es Machine Learning Engineer en el equipo open source de Hugging Face y también coautor del libro de O'Reilly Natural Language Processing with Transformers. Tiene varios años de experiencia industrial llevando proyectos de PLN a producción y trabajando a lo largo de toda la pila de machine learning.

FAQ[[faq]]

Aquí tienes respuestas a preguntas frecuentes:

• ¿Hacer este curso lleva a una certificación? Ahora mismo no tenemos una certificación para este curso. Sin embargo, estamos trabajando en un programa de certificación para el ecosistema de Hugging Face.

• ¿Cuánto tiempo debería dedicarle a este curso? Cada capítulo está diseñado para completarse en una semana, con unas 6-8 horas de trabajo semanal. Aun así, puedes tomarte todo el tiempo que necesites.

• ¿Dónde puedo hacer una pregunta si tengo dudas? Si tienes una pregunta sobre cualquier sección del curso, haz clic en el banner "Ask a question" de la parte superior de la página para ir automáticamente a la sección adecuada de los foros de Hugging Face:

Ten en cuenta que en los foros también hay una lista de ideas de proyectos si quieres practicar más una vez hayas completado el curso.

• ¿Dónde puedo obtener el código del curso? En cada sección, haz clic en el banner de la parte superior de la página para ejecutar el código en Google Colab o Amazon SageMaker Studio Lab:

Los notebooks Jupyter que contienen todo el código del curso están alojados en el repositorio huggingface/notebooks. Si quieres generarlos localmente, revisa las instrucciones del repositorio course en GitHub.

• ¿Cómo puedo contribuir al curso? Hay muchas formas de contribuir al curso. Si encuentras una errata o un bug, abre un issue en el repositorio course. Si quieres ayudar a traducir el curso a tu idioma, revisa las instrucciones aquí.

• ¿Qué decisiones se tomaron en cada traducción? Cada traducción tiene un glosario y un archivo TRANSLATING.txt que detallan las decisiones tomadas para la jerga de machine learning y otros términos. Puedes ver un ejemplo en alemán aquí.

• ¿Puedo reutilizar este curso? Claro. El curso se publica con la permisiva licencia Apache 2. Eso significa que debes dar el crédito correspondiente, enlazar la licencia e indicar si hiciste cambios. Si quieres citar el curso, usa el siguiente BibTeX:

@misc{huggingfacecourse,
  author = {Hugging Face},
  title = {The Hugging Face Course, 2022},
  howpublished = "\url{https://huggingface.co/course}",
  year = {2022},
  note = "[Online; accessed ]"
}

Idiomas y traducciones[[languages-and-translations]]

Gracias a la comunidad, el curso está disponible en muchos idiomas además del inglés. Consulta la tabla siguiente para ver qué idiomas están disponibles y quién contribuyó a las traducciones:

Idioma	Autores
Francés	@lbourdois, @ChainYo, @melaniedrevet, @abdouaziz
Vietnamita	@honghanhh
Chino simplificado	@zhlhyx, petrichor1122, @yaoqih
Bengalí (WIP)	@avishek-018, @eNipu
Alemán (WIP)	@JesperDramsch, @MarcusFra, @fabridamicelli
Español (WIP)	@camartinezbu, @munozariasjm, @fordaz, @mariron42
Persa (WIP)	@jowharshamshiri, @schoobani
Gujarati (WIP)	@pandyaved98
Hebreo (WIP)	@omer-dor
Hindi (WIP)	@pandyaved98
Bahasa Indonesia (WIP)	@gstdl
Italiano (WIP)	@CaterinaBi, @ClonedOne, @Nolanogenn, @EdAbati, @gdacciaro
Japonés (WIP)	@hiromu166, @younesbelkada, @HiromuHota
Coreano (WIP)	@Doohae, @wonhyeongseo, @dlfrnaos19
Portugués (WIP)	@johnnv1, @victorescosta, @LincolnVS
Ruso (WIP)	@pdumin, @svv73
Tailandés (WIP)	@peeraponw, @a-krirk, @jomariya23156, @ckingkan
Turco (WIP)	@tanersekmen, @mertbozkir, @ftarlaci, @akkasayaz
Chino tradicional (WIP)	@davidpeng86

Para algunos idiomas, los videos del curso en YouTube tienen subtítulos en ese idioma. Puedes activarlos haciendo clic primero en el botón CC de la parte inferior derecha del video. Después, en el icono de ajustes ⚙️, selecciona Subtitles/CC y el idioma que quieras.

¿No ves tu idioma en la tabla anterior o quieres contribuir a una traducción existente? Puedes ayudarnos a traducir el curso siguiendo las instrucciones aquí.

Vamos allá

¿Listo para empezar? En este capítulo aprenderás:

• Cómo usar la función pipeline() para resolver tareas de PLN como generación y clasificación de texto
• Sobre la arquitectura Transformer
• Cómo distinguir entre arquitecturas de codificador, decodificador y codificador-decodificador, así como sus casos de uso