course/pr_1213/es/chapter1/2.md

# Procesamiento de lenguaje natural y Large Language Models[[natural-language-processing-and-large-language-models]]

Antes de entrar en los modelos Transformer, hagamos un repaso rápido de qué es el procesamiento de lenguaje natural, cómo los Large Language Models han transformado el campo y por qué importa.

## ¿Qué es el PLN?[[what-is-nlp]]

El PLN es un campo de la lingüística y el machine learning centrado en entender todo lo relacionado con el lenguaje humano. El objetivo de las tareas de PLN no es solo entender palabras individuales, sino también comprender su contexto.

Esta es una lista de tareas comunes de PLN, con algunos ejemplos de cada una:

- **Clasificar oraciones completas**: obtener el sentimiento de una reseña, detectar si un correo es spam, determinar si una oración es gramaticalmente correcta o si dos oraciones están relacionadas lógicamente.
- **Clasificar cada palabra de una oración**: identificar componentes gramaticales, como sustantivos, verbos y adjetivos, o reconocer entidades nombradas, como personas, lugares y organizaciones.
- **Generar texto**: completar un prompt con texto generado automáticamente o rellenar huecos con palabras enmascaradas.
- **Extraer una respuesta a partir de un texto**: dada una pregunta y un contexto, extraer la respuesta basándose en la información del contexto.
- **Generar una nueva oración a partir de un texto de entrada**: traducir un texto a otro idioma o resumirlo.

El PLN no se limita al texto escrito. También aborda retos complejos de reconocimiento de voz y visión por computador, como generar la transcripción de una muestra de audio o la descripción de una imagen.

## El auge de los Large Language Models (LLMs)[[rise-of-llms]]

En los últimos años, el campo del PLN se ha visto revolucionado por los Large Language Models (LLMs). Estos modelos, entre los que se encuentran arquitecturas como GPT (Generative Pre-trained Transformer) y [Llama](https://huggingface.co/meta-llama), han transformado lo que es posible hacer en procesamiento del lenguaje.

> [!TIP]
> Un Large Language Model (LLM) es un modelo de IA entrenado con cantidades masivas de texto que puede entender y generar texto parecido al humano, reconocer patrones del lenguaje y resolver una amplia variedad de tareas lingüísticas sin entrenamiento específico por tarea. Representa un avance importante dentro del procesamiento de lenguaje natural.

Los LLMs se caracterizan por:
- **Escala**: contienen millones, miles de millones o incluso cientos de miles de millones de parámetros.
- **Capacidades generales**: pueden resolver muchas tareas sin entrenamiento específico por tarea.
- **Aprendizaje en contexto**: pueden aprender a partir de ejemplos incluidos en el prompt.
- **Capacidades emergentes**: a medida que crecen, muestran capacidades que no fueron programadas ni anticipadas explícitamente.

La aparición de los LLMs cambió el paradigma, pasando de construir modelos especializados para tareas concretas de PLN a usar un único modelo grande que puede ser guiado mediante prompts o ajustado para resolver muchas tareas distintas del lenguaje. Esto ha hecho más accesible el procesamiento avanzado del lenguaje, aunque también ha introducido nuevos retos en eficiencia, ética y despliegue.

Sin embargo, los LLMs también tienen limitaciones importantes:
- **Alucinaciones**: pueden generar información incorrecta con mucha seguridad.
- **Falta de comprensión real**: no entienden el mundo de forma real, sino que operan sobre patrones estadísticos.
- **Sesgos**: pueden reproducir sesgos presentes en sus datos de entrenamiento o en las entradas.
- **Ventanas de contexto**: tienen ventanas de contexto limitadas, aunque esto está mejorando.
- **Recursos computacionales**: requieren recursos de cómputo significativos.

## ¿Por qué es difícil procesar lenguaje?[[why-is-it-challenging]]

Las computadoras no procesan la información igual que los humanos. Por ejemplo, cuando leemos la oración "Tengo hambre", entendemos fácilmente su significado. Del mismo modo, dadas dos oraciones como "Tengo hambre" y "Estoy triste", podemos decidir fácilmente cuánto se parecen. Para los modelos de machine learning, estas tareas son más difíciles. El texto debe procesarse de una manera que permita al modelo aprender de él. Y como el lenguaje es complejo, hay que pensar con cuidado cómo debe hacerse ese procesamiento. Se ha investigado mucho sobre cómo representar texto, y veremos algunos métodos en el próximo capítulo.

Incluso con los avances de los LLMs, siguen existiendo desafíos fundamentales. Entre ellos están la ambigüedad, el contexto cultural, el sarcasmo y el humor. Los LLMs abordan estos retos mediante entrenamiento masivo con datasets diversos, pero siguen quedándose cortos frente al nivel de comprensión humana en muchos escenarios complejos.