Buckets:

hf-doc-build
/

doc-dev

Files

xet

hf-doc-build/doc-dev / course /pr_1213 /es /chapter1 /5.html

rtrm

3 months ago

download

raw

39.7 kB

	<meta charset="utf-8" /><meta name="hf:doc:metadata" content="{"title":"Cómo resuelven tareas los 🤗 Transformers","local":"cómo-resuelven-tareas-los--transformers","sections":[{"title":"Modelos Transformer para lenguaje","local":"modelos-transformer-para-lenguaje","sections":[{"title":"Cómo funcionan los modelos del lenguaje","local":"cómo-funcionan-los-modelos-del-lenguaje","sections":[],"depth":3},{"title":"Tipos de modelos del lenguaje","local":"tipos-de-modelos-del-lenguaje","sections":[],"depth":3},{"title":"Generación de texto","local":"generación-de-texto","sections":[],"depth":3},{"title":"Clasificación de texto","local":"clasificación-de-texto","sections":[],"depth":3},{"title":"Clasificación de tokens","local":"clasificación-de-tokens","sections":[],"depth":3},{"title":"Question answering","local":"question-answering","sections":[],"depth":3},{"title":"Resumen automático","local":"resumen-automático","sections":[],"depth":3},{"title":"Traducción","local":"traducción","sections":[],"depth":3}],"depth":2},{"title":"Modalidades más allá del texto","local":"modalidades-más-allá-del-texto","sections":[{"title":"Voz y audio","local":"voz-y-audio","sections":[],"depth":3},{"title":"Reconocimiento automático de voz","local":"reconocimiento-automático-de-voz","sections":[],"depth":3},{"title":"Visión por computador","local":"visión-por-computador","sections":[],"depth":3},{"title":"Clasificación de imágenes","local":"clasificación-de-imágenes","sections":[],"depth":3}],"depth":2}],"depth":1}">
	<link href="/docs/course/pr_1213/es/_app/immutable/assets/0.e3b0c442.css" rel="modulepreload">
	<link rel="modulepreload" href="/docs/course/pr_1213/es/_app/immutable/entry/start.36d27295.js">
	<link rel="modulepreload" href="/docs/course/pr_1213/es/_app/immutable/chunks/scheduler.505acc25.js">
	<link rel="modulepreload" href="/docs/course/pr_1213/es/_app/immutable/chunks/singletons.6865fa96.js">
	<link rel="modulepreload" href="/docs/course/pr_1213/es/_app/immutable/chunks/index.001f95d5.js">
	<link rel="modulepreload" href="/docs/course/pr_1213/es/_app/immutable/chunks/paths.ec28c642.js">
	<link rel="modulepreload" href="/docs/course/pr_1213/es/_app/immutable/entry/app.3b43d7f3.js">
	<link rel="modulepreload" href="/docs/course/pr_1213/es/_app/immutable/chunks/preload-helper.8c2bab6b.js">
	<link rel="modulepreload" href="/docs/course/pr_1213/es/_app/immutable/chunks/index.e22abd30.js">
	<link rel="modulepreload" href="/docs/course/pr_1213/es/_app/immutable/nodes/0.e2c0ea78.js">
	<link rel="modulepreload" href="/docs/course/pr_1213/es/_app/immutable/chunks/each.e59479a4.js">
	<link rel="modulepreload" href="/docs/course/pr_1213/es/_app/immutable/nodes/9.7212c03b.js">
	<link rel="modulepreload" href="/docs/course/pr_1213/es/_app/immutable/chunks/MermaidChart.svelte_svelte_type_style_lang.a144e953.js">
	<link rel="modulepreload" href="/docs/course/pr_1213/es/_app/immutable/chunks/Youtube.7545e4b1.js">
	<link rel="modulepreload" href="/docs/course/pr_1213/es/_app/immutable/chunks/CodeBlock.f6688f67.js"><!-- HEAD_svelte-u9bgzb_START --><meta name="hf:doc:metadata" content="{"title":"Cómo resuelven tareas los 🤗 Transformers","local":"cómo-resuelven-tareas-los--transformers","sections":[{"title":"Modelos Transformer para lenguaje","local":"modelos-transformer-para-lenguaje","sections":[{"title":"Cómo funcionan los modelos del lenguaje","local":"cómo-funcionan-los-modelos-del-lenguaje","sections":[],"depth":3},{"title":"Tipos de modelos del lenguaje","local":"tipos-de-modelos-del-lenguaje","sections":[],"depth":3},{"title":"Generación de texto","local":"generación-de-texto","sections":[],"depth":3},{"title":"Clasificación de texto","local":"clasificación-de-texto","sections":[],"depth":3},{"title":"Clasificación de tokens","local":"clasificación-de-tokens","sections":[],"depth":3},{"title":"Question answering","local":"question-answering","sections":[],"depth":3},{"title":"Resumen automático","local":"resumen-automático","sections":[],"depth":3},{"title":"Traducción","local":"traducción","sections":[],"depth":3}],"depth":2},{"title":"Modalidades más allá del texto","local":"modalidades-más-allá-del-texto","sections":[{"title":"Voz y audio","local":"voz-y-audio","sections":[],"depth":3},{"title":"Reconocimiento automático de voz","local":"reconocimiento-automático-de-voz","sections":[],"depth":3},{"title":"Visión por computador","local":"visión-por-computador","sections":[],"depth":3},{"title":"Clasificación de imágenes","local":"clasificación-de-imágenes","sections":[],"depth":3}],"depth":2}],"depth":1}"><!-- HEAD_svelte-u9bgzb_END --> <p></p> <div class="items-center shrink-0 min-w-[100px] max-sm:min-w-[50px] justify-end ml-auto flex" style="float: right; margin-left: 10px; display: inline-flex; position: relative; z-index: 10;"><div class="inline-flex rounded-md max-sm:rounded-sm"><button class="inline-flex items-center gap-1 h-7 max-sm:h-7 px-2 max-sm:px-1.5 text-sm font-medium text-gray-800 border border-r-0 rounded-l-md max-sm:rounded-l-sm border-gray-200 bg-white hover:shadow-inner dark:border-gray-850 dark:bg-gray-950 dark:text-gray-200 dark:hover:bg-gray-800" aria-live="polite"><span class="inline-flex items-center justify-center rounded-md p-0.5 max-sm:p-0 hover:text-gray-800 dark:hover:text-gray-200"><svg class="sm:size-3.5 size-3" xmlns="http://www.w3.org/2000/svg" aria-hidden="true" fill="currentColor" focusable="false" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 32 32"><path d="M28,10V28H10V10H28m0-2H10a2,2,0,0,0-2,2V28a2,2,0,0,0,2,2H28a2,2,0,0,0,2-2V10a2,2,0,0,0-2-2Z" transform="translate(0)"></path><path d="M4,18H2V4A2,2,0,0,1,4,2H18V4H4Z" transform="translate(0)"></path><rect fill="none" width="32" height="32"></rect></svg></span> <span>Copy page</span></button> <button class="inline-flex items-center justify-center w-6 max-sm:w-5 h-7 max-sm:h-7 disabled:pointer-events-none text-sm text-gray-500 hover:text-gray-700 dark:hover:text-white rounded-r-md max-sm:rounded-r-sm border border-l transition border-gray-200 bg-white hover:shadow-inner dark:border-gray-850 dark:bg-gray-950 dark:text-gray-200 dark:hover:bg-gray-800" aria-haspopup="menu" aria-expanded="false" aria-label="Open copy menu"><svg class="transition-transform text-gray-400 overflow-visible sm:size-3.5 size-3 rotate-0" width="1em" height="1em" viewBox="0 0 12 7" fill="none" xmlns="http://www.w3.org/2000/svg"><path d="M1 1L6 6L11 1" stroke="currentColor"></path></svg></button></div> </div> <h1 class="relative group"><a id="cómo-resuelven-tareas-los--transformers" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#cómo-resuelven-tareas-los--transformers"><span><svg class="" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg></span></a> <span>Cómo resuelven tareas los 🤗 Transformers</span></h1> <iframe class="w-full xl:w-4/6 h-80" src="https://www.youtube-nocookie.com/embed/zsfR7eY9Uho" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture" allowfullscreen></iframe> <p data-svelte-h="svelte-12n928p">En <a href="/course/chapter1/3">Transformers, ¿qué pueden hacer?</a> viste tareas de procesamiento de lenguaje natural, audio y visión por computador. En esta página veremos con más detalle cómo los modelos resuelven esas tareas y qué sucede internamente. Aunque existen muchas formas de abordar una tarea, en los modelos Transformer la idea general suele ser la misma: la mayoría son variantes de un encoder, un decoder o una arquitectura encoder-decoder.</p> <blockquote class="tip" data-svelte-h="svelte-1fdbxia"><p>Antes de entrar en variantes arquitectónicas concretas, conviene recordar que la mayoría de tareas siguen un patrón parecido: los datos de entrada pasan por un modelo y la salida se interpreta para una tarea específica. Lo que cambia es cómo se preparan los datos, qué variante arquitectónica se usa y cómo se procesa la salida.</p></blockquote> <p data-svelte-h="svelte-16z8z8f">Para explicar cómo se resuelven las tareas, repasaremos qué ocurre dentro del modelo para producir predicciones útiles. Cubriremos los siguientes modelos y tareas asociadas:</p> <ul data-svelte-h="svelte-yv6twm"><li><a href="https://huggingface.co/docs/transformers/model_doc/wav2vec2" rel="nofollow">Wav2Vec2</a> para clasificación de audio y reconocimiento automático de voz.</li> <li><a href="https://huggingface.co/docs/transformers/model_doc/vit" rel="nofollow">Vision Transformer (ViT)</a> y <a href="https://huggingface.co/docs/transformers/model_doc/convnext" rel="nofollow">ConvNeXT</a> para clasificación de imágenes.</li> <li><a href="https://huggingface.co/docs/transformers/model_doc/detr" rel="nofollow">DETR</a> para detección de objetos.</li> <li><a href="https://huggingface.co/docs/transformers/model_doc/mask2former" rel="nofollow">Mask2Former</a> para segmentación de imágenes.</li> <li><a href="https://huggingface.co/docs/transformers/model_doc/glpn" rel="nofollow">GLPN</a> para estimación de profundidad.</li> <li><a href="https://huggingface.co/docs/transformers/model_doc/bert" rel="nofollow">BERT</a> para tareas de PLN como clasificación de texto, clasificación de tokens y question answering.</li> <li><a href="https://huggingface.co/docs/transformers/model_doc/gpt2" rel="nofollow">GPT-2</a> para generación de texto.</li> <li><a href="https://huggingface.co/docs/transformers/model_doc/bart" rel="nofollow">BART</a> para tareas como resumen y traducción.</li></ul> <h2 class="relative group"><a id="modelos-transformer-para-lenguaje" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#modelos-transformer-para-lenguaje"><span><svg class="" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg></span></a> <span>Modelos Transformer para lenguaje</span></h2> <p data-svelte-h="svelte-y9fxaf">Los modelos del lenguaje están en el corazón del PLN moderno. Están diseñados para entender y generar lenguaje humano aprendiendo patrones estadísticos y relaciones entre palabras o tokens.</p> <p data-svelte-h="svelte-177i4jr">El Transformer se diseñó inicialmente para traducción automática y desde entonces se ha convertido en la arquitectura por defecto para resolver tareas de IA. Algunas tareas se adaptan mejor a la estructura encoder, otras al decoder y otras a una combinación de ambas.</p> <h3 class="relative group"><a id="cómo-funcionan-los-modelos-del-lenguaje" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#cómo-funcionan-los-modelos-del-lenguaje"><span><svg class="" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg></span></a> <span>Cómo funcionan los modelos del lenguaje</span></h3> <p data-svelte-h="svelte-ucx1mz">Los modelos del lenguaje se entrenan para predecir la probabilidad de una palabra dado el contexto que la rodea. Eso les da una comprensión básica del lenguaje que luego puede reutilizarse en otras tareas.</p> <p data-svelte-h="svelte-3gbzkd">Existen dos enfoques principales para entrenar un Transformer:</p> <ol data-svelte-h="svelte-7w4j94"><li><strong>Masked language modeling (MLM)</strong>: lo usan modelos encoder como BERT. Se enmascaran algunos tokens y el modelo aprende a reconstruirlos a partir del contexto de ambos lados.</li> <li><strong>Causal language modeling (CLM)</strong>: lo usan modelos decoder como GPT. El modelo predice el siguiente token a partir de los anteriores de la secuencia.</li></ol> <h3 class="relative group"><a id="tipos-de-modelos-del-lenguaje" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#tipos-de-modelos-del-lenguaje"><span><svg class="" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg></span></a> <span>Tipos de modelos del lenguaje</span></h3> <p data-svelte-h="svelte-14hbmqc">En la librería Transformers, los modelos del lenguaje suelen caer en tres categorías arquitectónicas:</p> <ol data-svelte-h="svelte-1ppkph0"><li><strong>Modelos solo encoder</strong> como BERT: entienden bien el contexto bidireccional y son ideales para clasificación, reconocimiento de entidades y question answering extractivo.</li> <li><strong>Modelos solo decoder</strong> como GPT o Llama: procesan texto de izquierda a derecha y destacan en tareas de generación.</li> <li><strong>Modelos encoder-decoder</strong> como T5 o BART: combinan ambas aproximaciones y sobresalen en tareas sequence-to-sequence como traducción y resumen.</li></ol> <p data-svelte-h="svelte-pystqf"><img src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter1/transformers_architecture.png" alt="transformer-models-for-language"></p> <p data-svelte-h="svelte-4048kt">Como vimos antes, estos modelos suelen preentrenarse sobre grandes cantidades de texto sin anotaciones humanas y luego se ajustan para tareas específicas. Este enfoque, conocido como transfer learning, permite adaptar un mismo modelo a muchas tareas con cantidades relativamente pequeñas de datos.</p> <h3 class="relative group"><a id="generación-de-texto" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#generación-de-texto"><span><svg class="" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg></span></a> <span>Generación de texto</span></h3> <p data-svelte-h="svelte-1ez2i8m">La generación de texto consiste en crear texto coherente y contextualmente relevante a partir de un prompt.</p> <p data-svelte-h="svelte-l13tyr"><a href="https://huggingface.co/docs/transformers/model_doc/gpt2" rel="nofollow">GPT-2</a> es un modelo solo decoder preentrenado sobre una gran cantidad de texto. Puede generar texto convincente a partir de un prompt y también resolver algunas otras tareas de PLN.</p> <div class="flex justify-center" data-svelte-h="svelte-8822hi"><img src="https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/gpt2_architecture.png"></div> <p data-svelte-h="svelte-1g9mt8z">GPT-2 usa byte pair encoding para tokenizar, añade codificaciones posicionales y pasa la secuencia por varios bloques decoder. Dentro de cada bloque, usa <em>masked self-attention</em>, lo que significa que no puede atender a tokens futuros. La salida del decoder se pasa a una language modeling head que transforma los hidden states en logits para predecir el siguiente token.</p> <h3 class="relative group"><a id="clasificación-de-texto" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#clasificación-de-texto"><span><svg class="" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg></span></a> <span>Clasificación de texto</span></h3> <p data-svelte-h="svelte-16mlpau">La clasificación de texto asigna categorías predefinidas a documentos, como análisis de sentimiento, clasificación temática o detección de spam.</p> <p data-svelte-h="svelte-1cxdwhj"><a href="https://huggingface.co/docs/transformers/model_doc/bert" rel="nofollow">BERT</a> es un modelo solo encoder y fue el primero en implementar con éxito una bidireccionalidad profunda para aprender representaciones más ricas del texto atendiendo a palabras a ambos lados.</p> <p data-svelte-h="svelte-td97io">BERT usa tokenización WordPiece, añade tokens especiales como <code>[CLS]</code> y <code>[SEP]</code>, y se preentrena con dos objetivos: masked language modeling y next-sentence prediction. Para usarlo en clasificación de texto se añade una cabeza de clasificación sobre el modelo base.</p> <h3 class="relative group"><a id="clasificación-de-tokens" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#clasificación-de-tokens"><span><svg class="" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg></span></a> <span>Clasificación de tokens</span></h3> <p data-svelte-h="svelte-cnwe8o">La clasificación de tokens consiste en asignar una etiqueta a cada token de una secuencia, como en named entity recognition o part-of-speech tagging.</p> <p data-svelte-h="svelte-1ph0clb">Para usar BERT en este tipo de tareas, se añade una cabeza de token classification sobre el modelo base, que transforma los hidden states finales en logits para cada token.</p> <h3 class="relative group"><a id="question-answering" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#question-answering"><span><svg class="" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg></span></a> <span>Question answering</span></h3> <p data-svelte-h="svelte-ucxif7">Question answering consiste en encontrar la respuesta a una pregunta dentro de un contexto dado.</p> <p data-svelte-h="svelte-3jmemi">Para usar BERT en question answering, se añade una cabeza de clasificación de spans que calcula logits de inicio y fin para localizar el fragmento de texto correspondiente a la respuesta.</p> <h3 class="relative group"><a id="resumen-automático" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#resumen-automático"><span><svg class="" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg></span></a> <span>Resumen automático</span></h3> <p data-svelte-h="svelte-mxexti">El resumen consiste en condensar un texto largo en una versión más corta conservando su información principal.</p> <p data-svelte-h="svelte-10oj4s4">Los modelos encoder-decoder como <a href="https://huggingface.co/docs/transformers/model_doc/bart" rel="nofollow">BART</a> y T5 están diseñados para el patrón sequence-to-sequence que requiere esta tarea.</p> <div class="flex justify-center" data-svelte-h="svelte-1vl5qj0"><img src="https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/bart_architecture.png"></div> <p data-svelte-h="svelte-7nev0y">BART tiene un encoder muy similar a BERT y se preentrena corrompiendo la entrada y reconstruyéndola con el decoder. Una estrategia clave es <em>text infilling</em>, donde varios fragmentos se sustituyen por un único token de máscara.</p> <h3 class="relative group"><a id="traducción" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#traducción"><span><svg class="" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg></span></a> <span>Traducción</span></h3> <p data-svelte-h="svelte-eie80l">La traducción consiste en convertir texto de un idioma a otro preservando el significado. También es una tarea sequence-to-sequence, por lo que modelos encoder-decoder como BART o T5 son adecuados.</p> <p data-svelte-h="svelte-1kb757a">BART puede adaptarse a traducción añadiendo un encoder específico para el idioma fuente y utilizando el decoder para generar el idioma objetivo. Más adelante apareció mBART, una versión multilingüe pensada explícitamente para traducción.</p> <h2 class="relative group"><a id="modalidades-más-allá-del-texto" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#modalidades-más-allá-del-texto"><span><svg class="" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg></span></a> <span>Modalidades más allá del texto</span></h2> <p data-svelte-h="svelte-7sh55w">Los Transformers no se limitan al texto. También pueden aplicarse a voz, audio, imágenes y video. En este curso nos centraremos en texto, pero conviene tener una visión general de otras modalidades.</p> <h3 class="relative group"><a id="voz-y-audio" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#voz-y-audio"><span><svg class="" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg></span></a> <span>Voz y audio</span></h3> <p data-svelte-h="svelte-1b5zm5g"><a href="https://huggingface.co/docs/transformers/main/en/model_doc/whisper" rel="nofollow">Whisper</a> es un Transformer encoder-decoder preentrenado sobre 680.000 horas de audio etiquetado. Gracias a esa escala, logra buen rendimiento zero-shot en tareas de audio en inglés y muchos otros idiomas.</p> <div class="flex justify-center" data-svelte-h="svelte-uttt1g"><img src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter1/whisper_architecture.png"></div> <p data-svelte-h="svelte-1c2faz8">Whisper tiene dos componentes principales:</p> <ol data-svelte-h="svelte-povl80"><li>Un <strong>encoder</strong> procesa el audio de entrada, que primero se convierte en un log-Mel spectrogram.</li> <li>Un <strong>decoder</strong> toma la representación codificada y genera autorregresivamente los tokens de texto correspondientes.</li></ol> <h3 class="relative group"><a id="reconocimiento-automático-de-voz" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#reconocimiento-automático-de-voz"><span><svg class="" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg></span></a> <span>Reconocimiento automático de voz</span></h3> <p data-svelte-h="svelte-ug60jk">Para reconocimiento automático de voz se usa la estructura completa encoder-decoder. El encoder procesa el audio y el decoder genera la transcripción token a token. La manera más sencilla de hacer inferencia es usar un <code>pipeline</code>.</p> <div class="code-block relative "><div class="absolute top-2.5 right-4"><button class="inline-flex items-center relative text-sm focus:text-green-500 cursor-pointer focus:outline-none transition duration-200 ease-in-out opacity-0 mx-0.5 text-gray-600 " title="code excerpt" type="button"><svg class="" xmlns="http://www.w3.org/2000/svg" aria-hidden="true" fill="currentColor" focusable="false" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 32 32"><path d="M28,10V28H10V10H28m0-2H10a2,2,0,0,0-2,2V28a2,2,0,0,0,2,2H28a2,2,0,0,0,2-2V10a2,2,0,0,0-2-2Z" transform="translate(0)"></path><path d="M4,18H2V4A2,2,0,0,1,4,2H18V4H4Z" transform="translate(0)"></path><rect fill="none" width="32" height="32"></rect></svg> <div class="absolute pointer-events-none transition-opacity bg-black text-white py-1 px-2 leading-tight rounded font-normal shadow left-1/2 top-full transform -translate-x-1/2 translate-y-2 opacity-0"><div class="absolute bottom-full left-1/2 transform -translate-x-1/2 w-0 h-0 border-black border-4 border-t-0" style="border-left-color: transparent; border-right-color: transparent; "></div> Copied</div></button></div> <pre class=""><!-- HTML_TAG_START --><span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> pipeline

	transcriber = pipeline(
	task=<span class="hljs-string">"automatic-speech-recognition"</span>, model=<span class="hljs-string">"openai/whisper-base.en"</span>
	)
	transcriber(<span class="hljs-string">"https://huggingface.co/datasets/Narsil/asr_dummy/resolve/main/mlk.flac"</span>)<!-- HTML_TAG_END --></pre></div> <h3 class="relative group"><a id="visión-por-computador" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#visión-por-computador"><span><svg class="" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg></span></a> <span>Visión por computador</span></h3> <p data-svelte-h="svelte-1ybkutx">Hay dos maneras principales de abordar tareas de visión por computador:</p> <ol data-svelte-h="svelte-1a8bpcn"><li>Dividir una imagen en una secuencia de parches y procesarlos en paralelo con un Transformer.</li> <li>Usar una CNN moderna, como <a href="https://huggingface.co/docs/transformers/model_doc/convnext" rel="nofollow">ConvNeXT</a>, que sigue apoyándose en convoluciones pero adopta diseños modernos.</li></ol> <h3 class="relative group"><a id="clasificación-de-imágenes" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#clasificación-de-imágenes"><span><svg class="" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg></span></a> <span>Clasificación de imágenes</span></h3> <p data-svelte-h="svelte-fz2r9g">Tanto ViT como ConvNeXT pueden usarse para clasificación de imágenes. La diferencia principal es que ViT usa atención, mientras que ConvNeXT usa convoluciones.</p> <p data-svelte-h="svelte-1e5dhb8"><a href="https://huggingface.co/docs/transformers/model_doc/vit" rel="nofollow">ViT</a> reemplaza por completo las convoluciones con una arquitectura Transformer pura.</p> <div class="flex justify-center" data-svelte-h="svelte-1cij8g4"><img src="https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/model_doc/vit_architecture.jpg"></div> <p data-svelte-h="svelte-1s2d4vo">ViT divide la imagen en parches, convierte cada parche en un embedding, añade un token <code>[CLS]</code>, suma embeddings posicionales y pasa la secuencia al encoder Transformer. La salida asociada a <code>[CLS]</code> se usa para clasificar la imagen.</p> <a class="!text-gray-400 !no-underline text-sm flex items-center not-prose mt-4" href="https://github.com/huggingface/course/blob/main/chapters/es/chapter1/5.mdx" target="_blank"><svg class="mr-1" xmlns="http://www.w3.org/2000/svg" aria-hidden="true" fill="currentColor" focusable="false" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 32 32"><path d="M31,16l-7,7l-1.41-1.41L28.17,16l-5.58-5.59L24,9l7,7z"></path><path d="M1,16l7-7l1.41,1.41L3.83,16l5.58,5.59L8,23l-7-7z"></path><path d="M12.419,25.484L17.639,6.552l1.932,0.518L14.351,26.002z"></path></svg> <span data-svelte-h="svelte-zjs2n5"><span class="underline">Update</span> on GitHub</span></a> <p></p>

	<script>
	{
	__sveltekit_1nznq34 = {
	assets: "/docs/course/pr_1213/es",
	base: "/docs/course/pr_1213/es",
	env: {}
	};

	const element = document.currentScript.parentElement;

	const data = [null,null];

	Promise.all([
	import("/docs/course/pr_1213/es/_app/immutable/entry/start.36d27295.js"),
	import("/docs/course/pr_1213/es/_app/immutable/entry/app.3b43d7f3.js")
	]).then(([kit, app]) => {
	kit.start(app, element, {
	node_ids: [0, 9],
	data,
	form: null,
	error: null
	});
	});
	}
	</script>

Xet Storage Details

Size:: 39.7 kB
Xet hash:: 9216dc491d9beeddcfb0081c48b93ce1094603af44545266acc9b1b860f45e1c

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.