course/pr_1069/ko/_app/immutable/nodes/21.3c80e2e5.js

import{s as Bl,o as Nl,n as g}from"../chunks/scheduler.37c15a92.js";import{S as Vl,i as Gl,g as u,s as n,r as i,A as Hl,h as J,f as t,c as a,j as Zl,u as r,x as o,k as vl,y as Xl,a as l,v as c,d as m,t as y,w as j}from"../chunks/index.2bf4358c.js";import{T as x}from"../chunks/Tip.363c041f.js";import{Y as Xt}from"../chunks/Youtube.1e50a667.js";import{C as T}from"../chunks/CodeBlock.4e987730.js";import{C as Wl}from"../chunks/CourseFloatingBanner.9ff4c771.js";import{Q as pe}from"../chunks/Question.668688bc.js";import{H as b,E as zl}from"../chunks/getInferenceSnippets.24b50994.js";function El(d){let p,$='💡 <strong>추가 자료</strong>: 더 많은 데이터 세트 로딩 기법과 예제를 보려면 <a href="https://huggingface.co/docs/datasets/" rel="nofollow">🤗 Datasets 문서</a>를 확인하세요.';return{c(){p=u("p"),p.innerHTML=$},l(M){p=J(M,"P",{"data-svelte-h":!0}),o(p)!=="svelte-qls13x"&&(p.innerHTML=$)},m(M,U){l(M,p,U)},p:g,d(M){M&&t(p)}}}function Dl(d){let p,$="이 명령은 기본적으로 <em>~/.cache/huggingface/datasets</em>에 데이터 세트를 다운로드하고 캐시합니다. 2장에서 언급했듯이 <code>HF_HOME</code> 환경 변수를 설정하여 캐시 폴더를 맞춤 설정할 수 있습니다.";return{c(){p=u("p"),p.innerHTML=$},l(M){p=J(M,"P",{"data-svelte-h":!0}),o(p)!=="svelte-1t8miz5"&&(p.innerHTML=$)},m(M,U){l(M,p,U)},p:g,d(M){M&&t(p)}}}function Sl(d){let p,$="✏️ <strong>직접 해보기!</strong> 훈련 세트의 15번째 요소와 검증 세트의 87번째 요소를 살펴보세요. 그들의 레이블은 무엇인가요?";return{c(){p=u("p"),p.innerHTML=$},l(M){p=J(M,"P",{"data-svelte-h":!0}),o(p)!=="svelte-hik0zm"&&(p.innerHTML=$)},m(M,U){l(M,p,U)},p:g,d(M){M&&t(p)}}}function Ll(d){let p,$='💡 <strong>심화 학습</strong>: 더 고급 토큰화 기법과 다양한 토크나이저가 작동하는 방식을 이해하려면 <a href="https://huggingface.co/docs/transformers/main/en/tokenizer_summary" rel="nofollow">🤗 Tokenizers 문서</a>와 <a href="https://huggingface.co/learn/cookbook/en/advanced_rag#tokenization-strategies" rel="nofollow">쿡북의 토큰화 가이드</a>를 살펴보세요.';return{c(){p=u("p"),p.innerHTML=$},l(M){p=J(M,"P",{"data-svelte-h":!0}),o(p)!=="svelte-wel7bo"&&(p.innerHTML=$)},m(M,U){l(M,p,U)},p:g,d(M){M&&t(p)}}}function Yl(d){let p,$="✏️ <strong>직접 해보기!</strong> 훈련 세트의 15번째 요소를 가져와서 두 문장을 따로따로 토큰화하고 쌍으로도 토큰화해보세요. 두 결과의 차이점은 무엇인가요?";return{c(){p=u("p"),p.innerHTML=$},l(M){p=J(M,"P",{"data-svelte-h":!0}),o(p)!=="svelte-xfqr76"&&(p.innerHTML=$)},m(M,U){l(M,p,U)},p:g,d(M){M&&t(p)}}}function Fl(d){let p,$='📚 <strong>성능 팁</strong>: 효율적인 데이터 처리 기법에 대한 자세한 내용은 <a href="https://huggingface.co/docs/datasets/about_arrow" rel="nofollow">🤗 Datasets 성능 가이드</a>에서 배울 수 있습니다.';return{c(){p=u("p"),p.innerHTML=$},l(M){p=J(M,"P",{"data-svelte-h":!0}),o(p)!=="svelte-4fzn75"&&(p.innerHTML=$)},m(M,U){l(M,p,U)},p:g,d(M){M&&t(p)}}}function ql(d){let p,$='🚀 <strong>최적화 가이드</strong>: 패딩 전략과 TPU 고려사항을 포함한 훈련 성능 최적화에 대한 자세한 내용은 <a href="https://huggingface.co/docs/transformers/main/en/performance" rel="nofollow">🤗 Transformers 성능 문서</a>를 참조하세요.';return{c(){p=u("p"),p.innerHTML=$},l(M){p=J(M,"P",{"data-svelte-h":!0}),o(p)!=="svelte-15yxb2i"&&(p.innerHTML=$)},m(M,U){l(M,p,U)},p:g,d(M){M&&t(p)}}}function Pl(d){let p,$="✏️ <strong>직접 해보기!</strong> GLUE SST-2 데이터 세트에서 전처리를 복제해보세요. 쌍이 아닌 단일 문장으로 구성되어 있어 약간 다르지만, 나머지는 동일하게 보일 것입니다. 더 어려운 도전을 위해서는 GLUE 작업 중 어떤 것에서도 작동하는 전처리 함수를 작성해보세요.",M,U,w='📖 <strong>추가 연습</strong>: <a href="https://huggingface.co/docs/transformers/main/en/notebooks" rel="nofollow">🤗 Transformers 예제</a>에서 이러한 실습 예제들을 확인해보세요.';return{c(){p=u("p"),p.innerHTML=$,M=n(),U=u("p"),U.innerHTML=w},l(f){p=J(f,"P",{"data-svelte-h":!0}),o(p)!=="svelte-1qahcvz"&&(p.innerHTML=$),M=a(f),U=J(f,"P",{"data-svelte-h":!0}),o(U)!=="svelte-p3aocu"&&(U.innerHTML=w)},m(f,h){l(f,p,h),l(f,M,h),l(f,U,h)},p:g,d(f){f&&(t(p),t(M),t(U))}}}function Kl(d){let p,$="💡 <strong>핵심 요점</strong>",M,U,w="<li>전처리를 훨씬 빠르게 하려면 <code>Dataset.map()</code>에서 <code>batched=True</code>를 사용하세요</li> <li><code>DataCollatorWithPadding</code>을 사용한 동적 패딩이 고정 길이 패딩보다 효율적입니다</li> <li>모델의 추론 결과물(수치적 텐서, 올바른 열 이름)에 맞게 항상 데이터를 전처리하세요</li> <li>🤗 Datasets 라이브러리는 대규모 효율적인 데이터 처리를 위한 강력한 도구를 제공합니다</li>";return{c(){p=u("p"),p.innerHTML=$,M=n(),U=u("ul"),U.innerHTML=w},l(f){p=J(f,"P",{"data-svelte-h":!0}),o(p)!=="svelte-17xh5q0"&&(p.innerHTML=$),M=a(f),U=J(f,"UL",{"data-svelte-h":!0}),o(U)!=="svelte-mib1et"&&(U.innerHTML=w)},m(f,h){l(f,p,h),l(f,M,h),l(f,U,h)},p:g,d(f){f&&(t(p),t(M),t(U))}}}function Ol(d){let p,$,M,U,w,f,h,Me,B,Wt='<a href="/course/chapter2">이전 챕터</a>의 예제에 이어서, 한 배치에서 시퀀스 분류기를 훈련하는 방법은 다음과 같습니다.',ie,N,re,V,zt="물론 두 문장만으로 모델을 훈련하는 것으로는 매우 좋은 결과를 얻을 수 없습니다. 더 나은 결과를 얻으려면 더 큰 데이터 세트를 준비해야 합니다.",ce,G,Et='이 섹션에서는 William B. Dolan과 Chris Brockett의 <a href="https://www.aclweb.org/anthology/I05-5002.pdf" rel="nofollow">논문</a>에서 소개된 MRPC(Microsoft Research Paraphrase Corpus) 데이터 세트를 예제로 사용하겠습니다. 이 데이터 세트는 5,801개의 문장 쌍으로 구성되어 있으며, 각 쌍이 패러프레이즈인지 아닌지를 나타내는 레이블이 있습니다(즉, 두 문장이 같은 의미인지). 이 챕터에서 이 데이터 세트를 선택한 이유는 작은 데이터 세트이므로 훈련 실험을 하기에 쉽기 때문입니다.',me,H,ye,X,je,W,Dt='Hub에는 모델뿐만 아니라 다양한 언어로 된 여러 데이터 세트도 있습니다. <a href="https://huggingface.co/datasets" rel="nofollow">여기</a>에서 데이터 세트를 찾아볼 수 있으며, 이 섹션을 완료한 후에는 새로운 데이터 세트를 로드하고 처리해보는 것을 권장합니다(<a href="https://huggingface.co/docs/datasets/loading" rel="nofollow">여기</a>에서 일반적인 문서를 참조하세요). 하지만 지금은 MRPC 데이터 세트에 집중해보겠습니다! 이것은 <a href="https://gluebenchmark.com/" rel="nofollow">GLUE 벤치마크</a>를 구성하는 10개 데이터 세트 중 하나로, 10개의 서로 다른 텍스트 분류 작업에 걸쳐 ML 모델의 성능을 측정하는 데 사용되는 학술적 벤치마크입니다.',ue,z,St="🤗 Datasets 라이브러리는 Hub에서 데이터 세트를 다운로드하고 캐시하는 매우 간단한 명령을 제공합니다. MRPC 데이터 세트를 다음과 같이 다운로드할 수 있습니다.",Je,C,oe,E,Ue,D,$e,S,Lt="보시다시피, 훈련 세트, 검증 세트, 테스트 세트가 포함된 <code>DatasetDict</code> 객체를 얻습니다. 각각은 여러 열(<code>sentence1</code>, <code>sentence2</code>, <code>label</code>, <code>idx</code>)과 가변적인 행 수를 포함하며, 이는 각 세트의 요소 수입니다(따라서 훈련 세트에는 3,668개의 문장 쌍이, 검증 세트에는 408개가, 테스트 세트에는 1,725개가 있습니다).",fe,k,Te,L,Yt="딕셔너리처럼 인덱싱하여 <code>raw_datasets</code> 객체의 각 문장 쌍에 접근할 수 있습니다.",de,Y,he,F,we,q,Ft="레이블이 이미 정수로 되어 있으므로 여기서 전처리를 할 필요가 없습니다. 어떤 정수가 어떤 레이블에 해당하는지 알아보려면 <code>raw_train_dataset</code>의 <code>features</code>를 검사하면 됩니다. 이것은 각 열의 타입을 알려줍니다.",be,P,xe,K,ge,O,qt="내부적으로 <code>label</code>은 <code>ClassLabel</code> 타입이며, 정수와 레이블 이름의 매핑이 <em>names</em> 폴더에 저장되어 있습니다. <code>0</code>은 <code>not_equivalent</code>에, <code>1</code>은 <code>equivalent</code>에 해당합니다.",Ce,I,ke,ss,Ie,es,_e,ts,Pt='데이터 세트를 전처리하려면 텍스트를 모델이 이해할 수 있는 숫자로 변환해야 합니다. <a href="/course/chapter2">이전 챕터</a>에서 보았듯이, 이는 토크나이저로 수행됩니다. 토크나이저에 한 문장이나 문장 목록을 입력할 수 있으므로, 다음과 같이 각 쌍의 모든 첫 번째 문장과 모든 두 번째 문장을 직접 토큰화할 수 있습니다.',Ae,ls,Qe,_,Re,ns,Kt="하지만 두 시퀀스를 모델에 전달하기만 해서는 두 문장이 패러프레이즈인지 아닌지 예측할 수 없습니다. 두 시퀀스를 쌍으로 처리하고 적절한 전처리를 적용해야 합니다. 다행히 토크나이저는 한 쌍의 시퀀스를 받아서 BERT 모델이 기대하는 방식으로 준비할 수도 있습니다.",Ze,as,ve,ps,Be,Ms,Ot='<a href="/course/chapter2">2장</a>에서 <code>input_ids</code>와 <code>attention_mask</code> 키에 대해 논의했지만, <code>token_type_ids</code>에 대한 이야기는 미뤄두었습니다. 이 예제에서 이것은 입력의 어느 부분이 첫 번째 문장이고 어느 부분이 두 번째 문장인지 모델에 알려주는 역할을 합니다.',Ne,A,Ve,is,sl="<code>input_ids</code> 안의 ID를 다시 단어로 디코딩하면",Ge,rs,He,cs,el="다음을 얻습니다.",Xe,ms,We,ys,tl="따라서 모델은 두 문장이 있을 때 입력이 <code>[CLS] sentence1 [SEP] sentence2 [SEP]</code> 형태이기를 기대한다는 것을 알 수 있습니다. 이를 <code>token_type_ids</code>와 맞춰보면",ze,js,Ee,us,ll="보시다시피, <code>[CLS] sentence1 [SEP]</code>에 해당하는 입력 부분은 모두 토큰 타입 ID가 <code>0</code>이고, <code>sentence2 [SEP]</code>에 해당하는 다른 부분들은 모두 토큰 타입 ID가 <code>1</code>입니다.",De,Js,nl="다른 체크포인트(checkpoint)를 선택하면 토큰화된 입력에 <code>token_type_ids</code>가 반드시 있지는 않다는 점에 주의하세요(예를 들어, DistilBERT 모델을 사용하면 반환되지 않습니다). 모델이 사전 훈련 중에 이를 본 적이 있어서 무엇을 해야 할지 알 때만 반환됩니다.",Se,os,al='여기서 BERT는 토큰 타입 ID로 사전 훈련되었으며, <a href="/course/chapter1">1장</a>에서 이야기한 마스크드 언어 모델링 목표 외에도 <em>다음 문장 예측</em>이라는 추가 목표를 가지고 있습니다. 이 작업의 목표는 문장 쌍 간의 관계를 모델링하는 것입니다.',Le,Us,pl="다음 문장 예측에서는 모델에 문장 쌍(무작위로 마스킹된 토큰과 함께)이 제공되고 두 번째 문장이 첫 번째 문장을 따르는지 예측하도록 요청받습니다. 작업을 쉽지 않게 만들기 위해, 절반의 경우에는 문장들이 추출된 원본 문서에서 서로를 따르고, 나머지 절반의 경우에는 두 문장이 서로 다른 문서에서 나옵니다.",Ye,$s,Ml="일반적으로 토큰화된 입력에 <code>token_type_ids</code>가 있는지 여부에 대해 걱정할 필요는 없습니다. 토크나이저와 모델에 동일한 체크포인트(checkpoint)를 사용하는 한, 토크나이저가 모델에 제공해야 할 것을 알고 있으므로 모든 것이 잘 될 것입니다.",Fe,fs,il='이제 토크나이저가 한 쌍의 문장을 어떻게 처리할 수 있는지 보았으므로, 이를 사용하여 전체 데이터 세트를 토큰화할 수 있습니다: <a href="/course/chapter2">이전 챕터</a>에서처럼, 첫 번째 문장 목록과 두 번째 문장 목록을 제공하여 토크나이저에 문장 쌍 목록을 입력할 수 있습니다. 이는 <a href="/course/chapter2">2장</a>에서 본 패딩과 생략 옵션과도 호환됩니다. 따라서 훈련 데이터 세트를 전처리하는 한 가지 방법은',qe,Ts,Pe,ds,rl='이것은 잘 작동하지만, 딕셔너리(키는 <code>input_ids</code>, <code>attention_mask</code>, <code>token_type_ids</code>이고 값은 목록의 목록)를 반환한다는 단점이 있습니다. 또한 토큰화 중에 전체 데이터 세트를 메모리에 저장할 수 있는 충분한 RAM이 있는 경우에만 작동합니다(🤗 Datasets 라이브러리의 데이터 세트는 디스크에 저장된 <a href="https://arrow.apache.org/" rel="nofollow">Apache Arrow</a> 파일이므로, 요청한 샘플만 메모리에 로드됩니다).',Ke,hs,cl='데이터를 데이터 세트로 유지하려면 <a href="https://huggingface.co/docs/datasets/package_reference/main_classes#datasets.Dataset.map" rel="nofollow"><code>Dataset.map()</code></a> 메소드를 사용하겠습니다. 이는 토큰화 이상의 전처리가 필요한 경우 추가적인 유연성도 제공합니다. <code>map()</code> 메소드는 데이터 세트의 각 요소에 함수를 적용하여 작동하므로, 입력을 토큰화하는 함수를 정의해보겠습니다.',Oe,ws,st,bs,ml='이 함수는 딕셔너리(데이터 세트의 항목과 같은)를 받아서 <code>input_ids</code>, <code>attention_mask</code>, <code>token_type_ids</code> 키가 있는 새 딕셔너리를 반환합니다. <code>example</code> 딕셔너리에 여러 샘플이 포함되어 있어도(각 키가 문장 목록으로) 작동한다는 점에 주목하세요. 앞서 본 것처럼 <code>tokenizer</code>는 문장 쌍의 목록에서 작동하기 때문입니다. 이를 통해 <code>map()</code> 호출에서 <code>batched=True</code> 옵션을 사용할 수 있으며, 이는 토큰화를 크게 가속화할 것입니다. <code>tokenizer</code>는 <a href="https://github.com/huggingface/tokenizers" rel="nofollow">🤗 Tokenizers</a> 라이브러리의 Rust로 작성된 토크나이저로 뒷받침됩니다. 이 토크나이저는 매우 빠를 수 있지만, 한 번에 많은 입력을 제공해야만 그렇습니다.',et,xs,yl="지금은 토큰화 함수에서 <code>padding</code> 인수를 빼둔 것에 주목하세요. 모든 샘플을 최대 길이로 패딩하는 것은 효율적이지 않기 때문입니다. 배치를 만들 때 샘플을 패딩하는 것이 더 좋습니다. 그러면 해당 배치의 최대 길이까지만 패딩하면 되고, 전체 데이터 세트의 최대 길이까지 패딩할 필요가 없기 때문입니다. 입력의 길이가 매우 다양할 때 많은 시간과 처리 능력을 절약할 수 있습니다!",tt,Q,lt,gs,jl="다음은 모든 데이터 세트에 토큰화 함수를 한 번에 적용하는 방법입니다. <code>map</code> 호출에서 <code>batched=True</code>를 사용하므로 함수가 데이터 세트의 각 요소에 개별적으로가 아니라 여러 요소에 한 번에 적용됩니다. 이를 통해 더 빠른 전처리가 가능합니다.",nt,Cs,at,ks,ul="🤗 Datasets 라이브러리가 이 처리를 적용하는 방식은 전처리 함수가 반환하는 딕셔너리의 각 키에 대해 데이터 세트에 새 필드를 추가하는 것입니다.",pt,Is,Mt,_s,Jl="<code>num_proc</code> 인수를 전달하여 <code>map()</code>으로 전처리 함수를 적용할 때 멀티프로세싱을 사용할 수도 있습니다. 🤗 Tokenizers 라이브러리가 이미 여러 스레드를 사용하여 샘플을 더 빠르게 토큰화하므로 여기서는 이를 사용하지 않았지만, 이 라이브러리가 뒷받침하는 빠른 토크나이저를 사용하지 않는다면 전처리 속도를 높일 수 있습니다.",it,As,ol="우리의 <code>tokenize_function</code>은 <code>input_ids</code>, <code>attention_mask</code>, <code>token_type_ids</code> 키가 있는 딕셔너리를 반환하므로, 이 세 필드가 데이터 세트의 모든 분할에 추가됩니다. 전처리 함수가 <code>map()</code>을 적용한 데이터 세트의 기존 키에 대한 새 값을 반환한다면 기존 필드를 변경할 수도 있었을 것입니다.",rt,Qs,Ul="마지막으로 해야 할 일은 요소들을 배치로 묶을 때 모든 예제를 가장 긴 요소의 길이로 패딩하는 것입니다 — 이 기법을 <em>동적 패딩</em>이라고 합니다.",ct,Rs,mt,Zs,yt,vs,$l="배치 내에서 샘플들을 함께 배치하는 역할을 하는 함수를 <em>collate function</em>이라고 합니다. 이는 <code>DataLoader</code>를 구축할 때 전달할 수 있는 인수로, 기본값은 샘플을 PyTorch 텐서로 변환하고 연결하는 함수입니다(요소가 목록, 튜플 또는 딕셔너리인 경우 재귀적으로). 우리의 경우 입력이 모두 같은 크기가 아니므로 이것은 불가능할 것입니다. 우리는 의도적으로 패딩을 연기하여 각 배치에서만 필요에 따라 적용하고 많은 패딩이 있는 지나치게 긴 입력을 피했습니다. 이것은 훈련을 상당히 가속화할 것이지만, TPU에서 훈련하는 경우 문제를 일으킬 수 있다는 점에 주의하세요 — TPU는 추가 패딩이 필요하더라도 고정된 모양을 선호합니다.",jt,R,ut,Bs,fl="실제로 이를 수행하려면 함께 배치하려는 데이터 세트 항목에 적절한 양의 패딩을 적용할 collate function을 정의해야 합니다. 다행히 🤗 Transformers 라이브러리는 <code>DataCollatorWithPadding</code>을 통해 이러한 함수를 제공합니다. 인스턴스화할 때 토크나이저를 받아서(어떤 패딩 토큰을 사용할지, 모델이 입력의 왼쪽 또는 오른쪽에 패딩을 기대하는지 알기 위해) 필요한 모든 것을 수행합니다.",Jt,Ns,ot,Vs,Tl="이 새로운 도구를 테스트하기 위해, 함께 배치하고 싶은 훈련 세트에서 몇 개의 샘플을 가져와보겠습니다. 여기서는 <code>idx</code>, <code>sentence1</code>, <code>sentence2</code> 열을 제거합니다. 이들은 필요하지 않고 문자열을 포함하고 있으며(문자열로는 텐서를 만들 수 없음), 배치의 각 항목 길이를 살펴보겠습니다.",Ut,Gs,$t,Hs,ft,Xs,dl="당연히 32부터 67까지 다양한 길이의 샘플을 얻습니다. 동적 패딩은 이 배치의 샘플들이 모두 배치 내 최대 길이인 67로 패딩되어야 함을 의미합니다. 동적 패딩이 없다면, 모든 샘플이 전체 데이터 세트의 최대 길이나 모델이 받을 수 있는 최대 길이로 패딩되어야 할 것입니다. <code>data_collator</code>가 배치를 동적으로 올바르게 패딩하는지 다시 확인해보겠습니다.",Tt,Ws,dt,zs,ht,Es,hl="좋아 보입니다! 이제 원시 텍스트에서 모델이 처리할 수 있는 배치까지 만들었으므로, 미세 조정할 준비가 되었습니다!",wt,Z,bt,Ds,wl="완벽합니다! 이제 🤗 Datasets 라이브러리의 최신 모범 사례로 데이터를 전처리했으므로, 최신 Trainer API를 사용하여 모델을 훈련할 준비가 되었습니다. 다음 섹션에서는 Hugging Face 생태계에서 사용할 수 있는 최신 기능과 최적화를 사용하여 모델을 효과적으로 미세 조정하는 방법을 보여드리겠습니다.",xt,Ss,gt,Ls,bl="데이터 처리 개념에 대한 이해도를 테스트해보세요.",Ct,Ys,kt,Fs,It,qs,_t,Ps,At,Ks,Qt,Os,Rt,se,Zt,ee,vt,te,Bt,le,Nt,v,Vt,ne,Gt,ae,Ht;return w=new b({props:{title:"데이터 처리",local:"processing-the-data",headingTag:"h1"}}),h=new Wl({props:{chapter:3,classNames:"absolute z-10 right-0 top-0",notebooks:[{label:"Google Colab",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/en/chapter3/section2.ipynb"},{label:"Aws Studio",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/en/chapter3/section2.ipynb"}]}}),N=new T({props:{code:"aW1wb3J0JTIwdG9yY2glMEFmcm9tJTIwdG9yY2gub3B0aW0lMjBpbXBvcnQlMjBBZGFtVyUwQWZyb20lMjB0cmFuc2Zvcm1lcnMlMjBpbXBvcnQlMjBBdXRvVG9rZW5pemVyJTJDJTIwQXV0b01vZGVsRm9yU2VxdWVuY2VDbGFzc2lmaWNhdGlvbiUwQSUwQSUyMyUyMCVFQyU5RCVCNCVFQyVBMCU4NCVFQSVCMyVCQyUyMCVFQiU4RiU5OSVFQyU5RCVCQyUwQWNoZWNrcG9pbnQlMjAlM0QlMjAlMjJiZXJ0LWJhc2UtdW5jYXNlZCUyMiUwQXRva2VuaXplciUyMCUzRCUyMEF1dG9Ub2tlbml6ZXIuZnJvbV9wcmV0cmFpbmVkKGNoZWNrcG9pbnQpJTBBbW9kZWwlMjAlM0QlMjBBdXRvTW9kZWxGb3JTZXF1ZW5jZUNsYXNzaWZpY2F0aW9uLmZyb21fcHJldHJhaW5lZChjaGVja3BvaW50KSUwQXNlcXVlbmNlcyUyMCUzRCUyMCU1QiUwQSUyMCUyMCUyMCUyMCUyMkkndmUlMjBiZWVuJTIwd2FpdGluZyUyMGZvciUyMGElMjBIdWdnaW5nRmFjZSUyMGNvdXJzZSUyMG15JTIwd2hvbGUlMjBsaWZlLiUyMiUyQyUwQSUyMCUyMCUyMCUyMCUyMlRoaXMlMjBjb3Vyc2UlMjBpcyUyMGFtYXppbmchJTIyJTJDJTBBJTVEJTBBYmF0Y2glMjAlM0QlMjB0b2tlbml6ZXIoc2VxdWVuY2VzJTJDJTIwcGFkZGluZyUzRFRydWUlMkMlMjB0cnVuY2F0aW9uJTNEVHJ1ZSUyQyUyMHJldHVybl90ZW5zb3JzJTNEJTIycHQlMjIpJTBBJTBBJTIzJTIwJUVDJTk3JUFDJUVBJUI4JUIwJUVBJUIwJTgwJTIwJUVDJTgzJTg4JUVCJUExJTlDJUVDJTlBJUI0JTIwJUVCJUI2JTgwJUVCJUI2JTg0JTBBYmF0Y2glNUIlMjJsYWJlbHMlMjIlNUQlMjAlM0QlMjB0b3JjaC50ZW5zb3IoJTVCMSUyQyUyMDElNUQpJTBBJTBBb3B0aW1pemVyJTIwJTNEJTIwQWRhbVcobW9kZWwucGFyYW1ldGVycygpKSUwQWxvc3MlMjAlM0QlMjBtb2RlbCgqKmJhdGNoKS5sb3NzJTBBbG9zcy5iYWNrd2FyZCgpJTBBb3B0aW1pemVyLnN0ZXAoKQ==",highlighted:`<span class="hljs-keyword">import</span> torch
<span class="hljs-keyword">from</span> torch.optim <span class="hljs-keyword">import</span> AdamW
<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer, AutoModelForSequenceClassification

<span class="hljs-comment"># 이전과 동일</span>
checkpoint = <span class="hljs-string">&quot;bert-base-uncased&quot;</span>
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForSequenceClassification.from_pretrained(checkpoint)
sequences = [
    <span class="hljs-string">&quot;I&#x27;ve been waiting for a HuggingFace course my whole life.&quot;</span>,
    <span class="hljs-string">&quot;This course is amazing!&quot;</span>,
]
batch = tokenizer(sequences, padding=<span class="hljs-literal">True</span>, truncation=<span class="hljs-literal">True</span>, return_tensors=<span class="hljs-string">&quot;pt&quot;</span>)

<span class="hljs-comment"># 여기가 새로운 부분</span>
batch[<span class="hljs-string">&quot;labels&quot;</span>] = torch.tensor([<span class="hljs-number">1</span>, <span class="hljs-number">1</span>])

optimizer = AdamW(model.parameters())
loss = model(**batch).loss
loss.backward()
optimizer.step()`,wrap:!1}}),H=new b({props:{title:"Hub에서 데이터 세트 가져오기",local:"loading-a-dataset-from-the-hub",headingTag:"h3"}}),X=new Xt({props:{id:"_BZearw7f0w"}}),C=new x({props:{$$slots:{default:[El]},$$scope:{ctx:d}}}),E=new T({props:{code:"ZnJvbSUyMGRhdGFzZXRzJTIwaW1wb3J0JTIwbG9hZF9kYXRhc2V0JTBBJTBBcmF3X2RhdGFzZXRzJTIwJTNEJTIwbG9hZF9kYXRhc2V0KCUyMmdsdWUlMjIlMkMlMjAlMjJtcnBjJTIyKSUwQXJhd19kYXRhc2V0cw==",highlighted:`<span class="hljs-keyword">from</span> datasets <span class="hljs-keyword">import</span> load_dataset

raw_datasets = load_dataset(<span class="hljs-string">&quot;glue&quot;</span>, <span class="hljs-string">&quot;mrpc&quot;</span>)
raw_datasets`,wrap:!1}}),D=new T({props:{code:"RGF0YXNldERpY3QoJTdCJTBBJTIwJTIwJTIwJTIwdHJhaW4lM0ElMjBEYXRhc2V0KCU3QiUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGZlYXR1cmVzJTNBJTIwJTVCJ3NlbnRlbmNlMSclMkMlMjAnc2VudGVuY2UyJyUyQyUyMCdsYWJlbCclMkMlMjAnaWR4JyU1RCUyQyUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMG51bV9yb3dzJTNBJTIwMzY2OCUwQSUyMCUyMCUyMCUyMCU3RCklMEElMjAlMjAlMjAlMjB2YWxpZGF0aW9uJTNBJTIwRGF0YXNldCglN0IlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBmZWF0dXJlcyUzQSUyMCU1QidzZW50ZW5jZTEnJTJDJTIwJ3NlbnRlbmNlMiclMkMlMjAnbGFiZWwnJTJDJTIwJ2lkeCclNUQlMkMlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBudW1fcm93cyUzQSUyMDQwOCUwQSUyMCUyMCUyMCUyMCU3RCklMEElMjAlMjAlMjAlMjB0ZXN0JTNBJTIwRGF0YXNldCglN0IlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBmZWF0dXJlcyUzQSUyMCU1QidzZW50ZW5jZTEnJTJDJTIwJ3NlbnRlbmNlMiclMkMlMjAnbGFiZWwnJTJDJTIwJ2lkeCclNUQlMkMlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBudW1fcm93cyUzQSUyMDE3MjUlMEElMjAlMjAlMjAlMjAlN0QpJTBBJTdEKQ==",highlighted:`DatasetDict({
    train: Dataset({
        features: [<span class="hljs-string">&#x27;sentence1&#x27;</span>, <span class="hljs-string">&#x27;sentence2&#x27;</span>, <span class="hljs-string">&#x27;label&#x27;</span>, <span class="hljs-string">&#x27;idx&#x27;</span>],
        num_rows: <span class="hljs-number">3668</span>
    })
    validation: Dataset({
        features: [<span class="hljs-string">&#x27;sentence1&#x27;</span>, <span class="hljs-string">&#x27;sentence2&#x27;</span>, <span class="hljs-string">&#x27;label&#x27;</span>, <span class="hljs-string">&#x27;idx&#x27;</span>],
        num_rows: <span class="hljs-number">408</span>
    })
    test: Dataset({
        features: [<span class="hljs-string">&#x27;sentence1&#x27;</span>, <span class="hljs-string">&#x27;sentence2&#x27;</span>, <span class="hljs-string">&#x27;label&#x27;</span>, <span class="hljs-string">&#x27;idx&#x27;</span>],
        num_rows: <span class="hljs-number">1725</span>
    })
})`,wrap:!1}}),k=new x({props:{$$slots:{default:[Dl]},$$scope:{ctx:d}}}),Y=new T({props:{code:"cmF3X3RyYWluX2RhdGFzZXQlMjAlM0QlMjByYXdfZGF0YXNldHMlNUIlMjJ0cmFpbiUyMiU1RCUwQXJhd190cmFpbl9kYXRhc2V0JTVCMCU1RA==",highlighted:`raw_train_dataset = raw_datasets[<span class="hljs-string">&quot;train&quot;</span>]
raw_train_dataset[<span class="hljs-number">0</span>]`,wrap:!1}}),F=new T({props:{code:"JTdCJ2lkeCclM0ElMjAwJTJDJTBBJTIwJ2xhYmVsJyUzQSUyMDElMkMlMEElMjAnc2VudGVuY2UxJyUzQSUyMCdBbXJvemklMjBhY2N1c2VkJTIwaGlzJTIwYnJvdGhlciUyMCUyQyUyMHdob20lMjBoZSUyMGNhbGxlZCUyMCUyMiUyMHRoZSUyMHdpdG5lc3MlMjAlMjIlMjAlMkMlMjBvZiUyMGRlbGliZXJhdGVseSUyMGRpc3RvcnRpbmclMjBoaXMlMjBldmlkZW5jZSUyMC4nJTJDJTBBJTIwJ3NlbnRlbmNlMiclM0ElMjAnUmVmZXJyaW5nJTIwdG8lMjBoaW0lMjBhcyUyMG9ubHklMjAlMjIlMjB0aGUlMjB3aXRuZXNzJTIwJTIyJTIwJTJDJTIwQW1yb3ppJTIwYWNjdXNlZCUyMGhpcyUyMGJyb3RoZXIlMjBvZiUyMGRlbGliZXJhdGVseSUyMGRpc3RvcnRpbmclMjBoaXMlMjBldmlkZW5jZSUyMC4nJTdE",highlighted:`{<span class="hljs-string">&#x27;idx&#x27;</span>: <span class="hljs-number">0</span>,
 <span class="hljs-string">&#x27;label&#x27;</span>: <span class="hljs-number">1</span>,
 <span class="hljs-string">&#x27;sentence1&#x27;</span>: <span class="hljs-string">&#x27;Amrozi accused his brother , whom he called &quot; the witness &quot; , of deliberately distorting his evidence .&#x27;</span>,
 <span class="hljs-string">&#x27;sentence2&#x27;</span>: <span class="hljs-string">&#x27;Referring to him as only &quot; the witness &quot; , Amrozi accused his brother of deliberately distorting his evidence .&#x27;</span>}`,wrap:!1}}),P=new T({props:{code:"cmF3X3RyYWluX2RhdGFzZXQuZmVhdHVyZXM=",highlighted:"raw_train_dataset.features",wrap:!1}}),K=new T({props:{code:"JTdCJ3NlbnRlbmNlMSclM0ElMjBWYWx1ZShkdHlwZSUzRCdzdHJpbmcnJTJDJTIwaWQlM0ROb25lKSUyQyUwQSUyMCdzZW50ZW5jZTInJTNBJTIwVmFsdWUoZHR5cGUlM0Qnc3RyaW5nJyUyQyUyMGlkJTNETm9uZSklMkMlMEElMjAnbGFiZWwnJTNBJTIwQ2xhc3NMYWJlbChudW1fY2xhc3NlcyUzRDIlMkMlMjBuYW1lcyUzRCU1Qidub3RfZXF1aXZhbGVudCclMkMlMjAnZXF1aXZhbGVudCclNUQlMkMlMjBuYW1lc19maWxlJTNETm9uZSUyQyUyMGlkJTNETm9uZSklMkMlMEElMjAnaWR4JyUzQSUyMFZhbHVlKGR0eXBlJTNEJ2ludDMyJyUyQyUyMGlkJTNETm9uZSklN0Q=",highlighted:`{<span class="hljs-string">&#x27;sentence1&#x27;</span>: Value(dtype=<span class="hljs-string">&#x27;string&#x27;</span>, <span class="hljs-built_in">id</span>=<span class="hljs-literal">None</span>),
 <span class="hljs-string">&#x27;sentence2&#x27;</span>: Value(dtype=<span class="hljs-string">&#x27;string&#x27;</span>, <span class="hljs-built_in">id</span>=<span class="hljs-literal">None</span>),
 <span class="hljs-string">&#x27;label&#x27;</span>: ClassLabel(num_classes=<span class="hljs-number">2</span>, names=[<span class="hljs-string">&#x27;not_equivalent&#x27;</span>, <span class="hljs-string">&#x27;equivalent&#x27;</span>], names_file=<span class="hljs-literal">None</span>, <span class="hljs-built_in">id</span>=<span class="hljs-literal">None</span>),
 <span class="hljs-string">&#x27;idx&#x27;</span>: Value(dtype=<span class="hljs-string">&#x27;int32&#x27;</span>, <span class="hljs-built_in">id</span>=<span class="hljs-literal">None</span>)}`,wrap:!1}}),I=new x({props:{$$slots:{default:[Sl]},$$scope:{ctx:d}}}),ss=new b({props:{title:"데이터 세트 전처리",local:"preprocessing-a-dataset",headingTag:"h3"}}),es=new Xt({props:{id:"0u3ioSwev3s"}}),ls=new T({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9Ub2tlbml6ZXIlMEElMEFjaGVja3BvaW50JTIwJTNEJTIwJTIyYmVydC1iYXNlLXVuY2FzZWQlMjIlMEF0b2tlbml6ZXIlMjAlM0QlMjBBdXRvVG9rZW5pemVyLmZyb21fcHJldHJhaW5lZChjaGVja3BvaW50KSUwQXRva2VuaXplZF9zZW50ZW5jZXNfMSUyMCUzRCUyMHRva2VuaXplcihyYXdfZGF0YXNldHMlNUIlMjJ0cmFpbiUyMiU1RCU1QiUyMnNlbnRlbmNlMSUyMiU1RCklMEF0b2tlbml6ZWRfc2VudGVuY2VzXzIlMjAlM0QlMjB0b2tlbml6ZXIocmF3X2RhdGFzZXRzJTVCJTIydHJhaW4lMjIlNUQlNUIlMjJzZW50ZW5jZTIlMjIlNUQp",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer

checkpoint = <span class="hljs-string">&quot;bert-base-uncased&quot;</span>
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
tokenized_sentences_1 = tokenizer(raw_datasets[<span class="hljs-string">&quot;train&quot;</span>][<span class="hljs-string">&quot;sentence1&quot;</span>])
tokenized_sentences_2 = tokenizer(raw_datasets[<span class="hljs-string">&quot;train&quot;</span>][<span class="hljs-string">&quot;sentence2&quot;</span>])`,wrap:!1}}),_=new x({props:{$$slots:{default:[Ll]},$$scope:{ctx:d}}}),as=new T({props:{code:"aW5wdXRzJTIwJTNEJTIwdG9rZW5pemVyKCUyMlRoaXMlMjBpcyUyMHRoZSUyMGZpcnN0JTIwc2VudGVuY2UuJTIyJTJDJTIwJTIyVGhpcyUyMGlzJTIwdGhlJTIwc2Vjb25kJTIwb25lLiUyMiklMEFpbnB1dHM=",highlighted:`inputs = tokenizer(<span class="hljs-string">&quot;This is the first sentence.&quot;</span>, <span class="hljs-string">&quot;This is the second one.&quot;</span>)
inputs`,wrap:!1}}),ps=new T({props:{code:"JTdCJTIwJTBBJTIwJTIwJ2lucHV0X2lkcyclM0ElMjAlNUIxMDElMkMlMjAyMDIzJTJDJTIwMjAwMyUyQyUyMDE5OTYlMkMlMjAyMDM0JTJDJTIwNjI1MSUyQyUyMDEwMTIlMkMlMjAxMDIlMkMlMjAyMDIzJTJDJTIwMjAwMyUyQyUyMDE5OTYlMkMlMjAyMTE3JTJDJTIwMjAyOCUyQyUyMDEwMTIlMkMlMjAxMDIlNUQlMkMlMEElMjAlMjAndG9rZW5fdHlwZV9pZHMnJTNBJTIwJTVCMCUyQyUyMDAlMkMlMjAwJTJDJTIwMCUyQyUyMDAlMkMlMjAwJTJDJTIwMCUyQyUyMDAlMkMlMjAxJTJDJTIwMSUyQyUyMDElMkMlMjAxJTJDJTIwMSUyQyUyMDElMkMlMjAxJTVEJTJDJTBBJTIwJTIwJ2F0dGVudGlvbl9tYXNrJyUzQSUyMCU1QjElMkMlMjAxJTJDJTIwMSUyQyUyMDElMkMlMjAxJTJDJTIwMSUyQyUyMDElMkMlMjAxJTJDJTIwMSUyQyUyMDElMkMlMjAxJTJDJTIwMSUyQyUyMDElMkMlMjAxJTJDJTIwMSU1RCUwQSU3RA==",highlighted:`{ 
  <span class="hljs-string">&#x27;input_ids&#x27;</span>: [<span class="hljs-number">101</span>, <span class="hljs-number">2023</span>, <span class="hljs-number">2003</span>, <span class="hljs-number">1996</span>, <span class="hljs-number">2034</span>, <span class="hljs-number">6251</span>, <span class="hljs-number">1012</span>, <span class="hljs-number">102</span>, <span class="hljs-number">2023</span>, <span class="hljs-number">2003</span>, <span class="hljs-number">1996</span>, <span class="hljs-number">2117</span>, <span class="hljs-number">2028</span>, <span class="hljs-number">1012</span>, <span class="hljs-number">102</span>],
  <span class="hljs-string">&#x27;token_type_ids&#x27;</span>: [<span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">0</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>],
  <span class="hljs-string">&#x27;attention_mask&#x27;</span>: [<span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>]
}`,wrap:!1}}),A=new x({props:{$$slots:{default:[Yl]},$$scope:{ctx:d}}}),rs=new T({props:{code:"dG9rZW5pemVyLmNvbnZlcnRfaWRzX3RvX3Rva2VucyhpbnB1dHMlNUIlMjJpbnB1dF9pZHMlMjIlNUQp",highlighted:'tokenizer.convert_ids_to_tokens(inputs[<span class="hljs-string">&quot;input_ids&quot;</span>])',wrap:!1}}),ms=new T({props:{code:"JTVCJyU1QkNMUyU1RCclMkMlMjAndGhpcyclMkMlMjAnaXMnJTJDJTIwJ3RoZSclMkMlMjAnZmlyc3QnJTJDJTIwJ3NlbnRlbmNlJyUyQyUyMCcuJyUyQyUyMCclNUJTRVAlNUQnJTJDJTIwJ3RoaXMnJTJDJTIwJ2lzJyUyQyUyMCd0aGUnJTJDJTIwJ3NlY29uZCclMkMlMjAnb25lJyUyQyUyMCcuJyUyQyUyMCclNUJTRVAlNUQnJTVE",highlighted:'[<span class="hljs-string">&#x27;[CLS]&#x27;</span>, <span class="hljs-string">&#x27;this&#x27;</span>, <span class="hljs-string">&#x27;is&#x27;</span>, <span class="hljs-string">&#x27;the&#x27;</span>, <span class="hljs-string">&#x27;first&#x27;</span>, <span class="hljs-string">&#x27;sentence&#x27;</span>, <span class="hljs-string">&#x27;.&#x27;</span>, <span class="hljs-string">&#x27;[SEP]&#x27;</span>, <span class="hljs-string">&#x27;this&#x27;</span>, <span class="hljs-string">&#x27;is&#x27;</span>, <span class="hljs-string">&#x27;the&#x27;</span>, <span class="hljs-string">&#x27;second&#x27;</span>, <span class="hljs-string">&#x27;one&#x27;</span>, <span class="hljs-string">&#x27;.&#x27;</span>, <span class="hljs-string">&#x27;[SEP]&#x27;</span>]',wrap:!1}}),js=new T({props:{code:"JTVCJyU1QkNMUyU1RCclMkMlMjAndGhpcyclMkMlMjAnaXMnJTJDJTIwJ3RoZSclMkMlMjAnZmlyc3QnJTJDJTIwJ3NlbnRlbmNlJyUyQyUyMCcuJyUyQyUyMCclNUJTRVAlNUQnJTJDJTIwJ3RoaXMnJTJDJTIwJ2lzJyUyQyUyMCd0aGUnJTJDJTIwJ3NlY29uZCclMkMlMjAnb25lJyUyQyUyMCcuJyUyQyUyMCclNUJTRVAlNUQnJTVEJTBBJTVCJTIwJTIwJTIwJTIwJTIwJTIwMCUyQyUyMCUyMCUyMCUyMCUyMCUyMDAlMkMlMjAlMjAlMjAlMjAwJTJDJTIwJTIwJTIwJTIwJTIwMCUyQyUyMCUyMCUyMCUyMCUyMCUyMCUyMDAlMkMlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAwJTJDJTIwJTIwJTIwMCUyQyUyMCUyMCUyMCUyMCUyMCUyMCUyMDAlMkMlMjAlMjAlMjAlMjAlMjAlMjAxJTJDJTIwJTIwJTIwJTIwMSUyQyUyMCUyMCUyMCUyMCUyMDElMkMlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAxJTJDJTIwJTIwJTIwJTIwJTIwMSUyQyUyMCUyMCUyMDElMkMlMjAlMjAlMjAlMjAlMjAlMjAlMjAxJTVE",highlighted:`[<span class="hljs-string">&#x27;[CLS]&#x27;</span>, <span class="hljs-string">&#x27;this&#x27;</span>, <span class="hljs-string">&#x27;is&#x27;</span>, <span class="hljs-string">&#x27;the&#x27;</span>, <span class="hljs-string">&#x27;first&#x27;</span>, <span class="hljs-string">&#x27;sentence&#x27;</span>, <span class="hljs-string">&#x27;.&#x27;</span>, <span class="hljs-string">&#x27;[SEP]&#x27;</span>, <span class="hljs-string">&#x27;this&#x27;</span>, <span class="hljs-string">&#x27;is&#x27;</span>, <span class="hljs-string">&#x27;the&#x27;</span>, <span class="hljs-string">&#x27;second&#x27;</span>, <span class="hljs-string">&#x27;one&#x27;</span>, <span class="hljs-string">&#x27;.&#x27;</span>, <span class="hljs-string">&#x27;[SEP]&#x27;</span>]
[      <span class="hljs-number">0</span>,      <span class="hljs-number">0</span>,    <span class="hljs-number">0</span>,     <span class="hljs-number">0</span>,       <span class="hljs-number">0</span>,          <span class="hljs-number">0</span>,   <span class="hljs-number">0</span>,       <span class="hljs-number">0</span>,      <span class="hljs-number">1</span>,    <span class="hljs-number">1</span>,     <span class="hljs-number">1</span>,        <span class="hljs-number">1</span>,     <span class="hljs-number">1</span>,   <span class="hljs-number">1</span>,       <span class="hljs-number">1</span>]`,wrap:!1}}),Ts=new T({props:{code:"dG9rZW5pemVkX2RhdGFzZXQlMjAlM0QlMjB0b2tlbml6ZXIoJTBBJTIwJTIwJTIwJTIwcmF3X2RhdGFzZXRzJTVCJTIydHJhaW4lMjIlNUQlNUIlMjJzZW50ZW5jZTElMjIlNUQlMkMlMEElMjAlMjAlMjAlMjByYXdfZGF0YXNldHMlNUIlMjJ0cmFpbiUyMiU1RCU1QiUyMnNlbnRlbmNlMiUyMiU1RCUyQyUwQSUyMCUyMCUyMCUyMHBhZGRpbmclM0RUcnVlJTJDJTBBJTIwJTIwJTIwJTIwdHJ1bmNhdGlvbiUzRFRydWUlMkMlMEEp",highlighted:`tokenized_dataset = tokenizer(
    raw_datasets[<span class="hljs-string">&quot;train&quot;</span>][<span class="hljs-string">&quot;sentence1&quot;</span>],
    raw_datasets[<span class="hljs-string">&quot;train&quot;</span>][<span class="hljs-string">&quot;sentence2&quot;</span>],
    padding=<span class="hljs-literal">True</span>,
    truncation=<span class="hljs-literal">True</span>,
)`,wrap:!1}}),ws=new T({props:{code:"ZGVmJTIwdG9rZW5pemVfZnVuY3Rpb24oZXhhbXBsZSklM0ElMEElMjAlMjAlMjAlMjByZXR1cm4lMjB0b2tlbml6ZXIoZXhhbXBsZSU1QiUyMnNlbnRlbmNlMSUyMiU1RCUyQyUyMGV4YW1wbGUlNUIlMjJzZW50ZW5jZTIlMjIlNUQlMkMlMjB0cnVuY2F0aW9uJTNEVHJ1ZSk=",highlighted:`<span class="hljs-keyword">def</span> <span class="hljs-title function_">tokenize_function</span>(<span class="hljs-params">example</span>):
    <span class="hljs-keyword">return</span> tokenizer(example[<span class="hljs-string">&quot;sentence1&quot;</span>], example[<span class="hljs-string">&quot;sentence2&quot;</span>], truncation=<span class="hljs-literal">True</span>)`,wrap:!1}}),Q=new x({props:{$$slots:{default:[Fl]},$$scope:{ctx:d}}}),Cs=new T({props:{code:"dG9rZW5pemVkX2RhdGFzZXRzJTIwJTNEJTIwcmF3X2RhdGFzZXRzLm1hcCh0b2tlbml6ZV9mdW5jdGlvbiUyQyUyMGJhdGNoZWQlM0RUcnVlKSUwQXRva2VuaXplZF9kYXRhc2V0cw==",highlighted:`tokenized_datasets = raw_datasets.<span class="hljs-built_in">map</span>(tokenize_function, batched=<span class="hljs-literal">True</span>)
tokenized_datasets`,wrap:!1}}),Is=new T({props:{code:"RGF0YXNldERpY3QoJTdCJTBBJTIwJTIwJTIwJTIwdHJhaW4lM0ElMjBEYXRhc2V0KCU3QiUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGZlYXR1cmVzJTNBJTIwJTVCJ2F0dGVudGlvbl9tYXNrJyUyQyUyMCdpZHgnJTJDJTIwJ2lucHV0X2lkcyclMkMlMjAnbGFiZWwnJTJDJTIwJ3NlbnRlbmNlMSclMkMlMjAnc2VudGVuY2UyJyUyQyUyMCd0b2tlbl90eXBlX2lkcyclNUQlMkMlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBudW1fcm93cyUzQSUyMDM2NjglMEElMjAlMjAlMjAlMjAlN0QpJTBBJTIwJTIwJTIwJTIwdmFsaWRhdGlvbiUzQSUyMERhdGFzZXQoJTdCJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwZmVhdHVyZXMlM0ElMjAlNUInYXR0ZW50aW9uX21hc2snJTJDJTIwJ2lkeCclMkMlMjAnaW5wdXRfaWRzJyUyQyUyMCdsYWJlbCclMkMlMjAnc2VudGVuY2UxJyUyQyUyMCdzZW50ZW5jZTInJTJDJTIwJ3Rva2VuX3R5cGVfaWRzJyU1RCUyQyUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMG51bV9yb3dzJTNBJTIwNDA4JTBBJTIwJTIwJTIwJTIwJTdEKSUwQSUyMCUyMCUyMCUyMHRlc3QlM0ElMjBEYXRhc2V0KCU3QiUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGZlYXR1cmVzJTNBJTIwJTVCJ2F0dGVudGlvbl9tYXNrJyUyQyUyMCdpZHgnJTJDJTIwJ2lucHV0X2lkcyclMkMlMjAnbGFiZWwnJTJDJTIwJ3NlbnRlbmNlMSclMkMlMjAnc2VudGVuY2UyJyUyQyUyMCd0b2tlbl90eXBlX2lkcyclNUQlMkMlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBudW1fcm93cyUzQSUyMDE3MjUlMEElMjAlMjAlMjAlMjAlN0QpJTBBJTdEKQ==",highlighted:`DatasetDict({
    train: Dataset({
        features: [<span class="hljs-string">&#x27;attention_mask&#x27;</span>, <span class="hljs-string">&#x27;idx&#x27;</span>, <span class="hljs-string">&#x27;input_ids&#x27;</span>, <span class="hljs-string">&#x27;label&#x27;</span>, <span class="hljs-string">&#x27;sentence1&#x27;</span>, <span class="hljs-string">&#x27;sentence2&#x27;</span>, <span class="hljs-string">&#x27;token_type_ids&#x27;</span>],
        num_rows: <span class="hljs-number">3668</span>
    })
    validation: Dataset({
        features: [<span class="hljs-string">&#x27;attention_mask&#x27;</span>, <span class="hljs-string">&#x27;idx&#x27;</span>, <span class="hljs-string">&#x27;input_ids&#x27;</span>, <span class="hljs-string">&#x27;label&#x27;</span>, <span class="hljs-string">&#x27;sentence1&#x27;</span>, <span class="hljs-string">&#x27;sentence2&#x27;</span>, <span class="hljs-string">&#x27;token_type_ids&#x27;</span>],
        num_rows: <span class="hljs-number">408</span>
    })
    test: Dataset({
        features: [<span class="hljs-string">&#x27;attention_mask&#x27;</span>, <span class="hljs-string">&#x27;idx&#x27;</span>, <span class="hljs-string">&#x27;input_ids&#x27;</span>, <span class="hljs-string">&#x27;label&#x27;</span>, <span class="hljs-string">&#x27;sentence1&#x27;</span>, <span class="hljs-string">&#x27;sentence2&#x27;</span>, <span class="hljs-string">&#x27;token_type_ids&#x27;</span>],
        num_rows: <span class="hljs-number">1725</span>
    })
})`,wrap:!1}}),Rs=new b({props:{title:"동적 패딩",local:"dynamic-padding",headingTag:"h5"}}),Zs=new Xt({props:{id:"7q5NyFT8REg"}}),R=new x({props:{$$slots:{default:[ql]},$$scope:{ctx:d}}}),Ns=new T({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMERhdGFDb2xsYXRvcldpdGhQYWRkaW5nJTBBJTBBZGF0YV9jb2xsYXRvciUyMCUzRCUyMERhdGFDb2xsYXRvcldpdGhQYWRkaW5nKHRva2VuaXplciUzRHRva2VuaXplcik=",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> DataCollatorWithPadding

data_collator = DataCollatorWithPadding(tokenizer=tokenizer)`,wrap:!1}}),Gs=new T({props:{code:"c2FtcGxlcyUyMCUzRCUyMHRva2VuaXplZF9kYXRhc2V0cyU1QiUyMnRyYWluJTIyJTVEJTVCJTNBOCU1RCUwQXNhbXBsZXMlMjAlM0QlMjAlN0JrJTNBJTIwdiUyMGZvciUyMGslMkMlMjB2JTIwaW4lMjBzYW1wbGVzLml0ZW1zKCklMjBpZiUyMGslMjBub3QlMjBpbiUyMCU1QiUyMmlkeCUyMiUyQyUyMCUyMnNlbnRlbmNlMSUyMiUyQyUyMCUyMnNlbnRlbmNlMiUyMiU1RCU3RCUwQSU1Qmxlbih4KSUyMGZvciUyMHglMjBpbiUyMHNhbXBsZXMlNUIlMjJpbnB1dF9pZHMlMjIlNUQlNUQ=",highlighted:`samples = tokenized_datasets[<span class="hljs-string">&quot;train&quot;</span>][:<span class="hljs-number">8</span>]
samples = {k: v <span class="hljs-keyword">for</span> k, v <span class="hljs-keyword">in</span> samples.items() <span class="hljs-keyword">if</span> k <span class="hljs-keyword">not</span> <span class="hljs-keyword">in</span> [<span class="hljs-string">&quot;idx&quot;</span>, <span class="hljs-string">&quot;sentence1&quot;</span>, <span class="hljs-string">&quot;sentence2&quot;</span>]}
[<span class="hljs-built_in">len</span>(x) <span class="hljs-keyword">for</span> x <span class="hljs-keyword">in</span> samples[<span class="hljs-string">&quot;input_ids&quot;</span>]]`,wrap:!1}}),Hs=new T({props:{code:"JTVCNTAlMkMlMjA1OSUyQyUyMDQ3JTJDJTIwNjclMkMlMjA1OSUyQyUyMDUwJTJDJTIwNjIlMkMlMjAzMiU1RA==",highlighted:'[<span class="hljs-number">50</span>, <span class="hljs-number">59</span>, <span class="hljs-number">47</span>, <span class="hljs-number">67</span>, <span class="hljs-number">59</span>, <span class="hljs-number">50</span>, <span class="hljs-number">62</span>, <span class="hljs-number">32</span>]',wrap:!1}}),Ws=new T({props:{code:"YmF0Y2glMjAlM0QlMjBkYXRhX2NvbGxhdG9yKHNhbXBsZXMpJTBBJTdCayUzQSUyMHYuc2hhcGUlMjBmb3IlMjBrJTJDJTIwdiUyMGluJTIwYmF0Y2guaXRlbXMoKSU3RA==",highlighted:`batch = data_collator(samples)
{k: v.shape <span class="hljs-keyword">for</span> k, v <span class="hljs-keyword">in</span> batch.items()}`,wrap:!1}}),zs=new T({props:{code:"JTdCJ2F0dGVudGlvbl9tYXNrJyUzQSUyMHRvcmNoLlNpemUoJTVCOCUyQyUyMDY3JTVEKSUyQyUwQSUyMCdpbnB1dF9pZHMnJTNBJTIwdG9yY2guU2l6ZSglNUI4JTJDJTIwNjclNUQpJTJDJTBBJTIwJ3Rva2VuX3R5cGVfaWRzJyUzQSUyMHRvcmNoLlNpemUoJTVCOCUyQyUyMDY3JTVEKSUyQyUwQSUyMCdsYWJlbHMnJTNBJTIwdG9yY2guU2l6ZSglNUI4JTVEKSU3RA==",highlighted:`{<span class="hljs-string">&#x27;attention_mask&#x27;</span>: torch.Size([<span class="hljs-number">8</span>, <span class="hljs-number">67</span>]),
 <span class="hljs-string">&#x27;input_ids&#x27;</span>: torch.Size([<span class="hljs-number">8</span>, <span class="hljs-number">67</span>]),
 <span class="hljs-string">&#x27;token_type_ids&#x27;</span>: torch.Size([<span class="hljs-number">8</span>, <span class="hljs-number">67</span>]),
 <span class="hljs-string">&#x27;labels&#x27;</span>: torch.Size([<span class="hljs-number">8</span>])}`,wrap:!1}}),Z=new x({props:{$$slots:{default:[Pl]},$$scope:{ctx:d}}}),Ss=new b({props:{title:"섹션 퀴즈",local:"section-quiz",headingTag:"h2"}}),Ys=new b({props:{title:"1. batched=True 와 함께 Dataset.map() 을 사용하는 주요 장점은 무엇인가요?",local:"1-batchedtrue-와-함께-datasetmap-을-사용하는-주요-장점은-무엇인가요",headingTag:"h3"}}),Fs=new pe({props:{choices:[{text:"메모리를 덜 사용합니다.",explain:"더 메모리 효율적일 수 있지만, 이것이 주요 장점은 아닙니다."},{text:"여러 예제를 한 번에 처리하여 토큰화를 훨씬 빠르게 만듭니다.",explain:"정답입니다! 배치로 처리하면 빠른 토크나이저가 여러 예제를 동시에 작업할 수 있어 속도가 크게 향상됩니다.",correct:!0},{text:"자동으로 패딩을 처리해줍니다.",explain:"배치 처리가 자동으로 패딩을 처리하지는 않습니다 - 그것은 데이터 콜레이터가 수행합니다."},{text:"데이터를 PyTorch 텐서로 변환합니다.",explain:"텐서 변환은 형식을 설정할 때 발생하며, 배치 매핑 중에는 발생하지 않습니다."}]}}),qs=new b({props:{title:"2. 데이터 세트의 최대 길이로 모든 시퀀스를 패딩하는 대신 동적 패딩을 사용하는 이유는 무엇인가요?",local:"2-데이터-세트의-최대-길이로-모든-시퀀스를-패딩하는-대신-동적-패딩을-사용하는-이유는-무엇인가요",headingTag:"h3"}}),Ps=new pe({props:{choices:[{text:"동적 패딩이 모델 아키텍처에 의해 요구됩니다.",explain:"아니요, 모델은 고정 패딩과 동적 패딩을 모두 처리할 수 있습니다."},{text:"각 배치의 최대 길이까지만 패딩하여 계산 오버헤드를 줄입니다.",explain:"정답입니다! 동적 패딩은 데이터 세트 최대값이 아닌 배치 최대값까지만 패딩하여 패딩 토큰에 대한 불필요한 계산을 피합니다.",correct:!0},{text:"모델 정확도를 향상시킵니다.",explain:"패딩 전략은 모델 정확도에 직접적인 영향을 주지 않습니다."},{text:"DataCollatorWithPadding을 사용할 때 필수입니다.",explain:"DataCollatorWithPadding이 동적 패딩을 가능하게 하지만, 원한다면 여전히 고정 패딩을 사용할 수 있습니다."}]}}),Ks=new b({props:{title:"3. BERT 토큰화에서 token_type_ids 필드는 무엇을 나타내나요?",local:"3-bert-토큰화에서-tokentypeids-필드는-무엇을-나타내나요",headingTag:"h3"}}),Os=new pe({props:{choices:[{text:"시퀀스에서 각 토큰의 위치입니다.",explain:"그것은 위치 임베딩이지, token_type_ids가 아닙니다."},{text:"문장 쌍을 처리할 때 각 토큰이 어느 문장에 속하는지를 나타냅니다.",explain:"정답입니다! token_type_ids는 문장 쌍 작업에서 첫 번째 문장(0)과 두 번째 문장(1)을 구분합니다.",correct:!0},{text:"각 토큰의 어텐션 마스크입니다.",explain:"어텐션 마스크는 어떤 토큰에 주의를 기울일지 나타내는 별도의 필드입니다."},{text:"각 토큰의 어휘 ID입니다.",explain:"그것은 token_type_ids가 아닌 input_ids 필드입니다."}]}}),se=new b({props:{title:"4. load_dataset('glue', 'mrpc') 로 데이터 세트를 로딩할 때 두 번째 인수는 무엇을 지정하나요?",local:"4-loaddatasetglue-mrpc-로-데이터-세트를-로딩할-때-두-번째-인수는-무엇을-지정하나요",headingTag:"h3"}}),ee=new pe({props:{choices:[{text:"로딩할 데이터 세트의 버전입니다.",explain:"버전 지정은 다른 매개변수를 사용합니다."},{text:"GLUE 벤치마크 내의 특정 작업 또는 하위 집합입니다.",explain:"정답입니다! MRPC는 더 큰 GLUE 벤치마크 컬렉션 내의 특정 작업 중 하나입니다.",correct:!0},{text:"데이터 세트의 분할(train/validation/test)입니다.",explain:"분할은 로딩 후에 접근하며, load_dataset 호출에서 지정하지 않습니다."},{text:"데이터를 반환할 형식입니다.",explain:"형식은 로딩 후 set_format() 메소드를 사용하여 설정합니다."}]}}),te=new b({props:{title:"5. 훈련 전에 ‘sentence1’과 ‘sentence2’ 같은 열을 제거하는 목적은 무엇인가요?",local:"5-훈련-전에-sentence1과-sentence2-같은-열을-제거하는-목적은-무엇인가요",headingTag:"h3"}}),le=new pe({props:{choices:[{text:"훈련 중 메모리를 절약하기 위해서입니다.",explain:"약간의 메모리는 절약되지만, 이것이 주된 이유는 아닙니다."},{text:"모델이 이러한 원시 텍스트 열을 예상하지 않고 오류가 발생할 수 있기 때문입니다.",explain:"정답입니다! 모델은 원시 텍스트 문자열이 아닌 수치적 텐서를 예상합니다. 텍스트 열을 유지하면 오류가 발생할 것입니다.",correct:!0},{text:"이러한 열들이 평가에 필요하지 않기 때문입니다.",explain:"사실이긴 하지만, 주된 이유는 모델이 원시 텍스트를 처리할 수 없다는 것입니다."},{text:"훈련 속도를 크게 향상시키기 때문입니다.",explain:"호환되지 않는 데이터 타입으로 인한 오류 방지에 비해 속도 향상은 미미합니다."}]}}),v=new x({props:{$$slots:{default:[Kl]},$$scope:{ctx:d}}}),ne=new zl({props:{source:"https://github.com/huggingface/course/blob/main/chapters/ko/chapter3/2.mdx"}}),{c(){p=u("meta"),$=n(),M=u("p"),U=n(),i(w.$$.fragment),f=n(),i(h.$$.fragment),Me=n(),B=u("p"),B.innerHTML=Wt,ie=n(),i(N.$$.fragment),re=n(),V=u("p"),V.textContent=zt,ce=n(),G=u("p"),G.innerHTML=Et,me=n(),i(H.$$.fragment),ye=n(),i(X.$$.fragment),je=n(),W=u("p"),W.innerHTML=Dt,ue=n(),z=u("p"),z.textContent=St,Je=n(),i(C.$$.fragment),oe=n(),i(E.$$.fragment),Ue=n(),i(D.$$.fragment),$e=n(),S=u("p"),S.innerHTML=Lt,fe=n(),i(k.$$.fragment),Te=n(),L=u("p"),L.innerHTML=Yt,de=n(),i(Y.$$.fragment),he=n(),i(F.$$.fragment),we=n(),q=u("p"),q.innerHTML=Ft,be=n(),i(P.$$.fragment),xe=n(),i(K.$$.fragment),ge=n(),O=u("p"),O.innerHTML=qt,Ce=n(),i(I.$$.fragment),ke=n(),i(ss.$$.fragment),Ie=n(),i(es.$$.fragment),_e=n(),ts=u("p"),ts.innerHTML=Pt,Ae=n(),i(ls.$$.fragment),Qe=n(),i(_.$$.fragment),Re=n(),ns=u("p"),ns.textContent=Kt,Ze=n(),i(as.$$.fragment),ve=n(),i(ps.$$.fragment),Be=n(),Ms=u("p"),Ms.innerHTML=Ot,Ne=n(),i(A.$$.fragment),Ve=n(),is=u("p"),is.innerHTML=sl,Ge=n(),i(rs.$$.fragment),He=n(),cs=u("p"),cs.textContent=el,Xe=n(),i(ms.$$.fragment),We=n(),ys=u("p"),ys.innerHTML=tl,ze=n(),i(js.$$.fragment),Ee=n(),us=u("p"),us.innerHTML=ll,De=n(),Js=u("p"),Js.innerHTML=nl,Se=n(),os=u("p"),os.innerHTML=al,Le=n(),Us=u("p"),Us.textContent=pl,Ye=n(),$s=u("p"),$s.innerHTML=Ml,Fe=n(),fs=u("p"),fs.innerHTML=il,qe=n(),i(Ts.$$.fragment),Pe=n(),ds=u("p"),ds.innerHTML=rl,Ke=n(),hs=u("p"),hs.innerHTML=cl,Oe=n(),i(ws.$$.fragment),st=n(),bs=u("p"),bs.innerHTML=ml,et=n(),xs=u("p"),xs.innerHTML=yl,tt=n(),i(Q.$$.fragment),lt=n(),gs=u("p"),gs.innerHTML=jl,nt=n(),i(Cs.$$.fragment),at=n(),ks=u("p"),ks.textContent=ul,pt=n(),i(Is.$$.fragment),Mt=n(),_s=u("p"),_s.innerHTML=Jl,it=n(),As=u("p"),As.innerHTML=ol,rt=n(),Qs=u("p"),Qs.innerHTML=Ul,ct=n(),i(Rs.$$.fragment),mt=n(),i(Zs.$$.fragment),yt=n(),vs=u("p"),vs.innerHTML=$l,jt=n(),i(R.$$.fragment),ut=n(),Bs=u("p"),Bs.innerHTML=fl,Jt=n(),i(Ns.$$.fragment),ot=n(),Vs=u("p"),Vs.innerHTML=Tl,Ut=n(),i(Gs.$$.fragment),$t=n(),i(Hs.$$.fragment),ft=n(),Xs=u("p"),Xs.innerHTML=dl,Tt=n(),i(Ws.$$.fragment),dt=n(),i(zs.$$.fragment),ht=n(),Es=u("p"),Es.textContent=hl,wt=n(),i(Z.$$.fragment),bt=n(),Ds=u("p"),Ds.textContent=wl,xt=n(),i(Ss.$$.fragment),gt=n(),Ls=u("p"),Ls.textContent=bl,Ct=n(),i(Ys.$$.fragment),kt=n(),i(Fs.$$.fragment),It=n(),i(qs.$$.fragment),_t=n(),i(Ps.$$.fragment),At=n(),i(Ks.$$.fragment),Qt=n(),i(Os.$$.fragment),Rt=n(),i(se.$$.fragment),Zt=n(),i(ee.$$.fragment),vt=n(),i(te.$$.fragment),Bt=n(),i(le.$$.fragment),Nt=n(),i(v.$$.fragment),Vt=n(),i(ne.$$.fragment),Gt=n(),ae=u("p"),this.h()},l(s){const e=Hl("svelte-u9bgzb",document.head);p=J(e,"META",{name:!0,content:!0}),e.forEach(t),$=a(s),M=J(s,"P",{}),Zl(M).forEach(t),U=a(s),r(w.$$.fragment,s),f=a(s),r(h.$$.fragment,s),Me=a(s),B=J(s,"P",{"data-svelte-h":!0}),o(B)!=="svelte-18n4e1w"&&(B.innerHTML=Wt),ie=a(s),r(N.$$.fragment,s),re=a(s),V=J(s,"P",{"data-svelte-h":!0}),o(V)!=="svelte-1yvacnx"&&(V.textContent=zt),ce=a(s),G=J(s,"P",{"data-svelte-h":!0}),o(G)!=="svelte-6tmng3"&&(G.innerHTML=Et),me=a(s),r(H.$$.fragment,s),ye=a(s),r(X.$$.fragment,s),je=a(s),W=J(s,"P",{"data-svelte-h":!0}),o(W)!=="svelte-1quhi9e"&&(W.innerHTML=Dt),ue=a(s),z=J(s,"P",{"data-svelte-h":!0}),o(z)!=="svelte-1b27c1z"&&(z.textContent=St),Je=a(s),r(C.$$.fragment,s),oe=a(s),r(E.$$.fragment,s),Ue=a(s),r(D.$$.fragment,s),$e=a(s),S=J(s,"P",{"data-svelte-h":!0}),o(S)!=="svelte-1f0x3aj"&&(S.innerHTML=Lt),fe=a(s),r(k.$$.fragment,s),Te=a(s),L=J(s,"P",{"data-svelte-h":!0}),o(L)!=="svelte-nbm9uo"&&(L.innerHTML=Yt),de=a(s),r(Y.$$.fragment,s),he=a(s),r(F.$$.fragment,s),we=a(s),q=J(s,"P",{"data-svelte-h":!0}),o(q)!=="svelte-11hwp3u"&&(q.innerHTML=Ft),be=a(s),r(P.$$.fragment,s),xe=a(s),r(K.$$.fragment,s),ge=a(s),O=J(s,"P",{"data-svelte-h":!0}),o(O)!=="svelte-1i632h4"&&(O.innerHTML=qt),Ce=a(s),r(I.$$.fragment,s),ke=a(s),r(ss.$$.fragment,s),Ie=a(s),r(es.$$.fragment,s),_e=a(s),ts=J(s,"P",{"data-svelte-h":!0}),o(ts)!=="svelte-72w04v"&&(ts.innerHTML=Pt),Ae=a(s),r(ls.$$.fragment,s),Qe=a(s),r(_.$$.fragment,s),Re=a(s),ns=J(s,"P",{"data-svelte-h":!0}),o(ns)!=="svelte-1gliuzv"&&(ns.textContent=Kt),Ze=a(s),r(as.$$.fragment,s),ve=a(s),r(ps.$$.fragment,s),Be=a(s),Ms=J(s,"P",{"data-svelte-h":!0}),o(Ms)!=="svelte-1dayjrj"&&(Ms.innerHTML=Ot),Ne=a(s),r(A.$$.fragment,s),Ve=a(s),is=J(s,"P",{"data-svelte-h":!0}),o(is)!=="svelte-fp8ycy"&&(is.innerHTML=sl),Ge=a(s),r(rs.$$.fragment,s),He=a(s),cs=J(s,"P",{"data-svelte-h":!0}),o(cs)!=="svelte-1a5aa9u"&&(cs.textContent=el),Xe=a(s),r(ms.$$.fragment,s),We=a(s),ys=J(s,"P",{"data-svelte-h":!0}),o(ys)!=="svelte-tqglnc"&&(ys.innerHTML=tl),ze=a(s),r(js.$$.fragment,s),Ee=a(s),us=J(s,"P",{"data-svelte-h":!0}),o(us)!=="svelte-13qt3k3"&&(us.innerHTML=ll),De=a(s),Js=J(s,"P",{"data-svelte-h":!0}),o(Js)!=="svelte-1x3j9xz"&&(Js.innerHTML=nl),Se=a(s),os=J(s,"P",{"data-svelte-h":!0}),o(os)!=="svelte-16t7d1w"&&(os.innerHTML=al),Le=a(s),Us=J(s,"P",{"data-svelte-h":!0}),o(Us)!=="svelte-mmugyu"&&(Us.textContent=pl),Ye=a(s),$s=J(s,"P",{"data-svelte-h":!0}),o($s)!=="svelte-9ytk6a"&&($s.innerHTML=Ml),Fe=a(s),fs=J(s,"P",{"data-svelte-h":!0}),o(fs)!=="svelte-1lt9uol"&&(fs.innerHTML=il),qe=a(s),r(Ts.$$.fragment,s),Pe=a(s),ds=J(s,"P",{"data-svelte-h":!0}),o(ds)!=="svelte-1qzyd20"&&(ds.innerHTML=rl),Ke=a(s),hs=J(s,"P",{"data-svelte-h":!0}),o(hs)!=="svelte-rdvnbx"&&(hs.innerHTML=cl),Oe=a(s),r(ws.$$.fragment,s),st=a(s),bs=J(s,"P",{"data-svelte-h":!0}),o(bs)!=="svelte-f19j5a"&&(bs.innerHTML=ml),et=a(s),xs=J(s,"P",{"data-svelte-h":!0}),o(xs)!=="svelte-1if9us4"&&(xs.innerHTML=yl),tt=a(s),r(Q.$$.fragment,s),lt=a(s),gs=J(s,"P",{"data-svelte-h":!0}),o(gs)!=="svelte-1qq8yfu"&&(gs.innerHTML=jl),nt=a(s),r(Cs.$$.fragment,s),at=a(s),ks=J(s,"P",{"data-svelte-h":!0}),o(ks)!=="svelte-1uiluni"&&(ks.textContent=ul),pt=a(s),r(Is.$$.fragment,s),Mt=a(s),_s=J(s,"P",{"data-svelte-h":!0}),o(_s)!=="svelte-1irxq8x"&&(_s.innerHTML=Jl),it=a(s),As=J(s,"P",{"data-svelte-h":!0}),o(As)!=="svelte-15wpq8c"&&(As.innerHTML=ol),rt=a(s),Qs=J(s,"P",{"data-svelte-h":!0}),o(Qs)!=="svelte-1qi6gn3"&&(Qs.innerHTML=Ul),ct=a(s),r(Rs.$$.fragment,s),mt=a(s),r(Zs.$$.fragment,s),yt=a(s),vs=J(s,"P",{"data-svelte-h":!0}),o(vs)!=="svelte-1yf9txj"&&(vs.innerHTML=$l),jt=a(s),r(R.$$.fragment,s),ut=a(s),Bs=J(s,"P",{"data-svelte-h":!0}),o(Bs)!=="svelte-ae4z87"&&(Bs.innerHTML=fl),Jt=a(s),r(Ns.$$.fragment,s),ot=a(s),Vs=J(s,"P",{"data-svelte-h":!0}),o(Vs)!=="svelte-1r7taxf"&&(Vs.innerHTML=Tl),Ut=a(s),r(Gs.$$.fragment,s),$t=a(s),r(Hs.$$.fragment,s),ft=a(s),Xs=J(s,"P",{"data-svelte-h":!0}),o(Xs)!=="svelte-rpp9y6"&&(Xs.innerHTML=dl),Tt=a(s),r(Ws.$$.fragment,s),dt=a(s),r(zs.$$.fragment,s),ht=a(s),Es=J(s,"P",{"data-svelte-h":!0}),o(Es)!=="svelte-1ccey19"&&(Es.textContent=hl),wt=a(s),r(Z.$$.fragment,s),bt=a(s),Ds=J(s,"P",{"data-svelte-h":!0}),o(Ds)!=="svelte-furr9b"&&(Ds.textContent=wl),xt=a(s),r(Ss.$$.fragment,s),gt=a(s),Ls=J(s,"P",{"data-svelte-h":!0}),o(Ls)!=="svelte-1jo93me"&&(Ls.textContent=bl),Ct=a(s),r(Ys.$$.fragment,s),kt=a(s),r(Fs.$$.fragment,s),It=a(s),r(qs.$$.fragment,s),_t=a(s),r(Ps.$$.fragment,s),At=a(s),r(Ks.$$.fragment,s),Qt=a(s),r(Os.$$.fragment,s),Rt=a(s),r(se.$$.fragment,s),Zt=a(s),r(ee.$$.fragment,s),vt=a(s),r(te.$$.fragment,s),Bt=a(s),r(le.$$.fragment,s),Nt=a(s),r(v.$$.fragment,s),Vt=a(s),r(ne.$$.fragment,s),Gt=a(s),ae=J(s,"P",{}),Zl(ae).forEach(t),this.h()},h(){vl(p,"name","hf:doc:metadata"),vl(p,"content",sn)},m(s,e){Xl(document.head,p),l(s,$,e),l(s,M,e),l(s,U,e),c(w,s,e),l(s,f,e),c(h,s,e),l(s,Me,e),l(s,B,e),l(s,ie,e),c(N,s,e),l(s,re,e),l(s,V,e),l(s,ce,e),l(s,G,e),l(s,me,e),c(H,s,e),l(s,ye,e),c(X,s,e),l(s,je,e),l(s,W,e),l(s,ue,e),l(s,z,e),l(s,Je,e),c(C,s,e),l(s,oe,e),c(E,s,e),l(s,Ue,e),c(D,s,e),l(s,$e,e),l(s,S,e),l(s,fe,e),c(k,s,e),l(s,Te,e),l(s,L,e),l(s,de,e),c(Y,s,e),l(s,he,e),c(F,s,e),l(s,we,e),l(s,q,e),l(s,be,e),c(P,s,e),l(s,xe,e),c(K,s,e),l(s,ge,e),l(s,O,e),l(s,Ce,e),c(I,s,e),l(s,ke,e),c(ss,s,e),l(s,Ie,e),c(es,s,e),l(s,_e,e),l(s,ts,e),l(s,Ae,e),c(ls,s,e),l(s,Qe,e),c(_,s,e),l(s,Re,e),l(s,ns,e),l(s,Ze,e),c(as,s,e),l(s,ve,e),c(ps,s,e),l(s,Be,e),l(s,Ms,e),l(s,Ne,e),c(A,s,e),l(s,Ve,e),l(s,is,e),l(s,Ge,e),c(rs,s,e),l(s,He,e),l(s,cs,e),l(s,Xe,e),c(ms,s,e),l(s,We,e),l(s,ys,e),l(s,ze,e),c(js,s,e),l(s,Ee,e),l(s,us,e),l(s,De,e),l(s,Js,e),l(s,Se,e),l(s,os,e),l(s,Le,e),l(s,Us,e),l(s,Ye,e),l(s,$s,e),l(s,Fe,e),l(s,fs,e),l(s,qe,e),c(Ts,s,e),l(s,Pe,e),l(s,ds,e),l(s,Ke,e),l(s,hs,e),l(s,Oe,e),c(ws,s,e),l(s,st,e),l(s,bs,e),l(s,et,e),l(s,xs,e),l(s,tt,e),c(Q,s,e),l(s,lt,e),l(s,gs,e),l(s,nt,e),c(Cs,s,e),l(s,at,e),l(s,ks,e),l(s,pt,e),c(Is,s,e),l(s,Mt,e),l(s,_s,e),l(s,it,e),l(s,As,e),l(s,rt,e),l(s,Qs,e),l(s,ct,e),c(Rs,s,e),l(s,mt,e),c(Zs,s,e),l(s,yt,e),l(s,vs,e),l(s,jt,e),c(R,s,e),l(s,ut,e),l(s,Bs,e),l(s,Jt,e),c(Ns,s,e),l(s,ot,e),l(s,Vs,e),l(s,Ut,e),c(Gs,s,e),l(s,$t,e),c(Hs,s,e),l(s,ft,e),l(s,Xs,e),l(s,Tt,e),c(Ws,s,e),l(s,dt,e),c(zs,s,e),l(s,ht,e),l(s,Es,e),l(s,wt,e),c(Z,s,e),l(s,bt,e),l(s,Ds,e),l(s,xt,e),c(Ss,s,e),l(s,gt,e),l(s,Ls,e),l(s,Ct,e),c(Ys,s,e),l(s,kt,e),c(Fs,s,e),l(s,It,e),c(qs,s,e),l(s,_t,e),c(Ps,s,e),l(s,At,e),c(Ks,s,e),l(s,Qt,e),c(Os,s,e),l(s,Rt,e),c(se,s,e),l(s,Zt,e),c(ee,s,e),l(s,vt,e),c(te,s,e),l(s,Bt,e),c(le,s,e),l(s,Nt,e),c(v,s,e),l(s,Vt,e),c(ne,s,e),l(s,Gt,e),l(s,ae,e),Ht=!0},p(s,[e]){const xl={};e&2&&(xl.$$scope={dirty:e,ctx:s}),C.$set(xl);const gl={};e&2&&(gl.$$scope={dirty:e,ctx:s}),k.$set(gl);const Cl={};e&2&&(Cl.$$scope={dirty:e,ctx:s}),I.$set(Cl);const kl={};e&2&&(kl.$$scope={dirty:e,ctx:s}),_.$set(kl);const Il={};e&2&&(Il.$$scope={dirty:e,ctx:s}),A.$set(Il);const _l={};e&2&&(_l.$$scope={dirty:e,ctx:s}),Q.$set(_l);const Al={};e&2&&(Al.$$scope={dirty:e,ctx:s}),R.$set(Al);const Ql={};e&2&&(Ql.$$scope={dirty:e,ctx:s}),Z.$set(Ql);const Rl={};e&2&&(Rl.$$scope={dirty:e,ctx:s}),v.$set(Rl)},i(s){Ht||(m(w.$$.fragment,s),m(h.$$.fragment,s),m(N.$$.fragment,s),m(H.$$.fragment,s),m(X.$$.fragment,s),m(C.$$.fragment,s),m(E.$$.fragment,s),m(D.$$.fragment,s),m(k.$$.fragment,s),m(Y.$$.fragment,s),m(F.$$.fragment,s),m(P.$$.fragment,s),m(K.$$.fragment,s),m(I.$$.fragment,s),m(ss.$$.fragment,s),m(es.$$.fragment,s),m(ls.$$.fragment,s),m(_.$$.fragment,s),m(as.$$.fragment,s),m(ps.$$.fragment,s),m(A.$$.fragment,s),m(rs.$$.fragment,s),m(ms.$$.fragment,s),m(js.$$.fragment,s),m(Ts.$$.fragment,s),m(ws.$$.fragment,s),m(Q.$$.fragment,s),m(Cs.$$.fragment,s),m(Is.$$.fragment,s),m(Rs.$$.fragment,s),m(Zs.$$.fragment,s),m(R.$$.fragment,s),m(Ns.$$.fragment,s),m(Gs.$$.fragment,s),m(Hs.$$.fragment,s),m(Ws.$$.fragment,s),m(zs.$$.fragment,s),m(Z.$$.fragment,s),m(Ss.$$.fragment,s),m(Ys.$$.fragment,s),m(Fs.$$.fragment,s),m(qs.$$.fragment,s),m(Ps.$$.fragment,s),m(Ks.$$.fragment,s),m(Os.$$.fragment,s),m(se.$$.fragment,s),m(ee.$$.fragment,s),m(te.$$.fragment,s),m(le.$$.fragment,s),m(v.$$.fragment,s),m(ne.$$.fragment,s),Ht=!0)},o(s){y(w.$$.fragment,s),y(h.$$.fragment,s),y(N.$$.fragment,s),y(H.$$.fragment,s),y(X.$$.fragment,s),y(C.$$.fragment,s),y(E.$$.fragment,s),y(D.$$.fragment,s),y(k.$$.fragment,s),y(Y.$$.fragment,s),y(F.$$.fragment,s),y(P.$$.fragment,s),y(K.$$.fragment,s),y(I.$$.fragment,s),y(ss.$$.fragment,s),y(es.$$.fragment,s),y(ls.$$.fragment,s),y(_.$$.fragment,s),y(as.$$.fragment,s),y(ps.$$.fragment,s),y(A.$$.fragment,s),y(rs.$$.fragment,s),y(ms.$$.fragment,s),y(js.$$.fragment,s),y(Ts.$$.fragment,s),y(ws.$$.fragment,s),y(Q.$$.fragment,s),y(Cs.$$.fragment,s),y(Is.$$.fragment,s),y(Rs.$$.fragment,s),y(Zs.$$.fragment,s),y(R.$$.fragment,s),y(Ns.$$.fragment,s),y(Gs.$$.fragment,s),y(Hs.$$.fragment,s),y(Ws.$$.fragment,s),y(zs.$$.fragment,s),y(Z.$$.fragment,s),y(Ss.$$.fragment,s),y(Ys.$$.fragment,s),y(Fs.$$.fragment,s),y(qs.$$.fragment,s),y(Ps.$$.fragment,s),y(Ks.$$.fragment,s),y(Os.$$.fragment,s),y(se.$$.fragment,s),y(ee.$$.fragment,s),y(te.$$.fragment,s),y(le.$$.fragment,s),y(v.$$.fragment,s),y(ne.$$.fragment,s),Ht=!1},d(s){s&&(t($),t(M),t(U),t(f),t(Me),t(B),t(ie),t(re),t(V),t(ce),t(G),t(me),t(ye),t(je),t(W),t(ue),t(z),t(Je),t(oe),t(Ue),t($e),t(S),t(fe),t(Te),t(L),t(de),t(he),t(we),t(q),t(be),t(xe),t(ge),t(O),t(Ce),t(ke),t(Ie),t(_e),t(ts),t(Ae),t(Qe),t(Re),t(ns),t(Ze),t(ve),t(Be),t(Ms),t(Ne),t(Ve),t(is),t(Ge),t(He),t(cs),t(Xe),t(We),t(ys),t(ze),t(Ee),t(us),t(De),t(Js),t(Se),t(os),t(Le),t(Us),t(Ye),t($s),t(Fe),t(fs),t(qe),t(Pe),t(ds),t(Ke),t(hs),t(Oe),t(st),t(bs),t(et),t(xs),t(tt),t(lt),t(gs),t(nt),t(at),t(ks),t(pt),t(Mt),t(_s),t(it),t(As),t(rt),t(Qs),t(ct),t(mt),t(yt),t(vs),t(jt),t(ut),t(Bs),t(Jt),t(ot),t(Vs),t(Ut),t($t),t(ft),t(Xs),t(Tt),t(dt),t(ht),t(Es),t(wt),t(bt),t(Ds),t(xt),t(gt),t(Ls),t(Ct),t(kt),t(It),t(_t),t(At),t(Qt),t(Rt),t(Zt),t(vt),t(Bt),t(Nt),t(Vt),t(Gt),t(ae)),t(p),j(w,s),j(h,s),j(N,s),j(H,s),j(X,s),j(C,s),j(E,s),j(D,s),j(k,s),j(Y,s),j(F,s),j(P,s),j(K,s),j(I,s),j(ss,s),j(es,s),j(ls,s),j(_,s),j(as,s),j(ps,s),j(A,s),j(rs,s),j(ms,s),j(js,s),j(Ts,s),j(ws,s),j(Q,s),j(Cs,s),j(Is,s),j(Rs,s),j(Zs,s),j(R,s),j(Ns,s),j(Gs,s),j(Hs,s),j(Ws,s),j(zs,s),j(Z,s),j(Ss,s),j(Ys,s),j(Fs,s),j(qs,s),j(Ps,s),j(Ks,s),j(Os,s),j(se,s),j(ee,s),j(te,s),j(le,s),j(v,s),j(ne,s)}}}const sn=`{"title":"데이터 처리","local":"processing-the-data","sections":[{"title":"Hub에서 데이터 세트 가져오기","local":"loading-a-dataset-from-the-hub","sections":[],"depth":3},{"title":"데이터 세트 전처리","local":"preprocessing-a-dataset","sections":[{"title":"동적 패딩","local":"dynamic-padding","sections":[],"depth":5}],"depth":3},{"title":"섹션 퀴즈","local":"section-quiz","sections":[{"title":"1. batched=True 와 함께 Dataset.map() 을 사용하는 주요 장점은 무엇인가요?","local":"1-batchedtrue-와-함께-datasetmap-을-사용하는-주요-장점은-무엇인가요","sections":[],"depth":3},{"title":"2. 데이터 세트의 최대 길이로 모든 시퀀스를 패딩하는 대신 동적 패딩을 사용하는 이유는 무엇인가요?","local":"2-데이터-세트의-최대-길이로-모든-시퀀스를-패딩하는-대신-동적-패딩을-사용하는-이유는-무엇인가요","sections":[],"depth":3},{"title":"3. BERT 토큰화에서 token_type_ids 필드는 무엇을 나타내나요?","local":"3-bert-토큰화에서-tokentypeids-필드는-무엇을-나타내나요","sections":[],"depth":3},{"title":"4. load_dataset('glue', 'mrpc') 로 데이터 세트를 로딩할 때 두 번째 인수는 무엇을 지정하나요?","local":"4-loaddatasetglue-mrpc-로-데이터-세트를-로딩할-때-두-번째-인수는-무엇을-지정하나요","sections":[],"depth":3},{"title":"5. 훈련 전에 ‘sentence1’과 ‘sentence2’ 같은 열을 제거하는 목적은 무엇인가요?","local":"5-훈련-전에-sentence1과-sentence2-같은-열을-제거하는-목적은-무엇인가요","sections":[],"depth":3}],"depth":2}],"depth":1}`;function en(d){return Nl(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class mn extends Vl{constructor(p){super(),Gl(this,p,en,Ol,Bl,{})}}export{mn as component};