course/pr_1178/ja/_app/immutable/nodes/17.650bee2d.js

import{s as Ie,o as Ae}from"../chunks/scheduler.ddeee2a5.js";import{S as Ce,i as Ze,e as d,s as i,c as b,h as Qe,a as J,d as a,b as u,f as ke,g as j,j as w,k as $s,l as Ne,m as M,n as y,o as c,q as v,t as m,p as f,r as B}from"../chunks/index.b5ed4bbb.js";import{C as ge,H as vl,E as Ve}from"../chunks/MermaidChart.svelte_svelte_type_style_lang.98fdf0c8.js";import{Y as _e}from"../chunks/Youtube.08e6a733.js";import{C as T}from"../chunks/CodeBlock.890058c4.js";import{C as $e}from"../chunks/CourseFloatingBanner.e70be405.js";import{F as Ee}from"../chunks/FrameworkSwitchCourse.f26cbc91.js";function We(U){let t,p;return t=new $e({props:{chapter:2,classNames:"absolute z-10 right-0 top-0",notebooks:[{label:"Google Colab",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/en/chapter2/section5_tf.ipynb"},{label:"Aws Studio",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/en/chapter2/section5_tf.ipynb"}]}}),{c(){b(t.$$.fragment)},l(s){j(t.$$.fragment,s)},m(s,r){y(t,s,r),p=!0},i(s){p||(m(t.$$.fragment,s),p=!0)},o(s){c(t.$$.fragment,s),p=!1},d(s){f(t,s)}}}function ze(U){let t,p;return t=new $e({props:{chapter:2,classNames:"absolute z-10 right-0 top-0",notebooks:[{label:"Google Colab",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/en/chapter2/section5_pt.ipynb"},{label:"Aws Studio",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/en/chapter2/section5_pt.ipynb"}]}}),{c(){b(t.$$.fragment)},l(s){j(t.$$.fragment,s)},m(s,r){y(t,s,r),p=!0},i(s){p||(m(t.$$.fragment,s),p=!0)},o(s){c(t.$$.fragment,s),p=!1},d(s){f(t,s)}}}function Re(U){let t,p;return t=new _e({props:{id:"ROxrFOEbsQE"}}),{c(){b(t.$$.fragment)},l(s){j(t.$$.fragment,s)},m(s,r){y(t,s,r),p=!0},i(s){p||(m(t.$$.fragment,s),p=!0)},o(s){c(t.$$.fragment,s),p=!1},d(s){f(t,s)}}}function Ge(U){let t,p;return t=new _e({props:{id:"M6adb1j2jPI"}}),{c(){b(t.$$.fragment)},l(s){j(t.$$.fragment,s)},m(s,r){y(t,s,r),p=!0},i(s){p||(m(t.$$.fragment,s),p=!0)},o(s){c(t.$$.fragment,s),p=!1},d(s){f(t,s)}}}function Xe(U){let t,p,s,r;return t=new T({props:{code:"aW1wb3J0JTIwdGVuc29yZmxvdyUyMGFzJTIwdGYlMEFmcm9tJTIwdHJhbnNmb3JtZXJzJTIwaW1wb3J0JTIwQXV0b1Rva2VuaXplciUyQyUyMFRGQXV0b01vZGVsRm9yU2VxdWVuY2VDbGFzc2lmaWNhdGlvbiUwQSUwQWNoZWNrcG9pbnQlMjAlM0QlMjAlMjJkaXN0aWxiZXJ0LWJhc2UtdW5jYXNlZC1maW5ldHVuZWQtc3N0LTItZW5nbGlzaCUyMiUwQXRva2VuaXplciUyMCUzRCUyMEF1dG9Ub2tlbml6ZXIuZnJvbV9wcmV0cmFpbmVkKGNoZWNrcG9pbnQpJTBBbW9kZWwlMjAlM0QlMjBURkF1dG9Nb2RlbEZvclNlcXVlbmNlQ2xhc3NpZmljYXRpb24uZnJvbV9wcmV0cmFpbmVkKGNoZWNrcG9pbnQpJTBBJTBBc2VxdWVuY2UlMjAlM0QlMjAlMjJJJ3ZlJTIwYmVlbiUyMHdhaXRpbmclMjBmb3IlMjBhJTIwSHVnZ2luZ0ZhY2UlMjBjb3Vyc2UlMjBteSUyMHdob2xlJTIwbGlmZS4lMjIlMEElMEF0b2tlbnMlMjAlM0QlMjB0b2tlbml6ZXIudG9rZW5pemUoc2VxdWVuY2UpJTBBaWRzJTIwJTNEJTIwdG9rZW5pemVyLmNvbnZlcnRfdG9rZW5zX3RvX2lkcyh0b2tlbnMpJTBBaW5wdXRfaWRzJTIwJTNEJTIwdGYuY29uc3RhbnQoaWRzKSUwQSUyMyUyMFRoaXMlMjBsaW5lJTIwd2lsbCUyMGZhaWwuJTBBbW9kZWwoaW5wdXRfaWRzKQ==",highlighted:`<span class="hljs-keyword">import</span> tensorflow <span class="hljs-keyword">as</span> tf
<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer, TFAutoModelForSequenceClassification

checkpoint = <span class="hljs-string">&quot;distilbert-base-uncased-finetuned-sst-2-english&quot;</span>
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = TFAutoModelForSequenceClassification.from_pretrained(checkpoint)

sequence = <span class="hljs-string">&quot;I&#x27;ve been waiting for a HuggingFace course my whole life.&quot;</span>

tokens = tokenizer.tokenize(sequence)
ids = tokenizer.convert_tokens_to_ids(tokens)
input_ids = tf.constant(ids)
<span class="hljs-comment"># This line will fail.</span>
model(input_ids)`,wrap:!1}}),s=new T({props:{code:"SW52YWxpZEFyZ3VtZW50RXJyb3IlM0ElMjBJbnB1dCUyMHRvJTIwcmVzaGFwZSUyMGlzJTIwYSUyMHRlbnNvciUyMHdpdGglMjAxNCUyMHZhbHVlcyUyQyUyMGJ1dCUyMHRoZSUyMHJlcXVlc3RlZCUyMHNoYXBlJTIwaGFzJTIwMTk2JTIwJTVCT3AlM0FSZXNoYXBlJTVE",highlighted:'InvalidArgumentError: Input to reshape <span class="hljs-keyword">is</span> a tensor <span class="hljs-keyword">with</span> <span class="hljs-number">14</span> values, but the requested shape has <span class="hljs-number">196</span> [Op:Reshape]',wrap:!1}}),{c(){b(t.$$.fragment),p=i(),b(s.$$.fragment)},l(e){j(t.$$.fragment,e),p=u(e),j(s.$$.fragment,e)},m(e,o){y(t,e,o),M(e,p,o),y(s,e,o),r=!0},i(e){r||(m(t.$$.fragment,e),m(s.$$.fragment,e),r=!0)},o(e){c(t.$$.fragment,e),c(s.$$.fragment,e),r=!1},d(e){e&&a(p),f(t,e),f(s,e)}}}function ve(U){let t,p,s,r;return t=new T({props:{code:"aW1wb3J0JTIwdG9yY2glMEFmcm9tJTIwdHJhbnNmb3JtZXJzJTIwaW1wb3J0JTIwQXV0b1Rva2VuaXplciUyQyUyMEF1dG9Nb2RlbEZvclNlcXVlbmNlQ2xhc3NpZmljYXRpb24lMEElMEFjaGVja3BvaW50JTIwJTNEJTIwJTIyZGlzdGlsYmVydC1iYXNlLXVuY2FzZWQtZmluZXR1bmVkLXNzdC0yLWVuZ2xpc2glMjIlMEF0b2tlbml6ZXIlMjAlM0QlMjBBdXRvVG9rZW5pemVyLmZyb21fcHJldHJhaW5lZChjaGVja3BvaW50KSUwQW1vZGVsJTIwJTNEJTIwQXV0b01vZGVsRm9yU2VxdWVuY2VDbGFzc2lmaWNhdGlvbi5mcm9tX3ByZXRyYWluZWQoY2hlY2twb2ludCklMEElMEFzZXF1ZW5jZSUyMCUzRCUyMCUyMkkndmUlMjBiZWVuJTIwd2FpdGluZyUyMGZvciUyMGElMjBIdWdnaW5nRmFjZSUyMGNvdXJzZSUyMG15JTIwd2hvbGUlMjBsaWZlLiUyMiUwQSUwQXRva2VucyUyMCUzRCUyMHRva2VuaXplci50b2tlbml6ZShzZXF1ZW5jZSklMEFpZHMlMjAlM0QlMjB0b2tlbml6ZXIuY29udmVydF90b2tlbnNfdG9faWRzKHRva2VucyklMEFpbnB1dF9pZHMlMjAlM0QlMjB0b3JjaC50ZW5zb3IoaWRzKSUwQSUyMyUyMFRoaXMlMjBsaW5lJTIwd2lsbCUyMGZhaWwuJTBBbW9kZWwoaW5wdXRfaWRzKQ==",highlighted:`<span class="hljs-keyword">import</span> torch
<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer, AutoModelForSequenceClassification

checkpoint = <span class="hljs-string">&quot;distilbert-base-uncased-finetuned-sst-2-english&quot;</span>
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForSequenceClassification.from_pretrained(checkpoint)

sequence = <span class="hljs-string">&quot;I&#x27;ve been waiting for a HuggingFace course my whole life.&quot;</span>

tokens = tokenizer.tokenize(sequence)
ids = tokenizer.convert_tokens_to_ids(tokens)
input_ids = torch.tensor(ids)
<span class="hljs-comment"># This line will fail.</span>
model(input_ids)`,wrap:!1}}),s=new T({props:{code:"SW5kZXhFcnJvciUzQSUyMERpbWVuc2lvbiUyMG91dCUyMG9mJTIwcmFuZ2UlMjAoZXhwZWN0ZWQlMjB0byUyMGJlJTIwaW4lMjByYW5nZSUyMG9mJTIwJTVCLTElMkMlMjAwJTVEJTJDJTIwYnV0JTIwZ290JTIwMSk=",highlighted:'IndexError: Dimension out of <span class="hljs-built_in">range</span> (expected to be <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span> of [-<span class="hljs-number">1</span>, <span class="hljs-number">0</span>], but got <span class="hljs-number">1</span>)',wrap:!1}}),{c(){b(t.$$.fragment),p=i(),b(s.$$.fragment)},l(e){j(t.$$.fragment,e),p=u(e),j(s.$$.fragment,e)},m(e,o){y(t,e,o),M(e,p,o),y(s,e,o),r=!0},i(e){r||(m(t.$$.fragment,e),m(s.$$.fragment,e),r=!0)},o(e){c(t.$$.fragment,e),c(s.$$.fragment,e),r=!1},d(e){e&&a(p),f(t,e),f(s,e)}}}function Be(U){let t,p,s,r;return t=new T({props:{code:"dG9rZW5pemVkX2lucHV0cyUyMCUzRCUyMHRva2VuaXplcihzZXF1ZW5jZSUyQyUyMHJldHVybl90ZW5zb3JzJTNEJTIydGYlMjIpJTBBcHJpbnQodG9rZW5pemVkX2lucHV0cyU1QiUyMmlucHV0X2lkcyUyMiU1RCk=",highlighted:`tokenized_inputs = tokenizer(sequence, return_tensors=<span class="hljs-string">&quot;tf&quot;</span>)
<span class="hljs-built_in">print</span>(tokenized_inputs[<span class="hljs-string">&quot;input_ids&quot;</span>])`,wrap:!1}}),s=new T({props:{code:"JTNDdGYuVGVuc29yJTNBJTIwc2hhcGUlM0QoMSUyQyUyMDE2KSUyQyUyMGR0eXBlJTNEaW50MzIlMkMlMjBudW1weSUzRCUwQWFycmF5KCU1QiU1QiUyMCUyMDEwMSUyQyUyMCUyMDEwNDUlMkMlMjAlMjAxMDA1JTJDJTIwJTIwMjMxMCUyQyUyMCUyMDIwNDIlMkMlMjAlMjAzNDAzJTJDJTIwJTIwMjAwNSUyQyUyMCUyMDEwMzclMkMlMjAxNzY2MiUyQyUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMDEyMTcyJTJDJTIwJTIwMjYwNyUyQyUyMCUyMDIwMjYlMkMlMjAlMjAyODc4JTJDJTIwJTIwMjE2NiUyQyUyMCUyMDEwMTIlMkMlMjAlMjAlMjAxMDIlNUQlNUQlMkMlMjBkdHlwZSUzRGludDMyKSUzRQ==",highlighted:`&lt;tf.Tensor: shape=(<span class="hljs-number">1</span>, <span class="hljs-number">16</span>), dtype=int32, numpy=
array([[  <span class="hljs-number">101</span>,  <span class="hljs-number">1045</span>,  <span class="hljs-number">1005</span>,  <span class="hljs-number">2310</span>,  <span class="hljs-number">2042</span>,  <span class="hljs-number">3403</span>,  <span class="hljs-number">2005</span>,  <span class="hljs-number">1037</span>, <span class="hljs-number">17662</span>,
        <span class="hljs-number">12172</span>,  <span class="hljs-number">2607</span>,  <span class="hljs-number">2026</span>,  <span class="hljs-number">2878</span>,  <span class="hljs-number">2166</span>,  <span class="hljs-number">1012</span>,   <span class="hljs-number">102</span>]], dtype=int32)&gt;`,wrap:!1}}),{c(){b(t.$$.fragment),p=i(),b(s.$$.fragment)},l(e){j(t.$$.fragment,e),p=u(e),j(s.$$.fragment,e)},m(e,o){y(t,e,o),M(e,p,o),y(s,e,o),r=!0},i(e){r||(m(t.$$.fragment,e),m(s.$$.fragment,e),r=!0)},o(e){c(t.$$.fragment,e),c(s.$$.fragment,e),r=!1},d(e){e&&a(p),f(t,e),f(s,e)}}}function De(U){let t,p,s,r;return t=new T({props:{code:"dG9rZW5pemVkX2lucHV0cyUyMCUzRCUyMHRva2VuaXplcihzZXF1ZW5jZSUyQyUyMHJldHVybl90ZW5zb3JzJTNEJTIycHQlMjIpJTBBcHJpbnQodG9rZW5pemVkX2lucHV0cyU1QiUyMmlucHV0X2lkcyUyMiU1RCk=",highlighted:`tokenized_inputs = tokenizer(sequence, return_tensors=<span class="hljs-string">&quot;pt&quot;</span>)
<span class="hljs-built_in">print</span>(tokenized_inputs[<span class="hljs-string">&quot;input_ids&quot;</span>])`,wrap:!1}}),s=new T({props:{code:"dGVuc29yKCU1QiU1QiUyMCUyMDEwMSUyQyUyMCUyMDEwNDUlMkMlMjAlMjAxMDA1JTJDJTIwJTIwMjMxMCUyQyUyMCUyMDIwNDIlMkMlMjAlMjAzNDAzJTJDJTIwJTIwMjAwNSUyQyUyMCUyMDEwMzclMkMlMjAxNzY2MiUyQyUyMDEyMTcyJTJDJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwMjYwNyUyQyUyMCUyMDIwMjYlMkMlMjAlMjAyODc4JTJDJTIwJTIwMjE2NiUyQyUyMCUyMDEwMTIlMkMlMjAlMjAlMjAxMDIlNUQlNUQp",highlighted:`tensor([[  <span class="hljs-number">101</span>,  <span class="hljs-number">1045</span>,  <span class="hljs-number">1005</span>,  <span class="hljs-number">2310</span>,  <span class="hljs-number">2042</span>,  <span class="hljs-number">3403</span>,  <span class="hljs-number">2005</span>,  <span class="hljs-number">1037</span>, <span class="hljs-number">17662</span>, <span class="hljs-number">12172</span>,
          <span class="hljs-number">2607</span>,  <span class="hljs-number">2026</span>,  <span class="hljs-number">2878</span>,  <span class="hljs-number">2166</span>,  <span class="hljs-number">1012</span>,   <span class="hljs-number">102</span>]])`,wrap:!1}}),{c(){b(t.$$.fragment),p=i(),b(s.$$.fragment)},l(e){j(t.$$.fragment,e),p=u(e),j(s.$$.fragment,e)},m(e,o){y(t,e,o),M(e,p,o),y(s,e,o),r=!0},i(e){r||(m(t.$$.fragment,e),m(s.$$.fragment,e),r=!0)},o(e){c(t.$$.fragment,e),c(s.$$.fragment,e),r=!1},d(e){e&&a(p),f(t,e),f(s,e)}}}function xe(U){let t,p;return t=new T({props:{code:"aW1wb3J0JTIwdGVuc29yZmxvdyUyMGFzJTIwdGYlMEFmcm9tJTIwdHJhbnNmb3JtZXJzJTIwaW1wb3J0JTIwQXV0b1Rva2VuaXplciUyQyUyMFRGQXV0b01vZGVsRm9yU2VxdWVuY2VDbGFzc2lmaWNhdGlvbiUwQSUwQWNoZWNrcG9pbnQlMjAlM0QlMjAlMjJkaXN0aWxiZXJ0LWJhc2UtdW5jYXNlZC1maW5ldHVuZWQtc3N0LTItZW5nbGlzaCUyMiUwQXRva2VuaXplciUyMCUzRCUyMEF1dG9Ub2tlbml6ZXIuZnJvbV9wcmV0cmFpbmVkKGNoZWNrcG9pbnQpJTBBbW9kZWwlMjAlM0QlMjBURkF1dG9Nb2RlbEZvclNlcXVlbmNlQ2xhc3NpZmljYXRpb24uZnJvbV9wcmV0cmFpbmVkKGNoZWNrcG9pbnQpJTBBJTBBc2VxdWVuY2UlMjAlM0QlMjAlMjJJJ3ZlJTIwYmVlbiUyMHdhaXRpbmclMjBmb3IlMjBhJTIwSHVnZ2luZ0ZhY2UlMjBjb3Vyc2UlMjBteSUyMHdob2xlJTIwbGlmZS4lMjIlMEElMEF0b2tlbnMlMjAlM0QlMjB0b2tlbml6ZXIudG9rZW5pemUoc2VxdWVuY2UpJTBBaWRzJTIwJTNEJTIwdG9rZW5pemVyLmNvbnZlcnRfdG9rZW5zX3RvX2lkcyh0b2tlbnMpJTBBJTBBaW5wdXRfaWRzJTIwJTNEJTIwdGYuY29uc3RhbnQoJTVCaWRzJTVEKSUwQXByaW50KCUyMklucHV0JTIwSURzJTNBJTIyJTJDJTIwaW5wdXRfaWRzKSUwQSUwQW91dHB1dCUyMCUzRCUyMG1vZGVsKGlucHV0X2lkcyklMEFwcmludCglMjJMb2dpdHMlM0ElMjIlMkMlMjBvdXRwdXQubG9naXRzKQ==",highlighted:`<span class="hljs-keyword">import</span> tensorflow <span class="hljs-keyword">as</span> tf
<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer, TFAutoModelForSequenceClassification

checkpoint = <span class="hljs-string">&quot;distilbert-base-uncased-finetuned-sst-2-english&quot;</span>
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = TFAutoModelForSequenceClassification.from_pretrained(checkpoint)

sequence = <span class="hljs-string">&quot;I&#x27;ve been waiting for a HuggingFace course my whole life.&quot;</span>

tokens = tokenizer.tokenize(sequence)
ids = tokenizer.convert_tokens_to_ids(tokens)

input_ids = tf.constant([ids])
<span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Input IDs:&quot;</span>, input_ids)

output = model(input_ids)
<span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Logits:&quot;</span>, output.logits)`,wrap:!1}}),{c(){b(t.$$.fragment)},l(s){j(t.$$.fragment,s)},m(s,r){y(t,s,r),p=!0},i(s){p||(m(t.$$.fragment,s),p=!0)},o(s){c(t.$$.fragment,s),p=!1},d(s){f(t,s)}}}function Fe(U){let t,p;return t=new T({props:{code:"aW1wb3J0JTIwdG9yY2glMEFmcm9tJTIwdHJhbnNmb3JtZXJzJTIwaW1wb3J0JTIwQXV0b1Rva2VuaXplciUyQyUyMEF1dG9Nb2RlbEZvclNlcXVlbmNlQ2xhc3NpZmljYXRpb24lMEElMEFjaGVja3BvaW50JTIwJTNEJTIwJTIyZGlzdGlsYmVydC1iYXNlLXVuY2FzZWQtZmluZXR1bmVkLXNzdC0yLWVuZ2xpc2glMjIlMEF0b2tlbml6ZXIlMjAlM0QlMjBBdXRvVG9rZW5pemVyLmZyb21fcHJldHJhaW5lZChjaGVja3BvaW50KSUwQW1vZGVsJTIwJTNEJTIwQXV0b01vZGVsRm9yU2VxdWVuY2VDbGFzc2lmaWNhdGlvbi5mcm9tX3ByZXRyYWluZWQoY2hlY2twb2ludCklMEElMEFzZXF1ZW5jZSUyMCUzRCUyMCUyMkkndmUlMjBiZWVuJTIwd2FpdGluZyUyMGZvciUyMGElMjBIdWdnaW5nRmFjZSUyMGNvdXJzZSUyMG15JTIwd2hvbGUlMjBsaWZlLiUyMiUwQSUwQXRva2VucyUyMCUzRCUyMHRva2VuaXplci50b2tlbml6ZShzZXF1ZW5jZSklMEFpZHMlMjAlM0QlMjB0b2tlbml6ZXIuY29udmVydF90b2tlbnNfdG9faWRzKHRva2VucyklMEElMEFpbnB1dF9pZHMlMjAlM0QlMjB0b3JjaC50ZW5zb3IoJTVCaWRzJTVEKSUwQXByaW50KCUyMklucHV0JTIwSURzJTNBJTIyJTJDJTIwaW5wdXRfaWRzKSUwQSUwQW91dHB1dCUyMCUzRCUyMG1vZGVsKGlucHV0X2lkcyklMEFwcmludCglMjJMb2dpdHMlM0ElMjIlMkMlMjBvdXRwdXQubG9naXRzKQ==",highlighted:`<span class="hljs-keyword">import</span> torch
<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer, AutoModelForSequenceClassification

checkpoint = <span class="hljs-string">&quot;distilbert-base-uncased-finetuned-sst-2-english&quot;</span>
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForSequenceClassification.from_pretrained(checkpoint)

sequence = <span class="hljs-string">&quot;I&#x27;ve been waiting for a HuggingFace course my whole life.&quot;</span>

tokens = tokenizer.tokenize(sequence)
ids = tokenizer.convert_tokens_to_ids(tokens)

input_ids = torch.tensor([ids])
<span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Input IDs:&quot;</span>, input_ids)

output = model(input_ids)
<span class="hljs-built_in">print</span>(<span class="hljs-string">&quot;Logits:&quot;</span>, output.logits)`,wrap:!1}}),{c(){b(t.$$.fragment)},l(s){j(t.$$.fragment,s)},m(s,r){y(t,s,r),p=!0},i(s){p||(m(t.$$.fragment,s),p=!0)},o(s){c(t.$$.fragment,s),p=!1},d(s){f(t,s)}}}function He(U){let t,p;return t=new T({props:{code:"SW5wdXQlMjBJRHMlM0ElMjB0Zi5UZW5zb3IoJTBBJTVCJTVCJTIwMTA0NSUyMCUyMDEwMDUlMjAlMjAyMzEwJTIwJTIwMjA0MiUyMCUyMDM0MDMlMjAlMjAyMDA1JTIwJTIwMTAzNyUyMDE3NjYyJTIwMTIxNzIlMjAlMjAyNjA3JTIwJTIwMjAyNiUyMCUyMDI4NzglMEElMjAlMjAlMjAyMTY2JTIwJTIwMTAxMiU1RCU1RCUyQyUyMHNoYXBlJTNEKDElMkMlMjAxNCklMkMlMjBkdHlwZSUzRGludDMyKSUwQUxvZ2l0cyUzQSUyMHRmLlRlbnNvciglNUIlNUItMi43Mjc2MjA4JTIwJTIwMi44Nzg5Mzc3JTVEJTVEJTJDJTIwc2hhcGUlM0QoMSUyQyUyMDIpJTJDJTIwZHR5cGUlM0RmbG9hdDMyKQ==",highlighted:`Input IDs: tf.Tensor(
[[ <span class="hljs-number">1045</span>  <span class="hljs-number">1005</span>  <span class="hljs-number">2310</span>  <span class="hljs-number">2042</span>  <span class="hljs-number">3403</span>  <span class="hljs-number">2005</span>  <span class="hljs-number">1037</span> <span class="hljs-number">17662</span> <span class="hljs-number">12172</span>  <span class="hljs-number">2607</span>  <span class="hljs-number">2026</span>  <span class="hljs-number">2878</span>
   <span class="hljs-number">2166</span>  <span class="hljs-number">1012</span>]], shape=(<span class="hljs-number">1</span>, <span class="hljs-number">14</span>), dtype=int32)
Logits: tf.Tensor([[-<span class="hljs-number">2.7276208</span>  <span class="hljs-number">2.8789377</span>]], shape=(<span class="hljs-number">1</span>, <span class="hljs-number">2</span>), dtype=float32)`,wrap:!1}}),{c(){b(t.$$.fragment)},l(s){j(t.$$.fragment,s)},m(s,r){y(t,s,r),p=!0},i(s){p||(m(t.$$.fragment,s),p=!0)},o(s){c(t.$$.fragment,s),p=!1},d(s){f(t,s)}}}function Se(U){let t,p;return t=new T({props:{code:"SW5wdXQlMjBJRHMlM0ElMjAlNUIlNUIlMjAxMDQ1JTJDJTIwJTIwMTAwNSUyQyUyMCUyMDIzMTAlMkMlMjAlMjAyMDQyJTJDJTIwJTIwMzQwMyUyQyUyMCUyMDIwMDUlMkMlMjAlMjAxMDM3JTJDJTIwMTc2NjIlMkMlMjAxMjE3MiUyQyUyMCUyMDI2MDclMkMlMjAyMDI2JTJDJTIwJTIwMjg3OCUyQyUyMCUyMDIxNjYlMkMlMjAlMjAxMDEyJTVEJTVEJTBBTG9naXRzJTNBJTIwJTVCJTVCLTIuNzI3NiUyQyUyMCUyMDIuODc4OSU1RCU1RA==",highlighted:`Input IDs: [[ <span class="hljs-number">1045</span>,  <span class="hljs-number">1005</span>,  <span class="hljs-number">2310</span>,  <span class="hljs-number">2042</span>,  <span class="hljs-number">3403</span>,  <span class="hljs-number">2005</span>,  <span class="hljs-number">1037</span>, <span class="hljs-number">17662</span>, <span class="hljs-number">12172</span>,  <span class="hljs-number">2607</span>, <span class="hljs-number">2026</span>,  <span class="hljs-number">2878</span>,  <span class="hljs-number">2166</span>,  <span class="hljs-number">1012</span>]]
Logits: [[-<span class="hljs-number">2.7276</span>,  <span class="hljs-number">2.8789</span>]]`,wrap:!1}}),{c(){b(t.$$.fragment)},l(s){j(t.$$.fragment,s)},m(s,r){y(t,s,r),p=!0},i(s){p||(m(t.$$.fragment,s),p=!0)},o(s){c(t.$$.fragment,s),p=!1},d(s){f(t,s)}}}function Ye(U){let t,p,s,r;return t=new T({props:{code:"bW9kZWwlMjAlM0QlMjBURkF1dG9Nb2RlbEZvclNlcXVlbmNlQ2xhc3NpZmljYXRpb24uZnJvbV9wcmV0cmFpbmVkKGNoZWNrcG9pbnQpJTBBJTBBc2VxdWVuY2UxX2lkcyUyMCUzRCUyMCU1QiU1QjIwMCUyQyUyMDIwMCUyQyUyMDIwMCU1RCU1RCUwQXNlcXVlbmNlMl9pZHMlMjAlM0QlMjAlNUIlNUIyMDAlMkMlMjAyMDAlNUQlNUQlMEFiYXRjaGVkX2lkcyUyMCUzRCUyMCU1QiUwQSUyMCUyMCUyMCUyMCU1QjIwMCUyQyUyMDIwMCUyQyUyMDIwMCU1RCUyQyUwQSUyMCUyMCUyMCUyMCU1QjIwMCUyQyUyMDIwMCUyQyUyMHRva2VuaXplci5wYWRfdG9rZW5faWQlNUQlMkMlMEElNUQlMEElMEFwcmludChtb2RlbCh0Zi5jb25zdGFudChzZXF1ZW5jZTFfaWRzKSkubG9naXRzKSUwQXByaW50KG1vZGVsKHRmLmNvbnN0YW50KHNlcXVlbmNlMl9pZHMpKS5sb2dpdHMpJTBBcHJpbnQobW9kZWwodGYuY29uc3RhbnQoYmF0Y2hlZF9pZHMpKS5sb2dpdHMp",highlighted:`model = TFAutoModelForSequenceClassification.from_pretrained(checkpoint)

sequence1_ids = [[<span class="hljs-number">200</span>, <span class="hljs-number">200</span>, <span class="hljs-number">200</span>]]
sequence2_ids = [[<span class="hljs-number">200</span>, <span class="hljs-number">200</span>]]
batched_ids = [
    [<span class="hljs-number">200</span>, <span class="hljs-number">200</span>, <span class="hljs-number">200</span>],
    [<span class="hljs-number">200</span>, <span class="hljs-number">200</span>, tokenizer.pad_token_id],
]

<span class="hljs-built_in">print</span>(model(tf.constant(sequence1_ids)).logits)
<span class="hljs-built_in">print</span>(model(tf.constant(sequence2_ids)).logits)
<span class="hljs-built_in">print</span>(model(tf.constant(batched_ids)).logits)`,wrap:!1}}),s=new T({props:{code:"dGYuVGVuc29yKCU1QiU1QiUyMDEuNTY5MzY3OCUyMC0xLjM4OTQ1ODElNUQlNUQlMkMlMjBzaGFwZSUzRCgxJTJDJTIwMiklMkMlMjBkdHlwZSUzRGZsb2F0MzIpJTBBdGYuVGVuc29yKCU1QiU1QiUyMDAuNTgwMzAwNSUyMCUyMC0wLjQxMjUyNDI4JTVEJTVEJTJDJTIwc2hhcGUlM0QoMSUyQyUyMDIpJTJDJTIwZHR5cGUlM0RmbG9hdDMyKSUwQXRmLlRlbnNvciglMEElNUIlNUIlMjAxLjU2OTM2ODElMjAtMS4zODk0NTgyJTVEJTBBJTIwJTVCJTIwMS4zMzczNDg2JTIwLTEuMjE2MzE5MyU1RCU1RCUyQyUyMHNoYXBlJTNEKDIlMkMlMjAyKSUyQyUyMGR0eXBlJTNEZmxvYXQzMik=",highlighted:`tf.Tensor([[ <span class="hljs-number">1.5693678</span> -<span class="hljs-number">1.3894581</span>]], shape=(<span class="hljs-number">1</span>, <span class="hljs-number">2</span>), dtype=float32)
tf.Tensor([[ <span class="hljs-number">0.5803005</span>  -<span class="hljs-number">0.41252428</span>]], shape=(<span class="hljs-number">1</span>, <span class="hljs-number">2</span>), dtype=float32)
tf.Tensor(
[[ <span class="hljs-number">1.5693681</span> -<span class="hljs-number">1.3894582</span>]
 [ <span class="hljs-number">1.3373486</span> -<span class="hljs-number">1.2163193</span>]], shape=(<span class="hljs-number">2</span>, <span class="hljs-number">2</span>), dtype=float32)`,wrap:!1}}),{c(){b(t.$$.fragment),p=i(),b(s.$$.fragment)},l(e){j(t.$$.fragment,e),p=u(e),j(s.$$.fragment,e)},m(e,o){y(t,e,o),M(e,p,o),y(s,e,o),r=!0},i(e){r||(m(t.$$.fragment,e),m(s.$$.fragment,e),r=!0)},o(e){c(t.$$.fragment,e),c(s.$$.fragment,e),r=!1},d(e){e&&a(p),f(t,e),f(s,e)}}}function qe(U){let t,p,s,r;return t=new T({props:{code:"bW9kZWwlMjAlM0QlMjBBdXRvTW9kZWxGb3JTZXF1ZW5jZUNsYXNzaWZpY2F0aW9uLmZyb21fcHJldHJhaW5lZChjaGVja3BvaW50KSUwQSUwQXNlcXVlbmNlMV9pZHMlMjAlM0QlMjAlNUIlNUIyMDAlMkMlMjAyMDAlMkMlMjAyMDAlNUQlNUQlMEFzZXF1ZW5jZTJfaWRzJTIwJTNEJTIwJTVCJTVCMjAwJTJDJTIwMjAwJTVEJTVEJTBBYmF0Y2hlZF9pZHMlMjAlM0QlMjAlNUIlMEElMjAlMjAlMjAlMjAlNUIyMDAlMkMlMjAyMDAlMkMlMjAyMDAlNUQlMkMlMEElMjAlMjAlMjAlMjAlNUIyMDAlMkMlMjAyMDAlMkMlMjB0b2tlbml6ZXIucGFkX3Rva2VuX2lkJTVEJTJDJTBBJTVEJTBBJTBBcHJpbnQobW9kZWwodG9yY2gudGVuc29yKHNlcXVlbmNlMV9pZHMpKS5sb2dpdHMpJTBBcHJpbnQobW9kZWwodG9yY2gudGVuc29yKHNlcXVlbmNlMl9pZHMpKS5sb2dpdHMpJTBBcHJpbnQobW9kZWwodG9yY2gudGVuc29yKGJhdGNoZWRfaWRzKSkubG9naXRzKQ==",highlighted:`model = AutoModelForSequenceClassification.from_pretrained(checkpoint)

sequence1_ids = [[<span class="hljs-number">200</span>, <span class="hljs-number">200</span>, <span class="hljs-number">200</span>]]
sequence2_ids = [[<span class="hljs-number">200</span>, <span class="hljs-number">200</span>]]
batched_ids = [
    [<span class="hljs-number">200</span>, <span class="hljs-number">200</span>, <span class="hljs-number">200</span>],
    [<span class="hljs-number">200</span>, <span class="hljs-number">200</span>, tokenizer.pad_token_id],
]

<span class="hljs-built_in">print</span>(model(torch.tensor(sequence1_ids)).logits)
<span class="hljs-built_in">print</span>(model(torch.tensor(sequence2_ids)).logits)
<span class="hljs-built_in">print</span>(model(torch.tensor(batched_ids)).logits)`,wrap:!1}}),s=new T({props:{code:"dGVuc29yKCU1QiU1QiUyMDEuNTY5NCUyQyUyMC0xLjM4OTUlNUQlNUQlMkMlMjBncmFkX2ZuJTNEJTNDQWRkbW1CYWNrd2FyZCUzRSklMEF0ZW5zb3IoJTVCJTVCJTIwMC41ODAzJTJDJTIwLTAuNDEyNSU1RCU1RCUyQyUyMGdyYWRfZm4lM0QlM0NBZGRtbUJhY2t3YXJkJTNFKSUwQXRlbnNvciglNUIlNUIlMjAxLjU2OTQlMkMlMjAtMS4zODk1JTVEJTJDJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTVCJTIwMS4zMzczJTJDJTIwLTEuMjE2MyU1RCU1RCUyQyUyMGdyYWRfZm4lM0QlM0NBZGRtbUJhY2t3YXJkJTNFKQ==",highlighted:`tensor([[ <span class="hljs-number">1.5694</span>, -<span class="hljs-number">1.3895</span>]], grad_fn=&lt;AddmmBackward&gt;)
tensor([[ <span class="hljs-number">0.5803</span>, -<span class="hljs-number">0.4125</span>]], grad_fn=&lt;AddmmBackward&gt;)
tensor([[ <span class="hljs-number">1.5694</span>, -<span class="hljs-number">1.3895</span>],
        [ <span class="hljs-number">1.3373</span>, -<span class="hljs-number">1.2163</span>]], grad_fn=&lt;AddmmBackward&gt;)`,wrap:!1}}),{c(){b(t.$$.fragment),p=i(),b(s.$$.fragment)},l(e){j(t.$$.fragment,e),p=u(e),j(s.$$.fragment,e)},m(e,o){y(t,e,o),M(e,p,o),y(s,e,o),r=!0},i(e){r||(m(t.$$.fragment,e),m(s.$$.fragment,e),r=!0)},o(e){c(t.$$.fragment,e),c(s.$$.fragment,e),r=!1},d(e){e&&a(p),f(t,e),f(s,e)}}}function Le(U){let t,p,s,r;return t=new T({props:{code:"YmF0Y2hlZF9pZHMlMjAlM0QlMjAlNUIlMEElMjAlMjAlMjAlMjAlNUIyMDAlMkMlMjAyMDAlMkMlMjAyMDAlNUQlMkMlMEElMjAlMjAlMjAlMjAlNUIyMDAlMkMlMjAyMDAlMkMlMjB0b2tlbml6ZXIucGFkX3Rva2VuX2lkJTVEJTJDJTBBJTVEJTBBJTBBYXR0ZW50aW9uX21hc2slMjAlM0QlMjAlNUIlMEElMjAlMjAlMjAlMjAlNUIxJTJDJTIwMSUyQyUyMDElNUQlMkMlMEElMjAlMjAlMjAlMjAlNUIxJTJDJTIwMSUyQyUyMDAlNUQlMkMlMEElNUQlMEElMEFvdXRwdXRzJTIwJTNEJTIwbW9kZWwodGYuY29uc3RhbnQoYmF0Y2hlZF9pZHMpJTJDJTIwYXR0ZW50aW9uX21hc2slM0R0Zi5jb25zdGFudChhdHRlbnRpb25fbWFzaykpJTBBcHJpbnQob3V0cHV0cy5sb2dpdHMp",highlighted:`batched_ids = [
    [<span class="hljs-number">200</span>, <span class="hljs-number">200</span>, <span class="hljs-number">200</span>],
    [<span class="hljs-number">200</span>, <span class="hljs-number">200</span>, tokenizer.pad_token_id],
]

attention_mask = [
    [<span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>],
    [<span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">0</span>],
]

outputs = model(tf.constant(batched_ids), attention_mask=tf.constant(attention_mask))
<span class="hljs-built_in">print</span>(outputs.logits)`,wrap:!1}}),s=new T({props:{code:"dGYuVGVuc29yKCUwQSU1QiU1QiUyMDEuNTY5MzY4MSUyMCUyMC0xLjM4OTQ1ODIlMjAlNUQlMEElMjAlNUIlMjAwLjU4MDMwMjElMjAlMjAtMC40MTI1MjU4NiU1RCU1RCUyQyUyMHNoYXBlJTNEKDIlMkMlMjAyKSUyQyUyMGR0eXBlJTNEZmxvYXQzMik=",highlighted:`tf.Tensor(
[[ <span class="hljs-number">1.5693681</span>  -<span class="hljs-number">1.3894582</span> ]
 [ <span class="hljs-number">0.5803021</span>  -<span class="hljs-number">0.41252586</span>]], shape=(<span class="hljs-number">2</span>, <span class="hljs-number">2</span>), dtype=float32)`,wrap:!1}}),{c(){b(t.$$.fragment),p=i(),b(s.$$.fragment)},l(e){j(t.$$.fragment,e),p=u(e),j(s.$$.fragment,e)},m(e,o){y(t,e,o),M(e,p,o),y(s,e,o),r=!0},i(e){r||(m(t.$$.fragment,e),m(s.$$.fragment,e),r=!0)},o(e){c(t.$$.fragment,e),c(s.$$.fragment,e),r=!1},d(e){e&&a(p),f(t,e),f(s,e)}}}function Ke(U){let t,p,s,r;return t=new T({props:{code:"YmF0Y2hlZF9pZHMlMjAlM0QlMjAlNUIlMEElMjAlMjAlMjAlMjAlNUIyMDAlMkMlMjAyMDAlMkMlMjAyMDAlNUQlMkMlMEElMjAlMjAlMjAlMjAlNUIyMDAlMkMlMjAyMDAlMkMlMjB0b2tlbml6ZXIucGFkX3Rva2VuX2lkJTVEJTJDJTBBJTVEJTBBJTBBYXR0ZW50aW9uX21hc2slMjAlM0QlMjAlNUIlMEElMjAlMjAlMjAlMjAlNUIxJTJDJTIwMSUyQyUyMDElNUQlMkMlMEElMjAlMjAlMjAlMjAlNUIxJTJDJTIwMSUyQyUyMDAlNUQlMkMlMEElNUQlMEElMEFvdXRwdXRzJTIwJTNEJTIwbW9kZWwodG9yY2gudGVuc29yKGJhdGNoZWRfaWRzKSUyQyUyMGF0dGVudGlvbl9tYXNrJTNEdG9yY2gudGVuc29yKGF0dGVudGlvbl9tYXNrKSklMEFwcmludChvdXRwdXRzLmxvZ2l0cyk=",highlighted:`batched_ids = [
    [<span class="hljs-number">200</span>, <span class="hljs-number">200</span>, <span class="hljs-number">200</span>],
    [<span class="hljs-number">200</span>, <span class="hljs-number">200</span>, tokenizer.pad_token_id],
]

attention_mask = [
    [<span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">1</span>],
    [<span class="hljs-number">1</span>, <span class="hljs-number">1</span>, <span class="hljs-number">0</span>],
]

outputs = model(torch.tensor(batched_ids), attention_mask=torch.tensor(attention_mask))
<span class="hljs-built_in">print</span>(outputs.logits)`,wrap:!1}}),s=new T({props:{code:"dGVuc29yKCU1QiU1QiUyMDEuNTY5NCUyQyUyMC0xLjM4OTUlNUQlMkMlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlNUIlMjAwLjU4MDMlMkMlMjAtMC40MTI1JTVEJTVEJTJDJTIwZ3JhZF9mbiUzRCUzQ0FkZG1tQmFja3dhcmQlM0Up",highlighted:`tensor([[ <span class="hljs-number">1.5694</span>, -<span class="hljs-number">1.3895</span>],
        [ <span class="hljs-number">0.5803</span>, -<span class="hljs-number">0.4125</span>]], grad_fn=&lt;AddmmBackward&gt;)`,wrap:!1}}),{c(){b(t.$$.fragment),p=i(),b(s.$$.fragment)},l(e){j(t.$$.fragment,e),p=u(e),j(s.$$.fragment,e)},m(e,o){y(t,e,o),M(e,p,o),y(s,e,o),r=!0},i(e){r||(m(t.$$.fragment,e),m(s.$$.fragment,e),r=!0)},o(e){c(t.$$.fragment,e),c(s.$$.fragment,e),r=!1},d(e){e&&a(p),f(t,e),f(s,e)}}}function Pe(U){let t,p,s,r,e,o,D,Bl,x,Dl,h,k,Nl,_,$,gl,F,Es="前のセクションでは、最も単純な使用例である、単一の短い系列（テキスト）に対して推論を行う方法を見てきました。しかし、これについて以下のような疑問をお持ちの方もいるかもしれません。",xl,H,Ws="<li>複数の系列をどのように処理するのか？</li> <li>長さの異なる複数の系列をどのように処理するのか？</li> <li>モデルがうまく機能するためには、単語のインデックスだけが入力として必要なのか？</li> <li>系列が長すぎてしまうということはあるのか？</li>",Fl,S,zs="これらの疑問について、実際はどのような問題があるのか、そして🤗 Transformers APIを使ってどのように解決できるのかを見ていきましょう。",Hl,Y,Sl,q,Rs="以前のエクササイズで、系列が数値のリストに変換される方法を見てきました。この数値列をテンソルに変換し、モデルに入力してみましょう。",Yl,I,A,Vl,L,Gs="おっと！「セクション2のパイプラインの手順に従ったのに、なぜ失敗したのか？」と思われるかもしれません。",ql,K,Xs="この問題はモデルに単一の系列を入力しようとしたために発生しました。🤗 Transformersモデルは、デフォルトでは複数の系列を入力として受け付けます。ここでは、<code>sequence</code>に対してトークナイザを適用したときに、トークナイザがその背後で行ったすべての処理を行おうとしました。しかし、もう少し詳しく見てみると、トークナイザは入力IDのリストをテンソルに変換するだけでなく、それに対して次元を追加していることがわかります。",Ll,C,Z,El,P,vs="それでは次元を追加して再度試してみましょう。",Kl,Q,N,Wl,O,Bs="ここで入力IDと結果のロジット（モデルの出力）を見てみましょう。",Pl,g,V,zl,ll,Ds="<em>バッチ処理</em>とは、複数の系列をまとめてモデルに入力することです。系列が1つしかない場合でも、バッチを構築することができます。",Ol,sl,ls,el,xs="これは2つの同じ系列からなるバッチとなっています。",ss,G,Fs="<p>✏️ <strong>試してみよう！</strong> この <code>batch_ids</code> をテンソルに変換し、モデルに入力してみましょう。前と同じロジット（モデル出力）が得られることを確認してください（ただし、二重になっていることに注意してください）。</p>",es,tl,Hs="バッチ処理により、複数の系列をモデルに入力できるようになります。単一の系列でバッチを構築するのと同じように、簡単に複数の系列を使用することができます。ただし、ここで1つ問題があります。2つ以上の系列をバッチ処理する場合、系列の長さがそれぞれ異なる場合があります。これまでテンソルを扱ったことがある場合は、テンソルの形状は長方形である必要があることをご存知なのではないでしょうか。従って、異なる長さの系列の入力IDリストを直接テンソルに変換することはできません。この問題を回避するための方法として、入力を<em>パディング</em>することが一般的です。",ts,nl,ns,al,Ss="以下の二重のリストはテンソルには変換できません。",as,pl,ps,Ml,Ys="この問題を回避するために、<em>パディング</em>を使用して、テンソルの形状を長方形にしてみましょう。パディングは、<em>パディングトークン</em>と呼ばれる特別な単語を短い系列に対して追加することで、すべての系列の長さを同じにします。例えば、10語の系列が10個、20語の系列が1個ある場合、パディングにより、すべての系列の長さが20語になります。上記の例では、結果として得られるテンソルは次のようになります。",Ms,rl,rs,il,qs="パティングトークンのIDは <code>tokenizer.pad_token_id</code> で見つけることができます。それでは、これを使って2つの系列を個別にモデルに入力する場合と、バッチ処理した場合の結果を比較してみましょう。",is,E,W,Rl,ul,Ls="バッチ処理した予測のロジットについて何か違いがあるようです。2行目は2つ目の系列のロジットと同じであるべきですが、完全に異なる値となってしまっています！",us,cl,Ks="これは、Transformerモデルの代表的な特徴であるアテンション層が、それぞれのトークンに対して<em>コンテクスト化</em>を行っていることに起因します。アテンション層は、系列のすべてのトークンに注意（アテンション）を向けるため、パディングトークンも考慮の対象として扱います。異なる長さの系列を個別にモデルに入力する場合と、同じ系列をバッチ処理した場合の両方で同じ結果を得るためには、アテンション層にパディングトークンを無視するように指示する必要があります。これは、アテンションマスクを使用することで実現できます。",cs,ml,ms,ol,Ps="<em>アテンションマスク</em>とは入力IDのテンソルと全く同じ形をしたテンソルのことで、0と1で構成されています。1は対応するトークンに注意を向けることを示し、0は対応するトークンに注意を向けないこと（つまり、アテンション層に無視されること）を示します。",os,bl,Os="前の例に対して、アテンションマスクを追加してみましょう。",bs,z,R,Gl,jl,le="これで、バッチ内の2つ目の系列について同じロジットが得られました。",js,yl,se="2つ目の系列の最後の値がパディングIDであることに注目してください。これは、アテンションマスクの0の値となっています。",ys,X,ee="<p>✏️ <strong>試してみよう！</strong> セクション2で使用した2つの文 (“I’ve been waiting for a HuggingFace course my whole life.” と “I hate this so much!“) を手動でトークン化してみましょう。そしてこれらをモデルに入力し、セクション2で得られたロジットと同じ結果となることを確認してみましょう。次に、パディングトークンを使用してこれらをバッチ処理し、適切なアテンションマスクを作成してみましょう。また同様にモデルに入力した際、セクション2で得られた結果と同じものになることを確認してみましょう。</p>",fs,fl,Us,Ul,te="トランスフォーマーモデルでは、モデルに入力できる系列の長さに制限があります。ほとんどのモデルは512トークンまたは1024トークンの系列を処理できますが、これより長い系列を処理しようとするとクラッシュしてしまいます。この問題に対しては、2つの解決策があります。",ds,dl,ne="<li>長い系列を処理できるモデルを使用する</li> <li>系列を途中で区切って短くする</li>",Js,Jl,ae='処理できる系列長はモデルによって異なり、非常に長い系列の処理に特化したモデルも存在します。<a href="https://huggingface.co/transformers/model_doc/longformer.html" rel="nofollow">Longformer</a> はその一例です。また、<a href="https://huggingface.co/transformers/model_doc/led.html" rel="nofollow">LED</a> も長い系列を処理できるモデルです。非常に長い系列を処理する必要があるタスクに取り組んでいる場合は、これらのモデルを見てみて下さい。',ws,wl,pe="もう1つの手法として、<code>max_sequence_length</code> パラメータを指定して系列を途中で区切ることをお勧めします。",Ts,Tl,hs,hl,ks,Xl,_s;e=new Ee({props:{fw:U[0]}}),D=new ge({props:{containerStyle:"float: right; margin-left: 10px; display: inline-flex; position: relative; z-index: 10;"}}),x=new vl({props:{title:"複数系列の処理",local:"複数系列の処理",headingTag:"h1"}});const Me=[ze,We],kl=[];function re(l,n){return l[0]==="pt"?0:1}h=re(U),k=kl[h]=Me[h](U);const ie=[Ge,Re],_l=[];function ue(l,n){return l[0]==="pt"?0:1}_=ue(U),$=_l[_]=ie[_](U),Y=new vl({props:{title:"モデルへのバッチ入力",local:"モデルへのバッチ入力",headingTag:"h2"}});const ce=[ve,Xe],$l=[];function me(l,n){return l[0]==="pt"?0:1}I=me(U),A=$l[I]=ce[I](U);const oe=[De,Be],Il=[];function be(l,n){return l[0]==="pt"?0:1}C=be(U),Z=Il[C]=oe[C](U);const je=[Fe,xe],Al=[];function ye(l,n){return l[0]==="pt"?0:1}Q=ye(U),N=Al[Q]=je[Q](U);const fe=[Se,He],Cl=[];function Ue(l,n){return l[0]==="pt"?0:1}g=Ue(U),V=Cl[g]=fe[g](U),sl=new T({props:{code:"YmF0Y2hlZF9pZHMlMjAlM0QlMjAlNUJpZHMlMkMlMjBpZHMlNUQ=",highlighted:'<span class="hljs-attr">batched_ids</span> = [ids, ids]',wrap:!1}}),nl=new vl({props:{title:"入力のパディング",local:"入力のパディング",headingTag:"h2"}}),pl=new T({props:{code:"YmF0Y2hlZF9pZHMlMjAlM0QlMjAlNUIlMEElMjAlMjAlMjAlMjAlNUIyMDAlMkMlMjAyMDAlMkMlMjAyMDAlNUQlMkMlMEElMjAlMjAlMjAlMjAlNUIyMDAlMkMlMjAyMDAlNUQlMEElNUQ=",highlighted:`batched_ids = [
    [<span class="hljs-number">200</span>, <span class="hljs-number">200</span>, <span class="hljs-number">200</span>],
    [<span class="hljs-number">200</span>, <span class="hljs-number">200</span>]
]`,wrap:!1}}),rl=new T({props:{code:"cGFkZGluZ19pZCUyMCUzRCUyMDEwMCUwQSUwQWJhdGNoZWRfaWRzJTIwJTNEJTIwJTVCJTBBJTIwJTIwJTIwJTIwJTVCMjAwJTJDJTIwMjAwJTJDJTIwMjAwJTVEJTJDJTBBJTIwJTIwJTIwJTIwJTVCMjAwJTJDJTIwMjAwJTJDJTIwcGFkZGluZ19pZCU1RCUyQyUwQSU1RA==",highlighted:`padding_id = <span class="hljs-number">100</span>

batched_ids = [
    [<span class="hljs-number">200</span>, <span class="hljs-number">200</span>, <span class="hljs-number">200</span>],
    [<span class="hljs-number">200</span>, <span class="hljs-number">200</span>, padding_id],
]`,wrap:!1}});const de=[qe,Ye],Zl=[];function Je(l,n){return l[0]==="pt"?0:1}E=Je(U),W=Zl[E]=de[E](U),ml=new vl({props:{title:"アテンションマスク",local:"アテンションマスク",headingTag:"h2"}});const we=[Ke,Le],Ql=[];function Te(l,n){return l[0]==="pt"?0:1}return z=Te(U),R=Ql[z]=we[z](U),fl=new vl({props:{title:"より長い系列",local:"より長い系列",headingTag:"h2"}}),Tl=new T({props:{code:"c2VxdWVuY2UlMjAlM0QlMjBzZXF1ZW5jZSU1QiUzQW1heF9zZXF1ZW5jZV9sZW5ndGglNUQ=",highlighted:"sequence = sequence[:max_sequence_length]",wrap:!1}}),hl=new Ve({props:{source:"https://github.com/huggingface/course/blob/main/chapters/ja/chapter2/5.mdx"}}),{c(){t=d("meta"),p=i(),s=d("p"),r=i(),b(e.$$.fragment),o=i(),b(D.$$.fragment),Bl=i(),b(x.$$.fragment),Dl=i(),k.c(),Nl=i(),$.c(),gl=i(),F=d("p"),F.textContent=Es,xl=i(),H=d("ul"),H.innerHTML=Ws,Fl=i(),S=d("p"),S.textContent=zs,Hl=i(),b(Y.$$.fragment),Sl=i(),q=d("p"),q.textContent=Rs,Yl=i(),A.c(),Vl=i(),L=d("p"),L.textContent=Gs,ql=i(),K=d("p"),K.innerHTML=Xs,Ll=i(),Z.c(),El=i(),P=d("p"),P.textContent=vs,Kl=i(),N.c(),Wl=i(),O=d("p"),O.textContent=Bs,Pl=i(),V.c(),zl=i(),ll=d("p"),ll.innerHTML=Ds,Ol=i(),b(sl.$$.fragment),ls=i(),el=d("p"),el.textContent=xs,ss=i(),G=d("blockquote"),G.innerHTML=Fs,es=i(),tl=d("p"),tl.innerHTML=Hs,ts=i(),b(nl.$$.fragment),ns=i(),al=d("p"),al.textContent=Ss,as=i(),b(pl.$$.fragment),ps=i(),Ml=d("p"),Ml.innerHTML=Ys,Ms=i(),b(rl.$$.fragment),rs=i(),il=d("p"),il.innerHTML=qs,is=i(),W.c(),Rl=i(),ul=d("p"),ul.textContent=Ls,us=i(),cl=d("p"),cl.innerHTML=Ks,cs=i(),b(ml.$$.fragment),ms=i(),ol=d("p"),ol.innerHTML=Ps,os=i(),bl=d("p"),bl.textContent=Os,bs=i(),R.c(),Gl=i(),jl=d("p"),jl.textContent=le,js=i(),yl=d("p"),yl.textContent=se,ys=i(),X=d("blockquote"),X.innerHTML=ee,fs=i(),b(fl.$$.fragment),Us=i(),Ul=d("p"),Ul.textContent=te,ds=i(),dl=d("ul"),dl.innerHTML=ne,Js=i(),Jl=d("p"),Jl.innerHTML=ae,ws=i(),wl=d("p"),wl.innerHTML=pe,Ts=i(),b(Tl.$$.fragment),hs=i(),b(hl.$$.fragment),ks=i(),Xl=d("p"),this.h()},l(l){const n=Qe("svelte-u9bgzb",document.head);t=J(n,"META",{name:!0,content:!0}),n.forEach(a),p=u(l),s=J(l,"P",{}),ke(s).forEach(a),r=u(l),j(e.$$.fragment,l),o=u(l),j(D.$$.fragment,l),Bl=u(l),j(x.$$.fragment,l),Dl=u(l),k.l(l),Nl=u(l),$.l(l),gl=u(l),F=J(l,"P",{"data-svelte-h":!0}),w(F)!=="svelte-7v4t1y"&&(F.textContent=Es),xl=u(l),H=J(l,"UL",{"data-svelte-h":!0}),w(H)!=="svelte-1p3yz9o"&&(H.innerHTML=Ws),Fl=u(l),S=J(l,"P",{"data-svelte-h":!0}),w(S)!=="svelte-1w1urti"&&(S.textContent=zs),Hl=u(l),j(Y.$$.fragment,l),Sl=u(l),q=J(l,"P",{"data-svelte-h":!0}),w(q)!=="svelte-1hd21ea"&&(q.textContent=Rs),Yl=u(l),A.l(l),Vl=u(l),L=J(l,"P",{"data-svelte-h":!0}),w(L)!=="svelte-1a2svhu"&&(L.textContent=Gs),ql=u(l),K=J(l,"P",{"data-svelte-h":!0}),w(K)!=="svelte-azjz8e"&&(K.innerHTML=Xs),Ll=u(l),Z.l(l),El=u(l),P=J(l,"P",{"data-svelte-h":!0}),w(P)!=="svelte-149xre0"&&(P.textContent=vs),Kl=u(l),N.l(l),Wl=u(l),O=J(l,"P",{"data-svelte-h":!0}),w(O)!=="svelte-11jxpoi"&&(O.textContent=Bs),Pl=u(l),V.l(l),zl=u(l),ll=J(l,"P",{"data-svelte-h":!0}),w(ll)!=="svelte-1mxypka"&&(ll.innerHTML=Ds),Ol=u(l),j(sl.$$.fragment,l),ls=u(l),el=J(l,"P",{"data-svelte-h":!0}),w(el)!=="svelte-1m7nfxx"&&(el.textContent=xs),ss=u(l),G=J(l,"BLOCKQUOTE",{class:!0,"data-svelte-h":!0}),w(G)!=="svelte-1l3drju"&&(G.innerHTML=Fs),es=u(l),tl=J(l,"P",{"data-svelte-h":!0}),w(tl)!=="svelte-3wuuip"&&(tl.innerHTML=Hs),ts=u(l),j(nl.$$.fragment,l),ns=u(l),al=J(l,"P",{"data-svelte-h":!0}),w(al)!=="svelte-923dw6"&&(al.textContent=Ss),as=u(l),j(pl.$$.fragment,l),ps=u(l),Ml=J(l,"P",{"data-svelte-h":!0}),w(Ml)!=="svelte-am2sgk"&&(Ml.innerHTML=Ys),Ms=u(l),j(rl.$$.fragment,l),rs=u(l),il=J(l,"P",{"data-svelte-h":!0}),w(il)!=="svelte-3wvkm1"&&(il.innerHTML=qs),is=u(l),W.l(l),Rl=u(l),ul=J(l,"P",{"data-svelte-h":!0}),w(ul)!=="svelte-1sgc0xw"&&(ul.textContent=Ls),us=u(l),cl=J(l,"P",{"data-svelte-h":!0}),w(cl)!=="svelte-v9yt9b"&&(cl.innerHTML=Ks),cs=u(l),j(ml.$$.fragment,l),ms=u(l),ol=J(l,"P",{"data-svelte-h":!0}),w(ol)!=="svelte-rwa9b"&&(ol.innerHTML=Ps),os=u(l),bl=J(l,"P",{"data-svelte-h":!0}),w(bl)!=="svelte-15s4fgg"&&(bl.textContent=Os),bs=u(l),R.l(l),Gl=u(l),jl=J(l,"P",{"data-svelte-h":!0}),w(jl)!=="svelte-wo1qtz"&&(jl.textContent=le),js=u(l),yl=J(l,"P",{"data-svelte-h":!0}),w(yl)!=="svelte-1oiv82n"&&(yl.textContent=se),ys=u(l),X=J(l,"BLOCKQUOTE",{class:!0,"data-svelte-h":!0}),w(X)!=="svelte-83dgu9"&&(X.innerHTML=ee),fs=u(l),j(fl.$$.fragment,l),Us=u(l),Ul=J(l,"P",{"data-svelte-h":!0}),w(Ul)!=="svelte-ku9ozq"&&(Ul.textContent=te),ds=u(l),dl=J(l,"UL",{"data-svelte-h":!0}),w(dl)!=="svelte-1ygsmwb"&&(dl.innerHTML=ne),Js=u(l),Jl=J(l,"P",{"data-svelte-h":!0}),w(Jl)!=="svelte-18xv06x"&&(Jl.innerHTML=ae),ws=u(l),wl=J(l,"P",{"data-svelte-h":!0}),w(wl)!=="svelte-1tc1uz0"&&(wl.innerHTML=pe),Ts=u(l),j(Tl.$$.fragment,l),hs=u(l),j(hl.$$.fragment,l),ks=u(l),Xl=J(l,"P",{}),ke(Xl).forEach(a),this.h()},h(){$s(t,"name","hf:doc:metadata"),$s(t,"content",Oe),$s(G,"class","tip"),$s(X,"class","tip")},m(l,n){Ne(document.head,t),M(l,p,n),M(l,s,n),M(l,r,n),y(e,l,n),M(l,o,n),y(D,l,n),M(l,Bl,n),y(x,l,n),M(l,Dl,n),kl[h].m(l,n),M(l,Nl,n),_l[_].m(l,n),M(l,gl,n),M(l,F,n),M(l,xl,n),M(l,H,n),M(l,Fl,n),M(l,S,n),M(l,Hl,n),y(Y,l,n),M(l,Sl,n),M(l,q,n),M(l,Yl,n),$l[I].m(l,n),M(l,Vl,n),M(l,L,n),M(l,ql,n),M(l,K,n),M(l,Ll,n),Il[C].m(l,n),M(l,El,n),M(l,P,n),M(l,Kl,n),Al[Q].m(l,n),M(l,Wl,n),M(l,O,n),M(l,Pl,n),Cl[g].m(l,n),M(l,zl,n),M(l,ll,n),M(l,Ol,n),y(sl,l,n),M(l,ls,n),M(l,el,n),M(l,ss,n),M(l,G,n),M(l,es,n),M(l,tl,n),M(l,ts,n),y(nl,l,n),M(l,ns,n),M(l,al,n),M(l,as,n),y(pl,l,n),M(l,ps,n),M(l,Ml,n),M(l,Ms,n),y(rl,l,n),M(l,rs,n),M(l,il,n),M(l,is,n),Zl[E].m(l,n),M(l,Rl,n),M(l,ul,n),M(l,us,n),M(l,cl,n),M(l,cs,n),y(ml,l,n),M(l,ms,n),M(l,ol,n),M(l,os,n),M(l,bl,n),M(l,bs,n),Ql[z].m(l,n),M(l,Gl,n),M(l,jl,n),M(l,js,n),M(l,yl,n),M(l,ys,n),M(l,X,n),M(l,fs,n),y(fl,l,n),M(l,Us,n),M(l,Ul,n),M(l,ds,n),M(l,dl,n),M(l,Js,n),M(l,Jl,n),M(l,ws,n),M(l,wl,n),M(l,Ts,n),y(Tl,l,n),M(l,hs,n),y(hl,l,n),M(l,ks,n),M(l,Xl,n),_s=!0},p(l,[n]){const he={};n&1&&(he.fw=l[0]),e.$set(he);let Is=h;h=re(l),h!==Is&&(B(),c(kl[Is],1,1,()=>{kl[Is]=null}),v(),k=kl[h],k||(k=kl[h]=Me[h](l),k.c()),m(k,1),k.m(Nl.parentNode,Nl));let As=_;_=ue(l),_!==As&&(B(),c(_l[As],1,1,()=>{_l[As]=null}),v(),$=_l[_],$||($=_l[_]=ie[_](l),$.c()),m($,1),$.m(gl.parentNode,gl));let Cs=I;I=me(l),I!==Cs&&(B(),c($l[Cs],1,1,()=>{$l[Cs]=null}),v(),A=$l[I],A||(A=$l[I]=ce[I](l),A.c()),m(A,1),A.m(Vl.parentNode,Vl));let Zs=C;C=be(l),C!==Zs&&(B(),c(Il[Zs],1,1,()=>{Il[Zs]=null}),v(),Z=Il[C],Z||(Z=Il[C]=oe[C](l),Z.c()),m(Z,1),Z.m(El.parentNode,El));let Qs=Q;Q=ye(l),Q!==Qs&&(B(),c(Al[Qs],1,1,()=>{Al[Qs]=null}),v(),N=Al[Q],N||(N=Al[Q]=je[Q](l),N.c()),m(N,1),N.m(Wl.parentNode,Wl));let Ns=g;g=Ue(l),g!==Ns&&(B(),c(Cl[Ns],1,1,()=>{Cl[Ns]=null}),v(),V=Cl[g],V||(V=Cl[g]=fe[g](l),V.c()),m(V,1),V.m(zl.parentNode,zl));let gs=E;E=Je(l),E!==gs&&(B(),c(Zl[gs],1,1,()=>{Zl[gs]=null}),v(),W=Zl[E],W||(W=Zl[E]=de[E](l),W.c()),m(W,1),W.m(Rl.parentNode,Rl));let Vs=z;z=Te(l),z!==Vs&&(B(),c(Ql[Vs],1,1,()=>{Ql[Vs]=null}),v(),R=Ql[z],R||(R=Ql[z]=we[z](l),R.c()),m(R,1),R.m(Gl.parentNode,Gl))},i(l){_s||(m(e.$$.fragment,l),m(D.$$.fragment,l),m(x.$$.fragment,l),m(k),m($),m(Y.$$.fragment,l),m(A),m(Z),m(N),m(V),m(sl.$$.fragment,l),m(nl.$$.fragment,l),m(pl.$$.fragment,l),m(rl.$$.fragment,l),m(W),m(ml.$$.fragment,l),m(R),m(fl.$$.fragment,l),m(Tl.$$.fragment,l),m(hl.$$.fragment,l),_s=!0)},o(l){c(e.$$.fragment,l),c(D.$$.fragment,l),c(x.$$.fragment,l),c(k),c($),c(Y.$$.fragment,l),c(A),c(Z),c(N),c(V),c(sl.$$.fragment,l),c(nl.$$.fragment,l),c(pl.$$.fragment,l),c(rl.$$.fragment,l),c(W),c(ml.$$.fragment,l),c(R),c(fl.$$.fragment,l),c(Tl.$$.fragment,l),c(hl.$$.fragment,l),_s=!1},d(l){l&&(a(p),a(s),a(r),a(o),a(Bl),a(Dl),a(Nl),a(gl),a(F),a(xl),a(H),a(Fl),a(S),a(Hl),a(Sl),a(q),a(Yl),a(Vl),a(L),a(ql),a(K),a(Ll),a(El),a(P),a(Kl),a(Wl),a(O),a(Pl),a(zl),a(ll),a(Ol),a(ls),a(el),a(ss),a(G),a(es),a(tl),a(ts),a(ns),a(al),a(as),a(ps),a(Ml),a(Ms),a(rs),a(il),a(is),a(Rl),a(ul),a(us),a(cl),a(cs),a(ms),a(ol),a(os),a(bl),a(bs),a(Gl),a(jl),a(js),a(yl),a(ys),a(X),a(fs),a(Us),a(Ul),a(ds),a(dl),a(Js),a(Jl),a(ws),a(wl),a(Ts),a(hs),a(ks),a(Xl)),a(t),f(e,l),f(D,l),f(x,l),kl[h].d(l),_l[_].d(l),f(Y,l),$l[I].d(l),Il[C].d(l),Al[Q].d(l),Cl[g].d(l),f(sl,l),f(nl,l),f(pl,l),f(rl,l),Zl[E].d(l),f(ml,l),Ql[z].d(l),f(fl,l),f(Tl,l),f(hl,l)}}}const Oe='{"title":"複数系列の処理","local":"複数系列の処理","sections":[{"title":"モデルへのバッチ入力","local":"モデルへのバッチ入力","sections":[],"depth":2},{"title":"入力のパディング","local":"入力のパディング","sections":[],"depth":2},{"title":"アテンションマスク","local":"アテンションマスク","sections":[],"depth":2},{"title":"より長い系列","local":"より長い系列","sections":[],"depth":2}],"depth":1}';function lt(U,t,p){let s="pt";return Ae(()=>{const r=new URLSearchParams(window.location.search);p(0,s=r.get("fw")||"pt")}),[s]}class rt extends Ce{constructor(t){super(),Ze(this,t,lt,Pe,Ie,{})}}export{rt as component};