Buckets:

hf-doc-build
/

doc-dev

hf-doc-build/doc-dev / course /pr_1149 /ja /_app /immutable /nodes /19.ced607cc.js

rtrm's picture

3 months ago

17 kB

	import{s as Ue,o as $e}from"../chunks/scheduler.ddeee2a5.js";import{S as we,i as Ce,e as d,s as o,c as J,h as Ze,a as h,d as n,b as m,f as Te,g,j as C,k as L,l as _e,m as r,n as T,o as y,q as je,t as f,p as j,r as ke}from"../chunks/index.b5ed4bbb.js";import{C as We,H as Ve,E as Ne}from"../chunks/MermaidChart.svelte_svelte_type_style_lang.fecc5fb3.js";import{C as X}from"../chunks/CodeBlock.2d6466df.js";import{C as xe}from"../chunks/CourseFloatingBanner.e70be405.js";import{F as ve}from"../chunks/FrameworkSwitchCourse.f26cbc91.js";function ze(k){let a,c;return a=new xe({props:{chapter:4,classNames:"absolute z-10 right-0 top-0",notebooks:[{label:"Google Colab",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/ja/chapter4/section2_tf.ipynb"},{label:"Aws Studio",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/ja/chapter4/section2_tf.ipynb"}]}}),{c(){J(a.$$.fragment)},l(s){g(a.$$.fragment,s)},m(s,M){T(a,s,M),c=!0},i(s){c\|\|(f(a.$$.fragment,s),c=!0)},o(s){y(a.$$.fragment,s),c=!1},d(s){j(a,s)}}}function Ee(k){let a,c;return a=new xe({props:{chapter:4,classNames:"absolute z-10 right-0 top-0",notebooks:[{label:"Google Colab",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/ja/chapter4/section2_pt.ipynb"},{label:"Aws Studio",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/ja/chapter4/section2_pt.ipynb"}]}}),{c(){J(a.$$.fragment)},l(s){g(a.$$.fragment,s)},m(s,M){T(a,s,M),c=!0},i(s){c\|\|(f(a.$$.fragment,s),c=!0)},o(s){y(a.$$.fragment,s),c=!1},d(s){j(a,s)}}}function Qe(k){let a,c,s,M='しかし、代わりに<a href="https://huggingface.co/transformers/model_doc/auto.html?highlight=auto#auto-classes" rel="nofollow"><code>TFAuto</code> classes</a>を使用することをお勧めします。これらは設計上、アーキテクチャに依存しないためです。先ほどのコードサンプルでは、CamemBERT アーキテクチャでロード可能なチェックポイントに限定していましたが、 <code>TFAuto</code>クラスを使用すると、チェックポイントを簡単に切り替えることができます：',b,i,u;return a=new X({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMENhbWVtYmVydFRva2VuaXplciUyQyUyMFRGQ2FtZW1iZXJ0Rm9yTWFza2VkTE0lMEElMEF0b2tlbml6ZXIlMjAlM0QlMjBDYW1lbWJlcnRUb2tlbml6ZXIuZnJvbV9wcmV0cmFpbmVkKCUyMmNhbWVtYmVydC1iYXNlJTIyKSUwQW1vZGVsJTIwJTNEJTIwVEZDYW1lbWJlcnRGb3JNYXNrZWRMTS5mcm9tX3ByZXRyYWluZWQoJTIyY2FtZW1iZXJ0LWJhc2UlMjIp",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> CamembertTokenizer, TFCamembertForMaskedLM

	tokenizer = CamembertTokenizer.from_pretrained(<span class="hljs-string">"camembert-base"</span>)
	model = TFCamembertForMaskedLM.from_pretrained(<span class="hljs-string">"camembert-base"</span>)`,wrap:!1}}),i=new X({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9Ub2tlbml6ZXIlMkMlMjBURkF1dG9Nb2RlbEZvck1hc2tlZExNJTBBJTBBdG9rZW5pemVyJTIwJTNEJTIwQXV0b1Rva2VuaXplci5mcm9tX3ByZXRyYWluZWQoJTIyY2FtZW1iZXJ0LWJhc2UlMjIpJTBBbW9kZWwlMjAlM0QlMjBURkF1dG9Nb2RlbEZvck1hc2tlZExNLmZyb21fcHJldHJhaW5lZCglMjJjYW1lbWJlcnQtYmFzZSUyMik=",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer, TFAutoModelForMaskedLM

	tokenizer = AutoTokenizer.from_pretrained(<span class="hljs-string">"camembert-base"</span>)
	model = TFAutoModelForMaskedLM.from_pretrained(<span class="hljs-string">"camembert-base"</span>)`,wrap:!1}}),{c(){J(a.$$.fragment),c=o(),s=d("p"),s.innerHTML=M,b=o(),J(i.$$.fragment)},l(t){g(a.$$.fragment,t),c=m(t),s=h(t,"P",{"data-svelte-h":!0}),C(s)!=="svelte-1pdtxl7"&&(s.innerHTML=M),b=m(t),g(i.$$.fragment,t)},m(t,p){T(a,t,p),r(t,c,p),r(t,s,p),r(t,b,p),T(i,t,p),u=!0},i(t){u\|\|(f(a.$$.fragment,t),f(i.$$.fragment,t),u=!0)},o(t){y(a.$$.fragment,t),y(i.$$.fragment,t),u=!1},d(t){t&&(n(c),n(s),n(b)),j(a,t),j(i,t)}}}function Be(k){let a,c,s,M='しかし、代わりに<a href="https://huggingface.co/transformers/model_doc/auto.html?highlight=auto#auto-classes" rel="nofollow"><code>Auto</code> classes</a>を使用することをお勧めします。これらは設計上、（モデル）アーキテクチャに依存しないためです。先ほどのコードサンプルでは、CamemBERT アーキテクチャでロード可能なチェックポイントに限定していましたが、 <code>Auto</code>クラスを使用すると、チェックポイントを簡単に切り替えることができます：',b,i,u;return a=new X({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMENhbWVtYmVydFRva2VuaXplciUyQyUyMENhbWVtYmVydEZvck1hc2tlZExNJTBBJTBBdG9rZW5pemVyJTIwJTNEJTIwQ2FtZW1iZXJ0VG9rZW5pemVyLmZyb21fcHJldHJhaW5lZCglMjJjYW1lbWJlcnQtYmFzZSUyMiklMEFtb2RlbCUyMCUzRCUyMENhbWVtYmVydEZvck1hc2tlZExNLmZyb21fcHJldHJhaW5lZCglMjJjYW1lbWJlcnQtYmFzZSUyMik=",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> CamembertTokenizer, CamembertForMaskedLM

	tokenizer = CamembertTokenizer.from_pretrained(<span class="hljs-string">"camembert-base"</span>)
	model = CamembertForMaskedLM.from_pretrained(<span class="hljs-string">"camembert-base"</span>)`,wrap:!1}}),i=new X({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9Ub2tlbml6ZXIlMkMlMjBBdXRvTW9kZWxGb3JNYXNrZWRMTSUwQSUwQXRva2VuaXplciUyMCUzRCUyMEF1dG9Ub2tlbml6ZXIuZnJvbV9wcmV0cmFpbmVkKCUyMmNhbWVtYmVydC1iYXNlJTIyKSUwQW1vZGVsJTIwJTNEJTIwQXV0b01vZGVsRm9yTWFza2VkTE0uZnJvbV9wcmV0cmFpbmVkKCUyMmNhbWVtYmVydC1iYXNlJTIyKQ==",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer, AutoModelForMaskedLM

	tokenizer = AutoTokenizer.from_pretrained(<span class="hljs-string">"camembert-base"</span>)
	model = AutoModelForMaskedLM.from_pretrained(<span class="hljs-string">"camembert-base"</span>)`,wrap:!1}}),{c(){J(a.$$.fragment),c=o(),s=d("p"),s.innerHTML=M,b=o(),J(i.$$.fragment)},l(t){g(a.$$.fragment,t),c=m(t),s=h(t,"P",{"data-svelte-h":!0}),C(s)!=="svelte-62nbsm"&&(s.innerHTML=M),b=m(t),g(i.$$.fragment,t)},m(t,p){T(a,t,p),r(t,c,p),r(t,s,p),r(t,b,p),T(i,t,p),u=!0},i(t){u\|\|(f(a.$$.fragment,t),f(i.$$.fragment,t),u=!0)},o(t){y(a.$$.fragment,t),y(i.$$.fragment,t),u=!1},d(t){t&&(n(c),n(s),n(b)),j(a,t),j(i,t)}}}function Fe(k){let a,c,s,M,b,i,u,t,p,R,x,U,Y,V,oe="モデルハブは適切なモデルを簡単に選択できるようにし、どのライブラリからでも数行のコードで使用できるようにします。では、実際にこれらのモデルをどのように使用し、どのようにコミュニティに貢献するかを見ていきましょう。",q,N,me="例えば、マスクフィルを行えるフランス語のモデルを探しているとします。",H,Z,ie='<img src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter4/camembert.gif" alt="Selecting the Camembert model." width="80%"/>',D,v,pe="試しに<code>camembert-base</code>チェックポイントを選択してみましょう。camembert-base<code>という識別子があれば、すぐに使い始めることができます。これまでの章で見てきたように、 </code>pipeline()` 関数を使用してインスタンスを作成することができます：",P,z,K,E,O,Q,be="ご覧の通り、パイプライン内でのモデルのロードは非常に簡単です。唯一気をつけなければならないのは、選択したチェックポイントが使用するタスクに適しているかということです。例えば、ここでは<code>camembert-base</code>というチェックポイントを<code>fill-mask</code>というパイプラインでロードしていますが、これは全く問題ありません。しかし、このチェックポイントを<code>text-classification</code>パイプラインでロードしたとすると、<code>camembert-base</code>の「ヘッド」がこのタスクに適していないため、結果が意味をなさないことになります！適切なチェックポイントを選択するために、ハギングフェイスハブインタフェースにあるタスクセレクタを使用することをお勧めします：",ee,_,ue='<img src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter4/tasks.png" alt="The task selector on the web interface." width="80%"/>',te,B,Me="また、モデル・アーキテクチャを直接使用して、チェックポイントをインスタンス化することもできます：",se,$,w,A,W,ye="<p>学習済みのモデルを使う場合は、どのように学習したのか、どのデータセットで学習したのか、その限界と偏りを必ず確認すること。これらの情報はすべて、モデルカードに記載されています。</p>",le,F,ae,S,ne;b=new ve({props:{fw:k[0]}}),u=new We({props:{containerStyle:"float: right; margin-left: 10px; display: inline-flex; position: relative; z-index: 10;"}}),p=new Ve({props:{title:"学習済みモデルを使う",local:"学習済みモデルを使う",headingTag:"h1"}});const fe=[Ee,ze],G=[];function de(e,l){return e[0]==="pt"?0:1}x=de(k),U=G[x]=fe[x](k),z=new X({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMHBpcGVsaW5lJTBBJTBBY2FtZW1iZXJ0X2ZpbGxfbWFzayUyMCUzRCUyMHBpcGVsaW5lKCUyMmZpbGwtbWFzayUyMiUyQyUyMG1vZGVsJTNEJTIyY2FtZW1iZXJ0LWJhc2UlMjIpJTBBcmVzdWx0cyUyMCUzRCUyMGNhbWVtYmVydF9maWxsX21hc2soJTIyTGUlMjBjYW1lbWJlcnQlMjBlc3QlMjAlM0NtYXNrJTNFJTIwJTNBKSUyMik=",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> pipeline

	camembert_fill_mask = pipeline(<span class="hljs-string">"fill-mask"</span>, model=<span class="hljs-string">"camembert-base"</span>)
	results = camembert_fill_mask(<span class="hljs-string">"Le camembert est <mask> :)"</span>)`,wrap:!1}}),E=new X({props:{code:"JTVCJTBBJTIwJTIwJTdCJ3NlcXVlbmNlJyUzQSUyMCdMZSUyMGNhbWVtYmVydCUyMGVzdCUyMGQlQzMlQTlsaWNpZXV4JTIwJTNBKSclMkMlMjAnc2NvcmUnJTNBJTIwMC40OTA5MTAwNTMyNTMxNzM4MyUyQyUyMCd0b2tlbiclM0ElMjA3MjAwJTJDJTIwJ3Rva2VuX3N0ciclM0ElMjAnZCVDMyVBOWxpY2lldXgnJTdEJTJDJTIwJTBBJTIwJTIwJTdCJ3NlcXVlbmNlJyUzQSUyMCdMZSUyMGNhbWVtYmVydCUyMGVzdCUyMGV4Y2VsbGVudCUyMCUzQSknJTJDJTIwJ3Njb3JlJyUzQSUyMDAuMTA1NTY5NzQyNjE5OTkxMyUyQyUyMCd0b2tlbiclM0ElMjAyMTgzJTJDJTIwJ3Rva2VuX3N0ciclM0ElMjAnZXhjZWxsZW50JyU3RCUyQyUyMCUwQSUyMCUyMCU3QidzZXF1ZW5jZSclM0ElMjAnTGUlMjBjYW1lbWJlcnQlMjBlc3QlMjBzdWNjdWxlbnQlMjAlM0EpJyUyQyUyMCdzY29yZSclM0ElMjAwLjAzNDUzMzEzMTg2NzY0NzE3JTJDJTIwJ3Rva2VuJyUzQSUyMDI2MjAyJTJDJTIwJ3Rva2VuX3N0ciclM0ElMjAnc3VjY3VsZW50JyU3RCUyQyUyMCUwQSUyMCUyMCU3QidzZXF1ZW5jZSclM0ElMjAnTGUlMjBjYW1lbWJlcnQlMjBlc3QlMjBtZWlsbGV1ciUyMCUzQSknJTJDJTIwJ3Njb3JlJyUzQSUyMDAuMDMzMDMxNDExNDY4OTgyNyUyQyUyMCd0b2tlbiclM0ElMjA1MjglMkMlMjAndG9rZW5fc3RyJyUzQSUyMCdtZWlsbGV1ciclN0QlMkMlMjAlMEElMjAlMjAlN0Inc2VxdWVuY2UnJTNBJTIwJ0xlJTIwY2FtZW1iZXJ0JTIwZXN0JTIwcGFyZmFpdCUyMCUzQSknJTJDJTIwJ3Njb3JlJyUzQSUyMDAuMDMwMDc2NTAxODkxMDE2OTYlMkMlMjAndG9rZW4nJTNBJTIwMTY1NCUyQyUyMCd0b2tlbl9zdHInJTNBJTIwJ3BhcmZhaXQnJTdEJTBBJTVE",highlighted:`[
	{<span class="hljs-string">'sequence'</span>: <span class="hljs-string">'Le camembert est délicieux :)'</span>, <span class="hljs-string">'score'</span>: <span class="hljs-number">0.49091005325317383</span>, <span class="hljs-string">'token'</span>: <span class="hljs-number">7200</span>, <span class="hljs-string">'token_str'</span>: <span class="hljs-string">'délicieux'</span>},
	{<span class="hljs-string">'sequence'</span>: <span class="hljs-string">'Le camembert est excellent :)'</span>, <span class="hljs-string">'score'</span>: <span class="hljs-number">0.1055697426199913</span>, <span class="hljs-string">'token'</span>: <span class="hljs-number">2183</span>, <span class="hljs-string">'token_str'</span>: <span class="hljs-string">'excellent'</span>},
	{<span class="hljs-string">'sequence'</span>: <span class="hljs-string">'Le camembert est succulent :)'</span>, <span class="hljs-string">'score'</span>: <span class="hljs-number">0.03453313186764717</span>, <span class="hljs-string">'token'</span>: <span class="hljs-number">26202</span>, <span class="hljs-string">'token_str'</span>: <span class="hljs-string">'succulent'</span>},
	{<span class="hljs-string">'sequence'</span>: <span class="hljs-string">'Le camembert est meilleur :)'</span>, <span class="hljs-string">'score'</span>: <span class="hljs-number">0.0330314114689827</span>, <span class="hljs-string">'token'</span>: <span class="hljs-number">528</span>, <span class="hljs-string">'token_str'</span>: <span class="hljs-string">'meilleur'</span>},
	{<span class="hljs-string">'sequence'</span>: <span class="hljs-string">'Le camembert est parfait :)'</span>, <span class="hljs-string">'score'</span>: <span class="hljs-number">0.03007650189101696</span>, <span class="hljs-string">'token'</span>: <span class="hljs-number">1654</span>, <span class="hljs-string">'token_str'</span>: <span class="hljs-string">'parfait'</span>}
	]`,wrap:!1}});const he=[Be,Qe],I=[];function Je(e,l){return e[0]==="pt"?0:1}return $=Je(k),w=I[$]=he[$](k),F=new Ne({props:{source:"https://github.com/huggingface/course/blob/main/chapters/ja/chapter4/2.mdx"}}),{c(){a=d("meta"),c=o(),s=d("p"),M=o(),J(b.$$.fragment),i=o(),J(u.$$.fragment),t=o(),J(p.$$.fragment),R=o(),U.c(),Y=o(),V=d("p"),V.textContent=oe,q=o(),N=d("p"),N.textContent=me,H=o(),Z=d("div"),Z.innerHTML=ie,D=o(),v=d("p"),v.innerHTML=pe,P=o(),J(z.$$.fragment),K=o(),J(E.$$.fragment),O=o(),Q=d("p"),Q.innerHTML=be,ee=o(),_=d("div"),_.innerHTML=ue,te=o(),B=d("p"),B.textContent=Me,se=o(),w.c(),A=o(),W=d("blockquote"),W.innerHTML=ye,le=o(),J(F.$$.fragment),ae=o(),S=d("p"),this.h()},l(e){const l=Ze("svelte-u9bgzb",document.head);a=h(l,"META",{name:!0,content:!0}),l.forEach(n),c=m(e),s=h(e,"P",{}),Te(s).forEach(n),M=m(e),g(b.$$.fragment,e),i=m(e),g(u.$$.fragment,e),t=m(e),g(p.$$.fragment,e),R=m(e),U.l(e),Y=m(e),V=h(e,"P",{"data-svelte-h":!0}),C(V)!=="svelte-oxnnbw"&&(V.textContent=oe),q=m(e),N=h(e,"P",{"data-svelte-h":!0}),C(N)!=="svelte-hbvc84"&&(N.textContent=me),H=m(e),Z=h(e,"DIV",{class:!0,"data-svelte-h":!0}),C(Z)!=="svelte-4k6hvy"&&(Z.innerHTML=ie),D=m(e),v=h(e,"P",{"data-svelte-h":!0}),C(v)!=="svelte-1ym08wy"&&(v.innerHTML=pe),P=m(e),g(z.$$.fragment,e),K=m(e),g(E.$$.fragment,e),O=m(e),Q=h(e,"P",{"data-svelte-h":!0}),C(Q)!=="svelte-1c36soc"&&(Q.innerHTML=be),ee=m(e),_=h(e,"DIV",{class:!0,"data-svelte-h":!0}),C(_)!=="svelte-1cl7xbt"&&(_.innerHTML=ue),te=m(e),B=h(e,"P",{"data-svelte-h":!0}),C(B)!=="svelte-wa29am"&&(B.textContent=Me),se=m(e),w.l(e),A=m(e),W=h(e,"BLOCKQUOTE",{class:!0,"data-svelte-h":!0}),C(W)!=="svelte-847fvc"&&(W.innerHTML=ye),le=m(e),g(F.$$.fragment,e),ae=m(e),S=h(e,"P",{}),Te(S).forEach(n),this.h()},h(){L(a,"name","hf:doc:metadata"),L(a,"content",Ge),L(Z,"class","flex justify-center"),L(_,"class","flex justify-center"),L(W,"class","tip")},m(e,l){_e(document.head,a),r(e,c,l),r(e,s,l),r(e,M,l),T(b,e,l),r(e,i,l),T(u,e,l),r(e,t,l),T(p,e,l),r(e,R,l),G[x].m(e,l),r(e,Y,l),r(e,V,l),r(e,q,l),r(e,N,l),r(e,H,l),r(e,Z,l),r(e,D,l),r(e,v,l),r(e,P,l),T(z,e,l),r(e,K,l),T(E,e,l),r(e,O,l),r(e,Q,l),r(e,ee,l),r(e,_,l),r(e,te,l),r(e,B,l),r(e,se,l),I[$].m(e,l),r(e,A,l),r(e,W,l),r(e,le,l),T(F,e,l),r(e,ae,l),r(e,S,l),ne=!0},p(e,[l]){const ge={};l&1&&(ge.fw=e[0]),b.$set(ge);let re=x;x=de(e),x!==re&&(ke(),y(G[re],1,1,()=>{G[re]=null}),je(),U=G[x],U\|\|(U=G[x]=fe[x](e),U.c()),f(U,1),U.m(Y.parentNode,Y));let ce=$;$=Je(e),$!==ce&&(ke(),y(I[ce],1,1,()=>{I[ce]=null}),je(),w=I[$],w\|\|(w=I[$]=he[$](e),w.c()),f(w,1),w.m(A.parentNode,A))},i(e){ne\|\|(f(b.$$.fragment,e),f(u.$$.fragment,e),f(p.$$.fragment,e),f(U),f(z.$$.fragment,e),f(E.$$.fragment,e),f(w),f(F.$$.fragment,e),ne=!0)},o(e){y(b.$$.fragment,e),y(u.$$.fragment,e),y(p.$$.fragment,e),y(U),y(z.$$.fragment,e),y(E.$$.fragment,e),y(w),y(F.$$.fragment,e),ne=!1},d(e){e&&(n(c),n(s),n(M),n(i),n(t),n(R),n(Y),n(V),n(q),n(N),n(H),n(Z),n(D),n(v),n(P),n(K),n(O),n(Q),n(ee),n(_),n(te),n(B),n(se),n(A),n(W),n(le),n(ae),n(S)),n(a),j(b,e),j(u,e),j(p,e),G[x].d(e),j(z,e),j(E,e),I[$].d(e),j(F,e)}}}const Ge='{"title":"学習済みモデルを使う","local":"学習済みモデルを使う","sections":[],"depth":1}';function Ie(k,a,c){let s="pt";return $e(()=>{const M=new URLSearchParams(window.location.search);c(0,s=M.get("fw")\|\|"pt")}),[s]}class qe extends we{constructor(a){super(),Ce(this,a,Ie,Fe,Ue,{})}}export{qe as component};

Xet Storage Details

Size:: 17 kB
Xet hash:: f7bd3e39ef78c2f6c6e86787a06ad5dced6774c611ec5c2c714b5f73dd9d1f87

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.