transformers/pr_37396/ar/_app/immutable/nodes/5.441a3fc7.js

import{s as K,n as N,o as q}from"../chunks/scheduler.56730f09.js";import{S as W,i as F,g as s,s as n,r as S,A as J,h as i,f as a,c as o,j as U,u as j,x as T,k,y as Q,a as l,v as D,d as O,t as z,w as I}from"../chunks/index.61415d3e.js";import{H as V,E as X}from"../chunks/index.5b907165.js";function Y(C){let r,x,v,d,p,P,m,R="يُشهد في الآونة الأخيرة نمو مجال دراسي يُعنى باستكشاف آلية عمل نماذج المحولات الضخمة مثل BERT (والذي يُطلق عليها البعض اسم “BERTology”). ومن الأمثلة البارزة على هذا المجال ما يلي:",_,f,H=`<li>BERT Rediscovers the Classical NLP Pipeline بواسطة Ian Tenney و Dipanjan Das و Ellie Pavlick:
<a href="https://arxiv.org/abs/1905.05950" rel="nofollow">https://arxiv.org/abs/1905.05950</a></li> <li>Are Sixteen Heads Really Better than One? بواسطة Paul Michel و Omer Levy و Graham Neubig: <a href="https://arxiv.org/abs/1905.10650" rel="nofollow">https://arxiv.org/abs/1905.10650</a></li> <li>What Does BERT Look At? An Analysis of BERT’s Attention بواسطة Kevin Clark و Urvashi Khandelwal و Omer Levy و Christopher D.
Manning: <a href="https://arxiv.org/abs/1906.04341" rel="nofollow">https://arxiv.org/abs/1906.04341</a></li> <li>CAT-probing: A Metric-based Approach to Interpret How Pre-trained Models for Programming Language Attend Code Structure: <a href="https://arxiv.org/abs/2210.04633" rel="nofollow">https://arxiv.org/abs/2210.04633</a></li>`,y,h,A='لإثراء هذا المجال الناشئ، قمنا بتضمين بعض الميزات الإضافية في نماذج BERT/GPT/GPT-2 للسماح للناس بالوصول إلى التمثيلات الداخلية، والتي تم تكييفها بشكل أساسي من العمل الرائد لـ Paul Michel (<a href="https://arxiv.org/abs/1905.10650" rel="nofollow">https://arxiv.org/abs/1905.10650</a>):',E,u,B='<li>الوصول إلى جميع الحالات المخفية في BERT/GPT/GPT-2،</li> <li>الوصول إلى جميع أوزان الانتباه لكل رأس في BERT/GPT/GPT-2،</li> <li>استرجاع قيم ومشتقات  مخرجات الرأس لحساب درجة أهمية الرأس وحذفه كما هو موضح في <a href="https://arxiv.org/abs/1905.10650" rel="nofollow">https://arxiv.org/abs/1905.10650</a>.</li>',$,c,G='ولمساعدتك على فهم واستخدام هذه الميزات بسهولة، أضفنا مثالًا برمجيًا محددًا: <a href="https://github.com/huggingface/transformers-research-projects/tree/main/bertology/run_bertology.py" rel="nofollow">bertology.py</a> أثناء استخراج المعلومات  وتقليص من نموذج تم تدريبه مسبقًا على GLUE.',w,g,L,b,M;return p=new V({props:{title:"BERTology",local:"bertology",headingTag:"h1"}}),g=new X({props:{source:"https://github.com/huggingface/transformers/blob/main/docs/source/ar/bertology.md"}}),{c(){r=s("meta"),x=n(),v=s("p"),d=n(),S(p.$$.fragment),P=n(),m=s("p"),m.textContent=R,_=n(),f=s("ul"),f.innerHTML=H,y=n(),h=s("p"),h.innerHTML=A,E=n(),u=s("ul"),u.innerHTML=B,$=n(),c=s("p"),c.innerHTML=G,w=n(),S(g.$$.fragment),L=n(),b=s("p"),this.h()},l(t){const e=J("svelte-u9bgzb",document.head);r=i(e,"META",{name:!0,content:!0}),e.forEach(a),x=o(t),v=i(t,"P",{}),U(v).forEach(a),d=o(t),j(p.$$.fragment,t),P=o(t),m=i(t,"P",{"data-svelte-h":!0}),T(m)!=="svelte-8yu14t"&&(m.textContent=R),_=o(t),f=i(t,"UL",{"data-svelte-h":!0}),T(f)!=="svelte-lzsgej"&&(f.innerHTML=H),y=o(t),h=i(t,"P",{"data-svelte-h":!0}),T(h)!=="svelte-snt8w8"&&(h.innerHTML=A),E=o(t),u=i(t,"UL",{"data-svelte-h":!0}),T(u)!=="svelte-1nrvorv"&&(u.innerHTML=B),$=o(t),c=i(t,"P",{"data-svelte-h":!0}),T(c)!=="svelte-17gboes"&&(c.innerHTML=G),w=o(t),j(g.$$.fragment,t),L=o(t),b=i(t,"P",{}),U(b).forEach(a),this.h()},h(){k(r,"name","hf:doc:metadata"),k(r,"content",Z)},m(t,e){Q(document.head,r),l(t,x,e),l(t,v,e),l(t,d,e),D(p,t,e),l(t,P,e),l(t,m,e),l(t,_,e),l(t,f,e),l(t,y,e),l(t,h,e),l(t,E,e),l(t,u,e),l(t,$,e),l(t,c,e),l(t,w,e),D(g,t,e),l(t,L,e),l(t,b,e),M=!0},p:N,i(t){M||(O(p.$$.fragment,t),O(g.$$.fragment,t),M=!0)},o(t){z(p.$$.fragment,t),z(g.$$.fragment,t),M=!1},d(t){t&&(a(x),a(v),a(d),a(P),a(m),a(_),a(f),a(y),a(h),a(E),a(u),a($),a(c),a(w),a(L),a(b)),a(r),I(p,t),I(g,t)}}}const Z='{"title":"BERTology","local":"bertology","sections":[],"depth":1}';function tt(C){return q(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class rt extends W{constructor(r){super(),F(this,r,tt,Y,K,{})}}export{rt as component};