course/pr_1207/hi/_app/immutable/nodes/18.7fdff6bc.js

import{s as us,n as hs,o as fs}from"../chunks/scheduler.505acc25.js";import{S as Cs,i as Zs,e as p,s as a,c as M,h as Is,a as i,d as s,b as n,f as Us,g as c,j as d,k as ze,l as Bs,m as t,n as r,t as y,o as m,p as o}from"../chunks/index.821724d0.js";import{C as Gs,H as Gl,E as ks}from"../chunks/MermaidChart.svelte_svelte_type_style_lang.8fdc8cb2.js";import{Y as Ts}from"../chunks/Youtube.c5effbdd.js";import{C as J}from"../chunks/CodeBlock.803911e5.js";import{C as Xs}from"../chunks/CourseFloatingBanner.a3154b9b.js";function $s(Ee){let j,kl,Il,Xl,U,$l,T,Wl,u,Rl,h,Yl,f,Qe="अब हम देखेंगे कि <code>Trainer</code> क्लास का उपयोग किए बिना कैसे हम समान  परिणाम प्राप्त करे जैसा की हमने पिछले खंड प्राप्त किया था। फिर से, हम मानते हैं कि आपने अनुभाग 2 में डेटा प्रसंस्करण यानि डेटा प्रोसेसिंग कर ली है। यहां एक संक्षिप्त सारांश दिया गया है जो वह सब कुछ शामिल कर रहा है जिसकी आपको आवश्यकता होगी:",gl,C,vl,Z,_l,I,Fe="हमारे प्रशिक्षण लूप वास्तव में लिखने से पहले, हमें कुछ वस्तुओं को परिभाषित करने की आवश्यकता होगी। पहले है डेटालोडर्स  जिनका उपयोग हम बैचों पर पुनरावृति करने के लिए करेंगे। लेकिन इससे पहले कि हम उन डेटालोडर्स को परिभाषित कर सके, हमें अपने <code>tokenized_datasets</code> में कुछ पोस्टप्रोसेसिंग लागू करने की जरूरत है, ताकि कुछ चीजों का ख्याल रखा जा सके जो <code>Trainer</code> ने हमारे लिए स्वचालित रूप से किया था। विशेष रूप से, हमें जरूरत है की:",Vl,B,He="<li>उन वैल्यूज के अनुरूप कॉलम निकालें जिनकी मॉडल अपेक्षा नहीं करता (जैसे <code>sentence1</code> और <code>sentence2</code> कॉलम)।</li> <li>कॉलम <code>label</code> का नाम बदलकर <code>labels</code> कर दें (क्योंकि मॉडल उम्मीद करता है की वितर्क का नाम <code>labels</code> हो)।</li> <li>डेटासेट का प्रारूप सेट करें ताकि वे सूचियों के बजाय PyTorch टेंसर लौटाएं।</li>",Al,G,xe="हमारे <code>tokenized_datasets</code> में उनमे से प्रत्येक चरण के लिए एक विधि है:",Nl,k,zl,X,Se="हम फिर जांच सकते हैं कि परिणाम में केवल कॉलम है जिन्हें हमारा मॉडल स्वीकार करेगा:",El,$,Ql,W,qe="अब जब यह हो गया है, तो हम आसानी से अपने डेटालोडर्स को परिभाषित कर सकते हैं:",Fl,R,Hl,Y,Le="यह जांचने के लिए कि डेटा प्रोसेसिंग में कोई गलती तो नहीं है, हम इस तरह एक बैच का निरीक्षण कर सकते हैं:",xl,g,Sl,v,ql,_,Ke="ध्यान दें कि वास्तविक आकार आपके लिए शायद थोड़ा अलग होगा क्योंकि हमने प्रशिक्षण डेटालोडर के लिए <code>shuffle=True</code> सेट किया है और हम बैच के अंदर अधिकतम लंबाई तक पैडिंग कर रहे हैं।",Ll,V,De="अब जबकि हम डेटा प्रीप्रोसेसिंग (एक संतोषजनक लेकिन मायावी लक्ष्य किसी भी ML प्रैक्टिशनर के लिए) के साथ पूरी तरह से समाप्त कर चुके हैं, आइए मॉडल की ओर मुड़ें। हम इसे ठीक वैसे ही इन्स्टैन्शीऐट करते हैं जैसे हमने पिछले सेक्शन में किया था:",Kl,A,Dl,N,Pe="यह सुनिश्चित करने के लिए कि प्रशिक्षण के दौरान सब कुछ सुचारू रूप से चले, हम अपने बैच को इस मॉडल में पास करते हैं:",Pl,z,Ol,E,le,Q,Oe="सभी 🤗 ट्रांसफॉर्मर मॉडल लॉस लौटाएंगे जब <code>labels</code> प्रदान किया जाते है, और हमें logits भी मिलते हैं (हमारे बैच में प्रत्येक इनपुट के लिए दो, इसलिए टेंसर आकार का 8 x 2)।",ee,F,ls='हम अपना प्रशिक्षण लूप लिखने के लिए लगभग तैयार हैं! हम केवल दो चीजें खो रहे हैं: एक ऑप्टिमाइज़र और एक लर्निंग रेट अनुसूचक। चूंकि <code>Trainer</code> जो कर रहा था उसे हम खुद से दोहराने की कोशिश कर रहे हैं, तो हम उन्ही डिफ़ॉल्ट का उपयोग करेंगे। <code>Trainer</code> द्वारा उपयोग किया जाने वाला ऑप्टिमाइज़र <code>AdamW</code> है, जो Adam के समान है, लेकिन एक मोड़ के साथ वजन क्षय नियमितीकरण के लिए (इल्या लोशिलोव और फ्रैंक हटर द्वारा <a href="https://arxiv.org/abs/1711.05101" rel="nofollow">“डीकपलड वेट डेके रेगुलराइजेशन”</a> देखें):',se,H,te,x,es="अंत में, लर्निंग रेट अनुसूचक जिसे डिफ़ॉल्ट रूप से उपयोग किया जाता है केवल एक रैखिक क्षय है जो अधिकतम मूल्य (5e-5) से 0 तक है। इसे ठीक से परिभाषित करने के लिए, हमें यह जानना होगा कि हम कितने प्रशिक्षण कदम उठाएंगे, जो कि है युगों यानि एपोक की संख्या जिन्हे हमे रन करना है उसका गुणा प्रशिक्षण बैचों की संख्या से करना (जो कि हमारे प्रशिक्षण डेटालोडर की लंबाई है)। <code>Trainer</code> डिफ़ॉल्ट रूप से तीन युगों यानि एपोक का उपयोग करता है, इसलिए हम उसका अनुसरण करेंगे:",ae,S,ne,q,pe,L,Me,K,ss="एक आखिरी बात: हम GPU का उपयोग करना चाहेंगे अगर हमारे पास एक का एक्सेस है तो (CPU पर, प्रशिक्षण में कुछ मिनटों के बजाय कई घंटे लग सकते हैं)। ऐसा करने के लिए, हम एक <code>device</code> को परिभाषित करेंगे, जिस पर हम अपने मॉडल को और अपने बैचों को रखेंगे:",ie,D,ce,P,re,O,ts="अब हम प्रशिक्षण के लिए तैयार हैं! यह जानने के लिए कि प्रशिक्षण कब समाप्त होगा, हम <code>tqdm</code> लाइब्रेरी का उपयोग करके अपने प्रशिक्षण चरणों की संख्या पर एक प्रगति पट्टी जोड़ेगे:",ye,ll,me,el,as="आप देख सकते हैं कि प्रशिक्षण लूप का मूल जो परिचय में है उसके समान दिखता है। हमने कोई रिपोर्टिंग नहीं मांगी, इसलिए यह प्रशिक्षण लूप हमें इस बारे में कुछ नहीं बताएगा कि मॉडल का किराया कैसा है। हमें उसके लिए एक मूल्यांकन लूप जोड़ने की जरूरत है।",oe,sl,de,tl,ns="जैसा कि हमने पहले किया था, हम 🤗 मूल्यांकन करना लाइब्रेरी द्वारा प्रदान किए गए मीट्रिक का उपयोग करेंगे। हम पहले ही <code>metric.compute()</code> विधि देख चुके हैं, लेकिन मेट्रिक्स वास्तव में हमारे लिए बैच जमा कर सकते हैं जब हम भविष्यवाणी लूप पर जाते हैं <code>add_batch()</code> विधि के साथ । एक बार जब हम सभी बैचों को जमा कर लेते हैं, तो हम <code>metric.compute()</code> के साथ अंतिम परिणाम प्राप्त कर सकते हैं। मूल्यांकन लूप में इन सभी को कार्यान्वित करने का तरीका यहां दिया गया है:",Je,al,je,nl,be,pl,ps="फिर से, मॉडल हेड इनिशियलाइज़ेशन और डेटा फेरबदल में क्रमरहित होने के कारण आपके परिणाम थोड़े भिन्न होंगे, लेकिन वे एक ही बॉलपार्क में होने चाहिए।",we,b,Ms="<p>✏️ <strong>कोशिश करके देखे!</strong> पिछले प्रशिक्षण लूप को संशोधित करें ताकि अपने मॉडल को SST-2 डेटासेट पर फाइन-ट्यून कर सके।</p>",Ue,Ml,Te,il,ue,cl,is='हमने पहले जो ट्रेनिंग लूप परिभाषित किया था, वह सिंगल CPU या GPU पर ठीक काम करता है। लेकिन  <a href="https://github.com/huggingface/accelerate" rel="nofollow">🤗 Accelerate</a> लाइब्रेरी का उपयोग करके, बस कुछ समायोजन के साथ हम कई GPUs या TPUs पर वितरित प्रशिक्षण को सक्षम कर सकते हैं। शुरुआत प्रशिक्षण और सत्यापन डेटा लोडर के निर्माण से हुई, यहाँ हमारा मैनुअल प्रशिक्षण लूप कैसा दिखता है:',he,rl,fe,yl,cs="और परिवर्तन यहाँ हैं:",Ce,ml,Ze,ol,rs="सबसे पहली लाइन जो जोड़नी है वो है इम्पोर्ट लाइन। दूसरी लाइन एक <code>Accelerator</code> वस्तु को इन्स्टैन्शीऐट करती है जो वातावरण को देखेगी और उचित वितरित सेटअप को इनिशियलाइज़ करेगी। 🤗 Accelerate आपके लिए डिवाइस प्लेसमेंट को हैंडल करता है, ताकि आप उन लाइनों को हटा सकें जो मॉडल को डिवाइस पर रखती हैं (या, यदि आप चाहें, तो उन्हें <code>device</code> के बजाय <code>accelerator.device</code> का उपयोग करने के लिए बदलें)।",Ie,dl,ys="फिर काम का मुख्य हिस्सा उस लाइन में किया जाता है जो डेटालोडर्स, मॉडल और ऑप्टिमाइज़र को <code>accelerator.prepare()</code> पर भेजता है। यह उन वस्तुओं को उचित कंटेनर में लपेट देगा ताकि यह सुनिश्चित हो सके कि आपका वितरित प्रशिक्षण उद्देश्य के अनुसार काम करता है। शेष परिवर्तन है उस लाइन को हटाना जो बैच को <code>device</code> पर रखता है (फिर से, यदि आप इसे रखना चाहते हैं तो आप इसे केवल <code>accelerator.device</code> का उपयोग करने के लिए बदल सकते हैं) और <code>loss.backward()</code> को <code>accelerator.backward(loss)</code> के साथ बदलना।",Be,w,ms="<p>⚠️ Cloud TPUs द्वारा पेश किए गए स्पीड-अप से लाभ उठाने के लिए, हम अनुशंसा करते हैं कि आप अपने सैम्पल्स को टोकननाइज़र के <code>padding=&quot;max_length&quot;</code> और <code>max_length</code> प्राचल यानि आर्गुमेंट के साथ एक निश्चित लंबाई तक पैडिंग करें।</p>",Ge,Jl,os="यदि आप इसे खेलने के लिए कॉपी और पेस्ट करना चाहते हैं, तो यहां बताया गया है कि 🤗 Accelerate के साथ पूरा प्रशिक्षण लूप कैसा दिखता है:",ke,jl,Xe,bl,ds="इसे एक <code>train.py</code> स्क्रिप्ट में रखने से वह स्क्रिप्ट किसी भी प्रकार के वितरित सेटअप पर चलने योग्य हो जाएगी। इसे अपने वितरित सेटअप में आज़माने के लिए, कमांड चलाएँ:",$e,wl,We,Ul,Js="जो आपको कुछ सवालों के जवाब देने के लिए प्रेरित करेगा और इस कमांड द्वारा उपयोग की जाने वाली कॉन्फ़िगरेशन फ़ाइल में आपके उत्तरों को डंप कर देगा:",Re,Tl,Ye,ul,js="जो वितरित प्रशिक्षण को शुरू करेगा।",ge,hl,bs="यदि आप इसे नोटबुक में आज़माना चाहते हैं (उदाहरण के लिए, Colab पर TPUs के साथ इसका परीक्षण करने के लिए), तो बस कोड को <code>training_function()</code> में पेस्ट करें और एक अंतिम सेल चलाएँ साथ में:",ve,fl,_e,Cl,ws='आप कई अधिक उदाहरण <a href="https://github.com/huggingface/accelerate/tree/main/examples" rel="nofollow">🤗 Accelerate repo</a> में पा सकते है।',Ve,Zl,Ae,Bl,Ne;return U=new Gs({props:{containerStyle:"float: right; margin-left: 10px; display: inline-flex; position: relative; z-index: 10;"}}),T=new Gl({props:{title:"एक पूर्ण प्रशिक्षण",local:"एक-परण-परशकषण",headingTag:"h1"}}),u=new Xs({props:{chapter:3,classNames:"absolute z-10 right-0 top-0",notebooks:[{label:"Google Colab",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/hi/chapter3/section4.ipynb"},{label:"Aws Studio",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/hi/chapter3/section4.ipynb"}]}}),h=new Ts({props:{id:"Dh9CL8fyG80"}}),C=new J({props:{code:"ZnJvbSUyMGRhdGFzZXRzJTIwaW1wb3J0JTIwbG9hZF9kYXRhc2V0JTBBZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9Ub2tlbml6ZXIlMkMlMjBEYXRhQ29sbGF0b3JXaXRoUGFkZGluZyUwQSUwQXJhd19kYXRhc2V0cyUyMCUzRCUyMGxvYWRfZGF0YXNldCglMjJnbHVlJTIyJTJDJTIwJTIybXJwYyUyMiklMEFjaGVja3BvaW50JTIwJTNEJTIwJTIyYmVydC1iYXNlLXVuY2FzZWQlMjIlMEF0b2tlbml6ZXIlMjAlM0QlMjBBdXRvVG9rZW5pemVyLmZyb21fcHJldHJhaW5lZChjaGVja3BvaW50KSUwQSUwQSUwQWRlZiUyMHRva2VuaXplX2Z1bmN0aW9uKGV4YW1wbGUpJTNBJTBBJTIwJTIwJTIwJTIwcmV0dXJuJTIwdG9rZW5pemVyKGV4YW1wbGUlNUIlMjJzZW50ZW5jZTElMjIlNUQlMkMlMjBleGFtcGxlJTVCJTIyc2VudGVuY2UyJTIyJTVEJTJDJTIwdHJ1bmNhdGlvbiUzRFRydWUpJTBBJTBBJTBBdG9rZW5pemVkX2RhdGFzZXRzJTIwJTNEJTIwcmF3X2RhdGFzZXRzLm1hcCh0b2tlbml6ZV9mdW5jdGlvbiUyQyUyMGJhdGNoZWQlM0RUcnVlKSUwQWRhdGFfY29sbGF0b3IlMjAlM0QlMjBEYXRhQ29sbGF0b3JXaXRoUGFkZGluZyh0b2tlbml6ZXIlM0R0b2tlbml6ZXIp",highlighted:`<span class="hljs-keyword">from</span> datasets <span class="hljs-keyword">import</span> load_dataset
<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer, DataCollatorWithPadding

raw_datasets = load_dataset(<span class="hljs-string">&quot;glue&quot;</span>, <span class="hljs-string">&quot;mrpc&quot;</span>)
checkpoint = <span class="hljs-string">&quot;bert-base-uncased&quot;</span>
tokenizer = AutoTokenizer.from_pretrained(checkpoint)


<span class="hljs-keyword">def</span> <span class="hljs-title function_">tokenize_function</span>(<span class="hljs-params">example</span>):
    <span class="hljs-keyword">return</span> tokenizer(example[<span class="hljs-string">&quot;sentence1&quot;</span>], example[<span class="hljs-string">&quot;sentence2&quot;</span>], truncation=<span class="hljs-literal">True</span>)


tokenized_datasets = raw_datasets.<span class="hljs-built_in">map</span>(tokenize_function, batched=<span class="hljs-literal">True</span>)
data_collator = DataCollatorWithPadding(tokenizer=tokenizer)`,wrap:!1}}),Z=new Gl({props:{title:"प्रशिक्षण के लिए तैयार करें",local:"परशकषण-क-लए-तयर-कर",headingTag:"h3"}}),k=new J({props:{code:"dG9rZW5pemVkX2RhdGFzZXRzJTIwJTNEJTIwdG9rZW5pemVkX2RhdGFzZXRzLnJlbW92ZV9jb2x1bW5zKCU1QiUyMnNlbnRlbmNlMSUyMiUyQyUyMCUyMnNlbnRlbmNlMiUyMiUyQyUyMCUyMmlkeCUyMiU1RCklMEF0b2tlbml6ZWRfZGF0YXNldHMlMjAlM0QlMjB0b2tlbml6ZWRfZGF0YXNldHMucmVuYW1lX2NvbHVtbiglMjJsYWJlbCUyMiUyQyUyMCUyMmxhYmVscyUyMiklMEF0b2tlbml6ZWRfZGF0YXNldHMuc2V0X2Zvcm1hdCglMjJ0b3JjaCUyMiklMEF0b2tlbml6ZWRfZGF0YXNldHMlNUIlMjJ0cmFpbiUyMiU1RC5jb2x1bW5fbmFtZXM=",highlighted:`tokenized_datasets = tokenized_datasets.remove_columns([<span class="hljs-string">&quot;sentence1&quot;</span>, <span class="hljs-string">&quot;sentence2&quot;</span>, <span class="hljs-string">&quot;idx&quot;</span>])
tokenized_datasets = tokenized_datasets.rename_column(<span class="hljs-string">&quot;label&quot;</span>, <span class="hljs-string">&quot;labels&quot;</span>)
tokenized_datasets.set_format(<span class="hljs-string">&quot;torch&quot;</span>)
tokenized_datasets[<span class="hljs-string">&quot;train&quot;</span>].column_names`,wrap:!1}}),$=new J({props:{code:"JTVCJTIyYXR0ZW50aW9uX21hc2slMjIlMkMlMjAlMjJpbnB1dF9pZHMlMjIlMkMlMjAlMjJsYWJlbHMlMjIlMkMlMjAlMjJ0b2tlbl90eXBlX2lkcyUyMiU1RA==",highlighted:'[<span class="hljs-string">&quot;attention_mask&quot;</span>, <span class="hljs-string">&quot;input_ids&quot;</span>, <span class="hljs-string">&quot;labels&quot;</span>, <span class="hljs-string">&quot;token_type_ids&quot;</span>]',wrap:!1}}),R=new J({props:{code:"ZnJvbSUyMHRvcmNoLnV0aWxzLmRhdGElMjBpbXBvcnQlMjBEYXRhTG9hZGVyJTBBJTBBdHJhaW5fZGF0YWxvYWRlciUyMCUzRCUyMERhdGFMb2FkZXIoJTBBJTIwJTIwJTIwJTIwdG9rZW5pemVkX2RhdGFzZXRzJTVCJTIydHJhaW4lMjIlNUQlMkMlMjBzaHVmZmxlJTNEVHJ1ZSUyQyUyMGJhdGNoX3NpemUlM0Q4JTJDJTIwY29sbGF0ZV9mbiUzRGRhdGFfY29sbGF0b3IlMEEpJTBBZXZhbF9kYXRhbG9hZGVyJTIwJTNEJTIwRGF0YUxvYWRlciglMEElMjAlMjAlMjAlMjB0b2tlbml6ZWRfZGF0YXNldHMlNUIlMjJ2YWxpZGF0aW9uJTIyJTVEJTJDJTIwYmF0Y2hfc2l6ZSUzRDglMkMlMjBjb2xsYXRlX2ZuJTNEZGF0YV9jb2xsYXRvciUwQSk=",highlighted:`<span class="hljs-keyword">from</span> torch.utils.data <span class="hljs-keyword">import</span> DataLoader

train_dataloader = DataLoader(
    tokenized_datasets[<span class="hljs-string">&quot;train&quot;</span>], shuffle=<span class="hljs-literal">True</span>, batch_size=<span class="hljs-number">8</span>, collate_fn=data_collator
)
eval_dataloader = DataLoader(
    tokenized_datasets[<span class="hljs-string">&quot;validation&quot;</span>], batch_size=<span class="hljs-number">8</span>, collate_fn=data_collator
)`,wrap:!1}}),g=new J({props:{code:"Zm9yJTIwYmF0Y2glMjBpbiUyMHRyYWluX2RhdGFsb2FkZXIlM0ElMEElMjAlMjAlMjAlMjBicmVhayUwQSU3QmslM0ElMjB2LnNoYXBlJTIwZm9yJTIwayUyQyUyMHYlMjBpbiUyMGJhdGNoLml0ZW1zKCklN0Q=",highlighted:`<span class="hljs-keyword">for</span> batch <span class="hljs-keyword">in</span> train_dataloader:
    <span class="hljs-keyword">break</span>
{k: v.shape <span class="hljs-keyword">for</span> k, v <span class="hljs-keyword">in</span> batch.items()}`,wrap:!1}}),v=new J({props:{code:"JTdCJ2F0dGVudGlvbl9tYXNrJyUzQSUyMHRvcmNoLlNpemUoJTVCOCUyQyUyMDY1JTVEKSUyQyUwQSUyMCdpbnB1dF9pZHMnJTNBJTIwdG9yY2guU2l6ZSglNUI4JTJDJTIwNjUlNUQpJTJDJTBBJTIwJ2xhYmVscyclM0ElMjB0b3JjaC5TaXplKCU1QjglNUQpJTJDJTBBJTIwJ3Rva2VuX3R5cGVfaWRzJyUzQSUyMHRvcmNoLlNpemUoJTVCOCUyQyUyMDY1JTVEKSU3RA==",highlighted:`{<span class="hljs-string">&#x27;attention_mask&#x27;</span>: torch.Size([<span class="hljs-number">8</span>, <span class="hljs-number">65</span>]),
 <span class="hljs-string">&#x27;input_ids&#x27;</span>: torch.Size([<span class="hljs-number">8</span>, <span class="hljs-number">65</span>]),
 <span class="hljs-string">&#x27;labels&#x27;</span>: torch.Size([<span class="hljs-number">8</span>]),
 <span class="hljs-string">&#x27;token_type_ids&#x27;</span>: torch.Size([<span class="hljs-number">8</span>, <span class="hljs-number">65</span>])}`,wrap:!1}}),A=new J({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9Nb2RlbEZvclNlcXVlbmNlQ2xhc3NpZmljYXRpb24lMEElMEFtb2RlbCUyMCUzRCUyMEF1dG9Nb2RlbEZvclNlcXVlbmNlQ2xhc3NpZmljYXRpb24uZnJvbV9wcmV0cmFpbmVkKGNoZWNrcG9pbnQlMkMlMjBudW1fbGFiZWxzJTNEMik=",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoModelForSequenceClassification

model = AutoModelForSequenceClassification.from_pretrained(checkpoint, num_labels=<span class="hljs-number">2</span>)`,wrap:!1}}),z=new J({props:{code:"b3V0cHV0cyUyMCUzRCUyMG1vZGVsKCoqYmF0Y2gpJTBBcHJpbnQob3V0cHV0cy5sb3NzJTJDJTIwb3V0cHV0cy5sb2dpdHMuc2hhcGUp",highlighted:`outputs = model(**batch)
<span class="hljs-built_in">print</span>(outputs.loss, outputs.logits.shape)`,wrap:!1}}),E=new J({props:{code:"dGVuc29yKDAuNTQ0MSUyQyUyMGdyYWRfZm4lM0QlM0NObGxMb3NzQmFja3dhcmQlM0UpJTIwdG9yY2guU2l6ZSglNUI4JTJDJTIwMiU1RCk=",highlighted:'tensor(<span class="hljs-number">0.5441</span>, grad_fn=&lt;NllLossBackward&gt;) torch.Size([<span class="hljs-number">8</span>, <span class="hljs-number">2</span>])',wrap:!1}}),H=new J({props:{code:"ZnJvbSUyMHRvcmNoLm9wdGltJTIwaW1wb3J0JTIwQWRhbVclMEElMEFvcHRpbWl6ZXIlMjAlM0QlMjBBZGFtVyhtb2RlbC5wYXJhbWV0ZXJzKCklMkMlMjBsciUzRDVlLTUp",highlighted:`<span class="hljs-keyword">from</span> torch.optim <span class="hljs-keyword">import</span> AdamW

optimizer = AdamW(model.parameters(), lr=<span class="hljs-number">5e-5</span>)`,wrap:!1}}),S=new J({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMGdldF9zY2hlZHVsZXIlMEElMEFudW1fZXBvY2hzJTIwJTNEJTIwMyUwQW51bV90cmFpbmluZ19zdGVwcyUyMCUzRCUyMG51bV9lcG9jaHMlMjAqJTIwbGVuKHRyYWluX2RhdGFsb2FkZXIpJTBBbHJfc2NoZWR1bGVyJTIwJTNEJTIwZ2V0X3NjaGVkdWxlciglMEElMjAlMjAlMjAlMjAlMjJsaW5lYXIlMjIlMkMlMEElMjAlMjAlMjAlMjBvcHRpbWl6ZXIlM0RvcHRpbWl6ZXIlMkMlMEElMjAlMjAlMjAlMjBudW1fd2FybXVwX3N0ZXBzJTNEMCUyQyUwQSUyMCUyMCUyMCUyMG51bV90cmFpbmluZ19zdGVwcyUzRG51bV90cmFpbmluZ19zdGVwcyUyQyUwQSklMEFwcmludChudW1fdHJhaW5pbmdfc3RlcHMp",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> get_scheduler

num_epochs = <span class="hljs-number">3</span>
num_training_steps = num_epochs * <span class="hljs-built_in">len</span>(train_dataloader)
lr_scheduler = get_scheduler(
    <span class="hljs-string">&quot;linear&quot;</span>,
    optimizer=optimizer,
    num_warmup_steps=<span class="hljs-number">0</span>,
    num_training_steps=num_training_steps,
)
<span class="hljs-built_in">print</span>(num_training_steps)`,wrap:!1}}),q=new J({props:{code:"MTM3Nw==",highlighted:'<span class="hljs-number">1377</span>',wrap:!1}}),L=new Gl({props:{title:"ट्रेनिंग लूप",local:"टरनग-लप",headingTag:"h3"}}),D=new J({props:{code:"aW1wb3J0JTIwdG9yY2glMEElMEFkZXZpY2UlMjAlM0QlMjB0b3JjaC5kZXZpY2UoJTIyY3VkYSUyMiklMjBpZiUyMHRvcmNoLmN1ZGEuaXNfYXZhaWxhYmxlKCklMjBlbHNlJTIwdG9yY2guZGV2aWNlKCUyMmNwdSUyMiklMEFtb2RlbC50byhkZXZpY2UpJTBBZGV2aWNl",highlighted:`<span class="hljs-keyword">import</span> torch

device = torch.device(<span class="hljs-string">&quot;cuda&quot;</span>) <span class="hljs-keyword">if</span> torch.cuda.is_available() <span class="hljs-keyword">else</span> torch.device(<span class="hljs-string">&quot;cpu&quot;</span>)
model.to(device)
device`,wrap:!1}}),P=new J({props:{code:"ZGV2aWNlKHR5cGUlM0QnY3VkYScp",highlighted:'device(<span class="hljs-built_in">type</span>=<span class="hljs-string">&#x27;cuda&#x27;</span>)',wrap:!1}}),ll=new J({props:{code:"ZnJvbSUyMHRxZG0uYXV0byUyMGltcG9ydCUyMHRxZG0lMEElMEFwcm9ncmVzc19iYXIlMjAlM0QlMjB0cWRtKHJhbmdlKG51bV90cmFpbmluZ19zdGVwcykpJTBBJTBBbW9kZWwudHJhaW4oKSUwQWZvciUyMGVwb2NoJTIwaW4lMjByYW5nZShudW1fZXBvY2hzKSUzQSUwQSUyMCUyMCUyMCUyMGZvciUyMGJhdGNoJTIwaW4lMjB0cmFpbl9kYXRhbG9hZGVyJTNBJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwYmF0Y2glMjAlM0QlMjAlN0JrJTNBJTIwdi50byhkZXZpY2UpJTIwZm9yJTIwayUyQyUyMHYlMjBpbiUyMGJhdGNoLml0ZW1zKCklN0QlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBvdXRwdXRzJTIwJTNEJTIwbW9kZWwoKipiYXRjaCklMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBsb3NzJTIwJTNEJTIwb3V0cHV0cy5sb3NzJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwbG9zcy5iYWNrd2FyZCgpJTBBJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwb3B0aW1pemVyLnN0ZXAoKSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGxyX3NjaGVkdWxlci5zdGVwKCklMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBvcHRpbWl6ZXIuemVyb19ncmFkKCklMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBwcm9ncmVzc19iYXIudXBkYXRlKDEp",highlighted:`<span class="hljs-keyword">from</span> tqdm.auto <span class="hljs-keyword">import</span> tqdm

progress_bar = tqdm(<span class="hljs-built_in">range</span>(num_training_steps))

model.train()
<span class="hljs-keyword">for</span> epoch <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(num_epochs):
    <span class="hljs-keyword">for</span> batch <span class="hljs-keyword">in</span> train_dataloader:
        batch = {k: v.to(device) <span class="hljs-keyword">for</span> k, v <span class="hljs-keyword">in</span> batch.items()}
        outputs = model(**batch)
        loss = outputs.loss
        loss.backward()

        optimizer.step()
        lr_scheduler.step()
        optimizer.zero_grad()
        progress_bar.update(<span class="hljs-number">1</span>)`,wrap:!1}}),sl=new Gl({props:{title:"मूल्यांकन लूप",local:"मलयकन-लप",headingTag:"h3"}}),al=new J({props:{code:"aW1wb3J0JTIwZXZhbHVhdGUlMEElMEFtZXRyaWMlMjAlM0QlMjBldmFsdWF0ZS5sb2FkKCUyMmdsdWUlMjIlMkMlMjAlMjJtcnBjJTIyKSUwQW1vZGVsLmV2YWwoKSUwQWZvciUyMGJhdGNoJTIwaW4lMjBldmFsX2RhdGFsb2FkZXIlM0ElMEElMjAlMjAlMjAlMjBiYXRjaCUyMCUzRCUyMCU3QmslM0ElMjB2LnRvKGRldmljZSklMjBmb3IlMjBrJTJDJTIwdiUyMGluJTIwYmF0Y2guaXRlbXMoKSU3RCUwQSUyMCUyMCUyMCUyMHdpdGglMjB0b3JjaC5ub19ncmFkKCklM0ElMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBvdXRwdXRzJTIwJTNEJTIwbW9kZWwoKipiYXRjaCklMEElMEElMjAlMjAlMjAlMjBsb2dpdHMlMjAlM0QlMjBvdXRwdXRzLmxvZ2l0cyUwQSUyMCUyMCUyMCUyMHByZWRpY3Rpb25zJTIwJTNEJTIwdG9yY2guYXJnbWF4KGxvZ2l0cyUyQyUyMGRpbSUzRC0xKSUwQSUyMCUyMCUyMCUyMG1ldHJpYy5hZGRfYmF0Y2gocHJlZGljdGlvbnMlM0RwcmVkaWN0aW9ucyUyQyUyMHJlZmVyZW5jZXMlM0RiYXRjaCU1QiUyMmxhYmVscyUyMiU1RCklMEElMEFtZXRyaWMuY29tcHV0ZSgp",highlighted:`<span class="hljs-keyword">import</span> evaluate

metric = evaluate.load(<span class="hljs-string">&quot;glue&quot;</span>, <span class="hljs-string">&quot;mrpc&quot;</span>)
model.<span class="hljs-built_in">eval</span>()
<span class="hljs-keyword">for</span> batch <span class="hljs-keyword">in</span> eval_dataloader:
    batch = {k: v.to(device) <span class="hljs-keyword">for</span> k, v <span class="hljs-keyword">in</span> batch.items()}
    <span class="hljs-keyword">with</span> torch.no_grad():
        outputs = model(**batch)

    logits = outputs.logits
    predictions = torch.argmax(logits, dim=-<span class="hljs-number">1</span>)
    metric.add_batch(predictions=predictions, references=batch[<span class="hljs-string">&quot;labels&quot;</span>])

metric.compute()`,wrap:!1}}),nl=new J({props:{code:"JTdCJ2FjY3VyYWN5JyUzQSUyMDAuODQzMTM3MjU0OTAxOTYwOCUyQyUyMCdmMSclM0ElMjAwLjg5MDc4NDk4MjkzNTE1MzUlN0Q=",highlighted:'{<span class="hljs-string">&#x27;accuracy&#x27;</span>: <span class="hljs-number">0.8431372549019608</span>, <span class="hljs-string">&#x27;f1&#x27;</span>: <span class="hljs-number">0.8907849829351535</span>}',wrap:!1}}),Ml=new Gl({props:{title:"अपने प्रशिक्षण लूप को सुपरचार्ज करें 🤗 Accelerate के साथ।",local:"अपन-परशकषण-लप-क-सपरचरज-कर--accelerate-क-सथ",headingTag:"h3"}}),il=new Ts({props:{id:"s7dy8QRgjJ0"}}),rl=new J({props:{code:"ZnJvbSUyMHRvcmNoLm9wdGltJTIwaW1wb3J0JTIwQWRhbVclMEFmcm9tJTIwdHJhbnNmb3JtZXJzJTIwaW1wb3J0JTIwQXV0b01vZGVsRm9yU2VxdWVuY2VDbGFzc2lmaWNhdGlvbiUyQyUyMGdldF9zY2hlZHVsZXIlMEElMEFtb2RlbCUyMCUzRCUyMEF1dG9Nb2RlbEZvclNlcXVlbmNlQ2xhc3NpZmljYXRpb24uZnJvbV9wcmV0cmFpbmVkKGNoZWNrcG9pbnQlMkMlMjBudW1fbGFiZWxzJTNEMiklMEFvcHRpbWl6ZXIlMjAlM0QlMjBBZGFtVyhtb2RlbC5wYXJhbWV0ZXJzKCklMkMlMjBsciUzRDNlLTUpJTBBJTBBZGV2aWNlJTIwJTNEJTIwdG9yY2guZGV2aWNlKCUyMmN1ZGElMjIpJTIwaWYlMjB0b3JjaC5jdWRhLmlzX2F2YWlsYWJsZSgpJTIwZWxzZSUyMHRvcmNoLmRldmljZSglMjJjcHUlMjIpJTBBbW9kZWwudG8oZGV2aWNlKSUwQSUwQW51bV9lcG9jaHMlMjAlM0QlMjAzJTBBbnVtX3RyYWluaW5nX3N0ZXBzJTIwJTNEJTIwbnVtX2Vwb2NocyUyMColMjBsZW4odHJhaW5fZGF0YWxvYWRlciklMEFscl9zY2hlZHVsZXIlMjAlM0QlMjBnZXRfc2NoZWR1bGVyKCUwQSUyMCUyMCUyMCUyMCUyMmxpbmVhciUyMiUyQyUwQSUyMCUyMCUyMCUyMG9wdGltaXplciUzRG9wdGltaXplciUyQyUwQSUyMCUyMCUyMCUyMG51bV93YXJtdXBfc3RlcHMlM0QwJTJDJTBBJTIwJTIwJTIwJTIwbnVtX3RyYWluaW5nX3N0ZXBzJTNEbnVtX3RyYWluaW5nX3N0ZXBzJTJDJTBBKSUwQSUwQXByb2dyZXNzX2JhciUyMCUzRCUyMHRxZG0ocmFuZ2UobnVtX3RyYWluaW5nX3N0ZXBzKSklMEElMEFtb2RlbC50cmFpbigpJTBBZm9yJTIwZXBvY2glMjBpbiUyMHJhbmdlKG51bV9lcG9jaHMpJTNBJTBBJTIwJTIwJTIwJTIwZm9yJTIwYmF0Y2glMjBpbiUyMHRyYWluX2RhdGFsb2FkZXIlM0ElMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBiYXRjaCUyMCUzRCUyMCU3QmslM0ElMjB2LnRvKGRldmljZSklMjBmb3IlMjBrJTJDJTIwdiUyMGluJTIwYmF0Y2guaXRlbXMoKSU3RCUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMG91dHB1dHMlMjAlM0QlMjBtb2RlbCgqKmJhdGNoKSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGxvc3MlMjAlM0QlMjBvdXRwdXRzLmxvc3MlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBsb3NzLmJhY2t3YXJkKCklMEElMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBvcHRpbWl6ZXIuc3RlcCgpJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwbHJfc2NoZWR1bGVyLnN0ZXAoKSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMG9wdGltaXplci56ZXJvX2dyYWQoKSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMHByb2dyZXNzX2Jhci51cGRhdGUoMSk=",highlighted:`<span class="hljs-keyword">from</span> torch.optim <span class="hljs-keyword">import</span> AdamW
<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoModelForSequenceClassification, get_scheduler

model = AutoModelForSequenceClassification.from_pretrained(checkpoint, num_labels=<span class="hljs-number">2</span>)
optimizer = AdamW(model.parameters(), lr=<span class="hljs-number">3e-5</span>)

device = torch.device(<span class="hljs-string">&quot;cuda&quot;</span>) <span class="hljs-keyword">if</span> torch.cuda.is_available() <span class="hljs-keyword">else</span> torch.device(<span class="hljs-string">&quot;cpu&quot;</span>)
model.to(device)

num_epochs = <span class="hljs-number">3</span>
num_training_steps = num_epochs * <span class="hljs-built_in">len</span>(train_dataloader)
lr_scheduler = get_scheduler(
    <span class="hljs-string">&quot;linear&quot;</span>,
    optimizer=optimizer,
    num_warmup_steps=<span class="hljs-number">0</span>,
    num_training_steps=num_training_steps,
)

progress_bar = tqdm(<span class="hljs-built_in">range</span>(num_training_steps))

model.train()
<span class="hljs-keyword">for</span> epoch <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(num_epochs):
    <span class="hljs-keyword">for</span> batch <span class="hljs-keyword">in</span> train_dataloader:
        batch = {k: v.to(device) <span class="hljs-keyword">for</span> k, v <span class="hljs-keyword">in</span> batch.items()}
        outputs = model(**batch)
        loss = outputs.loss
        loss.backward()

        optimizer.step()
        lr_scheduler.step()
        optimizer.zero_grad()
        progress_bar.update(<span class="hljs-number">1</span>)`,wrap:!1}}),ml=new J({props:{code:"JTJCJTIwZnJvbSUyMGFjY2VsZXJhdGUlMjBpbXBvcnQlMjBBY2NlbGVyYXRvciUwQSUyMCUyMGZyb20lMjB0b3JjaC5vcHRpbSUyMGltcG9ydCUyMEFkYW1XJTBBJTIwJTIwZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9Nb2RlbEZvclNlcXVlbmNlQ2xhc3NpZmljYXRpb24lMkMlMjBnZXRfc2NoZWR1bGVyJTBBJTBBJTJCJTIwYWNjZWxlcmF0b3IlMjAlM0QlMjBBY2NlbGVyYXRvcigpJTBBJTBBJTIwJTIwbW9kZWwlMjAlM0QlMjBBdXRvTW9kZWxGb3JTZXF1ZW5jZUNsYXNzaWZpY2F0aW9uLmZyb21fcHJldHJhaW5lZChjaGVja3BvaW50JTJDJTIwbnVtX2xhYmVscyUzRDIpJTBBJTIwJTIwb3B0aW1pemVyJTIwJTNEJTIwQWRhbVcobW9kZWwucGFyYW1ldGVycygpJTJDJTIwbHIlM0QzZS01KSUwQSUwQS0lMjBkZXZpY2UlMjAlM0QlMjB0b3JjaC5kZXZpY2UoJTIyY3VkYSUyMiklMjBpZiUyMHRvcmNoLmN1ZGEuaXNfYXZhaWxhYmxlKCklMjBlbHNlJTIwdG9yY2guZGV2aWNlKCUyMmNwdSUyMiklMEEtJTIwbW9kZWwudG8oZGV2aWNlKSUwQSUwQSUyQiUyMHRyYWluX2RhdGFsb2FkZXIlMkMlMjBldmFsX2RhdGFsb2FkZXIlMkMlMjBtb2RlbCUyQyUyMG9wdGltaXplciUyMCUzRCUyMGFjY2VsZXJhdG9yLnByZXBhcmUoJTBBJTJCJTIwJTIwJTIwJTIwJTIwdHJhaW5fZGF0YWxvYWRlciUyQyUyMGV2YWxfZGF0YWxvYWRlciUyQyUyMG1vZGVsJTJDJTIwb3B0aW1pemVyJTBBJTJCJTIwKSUwQSUwQSUyMCUyMG51bV9lcG9jaHMlMjAlM0QlMjAzJTBBJTIwJTIwbnVtX3RyYWluaW5nX3N0ZXBzJTIwJTNEJTIwbnVtX2Vwb2NocyUyMColMjBsZW4odHJhaW5fZGF0YWxvYWRlciklMEElMjAlMjBscl9zY2hlZHVsZXIlMjAlM0QlMjBnZXRfc2NoZWR1bGVyKCUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMmxpbmVhciUyMiUyQyUwQSUyMCUyMCUyMCUyMCUyMCUyMG9wdGltaXplciUzRG9wdGltaXplciUyQyUwQSUyMCUyMCUyMCUyMCUyMCUyMG51bV93YXJtdXBfc3RlcHMlM0QwJTJDJTBBJTIwJTIwJTIwJTIwJTIwJTIwbnVtX3RyYWluaW5nX3N0ZXBzJTNEbnVtX3RyYWluaW5nX3N0ZXBzJTBBJTIwJTIwKSUwQSUwQSUyMCUyMHByb2dyZXNzX2JhciUyMCUzRCUyMHRxZG0ocmFuZ2UobnVtX3RyYWluaW5nX3N0ZXBzKSklMEElMEElMjAlMjBtb2RlbC50cmFpbigpJTBBJTIwJTIwZm9yJTIwZXBvY2glMjBpbiUyMHJhbmdlKG51bV9lcG9jaHMpJTNBJTBBJTIwJTIwJTIwJTIwJTIwJTIwZm9yJTIwYmF0Y2glMjBpbiUyMHRyYWluX2RhdGFsb2FkZXIlM0ElMEEtJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwYmF0Y2glMjAlM0QlMjAlN0JrJTNBJTIwdi50byhkZXZpY2UpJTIwZm9yJTIwayUyQyUyMHYlMjBpbiUyMGJhdGNoLml0ZW1zKCklN0QlMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBvdXRwdXRzJTIwJTNEJTIwbW9kZWwoKipiYXRjaCklMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBsb3NzJTIwJTNEJTIwb3V0cHV0cy5sb3NzJTBBLSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGxvc3MuYmFja3dhcmQoKSUwQSUyQiUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGFjY2VsZXJhdG9yLmJhY2t3YXJkKGxvc3MpJTBBJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwb3B0aW1pemVyLnN0ZXAoKSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGxyX3NjaGVkdWxlci5zdGVwKCklMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBvcHRpbWl6ZXIuemVyb19ncmFkKCklMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBwcm9ncmVzc19iYXIudXBkYXRlKDEp",highlighted:`<span class="hljs-addition">+ from accelerate import Accelerator</span>
  from torch.optim import AdamW
  from transformers import AutoModelForSequenceClassification, get_scheduler

<span class="hljs-addition">+ accelerator = Accelerator()</span>

  model = AutoModelForSequenceClassification.from_pretrained(checkpoint, num_labels=2)
  optimizer = AdamW(model.parameters(), lr=3e-5)

<span class="hljs-deletion">- device = torch.device(&quot;cuda&quot;) if torch.cuda.is_available() else torch.device(&quot;cpu&quot;)</span>
<span class="hljs-deletion">- model.to(device)</span>

<span class="hljs-addition">+ train_dataloader, eval_dataloader, model, optimizer = accelerator.prepare(</span>
<span class="hljs-addition">+     train_dataloader, eval_dataloader, model, optimizer</span>
<span class="hljs-addition">+ )</span>

  num_epochs = 3
  num_training_steps = num_epochs * len(train_dataloader)
  lr_scheduler = get_scheduler(
      &quot;linear&quot;,
      optimizer=optimizer,
      num_warmup_steps=0,
      num_training_steps=num_training_steps
  )

  progress_bar = tqdm(range(num_training_steps))

  model.train()
  for epoch in range(num_epochs):
      for batch in train_dataloader:
<span class="hljs-deletion">-         batch = {k: v.to(device) for k, v in batch.items()}</span>
          outputs = model(**batch)
          loss = outputs.loss
<span class="hljs-deletion">-         loss.backward()</span>
<span class="hljs-addition">+         accelerator.backward(loss)</span>

          optimizer.step()
          lr_scheduler.step()
          optimizer.zero_grad()
          progress_bar.update(1)`,wrap:!1}}),jl=new J({props:{code:"ZnJvbSUyMGFjY2VsZXJhdGUlMjBpbXBvcnQlMjBBY2NlbGVyYXRvciUwQWZyb20lMjB0b3JjaC5vcHRpbSUyMGltcG9ydCUyMEFkYW1XJTBBZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9Nb2RlbEZvclNlcXVlbmNlQ2xhc3NpZmljYXRpb24lMkMlMjBnZXRfc2NoZWR1bGVyJTBBJTBBYWNjZWxlcmF0b3IlMjAlM0QlMjBBY2NlbGVyYXRvcigpJTBBJTBBbW9kZWwlMjAlM0QlMjBBdXRvTW9kZWxGb3JTZXF1ZW5jZUNsYXNzaWZpY2F0aW9uLmZyb21fcHJldHJhaW5lZChjaGVja3BvaW50JTJDJTIwbnVtX2xhYmVscyUzRDIpJTBBb3B0aW1pemVyJTIwJTNEJTIwQWRhbVcobW9kZWwucGFyYW1ldGVycygpJTJDJTIwbHIlM0QzZS01KSUwQSUwQXRyYWluX2RsJTJDJTIwZXZhbF9kbCUyQyUyMG1vZGVsJTJDJTIwb3B0aW1pemVyJTIwJTNEJTIwYWNjZWxlcmF0b3IucHJlcGFyZSglMEElMjAlMjAlMjAlMjB0cmFpbl9kYXRhbG9hZGVyJTJDJTIwZXZhbF9kYXRhbG9hZGVyJTJDJTIwbW9kZWwlMkMlMjBvcHRpbWl6ZXIlMEEpJTBBJTBBbnVtX2Vwb2NocyUyMCUzRCUyMDMlMEFudW1fdHJhaW5pbmdfc3RlcHMlMjAlM0QlMjBudW1fZXBvY2hzJTIwKiUyMGxlbih0cmFpbl9kbCklMEFscl9zY2hlZHVsZXIlMjAlM0QlMjBnZXRfc2NoZWR1bGVyKCUwQSUyMCUyMCUyMCUyMCUyMmxpbmVhciUyMiUyQyUwQSUyMCUyMCUyMCUyMG9wdGltaXplciUzRG9wdGltaXplciUyQyUwQSUyMCUyMCUyMCUyMG51bV93YXJtdXBfc3RlcHMlM0QwJTJDJTBBJTIwJTIwJTIwJTIwbnVtX3RyYWluaW5nX3N0ZXBzJTNEbnVtX3RyYWluaW5nX3N0ZXBzJTJDJTBBKSUwQSUwQXByb2dyZXNzX2JhciUyMCUzRCUyMHRxZG0ocmFuZ2UobnVtX3RyYWluaW5nX3N0ZXBzKSklMEElMEFtb2RlbC50cmFpbigpJTBBZm9yJTIwZXBvY2glMjBpbiUyMHJhbmdlKG51bV9lcG9jaHMpJTNBJTBBJTIwJTIwJTIwJTIwZm9yJTIwYmF0Y2glMjBpbiUyMHRyYWluX2RsJTNBJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwb3V0cHV0cyUyMCUzRCUyMG1vZGVsKCoqYmF0Y2gpJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwbG9zcyUyMCUzRCUyMG91dHB1dHMubG9zcyUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGFjY2VsZXJhdG9yLmJhY2t3YXJkKGxvc3MpJTBBJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIwJTIwb3B0aW1pemVyLnN0ZXAoKSUwQSUyMCUyMCUyMCUyMCUyMCUyMCUyMCUyMGxyX3NjaGVkdWxlci5zdGVwKCklMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBvcHRpbWl6ZXIuemVyb19ncmFkKCklMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjBwcm9ncmVzc19iYXIudXBkYXRlKDEp",highlighted:`<span class="hljs-keyword">from</span> accelerate <span class="hljs-keyword">import</span> Accelerator
<span class="hljs-keyword">from</span> torch.optim <span class="hljs-keyword">import</span> AdamW
<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoModelForSequenceClassification, get_scheduler

accelerator = Accelerator()

model = AutoModelForSequenceClassification.from_pretrained(checkpoint, num_labels=<span class="hljs-number">2</span>)
optimizer = AdamW(model.parameters(), lr=<span class="hljs-number">3e-5</span>)

train_dl, eval_dl, model, optimizer = accelerator.prepare(
    train_dataloader, eval_dataloader, model, optimizer
)

num_epochs = <span class="hljs-number">3</span>
num_training_steps = num_epochs * <span class="hljs-built_in">len</span>(train_dl)
lr_scheduler = get_scheduler(
    <span class="hljs-string">&quot;linear&quot;</span>,
    optimizer=optimizer,
    num_warmup_steps=<span class="hljs-number">0</span>,
    num_training_steps=num_training_steps,
)

progress_bar = tqdm(<span class="hljs-built_in">range</span>(num_training_steps))

model.train()
<span class="hljs-keyword">for</span> epoch <span class="hljs-keyword">in</span> <span class="hljs-built_in">range</span>(num_epochs):
    <span class="hljs-keyword">for</span> batch <span class="hljs-keyword">in</span> train_dl:
        outputs = model(**batch)
        loss = outputs.loss
        accelerator.backward(loss)

        optimizer.step()
        lr_scheduler.step()
        optimizer.zero_grad()
        progress_bar.update(<span class="hljs-number">1</span>)`,wrap:!1}}),wl=new J({props:{code:"YWNjZWxlcmF0ZSUyMGNvbmZpZw==",highlighted:"accelerate config",wrap:!1}}),Tl=new J({props:{code:"YWNjZWxlcmF0ZSUyMGxhdW5jaCUyMHRyYWluLnB5",highlighted:'accelerate <span class="hljs-built_in">launch</span> train.py',wrap:!1}}),fl=new J({props:{code:"ZnJvbSUyMGFjY2VsZXJhdGUlMjBpbXBvcnQlMjBub3RlYm9va19sYXVuY2hlciUwQSUwQW5vdGVib29rX2xhdW5jaGVyKHRyYWluaW5nX2Z1bmN0aW9uKQ==",highlighted:`<span class="hljs-keyword">from</span> accelerate <span class="hljs-keyword">import</span> notebook_launcher

notebook_launcher(training_function)`,wrap:!1}}),Zl=new ks({props:{source:"https://github.com/huggingface/course/blob/main/chapters/hi/chapter3/4.mdx"}}),{c(){j=p("meta"),kl=a(),Il=p("p"),Xl=a(),M(U.$$.fragment),$l=a(),M(T.$$.fragment),Wl=a(),M(u.$$.fragment),Rl=a(),M(h.$$.fragment),Yl=a(),f=p("p"),f.innerHTML=Qe,gl=a(),M(C.$$.fragment),vl=a(),M(Z.$$.fragment),_l=a(),I=p("p"),I.innerHTML=Fe,Vl=a(),B=p("ul"),B.innerHTML=He,Al=a(),G=p("p"),G.innerHTML=xe,Nl=a(),M(k.$$.fragment),zl=a(),X=p("p"),X.textContent=Se,El=a(),M($.$$.fragment),Ql=a(),W=p("p"),W.textContent=qe,Fl=a(),M(R.$$.fragment),Hl=a(),Y=p("p"),Y.textContent=Le,xl=a(),M(g.$$.fragment),Sl=a(),M(v.$$.fragment),ql=a(),_=p("p"),_.innerHTML=Ke,Ll=a(),V=p("p"),V.textContent=De,Kl=a(),M(A.$$.fragment),Dl=a(),N=p("p"),N.textContent=Pe,Pl=a(),M(z.$$.fragment),Ol=a(),M(E.$$.fragment),le=a(),Q=p("p"),Q.innerHTML=Oe,ee=a(),F=p("p"),F.innerHTML=ls,se=a(),M(H.$$.fragment),te=a(),x=p("p"),x.innerHTML=es,ae=a(),M(S.$$.fragment),ne=a(),M(q.$$.fragment),pe=a(),M(L.$$.fragment),Me=a(),K=p("p"),K.innerHTML=ss,ie=a(),M(D.$$.fragment),ce=a(),M(P.$$.fragment),re=a(),O=p("p"),O.innerHTML=ts,ye=a(),M(ll.$$.fragment),me=a(),el=p("p"),el.textContent=as,oe=a(),M(sl.$$.fragment),de=a(),tl=p("p"),tl.innerHTML=ns,Je=a(),M(al.$$.fragment),je=a(),M(nl.$$.fragment),be=a(),pl=p("p"),pl.textContent=ps,we=a(),b=p("blockquote"),b.innerHTML=Ms,Ue=a(),M(Ml.$$.fragment),Te=a(),M(il.$$.fragment),ue=a(),cl=p("p"),cl.innerHTML=is,he=a(),M(rl.$$.fragment),fe=a(),yl=p("p"),yl.textContent=cs,Ce=a(),M(ml.$$.fragment),Ze=a(),ol=p("p"),ol.innerHTML=rs,Ie=a(),dl=p("p"),dl.innerHTML=ys,Be=a(),w=p("blockquote"),w.innerHTML=ms,Ge=a(),Jl=p("p"),Jl.textContent=os,ke=a(),M(jl.$$.fragment),Xe=a(),bl=p("p"),bl.innerHTML=ds,$e=a(),M(wl.$$.fragment),We=a(),Ul=p("p"),Ul.textContent=Js,Re=a(),M(Tl.$$.fragment),Ye=a(),ul=p("p"),ul.textContent=js,ge=a(),hl=p("p"),hl.innerHTML=bs,ve=a(),M(fl.$$.fragment),_e=a(),Cl=p("p"),Cl.innerHTML=ws,Ve=a(),M(Zl.$$.fragment),Ae=a(),Bl=p("p"),this.h()},l(l){const e=Is("svelte-u9bgzb",document.head);j=i(e,"META",{name:!0,content:!0}),e.forEach(s),kl=n(l),Il=i(l,"P",{}),Us(Il).forEach(s),Xl=n(l),c(U.$$.fragment,l),$l=n(l),c(T.$$.fragment,l),Wl=n(l),c(u.$$.fragment,l),Rl=n(l),c(h.$$.fragment,l),Yl=n(l),f=i(l,"P",{"data-svelte-h":!0}),d(f)!=="svelte-12sr28p"&&(f.innerHTML=Qe),gl=n(l),c(C.$$.fragment,l),vl=n(l),c(Z.$$.fragment,l),_l=n(l),I=i(l,"P",{"data-svelte-h":!0}),d(I)!=="svelte-1mr8gsq"&&(I.innerHTML=Fe),Vl=n(l),B=i(l,"UL",{"data-svelte-h":!0}),d(B)!=="svelte-1rdoqx4"&&(B.innerHTML=He),Al=n(l),G=i(l,"P",{"data-svelte-h":!0}),d(G)!=="svelte-1kte5vd"&&(G.innerHTML=xe),Nl=n(l),c(k.$$.fragment,l),zl=n(l),X=i(l,"P",{"data-svelte-h":!0}),d(X)!=="svelte-4riy0k"&&(X.textContent=Se),El=n(l),c($.$$.fragment,l),Ql=n(l),W=i(l,"P",{"data-svelte-h":!0}),d(W)!=="svelte-1a74llf"&&(W.textContent=qe),Fl=n(l),c(R.$$.fragment,l),Hl=n(l),Y=i(l,"P",{"data-svelte-h":!0}),d(Y)!=="svelte-k22npn"&&(Y.textContent=Le),xl=n(l),c(g.$$.fragment,l),Sl=n(l),c(v.$$.fragment,l),ql=n(l),_=i(l,"P",{"data-svelte-h":!0}),d(_)!=="svelte-1dj6wfb"&&(_.innerHTML=Ke),Ll=n(l),V=i(l,"P",{"data-svelte-h":!0}),d(V)!=="svelte-fd8yby"&&(V.textContent=De),Kl=n(l),c(A.$$.fragment,l),Dl=n(l),N=i(l,"P",{"data-svelte-h":!0}),d(N)!=="svelte-1suj84u"&&(N.textContent=Pe),Pl=n(l),c(z.$$.fragment,l),Ol=n(l),c(E.$$.fragment,l),le=n(l),Q=i(l,"P",{"data-svelte-h":!0}),d(Q)!=="svelte-4bvjkc"&&(Q.innerHTML=Oe),ee=n(l),F=i(l,"P",{"data-svelte-h":!0}),d(F)!=="svelte-5t76ri"&&(F.innerHTML=ls),se=n(l),c(H.$$.fragment,l),te=n(l),x=i(l,"P",{"data-svelte-h":!0}),d(x)!=="svelte-eqo3ui"&&(x.innerHTML=es),ae=n(l),c(S.$$.fragment,l),ne=n(l),c(q.$$.fragment,l),pe=n(l),c(L.$$.fragment,l),Me=n(l),K=i(l,"P",{"data-svelte-h":!0}),d(K)!=="svelte-1hrfssj"&&(K.innerHTML=ss),ie=n(l),c(D.$$.fragment,l),ce=n(l),c(P.$$.fragment,l),re=n(l),O=i(l,"P",{"data-svelte-h":!0}),d(O)!=="svelte-l5ghsz"&&(O.innerHTML=ts),ye=n(l),c(ll.$$.fragment,l),me=n(l),el=i(l,"P",{"data-svelte-h":!0}),d(el)!=="svelte-1fq1opk"&&(el.textContent=as),oe=n(l),c(sl.$$.fragment,l),de=n(l),tl=i(l,"P",{"data-svelte-h":!0}),d(tl)!=="svelte-xja9m1"&&(tl.innerHTML=ns),Je=n(l),c(al.$$.fragment,l),je=n(l),c(nl.$$.fragment,l),be=n(l),pl=i(l,"P",{"data-svelte-h":!0}),d(pl)!=="svelte-1dt79vq"&&(pl.textContent=ps),we=n(l),b=i(l,"BLOCKQUOTE",{class:!0,"data-svelte-h":!0}),d(b)!=="svelte-10yn7ca"&&(b.innerHTML=Ms),Ue=n(l),c(Ml.$$.fragment,l),Te=n(l),c(il.$$.fragment,l),ue=n(l),cl=i(l,"P",{"data-svelte-h":!0}),d(cl)!=="svelte-40v6eq"&&(cl.innerHTML=is),he=n(l),c(rl.$$.fragment,l),fe=n(l),yl=i(l,"P",{"data-svelte-h":!0}),d(yl)!=="svelte-5lagmz"&&(yl.textContent=cs),Ce=n(l),c(ml.$$.fragment,l),Ze=n(l),ol=i(l,"P",{"data-svelte-h":!0}),d(ol)!=="svelte-rrol75"&&(ol.innerHTML=rs),Ie=n(l),dl=i(l,"P",{"data-svelte-h":!0}),d(dl)!=="svelte-153n3fr"&&(dl.innerHTML=ys),Be=n(l),w=i(l,"BLOCKQUOTE",{class:!0,"data-svelte-h":!0}),d(w)!=="svelte-17gmf1f"&&(w.innerHTML=ms),Ge=n(l),Jl=i(l,"P",{"data-svelte-h":!0}),d(Jl)!=="svelte-12lus8w"&&(Jl.textContent=os),ke=n(l),c(jl.$$.fragment,l),Xe=n(l),bl=i(l,"P",{"data-svelte-h":!0}),d(bl)!=="svelte-1hlr71u"&&(bl.innerHTML=ds),$e=n(l),c(wl.$$.fragment,l),We=n(l),Ul=i(l,"P",{"data-svelte-h":!0}),d(Ul)!=="svelte-y7xep0"&&(Ul.textContent=Js),Re=n(l),c(Tl.$$.fragment,l),Ye=n(l),ul=i(l,"P",{"data-svelte-h":!0}),d(ul)!=="svelte-1k1etck"&&(ul.textContent=js),ge=n(l),hl=i(l,"P",{"data-svelte-h":!0}),d(hl)!=="svelte-1g8yiza"&&(hl.innerHTML=bs),ve=n(l),c(fl.$$.fragment,l),_e=n(l),Cl=i(l,"P",{"data-svelte-h":!0}),d(Cl)!=="svelte-n7fsy"&&(Cl.innerHTML=ws),Ve=n(l),c(Zl.$$.fragment,l),Ae=n(l),Bl=i(l,"P",{}),Us(Bl).forEach(s),this.h()},h(){ze(j,"name","hf:doc:metadata"),ze(j,"content",Ws),ze(b,"class","tip"),ze(w,"class","tip")},m(l,e){Bs(document.head,j),t(l,kl,e),t(l,Il,e),t(l,Xl,e),r(U,l,e),t(l,$l,e),r(T,l,e),t(l,Wl,e),r(u,l,e),t(l,Rl,e),r(h,l,e),t(l,Yl,e),t(l,f,e),t(l,gl,e),r(C,l,e),t(l,vl,e),r(Z,l,e),t(l,_l,e),t(l,I,e),t(l,Vl,e),t(l,B,e),t(l,Al,e),t(l,G,e),t(l,Nl,e),r(k,l,e),t(l,zl,e),t(l,X,e),t(l,El,e),r($,l,e),t(l,Ql,e),t(l,W,e),t(l,Fl,e),r(R,l,e),t(l,Hl,e),t(l,Y,e),t(l,xl,e),r(g,l,e),t(l,Sl,e),r(v,l,e),t(l,ql,e),t(l,_,e),t(l,Ll,e),t(l,V,e),t(l,Kl,e),r(A,l,e),t(l,Dl,e),t(l,N,e),t(l,Pl,e),r(z,l,e),t(l,Ol,e),r(E,l,e),t(l,le,e),t(l,Q,e),t(l,ee,e),t(l,F,e),t(l,se,e),r(H,l,e),t(l,te,e),t(l,x,e),t(l,ae,e),r(S,l,e),t(l,ne,e),r(q,l,e),t(l,pe,e),r(L,l,e),t(l,Me,e),t(l,K,e),t(l,ie,e),r(D,l,e),t(l,ce,e),r(P,l,e),t(l,re,e),t(l,O,e),t(l,ye,e),r(ll,l,e),t(l,me,e),t(l,el,e),t(l,oe,e),r(sl,l,e),t(l,de,e),t(l,tl,e),t(l,Je,e),r(al,l,e),t(l,je,e),r(nl,l,e),t(l,be,e),t(l,pl,e),t(l,we,e),t(l,b,e),t(l,Ue,e),r(Ml,l,e),t(l,Te,e),r(il,l,e),t(l,ue,e),t(l,cl,e),t(l,he,e),r(rl,l,e),t(l,fe,e),t(l,yl,e),t(l,Ce,e),r(ml,l,e),t(l,Ze,e),t(l,ol,e),t(l,Ie,e),t(l,dl,e),t(l,Be,e),t(l,w,e),t(l,Ge,e),t(l,Jl,e),t(l,ke,e),r(jl,l,e),t(l,Xe,e),t(l,bl,e),t(l,$e,e),r(wl,l,e),t(l,We,e),t(l,Ul,e),t(l,Re,e),r(Tl,l,e),t(l,Ye,e),t(l,ul,e),t(l,ge,e),t(l,hl,e),t(l,ve,e),r(fl,l,e),t(l,_e,e),t(l,Cl,e),t(l,Ve,e),r(Zl,l,e),t(l,Ae,e),t(l,Bl,e),Ne=!0},p:hs,i(l){Ne||(y(U.$$.fragment,l),y(T.$$.fragment,l),y(u.$$.fragment,l),y(h.$$.fragment,l),y(C.$$.fragment,l),y(Z.$$.fragment,l),y(k.$$.fragment,l),y($.$$.fragment,l),y(R.$$.fragment,l),y(g.$$.fragment,l),y(v.$$.fragment,l),y(A.$$.fragment,l),y(z.$$.fragment,l),y(E.$$.fragment,l),y(H.$$.fragment,l),y(S.$$.fragment,l),y(q.$$.fragment,l),y(L.$$.fragment,l),y(D.$$.fragment,l),y(P.$$.fragment,l),y(ll.$$.fragment,l),y(sl.$$.fragment,l),y(al.$$.fragment,l),y(nl.$$.fragment,l),y(Ml.$$.fragment,l),y(il.$$.fragment,l),y(rl.$$.fragment,l),y(ml.$$.fragment,l),y(jl.$$.fragment,l),y(wl.$$.fragment,l),y(Tl.$$.fragment,l),y(fl.$$.fragment,l),y(Zl.$$.fragment,l),Ne=!0)},o(l){m(U.$$.fragment,l),m(T.$$.fragment,l),m(u.$$.fragment,l),m(h.$$.fragment,l),m(C.$$.fragment,l),m(Z.$$.fragment,l),m(k.$$.fragment,l),m($.$$.fragment,l),m(R.$$.fragment,l),m(g.$$.fragment,l),m(v.$$.fragment,l),m(A.$$.fragment,l),m(z.$$.fragment,l),m(E.$$.fragment,l),m(H.$$.fragment,l),m(S.$$.fragment,l),m(q.$$.fragment,l),m(L.$$.fragment,l),m(D.$$.fragment,l),m(P.$$.fragment,l),m(ll.$$.fragment,l),m(sl.$$.fragment,l),m(al.$$.fragment,l),m(nl.$$.fragment,l),m(Ml.$$.fragment,l),m(il.$$.fragment,l),m(rl.$$.fragment,l),m(ml.$$.fragment,l),m(jl.$$.fragment,l),m(wl.$$.fragment,l),m(Tl.$$.fragment,l),m(fl.$$.fragment,l),m(Zl.$$.fragment,l),Ne=!1},d(l){l&&(s(kl),s(Il),s(Xl),s($l),s(Wl),s(Rl),s(Yl),s(f),s(gl),s(vl),s(_l),s(I),s(Vl),s(B),s(Al),s(G),s(Nl),s(zl),s(X),s(El),s(Ql),s(W),s(Fl),s(Hl),s(Y),s(xl),s(Sl),s(ql),s(_),s(Ll),s(V),s(Kl),s(Dl),s(N),s(Pl),s(Ol),s(le),s(Q),s(ee),s(F),s(se),s(te),s(x),s(ae),s(ne),s(pe),s(Me),s(K),s(ie),s(ce),s(re),s(O),s(ye),s(me),s(el),s(oe),s(de),s(tl),s(Je),s(je),s(be),s(pl),s(we),s(b),s(Ue),s(Te),s(ue),s(cl),s(he),s(fe),s(yl),s(Ce),s(Ze),s(ol),s(Ie),s(dl),s(Be),s(w),s(Ge),s(Jl),s(ke),s(Xe),s(bl),s($e),s(We),s(Ul),s(Re),s(Ye),s(ul),s(ge),s(hl),s(ve),s(_e),s(Cl),s(Ve),s(Ae),s(Bl)),s(j),o(U,l),o(T,l),o(u,l),o(h,l),o(C,l),o(Z,l),o(k,l),o($,l),o(R,l),o(g,l),o(v,l),o(A,l),o(z,l),o(E,l),o(H,l),o(S,l),o(q,l),o(L,l),o(D,l),o(P,l),o(ll,l),o(sl,l),o(al,l),o(nl,l),o(Ml,l),o(il,l),o(rl,l),o(ml,l),o(jl,l),o(wl,l),o(Tl,l),o(fl,l),o(Zl,l)}}}const Ws='{"title":"एक पूर्ण प्रशिक्षण","local":"एक-परण-परशकषण","sections":[{"title":"प्रशिक्षण के लिए तैयार करें","local":"परशकषण-क-लए-तयर-कर","sections":[],"depth":3},{"title":"ट्रेनिंग लूप","local":"टरनग-लप","sections":[],"depth":3},{"title":"मूल्यांकन लूप","local":"मलयकन-लप","sections":[],"depth":3},{"title":"अपने प्रशिक्षण लूप को सुपरचार्ज करें 🤗 Accelerate के साथ।","local":"अपन-परशकषण-लप-क-सपरचरज-कर--accelerate-क-सथ","sections":[],"depth":3}],"depth":1}';function Rs(Ee){return fs(()=>{new URLSearchParams(window.location.search).get("fw")}),[]}class Ns extends Cs{constructor(j){super(),Zs(this,j,Rs,$s,us,{})}}export{Ns as component};