Hugging Face's logo

Buckets:
hf-doc-build
/
doc-dev

Files
xet
hf-doc-build/doc-dev / course /pr_1358 /tr /chapter1 /2.html
HuggingFaceDocBuilder's picture
HuggingFaceDocBuilder
download
raw
17.7 kB
<meta charset="utf-8" /><meta name="hf:doc:metadata" content="{&quot;title&quot;:&quot;Doğal dil işleme ve büyük dil modelleri&quot;,&quot;local&quot;:&quot;natural-language-processing-and-large-language-models&quot;,&quot;sections&quot;:[{&quot;title&quot;:&quot;NLP nedir?&quot;,&quot;local&quot;:&quot;what-is-nlp&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;Büyük dil modellerinin (LLM) yükselişi&quot;,&quot;local&quot;:&quot;rise-of-llms&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;Dil işleme neden zordur?&quot;,&quot;local&quot;:&quot;why-is-it-challenging&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2}],&quot;depth&quot;:1}"/>
<link href="/docs/course/pr_1358/tr/_app/immutable/entry/start.BIgaKcat.js" rel="modulepreload">
<link href="/docs/course/pr_1358/tr/_app/immutable/chunks/CgB2CCkd.js" rel="modulepreload">
<link href="/docs/course/pr_1358/tr/_app/immutable/chunks/DJskd5au.js" rel="modulepreload">
<link href="/docs/course/pr_1358/tr/_app/immutable/entry/app.BozjfrCo.js" rel="modulepreload">
<link href="/docs/course/pr_1358/tr/_app/immutable/chunks/Ct6K-6wQ.js" rel="modulepreload">
<link href="/docs/course/pr_1358/tr/_app/immutable/chunks/CVMPkXHl.js" rel="modulepreload">
<link href="/docs/course/pr_1358/tr/_app/immutable/chunks/C8-lBXjT.js" rel="modulepreload">
<link href="/docs/course/pr_1358/tr/_app/immutable/chunks/DsnmJJEf.js" rel="modulepreload">
<link href="/docs/course/pr_1358/tr/_app/immutable/nodes/0.DOV123e1.js" rel="modulepreload">
<link href="/docs/course/pr_1358/tr/_app/immutable/chunks/CX3ddkTh.js" rel="modulepreload">
<link href="/docs/course/pr_1358/tr/_app/immutable/nodes/6.Bj5fru8l.js" rel="modulepreload">
<link href="/docs/course/pr_1358/tr/_app/immutable/chunks/DNJujO0f.js" rel="modulepreload">
<link href="/docs/course/pr_1358/tr/_app/immutable/chunks/Dx-3NVqU.js" rel="modulepreload">
<link href="/docs/course/pr_1358/tr/_app/immutable/chunks/yKNaxbAs.js" rel="modulepreload">
<!--t8re2q--><meta name="hf:doc:metadata" content="{&quot;title&quot;:&quot;Doğal dil işleme ve büyük dil modelleri&quot;,&quot;local&quot;:&quot;natural-language-processing-and-large-language-models&quot;,&quot;sections&quot;:[{&quot;title&quot;:&quot;NLP nedir?&quot;,&quot;local&quot;:&quot;what-is-nlp&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;Büyük dil modellerinin (LLM) yükselişi&quot;,&quot;local&quot;:&quot;rise-of-llms&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2},{&quot;title&quot;:&quot;Dil işleme neden zordur?&quot;,&quot;local&quot;:&quot;why-is-it-challenging&quot;,&quot;sections&quot;:[],&quot;depth&quot;:2}],&quot;depth&quot;:1}"/><!---->
<link href="/docs/course/pr_1358/tr/_app/immutable/assets/0.tn0RQdqM.css" rel="modulepreload"> <!--[--><!--[0--><!--[--><!--[0--><!--[--><p></p> <div class="items-center shrink-0 min-w-[100px] max-sm:min-w-[50px] justify-end ml-auto flex" style="float: right; margin-left: 10px; display: inline-flex; position: relative; z-index: 10;"><div class="inline-flex rounded-md max-sm:rounded-sm"><button class="inline-flex items-center gap-1 h-7 max-sm:h-7 px-2 max-sm:px-1.5 text-sm font-medium text-gray-800 border border-r-0 rounded-l-md max-sm:rounded-l-sm border-gray-200 bg-white hover:shadow-inner dark:border-gray-850 dark:bg-gray-950 dark:text-gray-200 dark:hover:bg-gray-800" aria-live="polite"><span class="inline-flex items-center justify-center rounded-md p-0.5 max-sm:p-0 hover:text-gray-800 dark:hover:text-gray-200"><svg class="sm:size-3.5 size-3" xmlns="http://www.w3.org/2000/svg" aria-hidden="true" fill="currentColor" focusable="false" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 32 32"><path d="M28,10V28H10V10H28m0-2H10a2,2,0,0,0-2,2V28a2,2,0,0,0,2,2H28a2,2,0,0,0,2-2V10a2,2,0,0,0-2-2Z" transform="translate(0)"></path><path d="M4,18H2V4A2,2,0,0,1,4,2H18V4H4Z" transform="translate(0)"></path><rect fill="none" width="32" height="32"></rect></svg><!----></span> <span>Copy page</span></button> <button class="inline-flex items-center justify-center w-6 max-sm:w-5 h-7 max-sm:h-7 disabled:pointer-events-none text-sm text-gray-500 hover:text-gray-700 dark:hover:text-white rounded-r-md max-sm:rounded-r-sm border border-l transition border-gray-200 bg-white hover:shadow-inner dark:border-gray-850 dark:bg-gray-950 dark:text-gray-200 dark:hover:bg-gray-800" aria-haspopup="menu" aria-expanded="false" aria-label="Open copy menu"><svg class="transition-transform text-gray-400 overflow-visible sm:size-3.5 size-3 rotate-0" width="1em" height="1em" viewBox="0 0 12 7" fill="none" xmlns="http://www.w3.org/2000/svg"><path d="M1 1L6 6L11 1" stroke="currentColor"></path></svg><!----></button></div> <!--[-1--><!--]--></div><!----> <!--[0--><h1 class="relative group"><a id="natural-language-processing-and-large-language-models" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#natural-language-processing-and-large-language-models"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>Doğal dil işleme ve büyük dil modelleri</span></h1><!--]--><!----> <div class="flex space-x-1 absolute z-10 right-0 top-0"><a href="https://discuss.huggingface.co/t/chapter-1-questions" target="_blank"><img alt="Ask a Question" class="!m-0" src="https://img.shields.io/badge/Ask%20a%20question-ffcb4c.svg?logo=data:image/svg+xml;base64,PHN2ZyB4bWxucz0iaHR0cDovL3d3dy53My5vcmcvMjAwMC9zdmciIHZpZXdCb3g9IjAgLTEgMTA0IDEwNiI+PGRlZnM+PHN0eWxlPi5jbHMtMXtmaWxsOiMyMzFmMjA7fS5jbHMtMntmaWxsOiNmZmY5YWU7fS5jbHMtM3tmaWxsOiMwMGFlZWY7fS5jbHMtNHtmaWxsOiMwMGE5NGY7fS5jbHMtNXtmaWxsOiNmMTVkMjI7fS5jbHMtNntmaWxsOiNlMzFiMjM7fTwvc3R5bGU+PC9kZWZzPjx0aXRsZT5EaXNjb3Vyc2VfbG9nbzwvdGl0bGU+PGcgaWQ9IkxheWVyXzIiPjxnIGlkPSJMYXllcl8zIj48cGF0aCBjbGFzcz0iY2xzLTEiIGQ9Ik01MS44NywwQzIzLjcxLDAsMCwyMi44MywwLDUxYzAsLjkxLDAsNTIuODEsMCw1Mi44MWw1MS44Ni0uMDVjMjguMTYsMCw1MS0yMy43MSw1MS01MS44N1M4MCwwLDUxLjg3LDBaIi8+PHBhdGggY2xhc3M9ImNscy0yIiBkPSJNNTIuMzcsMTkuNzRBMzEuNjIsMzEuNjIsMCwwLDAsMjQuNTgsNjYuNDFsLTUuNzIsMTguNEwzOS40LDgwLjE3YTMxLjYxLDMxLjYxLDAsMSwwLDEzLTYwLjQzWiIvPjxwYXRoIGNsYXNzPSJjbHMtMyIgZD0iTTc3LjQ1LDMyLjEyYTMxLjYsMzEuNiwwLDAsMS0zOC4wNSw0OEwxOC44Niw4NC44MmwyMC45MS0yLjQ3QTMxLjYsMzEuNiwwLDAsMCw3Ny40NSwzMi4xMloiLz48cGF0aCBjbGFzcz0iY2xzLTQiIGQ9Ik03MS42MywyNi4yOUEzMS42LDMxLjYsMCwwLDEsMzguOCw3OEwxOC44Niw4NC44MiwzOS40LDgwLjE3QTMxLjYsMzEuNiwwLDAsMCw3MS42MywyNi4yOVoiLz48cGF0aCBjbGFzcz0iY2xzLTUiIGQ9Ik0yNi40Nyw2Ny4xMWEzMS42MSwzMS42MSwwLDAsMSw1MS0zNUEzMS42MSwzMS42MSwwLDAsMCwyNC41OCw2Ni40MWwtNS43MiwxOC40WiIvPjxwYXRoIGNsYXNzPSJjbHMtNiIgZD0iTTI0LjU4LDY2LjQxQTMxLjYxLDMxLjYxLDAsMCwxLDcxLjYzLDI2LjI5YTMxLjYxLDMxLjYxLDAsMCwwLTQ5LDM5LjYzbC0zLjc2LDE4LjlaIi8+PC9nPjwvZz48L3N2Zz4="/></a><!----> <!--[-1--><!--]--> <!--[-1--><!--]--></div><!----> <p>Transformer modellerine dalmadan önce doğal dil işlemenin ne olduğuna, büyük dil modellerinin bu alanı nasıl dönüştürdüğüne ve bunun neden önemli olduğuna kısaca göz atalım.</p> <!--[1--><h2 class="relative group"><a id="what-is-nlp" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#what-is-nlp"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>NLP nedir?</span></h2><!--]--><!----> <iframe class="w-full xl:w-4/6 h-80" src="https://www.youtube-nocookie.com/embed/iNzlxWUAjd4" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture" allowfullscreen=""></iframe><!----> <p>NLP, insan diliyle ilgili her şeyi anlamaya odaklanan, dilbilim ile makine öğrenmesinin kesiştiği bir alandır. NLP görevlerinin amacı yalnızca tek tek sözcükleri anlamak değil, bu sözcüklerin bağlamını da kavrayabilmektir.</p> <p>Aşağıda yaygın NLP görevlerinin bir listesi ve her biri için birkaç örnek yer alıyor:</p> <ul><li><strong>Cümlelerin tamamını sınıflandırmak</strong>: Bir yorumun duygusunu belirlemek, bir e-postanın spam olup olmadığını saptamak, bir cümlenin dil bilgisi açısından doğru olup olmadığını ya da iki cümlenin mantıksal olarak ilişkili olup olmadığını belirlemek</li> <li><strong>Bir cümledeki her sözcüğü sınıflandırmak</strong>: Bir cümlenin dil bilgisel öğelerini (isim, fiil, sıfat) ya da adlandırılmış varlıkları (kişi, yer, kurum) belirlemek</li> <li><strong>Metin içeriği üretmek</strong>: Bir istemi (prompt) otomatik üretilen metinle tamamlamak, bir metindeki boşlukları maskelenmiş sözcüklerle doldurmak</li> <li><strong>Bir metinden yanıt çıkarmak</strong>: Bir soru ve bir bağlam verildiğinde, sorunun yanıtını bağlamdaki bilgilere dayanarak çıkarmak</li> <li><strong>Bir girdi metninden yeni bir cümle üretmek</strong>: Bir metni başka bir dile çevirmek, bir metni özetlemek</li></ul> <p>Ancak NLP yazılı metinle sınırlı değildir. Bir ses kaydının dökümünü ya da bir görselin betimlemesini üretmek gibi konuşma tanıma ve bilgisayarlı görü alanlarındaki karmaşık sorunlarla da uğraşır.</p> <!--[1--><h2 class="relative group"><a id="rise-of-llms" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#rise-of-llms"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>Büyük dil modellerinin (LLM) yükselişi</span></h2><!--]--><!----> <p>Son yıllarda NLP alanı, büyük dil modelleri (LLM) sayesinde köklü bir dönüşüm geçirdi. GPT (Generative Pre-trained Transformer) ve <a href="https://huggingface.co/meta-llama" rel="nofollow">Llama</a> gibi mimarileri içeren bu modeller, dil işlemede nelerin mümkün olduğunu baştan tanımladı.</p> <blockquote class="tip"><p>Büyük dil modeli (LLM), devasa miktarda metin verisiyle eğitilmiş bir yapay zekâ modelidir. İnsan yazısına benzer metinleri anlayıp üretebilir, dildeki örüntüleri tanıyabilir ve göreve özel eğitim almadan çok çeşitli dil görevlerini yerine getirebilir. LLM’ler doğal dil işleme (NLP) alanında önemli bir ilerlemeyi temsil eder.</p></blockquote> <p>LLM’lerin belirgin özellikleri şunlardır:</p> <ul><li><strong>Ölçek</strong>: Milyonlarca, milyarlarca, hatta yüz milyarlarca parametre içerirler</li> <li><strong>Genel yetenekler</strong>: Göreve özel eğitim olmadan birden çok görevi yerine getirebilirler</li> <li><strong>Bağlam içi öğrenme</strong>: İstemde verilen örneklerden öğrenebilirler</li> <li><strong>Ortaya çıkan yetenekler</strong>: Bu modeller büyüdükçe, açıkça programlanmamış ya da öngörülmemiş yetenekler sergilerler</li></ul> <p>LLM’lerin ortaya çıkışı paradigmayı değiştirdi: Belirli NLP görevleri için özel modeller kurmak yerine, geniş bir dil görevleri yelpazesine istemlerle yönlendirilebilen ya da ince ayar yapılabilen tek ve büyük bir model kullanmaya geçildi. Bu, gelişkin dil işlemeyi daha erişilebilir kıldı; ama aynı zamanda verimlilik, etik ve dağıtım gibi alanlarda yeni zorluklar da getirdi.</p> <p>Bununla birlikte LLM’lerin önemli sınırlamaları da vardır:</p> <ul><li><strong>Halüsinasyonlar</strong>: Yanlış bilgileri kendinden emin bir şekilde üretebilirler</li> <li><strong>Gerçek bir anlayışın olmaması</strong>: Dünyayı gerçek anlamda anlamazlar; tamamen istatistiksel örüntüler üzerinden çalışırlar</li> <li><strong>Önyargı</strong>: Eğitim verilerinde ya da girdilerde bulunan önyargıları yeniden üretebilirler.</li> <li><strong>Bağlam pencereleri</strong>: Bağlam pencereleri sınırlıdır (gerçi bu durum giderek iyileşiyor)</li> <li><strong>Hesaplama kaynakları</strong>: Ciddi miktarda hesaplama kaynağı gerektirirler</li></ul> <!--[1--><h2 class="relative group"><a id="why-is-it-challenging" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#why-is-it-challenging"><span><svg xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg><!----></span></a> <span>Dil işleme neden zordur?</span></h2><!--]--><!----> <p>Bilgisayarlar bilgiyi insanlarla aynı şekilde işlemez. Örneğin “Acıktım” cümlesini okuduğumuzda anlamını kolayca kavrarız. Benzer şekilde, “Acıktım” ve “Üzgünüm” gibi iki cümle verildiğinde bunların birbirine ne kadar benzediğini kolayca söyleyebiliriz. Makine öğrenmesi (ML) modelleri için bu tür görevler daha zordur. Metnin, modelin ondan öğrenebileceği bir biçimde işlenmesi gerekir. Dil karmaşık olduğu için de bu işlemenin nasıl yapılacağını dikkatle düşünmemiz gerekir. Metnin nasıl temsil edileceği üzerine pek çok araştırma yapıldı; sonraki bölümde bazı yöntemlere bakacağız.</p> <p>LLM’lerdeki ilerlemelere rağmen pek çok temel zorluk hâlâ ortada duruyor. Bunlar arasında belirsizliği, kültürel bağlamı, iğnelemeyi ve mizahı anlamak sayılabilir. LLM’ler bu zorluklarla çeşitli veri kümeleri üzerinde devasa ölçekte eğitilerek başa çıkmaya çalışır; ama pek çok karmaşık senaryoda hâlâ çoğu zaman insan düzeyindeki anlayışın gerisinde kalırlar.</p> <a class="!text-gray-400 !no-underline text-sm flex items-center not-prose mt-4" href="https://github.com/huggingface/course/blob/main/chapters/tr/chapter1/2.mdx" target="_blank"><svg class="mr-1" xmlns="http://www.w3.org/2000/svg" aria-hidden="true" fill="currentColor" focusable="false" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 32 32"><path d="M31,16l-7,7l-1.41-1.41L28.17,16l-5.58-5.59L24,9l7,7z"></path><path d="M1,16l7-7l1.41,1.41L3.83,16l5.58,5.59L8,23l-7-7z"></path><path d="M12.419,25.484L17.639,6.552l1.932,0.518L14.351,26.002z"></path></svg><!----> <span><span class="underline">Update</span> on GitHub</span></a><!----> <p></p><!--]--><!----><!--]--><!--]--><!--]--> <!--[-1--><!--]--><!--]-->
<script>
{
__sveltekit_uzpin1 = {
base: "/docs/course/pr_1358/tr",
assets: "/docs/course/pr_1358/tr"
};
const element = document.currentScript.parentElement;
Promise.all([
import("/docs/course/pr_1358/tr/_app/immutable/entry/start.BIgaKcat.js"),
import("/docs/course/pr_1358/tr/_app/immutable/entry/app.BozjfrCo.js")
]).then(([kit, app]) => {
kit.start(app, element, {
node_ids: [0, 6],
data: [null,null],
form: null,
error: null
});
});
}
</script>

Xet Storage Details

Size:
17.7 kB
·
Xet hash:
a9622d13ddcd88c35b1b282a3107f296e9ba72b7b752ed193baeaf10d133c6b5

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.