Buckets:

hf-doc-build
/

doc-dev

Files

xet

hf-doc-build/doc-dev / course /pr_1052 /id /chapter1 /2.html

rtrm

about 1 month ago

download

raw

15.8 kB

	<meta charset="utf-8" /><meta name="hf:doc:metadata" content="{"title":"Pemrosesan Bahasa Alami dan Model Bahasa Besar","local":"natural-language-processing-and-large-language-models","sections":[{"title":"Apa itu NLP?","local":"what-is-nlp","sections":[],"depth":2},{"title":"Munculnya Model Bahasa Besar (LLM)","local":"rise-of-llms","sections":[],"depth":2},{"title":"Mengapa pemrosesan bahasa itu menantang?","local":"why-is-it-challenging","sections":[],"depth":2}],"depth":1}">
	<link href="/docs/course/pr_1052/id/_app/immutable/assets/0.e3b0c442.css" rel="modulepreload">
	<link rel="modulepreload" href="/docs/course/pr_1052/id/_app/immutable/entry/start.5943204e.js">
	<link rel="modulepreload" href="/docs/course/pr_1052/id/_app/immutable/chunks/scheduler.1d51f4c0.js">
	<link rel="modulepreload" href="/docs/course/pr_1052/id/_app/immutable/chunks/singletons.8dbecaac.js">
	<link rel="modulepreload" href="/docs/course/pr_1052/id/_app/immutable/chunks/index.fa8592cf.js">
	<link rel="modulepreload" href="/docs/course/pr_1052/id/_app/immutable/chunks/paths.547a3d4b.js">
	<link rel="modulepreload" href="/docs/course/pr_1052/id/_app/immutable/entry/app.b3380ec8.js">
	<link rel="modulepreload" href="/docs/course/pr_1052/id/_app/immutable/chunks/index.86f0ceea.js">
	<link rel="modulepreload" href="/docs/course/pr_1052/id/_app/immutable/nodes/0.b0267e25.js">
	<link rel="modulepreload" href="/docs/course/pr_1052/id/_app/immutable/chunks/each.e59479a4.js">
	<link rel="modulepreload" href="/docs/course/pr_1052/id/_app/immutable/nodes/6.9887aea7.js">
	<link rel="modulepreload" href="/docs/course/pr_1052/id/_app/immutable/chunks/Youtube.d8ae3a4d.js">
	<link rel="modulepreload" href="/docs/course/pr_1052/id/_app/immutable/chunks/CourseFloatingBanner.9ea31445.js">
	<link rel="modulepreload" href="/docs/course/pr_1052/id/_app/immutable/chunks/getInferenceSnippets.462a0ab5.js"><!-- HEAD_svelte-u9bgzb_START --><meta name="hf:doc:metadata" content="{"title":"Pemrosesan Bahasa Alami dan Model Bahasa Besar","local":"natural-language-processing-and-large-language-models","sections":[{"title":"Apa itu NLP?","local":"what-is-nlp","sections":[],"depth":2},{"title":"Munculnya Model Bahasa Besar (LLM)","local":"rise-of-llms","sections":[],"depth":2},{"title":"Mengapa pemrosesan bahasa itu menantang?","local":"why-is-it-challenging","sections":[],"depth":2}],"depth":1}"><!-- HEAD_svelte-u9bgzb_END --> <p></p> <h1 class="relative group"><a id="natural-language-processing-and-large-language-models" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#natural-language-processing-and-large-language-models"><span><svg class="" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg></span></a> <span>Pemrosesan Bahasa Alami dan Model Bahasa Besar</span></h1> <div class="flex space-x-1 absolute z-10 right-0 top-0"><a href="https://discuss.huggingface.co/t/chapter-1-questions" target="_blank"><img alt="Ask a Question" class="!m-0" src="https://img.shields.io/badge/Ask%20a%20question-ffcb4c.svg?logo=data:image/svg+xml;base64,PHN2ZyB4bWxucz0iaHR0cDovL3d3dy53My5vcmcvMjAwMC9zdmciIHZpZXdCb3g9IjAgLTEgMTA0IDEwNiI+PGRlZnM+PHN0eWxlPi5jbHMtMXtmaWxsOiMyMzFmMjA7fS5jbHMtMntmaWxsOiNmZmY5YWU7fS5jbHMtM3tmaWxsOiMwMGFlZWY7fS5jbHMtNHtmaWxsOiMwMGE5NGY7fS5jbHMtNXtmaWxsOiNmMTVkMjI7fS5jbHMtNntmaWxsOiNlMzFiMjM7fTwvc3R5bGU+PC9kZWZzPjx0aXRsZT5EaXNjb3Vyc2VfbG9nbzwvdGl0bGU+PGcgaWQ9IkxheWVyXzIiPjxnIGlkPSJMYXllcl8zIj48cGF0aCBjbGFzcz0iY2xzLTEiIGQ9Ik01MS44NywwQzIzLjcxLDAsMCwyMi44MywwLDUxYzAsLjkxLDAsNTIuODEsMCw1Mi44MWw1MS44Ni0uMDVjMjguMTYsMCw1MS0yMy43MSw1MS01MS44N1M4MCwwLDUxLjg3LDBaIi8+PHBhdGggY2xhc3M9ImNscy0yIiBkPSJNNTIuMzcsMTkuNzRBMzEuNjIsMzEuNjIsMCwwLDAsMjQuNTgsNjYuNDFsLTUuNzIsMTguNEwzOS40LDgwLjE3YTMxLjYxLDMxLjYxLDAsMSwwLDEzLTYwLjQzWiIvPjxwYXRoIGNsYXNzPSJjbHMtMyIgZD0iTTc3LjQ1LDMyLjEyYTMxLjYsMzEuNiwwLDAsMS0zOC4wNSw0OEwxOC44Niw4NC44MmwyMC45MS0yLjQ3QTMxLjYsMzEuNiwwLDAsMCw3Ny40NSwzMi4xMloiLz48cGF0aCBjbGFzcz0iY2xzLTQiIGQ9Ik03MS42MywyNi4yOUEzMS42LDMxLjYsMCwwLDEsMzguOCw3OEwxOC44Niw4NC44MiwzOS40LDgwLjE3QTMxLjYsMzEuNiwwLDAsMCw3MS42MywyNi4yOVoiLz48cGF0aCBjbGFzcz0iY2xzLTUiIGQ9Ik0yNi40Nyw2Ny4xMWEzMS42MSwzMS42MSwwLDAsMSw1MS0zNUEzMS42MSwzMS42MSwwLDAsMCwyNC41OCw2Ni40MWwtNS43MiwxOC40WiIvPjxwYXRoIGNsYXNzPSJjbHMtNiIgZD0iTTI0LjU4LDY2LjQxQTMxLjYxLDMxLjYxLDAsMCwxLDcxLjYzLDI2LjI5YTMxLjYxLDMxLjYxLDAsMCwwLTQ5LDM5LjYzbC0zLjc2LDE4LjlaIi8+PC9nPjwvZz48L3N2Zz4="></a> </div> <p data-svelte-h="svelte-63xia6">Sebelum masuk ke model Transformer, mari kita tinjau secara singkat apa itu pemrosesan bahasa alami (NLP), bagaimana model bahasa besar telah mengubah bidang ini, dan mengapa hal ini penting.</p> <h2 class="relative group"><a id="what-is-nlp" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#what-is-nlp"><span><svg class="" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg></span></a> <span>Apa itu NLP?</span></h2> <iframe class="w-full xl:w-4/6 h-80" src="https://www.youtube-nocookie.com/embed/iNzlxWUAjd4" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture" allowfullscreen></iframe> <p data-svelte-h="svelte-j582u8">NLP adalah bidang linguistik dan pembelajaran mesin yang berfokus pada pemahaman segala hal yang berkaitan dengan bahasa manusia. Tujuan dari tugas NLP bukan hanya memahami kata secara individu, tetapi juga memahami konteks dari kata-kata tersebut.</p> <p data-svelte-h="svelte-3vm6e3">Berikut adalah daftar tugas NLP yang umum, beserta contohnya:</p> <ul data-svelte-h="svelte-4ztg7k"><li><strong>Klasifikasi seluruh kalimat</strong>: Menentukan sentimen dari sebuah ulasan, mendeteksi apakah sebuah email adalah spam, menentukan apakah sebuah kalimat benar secara tata bahasa atau apakah dua kalimat saling berkaitan secara logika</li> <li><strong>Klasifikasi setiap kata dalam kalimat</strong>: Mengidentifikasi komponen tata bahasa dari sebuah kalimat (kata benda, kata kerja, kata sifat), atau entitas bernama (nama orang, lokasi, organisasi)</li> <li><strong>Menghasilkan konten teks</strong>: Melengkapi sebuah prompt dengan teks yang dihasilkan secara otomatis, mengisi bagian kosong dalam teks dengan kata-kata yang disamarkan</li> <li><strong>Menarik jawaban dari teks</strong>: Diberikan sebuah pertanyaan dan konteks, menarik jawaban dari pertanyaan tersebut berdasarkan informasi yang tersedia di konteks</li> <li><strong>Menghasilkan kalimat baru dari teks input</strong>: Menerjemahkan teks ke bahasa lain, membuat ringkasan teks</li></ul> <p data-svelte-h="svelte-13liz9q">NLP tidak terbatas pada teks tertulis saja. Bidang ini juga menangani tantangan kompleks dalam pengenalan suara dan visi komputer, seperti membuat transkrip dari sampel audio atau deskripsi dari sebuah gambar.</p> <h2 class="relative group"><a id="rise-of-llms" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#rise-of-llms"><span><svg class="" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg></span></a> <span>Munculnya Model Bahasa Besar (LLM)</span></h2> <p data-svelte-h="svelte-9xxcw3">Dalam beberapa tahun terakhir, bidang NLP telah mengalami revolusi berkat Model Bahasa Besar (Large Language Models atau LLM). Model-model ini, termasuk arsitektur seperti GPT (Generative Pre-trained Transformer) dan <a href="https://huggingface.co/meta-llama" rel="nofollow">Llama</a>, telah mengubah apa yang mungkin dilakukan dalam pemrosesan bahasa.</p> <div class="course-tip bg-gradient-to-br dark:bg-gradient-to-r before:border-green-500 dark:before:border-green-800 from-green-50 dark:from-gray-900 to-white dark:to-gray-950 border border-green-50 text-green-700 dark:text-gray-400"><p data-svelte-h="svelte-2l0c5u">Model bahasa besar (LLM) adalah model AI yang dilatih pada sejumlah besar data teks yang mampu memahami dan menghasilkan teks mirip manusia, mengenali pola dalam bahasa, dan melakukan berbagai tugas bahasa tanpa pelatihan khusus untuk setiap tugas. Model ini merupakan kemajuan besar dalam bidang pemrosesan bahasa alami (NLP).</p></div> <p data-svelte-h="svelte-1yxzz3q">Ciri khas LLM adalah:</p> <ul data-svelte-h="svelte-1toyddi"><li><strong>Skala</strong>: Memiliki jutaan, miliaran, atau bahkan ratusan miliar parameter</li> <li><strong>Kemampuan umum</strong>: Dapat melakukan banyak tugas tanpa pelatihan khusus untuk setiap tugas</li> <li><strong>Pembelajaran dalam konteks (in-context learning)</strong>: Dapat belajar dari contoh yang diberikan dalam prompt</li> <li><strong>Kemampuan emergen</strong>: Saat model tumbuh lebih besar, ia menunjukkan kemampuan yang tidak secara eksplisit diprogramkan atau diprediksi</li></ul> <p data-svelte-h="svelte-13lx6nt">Kemunculan LLM telah mengubah paradigma dari membangun model khusus untuk tugas NLP tertentu menjadi menggunakan satu model besar yang bisa dipandu (prompt) atau disesuaikan (fine-tune) untuk menangani berbagai macam tugas bahasa. Hal ini membuat pemrosesan bahasa yang canggih menjadi lebih mudah diakses, meskipun juga menimbulkan tantangan baru dalam hal efisiensi, etika, dan penerapan.</p> <p data-svelte-h="svelte-1084nrm">Namun, LLM juga memiliki keterbatasan penting:</p> <ul data-svelte-h="svelte-haqis5"><li><strong>Halusinasi</strong>: Dapat menghasilkan informasi yang salah dengan percaya diri</li> <li><strong>Kurangnya pemahaman sejati</strong>: Tidak memiliki pemahaman nyata tentang dunia dan hanya beroperasi berdasarkan pola statistik</li> <li><strong>Bias</strong>: Dapat mereproduksi bias yang ada di data pelatihan atau input</li> <li><strong>Jendela konteks</strong>: Memiliki jendela konteks yang terbatas (meskipun hal ini terus berkembang)</li> <li><strong>Sumber daya komputasi</strong>: Membutuhkan sumber daya komputasi yang besar</li></ul> <h2 class="relative group"><a id="why-is-it-challenging" class="header-link block pr-1.5 text-lg no-hover:hidden with-hover:absolute with-hover:p-1.5 with-hover:opacity-0 with-hover:group-hover:opacity-100 with-hover:right-full" href="#why-is-it-challenging"><span><svg class="" xmlns="http://www.w3.org/2000/svg" xmlns:xlink="http://www.w3.org/1999/xlink" aria-hidden="true" role="img" width="1em" height="1em" preserveAspectRatio="xMidYMid meet" viewBox="0 0 256 256"><path d="M167.594 88.393a8.001 8.001 0 0 1 0 11.314l-67.882 67.882a8 8 0 1 1-11.314-11.315l67.882-67.881a8.003 8.003 0 0 1 11.314 0zm-28.287 84.86l-28.284 28.284a40 40 0 0 1-56.567-56.567l28.284-28.284a8 8 0 0 0-11.315-11.315l-28.284 28.284a56 56 0 0 0 79.196 79.197l28.285-28.285a8 8 0 1 0-11.315-11.314zM212.852 43.14a56.002 56.002 0 0 0-79.196 0l-28.284 28.284a8 8 0 1 0 11.314 11.314l28.284-28.284a40 40 0 0 1 56.568 56.567l-28.285 28.285a8 8 0 0 0 11.315 11.314l28.284-28.284a56.065 56.065 0 0 0 0-79.196z" fill="currentColor"></path></svg></span></a> <span>Mengapa pemrosesan bahasa itu menantang?</span></h2> <p data-svelte-h="svelte-12oar6z">Komputer tidak memproses informasi dengan cara yang sama seperti manusia. Misalnya, saat kita membaca kalimat “Saya lapar”, kita bisa langsung memahami maknanya. Begitu pula, saat diberikan dua kalimat seperti “Saya lapar” dan “Saya sedih”, kita dapat dengan mudah menentukan seberapa mirip keduanya. Namun bagi model pembelajaran mesin (ML), tugas-tugas semacam ini jauh lebih sulit. Teks perlu diproses dengan cara yang memungkinkan model untuk belajar darinya. Dan karena bahasa itu kompleks, kita harus memikirkan dengan cermat bagaimana pemrosesan itu dilakukan. Sudah banyak penelitian dilakukan tentang cara merepresentasikan teks, dan kita akan membahas beberapa metode pada bab berikutnya.</p> <p data-svelte-h="svelte-6q2vs8">Meskipun ada kemajuan dalam LLM, masih banyak tantangan mendasar yang tersisa. Ini termasuk memahami ambiguitas, konteks budaya, sarkasme, dan humor. LLM mengatasi tantangan ini melalui pelatihan masif pada berbagai dataset, namun tetap sering kali belum mencapai tingkat pemahaman manusia dalam banyak skenario kompleks.</p> <a class="!text-gray-400 !no-underline text-sm flex items-center not-prose mt-4" href="https://github.com/huggingface/course/blob/main/chapters/id/chapter1/2.mdx" target="_blank"><span data-svelte-h="svelte-1kd6by1"><</span> <span data-svelte-h="svelte-x0xyl0">></span> <span data-svelte-h="svelte-1dajgef"><span class="underline ml-1.5">Update</span> on GitHub</span></a> <p></p>

	<script>
	{
	__sveltekit_wnfanp = {
	assets: "/docs/course/pr_1052/id",
	base: "/docs/course/pr_1052/id",
	env: {}
	};

	const element = document.currentScript.parentElement;

	const data = [null,null];

	Promise.all([
	import("/docs/course/pr_1052/id/_app/immutable/entry/start.5943204e.js"),
	import("/docs/course/pr_1052/id/_app/immutable/entry/app.b3380ec8.js")
	]).then(([kit, app]) => {
	kit.start(app, element, {
	node_ids: [0, 6],
	data,
	form: null,
	error: null
	});
	});
	}
	</script>

Xet Storage Details

Size:: 15.8 kB
Xet hash:: e506b1effb001e799c137ea166a0be3c633a4248791d80c6be57688465daee2d

Xet efficiently stores files, intelligently splitting them into unique chunks and accelerating uploads and downloads. More info.