course/pr_1069/vi/_app/immutable/nodes/24.4acd8656.js

import{s as kn,o as Cn,n as ln}from"../chunks/scheduler.37c15a92.js";import{S as Gn,i as _n,g as M,s,r as i,A as Zn,h as y,f as l,c as a,j as jn,u as m,x as g,k as vn,y as Qn,a as e,v as p,d as r,t as u,w as o}from"../chunks/index.2bf4358c.js";import{T as Ot}from"../chunks/Tip.363c041f.js";import{Y as tn}from"../chunks/Youtube.1e50a667.js";import{C as J}from"../chunks/CodeBlock.4e987730.js";import{C as Vn}from"../chunks/CourseFloatingBanner.9ff4c771.js";import{F as Rn}from"../chunks/FrameworkSwitchCourse.8d4d4ab6.js";import{H as nn,E as In}from"../chunks/getInferenceSnippets.24b50994.js";function Bn(f){let h,b="Lưu ý rằng 🤗 các mô hình Transformers có một khả năng đặc biệt mà hầu hết các mô hình Keras không có - chúng có thể tự động sử dụng một lượng mất mát thích hợp mà chúng tính toán bên trong. Chúng sẽ sử dụng sự mất mát này theo mặc định nếu bạn không đặt tham số mất mát bên trong <code>compile()</code>. Lưu ý rằng để sử dụng hàm mất mát trong nội bộ, bạn sẽ cần truyền các nhãn của mình như một phần của đầu vào, không phải dưới dạng nhãn riêng biệt, đây là cách thông thường để sử dụng nhãn với các mô hình Keras. Bạn sẽ thấy các ví dụ về điều này trong Phần 2 của khóa học, trong đó việc xác định hàm mất mát chính xác có thể khó khăn. Tuy nhiên, đối với phân loại chuỗi, một hàm mất mát Keras tiêu chuẩn hoạt động khá tốt, vì vậy đó là những gì chúng ta sẽ sử dụng ở đây.";return{c(){h=M("p"),h.innerHTML=b},l(c){h=y(c,"P",{"data-svelte-h":!0}),g(h)!=="svelte-g4md93"&&(h.innerHTML=b)},m(c,d){e(c,h,d)},p:ln,d(c){c&&l(h)}}}function zn(f){let h,b="Lưu ý một lỗi rất phổ biến ở đây - bạn <em>có thể</em> chỉ cần truyền tên của hàm mất mát dưới dạng chuỗi cho Keras, nhưng theo mặc định, Keras sẽ cho rằng bạn đã áp dụng softmax cho đầu ra của mình. Tuy nhiên, nhiều mô hình xuất ra các giá trị ngay trước khi áp dụng softmax, còn được gọi là <em>logit</em>. Chúng ta cần nói với hàm mất mát rằng đó là những gì mô hình của chúng ta làm và cách duy nhất để làm điều đó là gọi nó trực tiếp, thay vì đặt tên bằng một chuỗi.";return{c(){h=M("p"),h.innerHTML=b},l(c){h=y(c,"P",{"data-svelte-h":!0}),g(h)!=="svelte-mqurwc"&&(h.innerHTML=b)},m(c,d){e(c,h,d)},p:ln,d(c){c&&l(h)}}}function Xn(f){let h,b="Thư viện 🤗 Transformers cũng có một hàm <code>create_optimizer()</code> sẽ tạo ra một trình tối ưu hóa <code>AdamW</code> với sự giảm tốc độ học. Đây là một phím tắt thuận tiện mà bạn sẽ thấy chi tiết trong các phần sau của khóa học.";return{c(){h=M("p"),h.innerHTML=b},l(c){h=y(c,"P",{"data-svelte-h":!0}),g(h)!=="svelte-g1qo43"&&(h.innerHTML=b)},m(c,d){e(c,h,d)},p:ln,d(c){c&&l(h)}}}function Fn(f){let h,b='💡 Nếu bạn muốn tự động tải mô hình của mình lên Hub trong quá trình huấn luyện, bạn có thể truyền <code>PushToHubCallback</code> vào trong phương thức <code>model.fit()</code>. Chúng ta sẽ tìm hiểu thêm về điều này trong <a href="/course/chapter4/3">Chương 4</a>';return{c(){h=M("p"),h.innerHTML=b},l(c){h=y(c,"P",{"data-svelte-h":!0}),g(h)!=="svelte-k2ylj2"&&(h.innerHTML=b)},m(c,d){e(c,h,d)},p:ln,d(c){c&&l(h)}}}function Wn(f){let h,b,c,d,T,pt,v,rt,k,ut,C,en='Khi bạn đã hoàn thành tất cả công việc tiền xử lý dữ liệu trong phần trước, bạn chỉ còn một vài bước nữa để huấn luyện mô hình. Tuy nhiên, lưu ý rằng lệnh <code>model.fit()</code> sẽ chạy rất chậm trên CPU. Nếu bạn chưa thiết lập GPU, bạn có thể có quyền truy cập vào GPU hoặc TPU miễn phí trên <a href="https://colab.research.google.com/" rel="nofollow">Google Colab</a>.',ot,G,sn="Các đoạn mã ví dụ bên dưới giả sử bạn đã thực thi các ví dụ trong phần trước. Dưới đây là một bản tóm tắt ngắn gọn tóm tắt lại những gì bạn cần:",Mt,_,yt,Z,gt,Q,an="Các mô hình TensorFlow nhập từ 🤗 Transformers vốn là các mô hình Keras. Đây là phần giới thiệu ngắn về Keras.",bt,V,dt,R,hn="Điều đó có nghĩa là một khi chúng tôi có dữ liệu riêng mình, chúng ta chỉ cần thao tác ít bước nữa thôi để bắt đầu huấn luyện.",ft,I,Jt,B,cn='Như trong <a href="/course/chapter2">chương trước</a>, chúng ta sẽ sử dụng lớp <code>TFAutoModelForSequenceClassification</code>, với hai nhãn:',Tt,z,Ut,X,mn='Bạn sẽ nhận thấy rằng không như trong <a href="/course/chapter2">Chương 2</a>, bạn nhận được một cảnh báo sau khi khởi tạo mô hình được huấn luyện trước này. Đây là do BERT chưa được huấn luyện trước về phân loại các cặp câu, vì vậy phần đầu của mô hình được huấn luyện trước đã bị loại bỏ và phần đầu mới phù hợp để phân loại chuỗi đã được chèn vào thay thế. Các cảnh báo chỉ ra rằng một số trọng số đã không được sử dụng (những trọng số tương ứng với đầu huấn luyện trước bị rụng) và một số trọng số khác khác được khởi tạo ngẫu nhiên (những trọng số dành cho đầu mới). Nó kết thúc bằng cách khuyến khích bạn huấn luyện mô hình, đó chính xác là những gì chúng ta sẽ làm bây giờ.',$t,F,pn="Để tinh chỉnh mô hình trên tập dữ liệu của mình, chúng ta chỉ cần <code>compile()</code> mô hình và sau đó chuyển dữ liệu của ta đến phương thức <code>fit()</code>. Thao tác này sẽ bắt đầu quá trình tinh chỉnh (sẽ mất vài phút trên GPU) và báo cáo sự mất mát ở tập huấn luyện khi nó diễn ra, cộng với mất mát ở tập kiểm định ở cuối mỗi epoch.",wt,U,jt,W,vt,$,kt,x,Ct,Y,Gt,H,rn=`Nếu bạn thử đoạn mã trên, nó chắc chắn chạy, nhưng bạn sẽ thấy rằng hàm mất mát chỉ giảm từ từ hoặc không thường xuyên. Nguyên nhân chính là do <em>learning rate</em> hay <em>tốc độ học</em>. Với hàm mất mát, khi ta truyền cho Keras tên của trình tối ưu hóa dưới dạng một chuỗi, Keras sẽ khởi tạo trình tối ưu hóa đó với các giá trị mặc định cho tất cả các tham số, bao gồm cả tốc độ học. Tuy nhiên, từ kinh nghiệm lâu năm, chúng tôi biết
rằng các mô hình Transformer được hưởng lợi từ tốc độ học thấp hơn nhiều so với tỷ lệ mặc định cho Adam, là 1e-3, cũng được viết bằng 10 lũy thừa của -3, hoặc 0,001. 5e-5 (0,00005), thấp hơn khoảng hai mươi lần, là một điểm khởi đầu tốt hơn nhiều.`,_t,N,un="Ngoài việc giảm tốc độ học, chúng tôi có một mẹo thứ hai: Ta có thể từ từ giảm tốc độ học trong quá trình huấn luyện. Trong tài liệu, đôi khi bạn sẽ thấy điều này được gọi là <em>phân rã</em> hoặc <em>ủ</em> tốc độ học. Ở Keras, cách tốt nhất để làm điều này là sử dụng <em>learning rate scheduler</em> hay <em>công cụ lập lịch trình tốc độ học</em>. Một cái hay để sử dụng là <code>PolynomialDecay</code> - với cài đặt mặc định, nó chỉ đơn giản là giảm độ tuyến tính tốc độ học từ giá trị ban đầu đến giá trị cuối cùng trong quá trình huấn luyện, đó chính xác là những gì ta muốn. Tuy nhiên, để sử dụng bộ lập lịch một cách chính xác, chúng ta cần cho nó biết thời gian huấn luyện sẽ kéo dài. Chúng ta tính giá trị đó dưới dạng <code>num_train_steps</code> như sau.",Zt,E,Qt,w,Vt,S,on="Bây giờ chúng ta đã có trình tối ưu hóa hoàn toàn mới và ta có thể thử huấn luyện với nó. Đầu tiên, hãy tải lại mô hình, để đặt lại các thay đổi đối với trọng số từ lần chạy huấn luyện mà chúng ta vừa thực hiện và sau đó ta có thể biên dịch nó bằng trình tối ưu hóa mới:",Rt,q,It,L,Mn="Giờ ta sẽ fit lại 1 lần nữa:",Bt,A,zt,j,Xt,P,Ft,K,Wt,D,yn="Việc huấn luyện và theo dõi sự mất mát giảm xuống đều rất tốt, nhưng nếu chúng ta muốn thực sự có được kết quả đầu ra từ mô hình được huấn luyện, để tính toán một số chỉ số hoặc sử dụng mô hình đó trong sản xuất thì sao? Để làm điều đó, chúng ta chỉ có thể sử dụng phương thức <code>predict()</code>. Điều này sẽ trả về <em>logit</em> từ đầu ra của mô hình, một cho mỗi lớp.",xt,O,Yt,tt,gn="Chúng ta có thể chuyển đổi các logit này thành các dự đoán lớp của mô hình bằng cách sử dụng <code>argmax</code> để tìm logit cao nhất, tương ứng với lớp có nhiều khả năng nhất:",Ht,nt,Nt,lt,Et,et,bn="Bây giờ, hãy sử dụng các <code>preds</code> đó để tính toán một số chỉ số! Chúng ta có thể tải các chỉ số được liên kết với tập dữ liệu MRPC dễ dàng như khi ta tải tập dữ liệu, lần này là với hàm <code>eval.load())</code>. Đối tượng được trả về có phương thức <code>compute()</code> mà chúng ta có thể sử dụng để thực hiện phép tính số liệu:",St,st,qt,at,Lt,ht,dn='Kết quả chính xác bạn nhận được có thể khác nhau, vì việc khởi tạo ngẫu nhiên phần đầu mô hình có thể thay đổi các chỉ số mà nó đạt được. Ở đây, chúng ta có thể thấy mô hình có độ chính xác 85.78% trên tập kiểm định và điểm F1 là 89.97. Đó là hai chỉ số được sử dụng để đánh giá kết quả trên tập dữ liệu MRPC theo điểm chuẩn GLUE. Bảng trong <a href="https://arxiv.org/pdf/1810.04805.pdf" rel="nofollow">bài báo BERT</a> báo cáo điểm F1 là 88.9 cho mô hình cơ sở. Đó là mô hình <code>không phân biệt</code> viết hoa viết thường trong khi chúng ta hiện đang sử dụng mô hình <code>có phân biệt</code>, điều này giải thích kết quả tốt hơn.',At,ct,fn='Phần này kết thúc phần giới thiệu về cách tinh chỉnh bằng Keras API. Một ví dụ về cách làm này đối với hầu hết các tác vụ NLP phổ biến sẽ được đưa ra trong <a href="/course/chapter7">Chương 7</a>. Nếu bạn muốn trau dồi kỹ năng của mình trên API Keras, hãy cố gắng tinh chỉnh một mô hình trên tập dữ liệu GLUE SST-2, bằng cách sử dụng xử lý dữ liệu bạn đã thực hiện trong phần 2.',Pt,it,Kt,mt,Dt;return T=new Rn({props:{fw:f[0]}}),v=new nn({props:{title:"Tinh chỉnh một mô hình với Keras",local:"tinh-chỉnh-một-mô-hình-với-keras",headingTag:"h1"}}),k=new Vn({props:{chapter:3,classNames:"absolute z-10 right-0 top-0",notebooks:[{label:"Google Colab",value:"https://colab.research.google.com/github/huggingface/notebooks/blob/master/course/vi/chapter3/section3_tf.ipynb"},{label:"Aws Studio",value:"https://studiolab.sagemaker.aws/import/github/huggingface/notebooks/blob/master/course/vi/chapter3/section3_tf.ipynb"}]}}),_=new J({props:{code:"ZnJvbSUyMGRhdGFzZXRzJTIwaW1wb3J0JTIwbG9hZF9kYXRhc2V0JTBBZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMEF1dG9Ub2tlbml6ZXIlMkMlMjBEYXRhQ29sbGF0b3JXaXRoUGFkZGluZyUwQWltcG9ydCUyMG51bXB5JTIwYXMlMjBucCUwQSUwQXJhd19kYXRhc2V0cyUyMCUzRCUyMGxvYWRfZGF0YXNldCglMjJnbHVlJTIyJTJDJTIwJTIybXJwYyUyMiklMEFjaGVja3BvaW50JTIwJTNEJTIwJTIyYmVydC1iYXNlLXVuY2FzZWQlMjIlMEF0b2tlbml6ZXIlMjAlM0QlMjBBdXRvVG9rZW5pemVyLmZyb21fcHJldHJhaW5lZChjaGVja3BvaW50KSUwQSUwQSUwQWRlZiUyMHRva2VuaXplX2Z1bmN0aW9uKGV4YW1wbGUpJTNBJTBBJTIwJTIwJTIwJTIwcmV0dXJuJTIwdG9rZW5pemVyKGV4YW1wbGUlNUIlMjJzZW50ZW5jZTElMjIlNUQlMkMlMjBleGFtcGxlJTVCJTIyc2VudGVuY2UyJTIyJTVEJTJDJTIwdHJ1bmNhdGlvbiUzRFRydWUpJTBBJTBBJTBBdG9rZW5pemVkX2RhdGFzZXRzJTIwJTNEJTIwcmF3X2RhdGFzZXRzLm1hcCh0b2tlbml6ZV9mdW5jdGlvbiUyQyUyMGJhdGNoZWQlM0RUcnVlKSUwQSUwQWRhdGFfY29sbGF0b3IlMjAlM0QlMjBEYXRhQ29sbGF0b3JXaXRoUGFkZGluZyh0b2tlbml6ZXIlM0R0b2tlbml6ZXIlMkMlMjByZXR1cm5fdGVuc29ycyUzRCUyMnRmJTIyKSUwQSUwQXRmX3RyYWluX2RhdGFzZXQlMjAlM0QlMjB0b2tlbml6ZWRfZGF0YXNldHMlNUIlMjJ0cmFpbiUyMiU1RC50b190Zl9kYXRhc2V0KCUwQSUyMCUyMCUyMCUyMGNvbHVtbnMlM0QlNUIlMjJhdHRlbnRpb25fbWFzayUyMiUyQyUyMCUyMmlucHV0X2lkcyUyMiUyQyUyMCUyMnRva2VuX3R5cGVfaWRzJTIyJTVEJTJDJTBBJTIwJTIwJTIwJTIwbGFiZWxfY29scyUzRCU1QiUyMmxhYmVscyUyMiU1RCUyQyUwQSUyMCUyMCUyMCUyMHNodWZmbGUlM0RUcnVlJTJDJTBBJTIwJTIwJTIwJTIwY29sbGF0ZV9mbiUzRGRhdGFfY29sbGF0b3IlMkMlMEElMjAlMjAlMjAlMjBiYXRjaF9zaXplJTNEOCUyQyUwQSklMEElMEF0Zl92YWxpZGF0aW9uX2RhdGFzZXQlMjAlM0QlMjB0b2tlbml6ZWRfZGF0YXNldHMlNUIlMjJ2YWxpZGF0aW9uJTIyJTVELnRvX3RmX2RhdGFzZXQoJTBBJTIwJTIwJTIwJTIwY29sdW1ucyUzRCU1QiUyMmF0dGVudGlvbl9tYXNrJTIyJTJDJTIwJTIyaW5wdXRfaWRzJTIyJTJDJTIwJTIydG9rZW5fdHlwZV9pZHMlMjIlNUQlMkMlMEElMjAlMjAlMjAlMjBsYWJlbF9jb2xzJTNEJTVCJTIybGFiZWxzJTIyJTVEJTJDJTBBJTIwJTIwJTIwJTIwc2h1ZmZsZSUzREZhbHNlJTJDJTBBJTIwJTIwJTIwJTIwY29sbGF0ZV9mbiUzRGRhdGFfY29sbGF0b3IlMkMlMEElMjAlMjAlMjAlMjBiYXRjaF9zaXplJTNEOCUyQyUwQSk=",highlighted:`<span class="hljs-keyword">from</span> datasets <span class="hljs-keyword">import</span> load_dataset
<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> AutoTokenizer, DataCollatorWithPadding
<span class="hljs-keyword">import</span> numpy <span class="hljs-keyword">as</span> np

raw_datasets = load_dataset(<span class="hljs-string">&quot;glue&quot;</span>, <span class="hljs-string">&quot;mrpc&quot;</span>)
checkpoint = <span class="hljs-string">&quot;bert-base-uncased&quot;</span>
tokenizer = AutoTokenizer.from_pretrained(checkpoint)


<span class="hljs-keyword">def</span> <span class="hljs-title function_">tokenize_function</span>(<span class="hljs-params">example</span>):
    <span class="hljs-keyword">return</span> tokenizer(example[<span class="hljs-string">&quot;sentence1&quot;</span>], example[<span class="hljs-string">&quot;sentence2&quot;</span>], truncation=<span class="hljs-literal">True</span>)


tokenized_datasets = raw_datasets.<span class="hljs-built_in">map</span>(tokenize_function, batched=<span class="hljs-literal">True</span>)

data_collator = DataCollatorWithPadding(tokenizer=tokenizer, return_tensors=<span class="hljs-string">&quot;tf&quot;</span>)

tf_train_dataset = tokenized_datasets[<span class="hljs-string">&quot;train&quot;</span>].to_tf_dataset(
    columns=[<span class="hljs-string">&quot;attention_mask&quot;</span>, <span class="hljs-string">&quot;input_ids&quot;</span>, <span class="hljs-string">&quot;token_type_ids&quot;</span>],
    label_cols=[<span class="hljs-string">&quot;labels&quot;</span>],
    shuffle=<span class="hljs-literal">True</span>,
    collate_fn=data_collator,
    batch_size=<span class="hljs-number">8</span>,
)

tf_validation_dataset = tokenized_datasets[<span class="hljs-string">&quot;validation&quot;</span>].to_tf_dataset(
    columns=[<span class="hljs-string">&quot;attention_mask&quot;</span>, <span class="hljs-string">&quot;input_ids&quot;</span>, <span class="hljs-string">&quot;token_type_ids&quot;</span>],
    label_cols=[<span class="hljs-string">&quot;labels&quot;</span>],
    shuffle=<span class="hljs-literal">False</span>,
    collate_fn=data_collator,
    batch_size=<span class="hljs-number">8</span>,
)`,wrap:!1}}),Z=new nn({props:{title:"Huấn luyện",local:"huấn-luyện",headingTag:"h3"}}),V=new tn({props:{id:"rnTGBy2ax1c"}}),I=new tn({props:{id:"AUozVp78dhk"}}),z=new J({props:{code:"ZnJvbSUyMHRyYW5zZm9ybWVycyUyMGltcG9ydCUyMFRGQXV0b01vZGVsRm9yU2VxdWVuY2VDbGFzc2lmaWNhdGlvbiUwQSUwQW1vZGVsJTIwJTNEJTIwVEZBdXRvTW9kZWxGb3JTZXF1ZW5jZUNsYXNzaWZpY2F0aW9uLmZyb21fcHJldHJhaW5lZChjaGVja3BvaW50JTJDJTIwbnVtX2xhYmVscyUzRDIp",highlighted:`<span class="hljs-keyword">from</span> transformers <span class="hljs-keyword">import</span> TFAutoModelForSequenceClassification

model = TFAutoModelForSequenceClassification.from_pretrained(checkpoint, num_labels=<span class="hljs-number">2</span>)`,wrap:!1}}),U=new Ot({props:{$$slots:{default:[Bn]},$$scope:{ctx:f}}}),W=new J({props:{code:"ZnJvbSUyMHRlbnNvcmZsb3cua2VyYXMubG9zc2VzJTIwaW1wb3J0JTIwU3BhcnNlQ2F0ZWdvcmljYWxDcm9zc2VudHJvcHklMEElMEFtb2RlbC5jb21waWxlKCUwQSUyMCUyMCUyMCUyMG9wdGltaXplciUzRCUyMmFkYW0lMjIlMkMlMEElMjAlMjAlMjAlMjBsb3NzJTNEU3BhcnNlQ2F0ZWdvcmljYWxDcm9zc2VudHJvcHkoZnJvbV9sb2dpdHMlM0RUcnVlKSUyQyUwQSUyMCUyMCUyMCUyMG1ldHJpY3MlM0QlNUIlMjJhY2N1cmFjeSUyMiU1RCUyQyUwQSklMEFtb2RlbC5maXQoJTBBJTIwJTIwJTIwJTIwdGZfdHJhaW5fZGF0YXNldCUyQyUwQSUyMCUyMCUyMCUyMHZhbGlkYXRpb25fZGF0YSUzRHRmX3ZhbGlkYXRpb25fZGF0YXNldCUyQyUwQSk=",highlighted:`<span class="hljs-keyword">from</span> tensorflow.keras.losses <span class="hljs-keyword">import</span> SparseCategoricalCrossentropy

model.<span class="hljs-built_in">compile</span>(
    optimizer=<span class="hljs-string">&quot;adam&quot;</span>,
    loss=SparseCategoricalCrossentropy(from_logits=<span class="hljs-literal">True</span>),
    metrics=[<span class="hljs-string">&quot;accuracy&quot;</span>],
)
model.fit(
    tf_train_dataset,
    validation_data=tf_validation_dataset,
)`,wrap:!1}}),$=new Ot({props:{warning:!0,$$slots:{default:[zn]},$$scope:{ctx:f}}}),x=new nn({props:{title:"Cải thiện hiệu suất huấn luyện",local:"cải-thiện-hiệu-suất-huấn-luyện",headingTag:"h3"}}),Y=new tn({props:{id:"cpzq6ESSM5c"}}),E=new J({props:{code:"ZnJvbSUyMHRlbnNvcmZsb3cua2VyYXMub3B0aW1pemVycy5zY2hlZHVsZXMlMjBpbXBvcnQlMjBQb2x5bm9taWFsRGVjYXklMEElMEFiYXRjaF9zaXplJTIwJTNEJTIwOCUwQW51bV9lcG9jaHMlMjAlM0QlMjAzJTBBJTIzJTIwUyVFMSVCQiU5MSUyMGIlQzYlQjAlRTElQkIlOUJjJTIwaHUlRTElQkElQTVuJTIwbHV5JUUxJUJCJTg3biUyMGwlQzMlQTAlMjBzJUUxJUJCJTkxJTIwbCVDNiVCMCVFMSVCQiVBM25nJTIwbSVFMSVCQSVBQnUlMjB0cm9uZyUyMHQlRTElQkElQURwJTIwZCVFMSVCQiVBRiUyMGxpJUUxJUJCJTg3dSUyQyUyMGNoaWElMjBjaG8lMjBrJUMzJUFEY2glMjB0aCVDNiVCMCVFMSVCQiU5QmMlMjBsJUMzJUI0JTIwc2F1JTIwJUM0JTkxJUMzJUIzJTIwbmglQzMlQTJuJTBBJTIzJTIwdiVFMSVCQiU5QmklMjB0JUUxJUJCJTk1bmclMjBzJUUxJUJCJTkxJTIwZXBvY2guJTIwTCVDNiVCMHUlMjAlQzMlQkQlMjByJUUxJUJBJUIxbmclMjB0Zl90cmFpbl9kYXRhc2V0JTIwJUUxJUJCJTlGJTIwJUM0JTkxJUMzJUEyeSUyMGwlQzMlQTAlMjB0Zi5kYXRhLkRhdGFzZXQlMjB0aGVvJTIwbCVDMyVCNCUyQyUwQSUyMyUyMGtoJUMzJUI0bmclMjBwaCVFMSVCQSVBM2klMjBsJUMzJUEwJTIwSHVnZ2luZyUyMEZhY2UlMjBEYXRhc2V0JTJDJTIwdiVDMyVBQyUyMHYlRTElQkElQUR5JTIwbGVuKCklMjBjJUUxJUJCJUE3YSUyMG4lQzMlQjMlMjAlQzQlOTElQzMlQTMlMjBsJUMzJUEwJTIwbnVtX3NhbXBsZXMlMjAlMkYlMkYlMjBiYXRjaF9zaXplLiUwQW51bV90cmFpbl9zdGVwcyUyMCUzRCUyMGxlbih0Zl90cmFpbl9kYXRhc2V0KSUyMColMjBudW1fZXBvY2hzJTBBbHJfc2NoZWR1bGVyJTIwJTNEJTIwUG9seW5vbWlhbERlY2F5KCUwQSUyMCUyMCUyMCUyMGluaXRpYWxfbGVhcm5pbmdfcmF0ZSUzRDVlLTUlMkMlMjBlbmRfbGVhcm5pbmdfcmF0ZSUzRDAuMCUyQyUyMGRlY2F5X3N0ZXBzJTNEbnVtX3RyYWluX3N0ZXBzJTBBKSUwQWZyb20lMjB0ZW5zb3JmbG93LmtlcmFzLm9wdGltaXplcnMlMjBpbXBvcnQlMjBBZGFtJTBBJTBBb3B0JTIwJTNEJTIwQWRhbShsZWFybmluZ19yYXRlJTNEbHJfc2NoZWR1bGVyKQ==",highlighted:`<span class="hljs-keyword">from</span> tensorflow.keras.optimizers.schedules <span class="hljs-keyword">import</span> PolynomialDecay

batch_size = <span class="hljs-number">8</span>
num_epochs = <span class="hljs-number">3</span>
<span class="hljs-comment"># Số bước huấn luyện là số lượng mẫu trong tập dữ liệu, chia cho kích thước lô sau đó nhân</span>
<span class="hljs-comment"># với tổng số epoch. Lưu ý rằng tf_train_dataset ở đây là tf.data.Dataset theo lô,</span>
<span class="hljs-comment"># không phải là Hugging Face Dataset, vì vậy len() của nó đã là num_samples // batch_size.</span>
num_train_steps = <span class="hljs-built_in">len</span>(tf_train_dataset) * num_epochs
lr_scheduler = PolynomialDecay(
    initial_learning_rate=<span class="hljs-number">5e-5</span>, end_learning_rate=<span class="hljs-number">0.0</span>, decay_steps=num_train_steps
)
<span class="hljs-keyword">from</span> tensorflow.keras.optimizers <span class="hljs-keyword">import</span> Adam

opt = Adam(learning_rate=lr_scheduler)`,wrap:!1}}),w=new Ot({props:{$$slots:{default:[Xn]},$$scope:{ctx:f}}}),q=new J({props:{code:"aW1wb3J0JTIwdGVuc29yZmxvdyUyMGFzJTIwdGYlMEElMEFtb2RlbCUyMCUzRCUyMFRGQXV0b01vZGVsRm9yU2VxdWVuY2VDbGFzc2lmaWNhdGlvbi5mcm9tX3ByZXRyYWluZWQoY2hlY2twb2ludCUyQyUyMG51bV9sYWJlbHMlM0QyKSUwQWxvc3MlMjAlM0QlMjB0Zi5rZXJhcy5sb3NzZXMuU3BhcnNlQ2F0ZWdvcmljYWxDcm9zc2VudHJvcHkoZnJvbV9sb2dpdHMlM0RUcnVlKSUwQW1vZGVsLmNvbXBpbGUob3B0aW1pemVyJTNEb3B0JTJDJTIwbG9zcyUzRGxvc3MlMkMlMjBtZXRyaWNzJTNEJTVCJTIyYWNjdXJhY3klMjIlNUQp",highlighted:`<span class="hljs-keyword">import</span> tensorflow <span class="hljs-keyword">as</span> tf

model = TFAutoModelForSequenceClassification.from_pretrained(checkpoint, num_labels=<span class="hljs-number">2</span>)
loss = tf.keras.losses.SparseCategoricalCrossentropy(from_logits=<span class="hljs-literal">True</span>)
model.<span class="hljs-built_in">compile</span>(optimizer=opt, loss=loss, metrics=[<span class="hljs-string">&quot;accuracy&quot;</span>])`,wrap:!1}}),A=new J({props:{code:"bW9kZWwuZml0KHRmX3RyYWluX2RhdGFzZXQlMkMlMjB2YWxpZGF0aW9uX2RhdGElM0R0Zl92YWxpZGF0aW9uX2RhdGFzZXQlMkMlMjBlcG9jaHMlM0QzKQ==",highlighted:'model.fit(tf_train_dataset, validation_data=tf_validation_dataset, epochs=<span class="hljs-number">3</span>)',wrap:!1}}),j=new Ot({props:{$$slots:{default:[Fn]},$$scope:{ctx:f}}}),P=new nn({props:{title:"Các dự đoán của mô hình",local:"các-dự-đoán-của-mô-hình",headingTag:"h3"}}),K=new tn({props:{id:"nx10eh4CoOs"}}),O=new J({props:{code:"cHJlZHMlMjAlM0QlMjBtb2RlbC5wcmVkaWN0KHRmX3ZhbGlkYXRpb25fZGF0YXNldCklNUIlMjJsb2dpdHMlMjIlNUQ=",highlighted:'preds = model.predict(tf_validation_dataset)[<span class="hljs-string">&quot;logits&quot;</span>]',wrap:!1}}),nt=new J({props:{code:"Y2xhc3NfcHJlZHMlMjAlM0QlMjBucC5hcmdtYXgocHJlZHMlMkMlMjBheGlzJTNEMSklMEFwcmludChwcmVkcy5zaGFwZSUyQyUyMGNsYXNzX3ByZWRzLnNoYXBlKQ==",highlighted:`class_preds = np.argmax(preds, axis=<span class="hljs-number">1</span>)
<span class="hljs-built_in">print</span>(preds.shape, class_preds.shape)`,wrap:!1}}),lt=new J({props:{code:"KDQwOCUyQyUyMDIpJTIwKDQwOCUyQyk=",highlighted:'(<span class="hljs-number">408</span>, <span class="hljs-number">2</span>) (<span class="hljs-number">408</span>,)',wrap:!1}}),st=new J({props:{code:"aW1wb3J0JTIwZXZhbHVhdGUlMEElMEFtZXRyaWMlMjAlM0QlMjBldmFsdWF0ZS5sb2FkKCUyMmdsdWUlMjIlMkMlMjAlMjJtcnBjJTIyKSUwQW1ldHJpYy5jb21wdXRlKHByZWRpY3Rpb25zJTNEY2xhc3NfcHJlZHMlMkMlMjByZWZlcmVuY2VzJTNEcmF3X2RhdGFzZXRzJTVCJTIydmFsaWRhdGlvbiUyMiU1RCU1QiUyMmxhYmVsJTIyJTVEKQ==",highlighted:`<span class="hljs-keyword">import</span> evaluate

metric = evaluate.load(<span class="hljs-string">&quot;glue&quot;</span>, <span class="hljs-string">&quot;mrpc&quot;</span>)
metric.compute(predictions=class_preds, references=raw_datasets[<span class="hljs-string">&quot;validation&quot;</span>][<span class="hljs-string">&quot;label&quot;</span>])`,wrap:!1}}),at=new J({props:{code:"JTdCJ2FjY3VyYWN5JyUzQSUyMDAuODU3ODQzMTM3MjU0OTAxOSUyQyUyMCdmMSclM0ElMjAwLjg5OTY1Mzk3OTIzODc1NDIlN0Q=",highlighted:'{<span class="hljs-string">&#x27;accuracy&#x27;</span>: <span class="hljs-number">0.8578431372549019</span>, <span class="hljs-string">&#x27;f1&#x27;</span>: <span class="hljs-number">0.8996539792387542</span>}',wrap:!1}}),it=new In({props:{source:"https://github.com/huggingface/course/blob/main/chapters/vi/chapter3/3_tf.mdx"}}),{c(){h=M("meta"),b=s(),c=M("p"),d=s(),i(T.$$.fragment),pt=s(),i(v.$$.fragment),rt=s(),i(k.$$.fragment),ut=s(),C=M("p"),C.innerHTML=en,ot=s(),G=M("p"),G.textContent=sn,Mt=s(),i(_.$$.fragment),yt=s(),i(Z.$$.fragment),gt=s(),Q=M("p"),Q.textContent=an,bt=s(),i(V.$$.fragment),dt=s(),R=M("p"),R.textContent=hn,ft=s(),i(I.$$.fragment),Jt=s(),B=M("p"),B.innerHTML=cn,Tt=s(),i(z.$$.fragment),Ut=s(),X=M("p"),X.innerHTML=mn,$t=s(),F=M("p"),F.innerHTML=pn,wt=s(),i(U.$$.fragment),jt=s(),i(W.$$.fragment),vt=s(),i($.$$.fragment),kt=s(),i(x.$$.fragment),Ct=s(),i(Y.$$.fragment),Gt=s(),H=M("p"),H.innerHTML=rn,_t=s(),N=M("p"),N.innerHTML=un,Zt=s(),i(E.$$.fragment),Qt=s(),i(w.$$.fragment),Vt=s(),S=M("p"),S.textContent=on,Rt=s(),i(q.$$.fragment),It=s(),L=M("p"),L.textContent=Mn,Bt=s(),i(A.$$.fragment),zt=s(),i(j.$$.fragment),Xt=s(),i(P.$$.fragment),Ft=s(),i(K.$$.fragment),Wt=s(),D=M("p"),D.innerHTML=yn,xt=s(),i(O.$$.fragment),Yt=s(),tt=M("p"),tt.innerHTML=gn,Ht=s(),i(nt.$$.fragment),Nt=s(),i(lt.$$.fragment),Et=s(),et=M("p"),et.innerHTML=bn,St=s(),i(st.$$.fragment),qt=s(),i(at.$$.fragment),Lt=s(),ht=M("p"),ht.innerHTML=dn,At=s(),ct=M("p"),ct.innerHTML=fn,Pt=s(),i(it.$$.fragment),Kt=s(),mt=M("p"),this.h()},l(t){const n=Zn("svelte-u9bgzb",document.head);h=y(n,"META",{name:!0,content:!0}),n.forEach(l),b=a(t),c=y(t,"P",{}),jn(c).forEach(l),d=a(t),m(T.$$.fragment,t),pt=a(t),m(v.$$.fragment,t),rt=a(t),m(k.$$.fragment,t),ut=a(t),C=y(t,"P",{"data-svelte-h":!0}),g(C)!=="svelte-anjird"&&(C.innerHTML=en),ot=a(t),G=y(t,"P",{"data-svelte-h":!0}),g(G)!=="svelte-fhx6v0"&&(G.textContent=sn),Mt=a(t),m(_.$$.fragment,t),yt=a(t),m(Z.$$.fragment,t),gt=a(t),Q=y(t,"P",{"data-svelte-h":!0}),g(Q)!=="svelte-1xx2nif"&&(Q.textContent=an),bt=a(t),m(V.$$.fragment,t),dt=a(t),R=y(t,"P",{"data-svelte-h":!0}),g(R)!=="svelte-17mgjlm"&&(R.textContent=hn),ft=a(t),m(I.$$.fragment,t),Jt=a(t),B=y(t,"P",{"data-svelte-h":!0}),g(B)!=="svelte-1dtxw4u"&&(B.innerHTML=cn),Tt=a(t),m(z.$$.fragment,t),Ut=a(t),X=y(t,"P",{"data-svelte-h":!0}),g(X)!=="svelte-1nzgsey"&&(X.innerHTML=mn),$t=a(t),F=y(t,"P",{"data-svelte-h":!0}),g(F)!=="svelte-phd18a"&&(F.innerHTML=pn),wt=a(t),m(U.$$.fragment,t),jt=a(t),m(W.$$.fragment,t),vt=a(t),m($.$$.fragment,t),kt=a(t),m(x.$$.fragment,t),Ct=a(t),m(Y.$$.fragment,t),Gt=a(t),H=y(t,"P",{"data-svelte-h":!0}),g(H)!=="svelte-tiwcij"&&(H.innerHTML=rn),_t=a(t),N=y(t,"P",{"data-svelte-h":!0}),g(N)!=="svelte-1ty4lsh"&&(N.innerHTML=un),Zt=a(t),m(E.$$.fragment,t),Qt=a(t),m(w.$$.fragment,t),Vt=a(t),S=y(t,"P",{"data-svelte-h":!0}),g(S)!=="svelte-1xr5z6q"&&(S.textContent=on),Rt=a(t),m(q.$$.fragment,t),It=a(t),L=y(t,"P",{"data-svelte-h":!0}),g(L)!=="svelte-1mhvu7h"&&(L.textContent=Mn),Bt=a(t),m(A.$$.fragment,t),zt=a(t),m(j.$$.fragment,t),Xt=a(t),m(P.$$.fragment,t),Ft=a(t),m(K.$$.fragment,t),Wt=a(t),D=y(t,"P",{"data-svelte-h":!0}),g(D)!=="svelte-ttzo8"&&(D.innerHTML=yn),xt=a(t),m(O.$$.fragment,t),Yt=a(t),tt=y(t,"P",{"data-svelte-h":!0}),g(tt)!=="svelte-1bmj4ox"&&(tt.innerHTML=gn),Ht=a(t),m(nt.$$.fragment,t),Nt=a(t),m(lt.$$.fragment,t),Et=a(t),et=y(t,"P",{"data-svelte-h":!0}),g(et)!=="svelte-1oijis0"&&(et.innerHTML=bn),St=a(t),m(st.$$.fragment,t),qt=a(t),m(at.$$.fragment,t),Lt=a(t),ht=y(t,"P",{"data-svelte-h":!0}),g(ht)!=="svelte-v4uubz"&&(ht.innerHTML=dn),At=a(t),ct=y(t,"P",{"data-svelte-h":!0}),g(ct)!=="svelte-5qjdv2"&&(ct.innerHTML=fn),Pt=a(t),m(it.$$.fragment,t),Kt=a(t),mt=y(t,"P",{}),jn(mt).forEach(l),this.h()},h(){vn(h,"name","hf:doc:metadata"),vn(h,"content",xn)},m(t,n){Qn(document.head,h),e(t,b,n),e(t,c,n),e(t,d,n),p(T,t,n),e(t,pt,n),p(v,t,n),e(t,rt,n),p(k,t,n),e(t,ut,n),e(t,C,n),e(t,ot,n),e(t,G,n),e(t,Mt,n),p(_,t,n),e(t,yt,n),p(Z,t,n),e(t,gt,n),e(t,Q,n),e(t,bt,n),p(V,t,n),e(t,dt,n),e(t,R,n),e(t,ft,n),p(I,t,n),e(t,Jt,n),e(t,B,n),e(t,Tt,n),p(z,t,n),e(t,Ut,n),e(t,X,n),e(t,$t,n),e(t,F,n),e(t,wt,n),p(U,t,n),e(t,jt,n),p(W,t,n),e(t,vt,n),p($,t,n),e(t,kt,n),p(x,t,n),e(t,Ct,n),p(Y,t,n),e(t,Gt,n),e(t,H,n),e(t,_t,n),e(t,N,n),e(t,Zt,n),p(E,t,n),e(t,Qt,n),p(w,t,n),e(t,Vt,n),e(t,S,n),e(t,Rt,n),p(q,t,n),e(t,It,n),e(t,L,n),e(t,Bt,n),p(A,t,n),e(t,zt,n),p(j,t,n),e(t,Xt,n),p(P,t,n),e(t,Ft,n),p(K,t,n),e(t,Wt,n),e(t,D,n),e(t,xt,n),p(O,t,n),e(t,Yt,n),e(t,tt,n),e(t,Ht,n),p(nt,t,n),e(t,Nt,n),p(lt,t,n),e(t,Et,n),e(t,et,n),e(t,St,n),p(st,t,n),e(t,qt,n),p(at,t,n),e(t,Lt,n),e(t,ht,n),e(t,At,n),e(t,ct,n),e(t,Pt,n),p(it,t,n),e(t,Kt,n),e(t,mt,n),Dt=!0},p(t,[n]){const Jn={};n&1&&(Jn.fw=t[0]),T.$set(Jn);const Tn={};n&2&&(Tn.$$scope={dirty:n,ctx:t}),U.$set(Tn);const Un={};n&2&&(Un.$$scope={dirty:n,ctx:t}),$.$set(Un);const $n={};n&2&&($n.$$scope={dirty:n,ctx:t}),w.$set($n);const wn={};n&2&&(wn.$$scope={dirty:n,ctx:t}),j.$set(wn)},i(t){Dt||(r(T.$$.fragment,t),r(v.$$.fragment,t),r(k.$$.fragment,t),r(_.$$.fragment,t),r(Z.$$.fragment,t),r(V.$$.fragment,t),r(I.$$.fragment,t),r(z.$$.fragment,t),r(U.$$.fragment,t),r(W.$$.fragment,t),r($.$$.fragment,t),r(x.$$.fragment,t),r(Y.$$.fragment,t),r(E.$$.fragment,t),r(w.$$.fragment,t),r(q.$$.fragment,t),r(A.$$.fragment,t),r(j.$$.fragment,t),r(P.$$.fragment,t),r(K.$$.fragment,t),r(O.$$.fragment,t),r(nt.$$.fragment,t),r(lt.$$.fragment,t),r(st.$$.fragment,t),r(at.$$.fragment,t),r(it.$$.fragment,t),Dt=!0)},o(t){u(T.$$.fragment,t),u(v.$$.fragment,t),u(k.$$.fragment,t),u(_.$$.fragment,t),u(Z.$$.fragment,t),u(V.$$.fragment,t),u(I.$$.fragment,t),u(z.$$.fragment,t),u(U.$$.fragment,t),u(W.$$.fragment,t),u($.$$.fragment,t),u(x.$$.fragment,t),u(Y.$$.fragment,t),u(E.$$.fragment,t),u(w.$$.fragment,t),u(q.$$.fragment,t),u(A.$$.fragment,t),u(j.$$.fragment,t),u(P.$$.fragment,t),u(K.$$.fragment,t),u(O.$$.fragment,t),u(nt.$$.fragment,t),u(lt.$$.fragment,t),u(st.$$.fragment,t),u(at.$$.fragment,t),u(it.$$.fragment,t),Dt=!1},d(t){t&&(l(b),l(c),l(d),l(pt),l(rt),l(ut),l(C),l(ot),l(G),l(Mt),l(yt),l(gt),l(Q),l(bt),l(dt),l(R),l(ft),l(Jt),l(B),l(Tt),l(Ut),l(X),l($t),l(F),l(wt),l(jt),l(vt),l(kt),l(Ct),l(Gt),l(H),l(_t),l(N),l(Zt),l(Qt),l(Vt),l(S),l(Rt),l(It),l(L),l(Bt),l(zt),l(Xt),l(Ft),l(Wt),l(D),l(xt),l(Yt),l(tt),l(Ht),l(Nt),l(Et),l(et),l(St),l(qt),l(Lt),l(ht),l(At),l(ct),l(Pt),l(Kt),l(mt)),l(h),o(T,t),o(v,t),o(k,t),o(_,t),o(Z,t),o(V,t),o(I,t),o(z,t),o(U,t),o(W,t),o($,t),o(x,t),o(Y,t),o(E,t),o(w,t),o(q,t),o(A,t),o(j,t),o(P,t),o(K,t),o(O,t),o(nt,t),o(lt,t),o(st,t),o(at,t),o(it,t)}}}const xn='{"title":"Tinh chỉnh một mô hình với Keras","local":"tinh-chỉnh-một-mô-hình-với-keras","sections":[{"title":"Huấn luyện","local":"huấn-luyện","sections":[],"depth":3},{"title":"Cải thiện hiệu suất huấn luyện","local":"cải-thiện-hiệu-suất-huấn-luyện","sections":[],"depth":3},{"title":"Các dự đoán của mô hình","local":"các-dự-đoán-của-mô-hình","sections":[],"depth":3}],"depth":1}';function Yn(f,h,b){let c="pt";return Cn(()=>{const d=new URLSearchParams(window.location.search);b(0,c=d.get("fw")||"pt")}),[c]}class Kn extends Gn{constructor(h){super(),_n(this,h,Yn,Wn,kn,{})}}export{Kn as component};