course/pr_1213/vi/chapter3/6.md

Đố vui cuối chương

Kiểm tra những gì bạn đã học trong chương này!

1. Tập dữ liệu emotion chứa các tin nhắn Twitter được gắn nhãn cảm xúc. Tìm kiếm nó trong Hub và đọc thẻ tập dữ liệu. Cảm xúc nào trong số này không phải là một trong những cảm xúc cơ bản của nó?

2. Tìm kiếm tập dữ liệu ar_sarcasm trong Hub. Nó hỗ trợ tác vụ nào?

thẻ dữ liệu nha!" }, { text: "Nhận dạng thực thể", explain: "Không phải rồi - thử xem lại tại thẻ dữ liệu nha!" }, { text: "Hỏi đáp", explain: "Tiếc ghê, không chính xác rồi. Thử lại nha!" } ]} />

3. Mô hình BERT mong đợi một cặp câu được xử lý như thế nào?

[SEP] để phân cách hai câu, nhưng đây không phải thứ duy nhất!" }, { text: "[CLS] Tokens_of_sentence_1 Tokens_of_sentence_2", explain: "Cần token đặc biệt [CLS] ở đầu, nhưng đây không phải thứ duy nhất!" }, { text: "[CLS] Tokens_of_sentence_1 [SEP] Tokens_of_sentence_2 [SEP]", explain: "Chính xác!", correct: true }, { text: "[CLS] Tokens_of_sentence_1 [SEP] Tokens_of_sentence_2", explain: "Cần token đặc biệt [CLS] ở đầu cũng như [SEP] để phân cách hai câu, nhưng đây không phải thứ duy nhất!" } ]} />

{#if fw === 'pt'}

4. Lợi ích của phương thức Dataset.map() là gì?

5. Đệm động nghĩa là sao?

6. Mục đích của hàm đối chiếu là gì?

DataCollatorWithPadding." }, { text: "Nó tập hợp tất cả các mẫu lại trong một lô.", explain: "Đúng! Bạn có thể truyền hàm đối chiếu như một tham số của DataLoader. Chúng tôi đã sử dụng hàm DataCollatorWithPadding, một hàm đệm tất cả các mục trong một lô để chúng giống nhau về chiều dài.", correct: true }, { text: "Nó tiền xử lý toàn bộ tập dữ liệu.", explain: "Đó là một hàm tiền xử lý, không phải là một hàm đối chiếu." }, { text: "Nó cắt bớt các chuỗi trong tập dữ liệu.", explain: "Một hàm đối chiếu liên quan đến việc xử lý các lô riêng lẻ, không phải toàn bộ tập dữ liệu. Nếu bạn muốn cắt ngắn, bạn có thể sử dụng tham số truncate của tokenizer." } ]} />

7. Điều gì xảy ra khi bạn khởi tạo một trong các lớp AutoModelForXxx với một mô hình ngôn ngữ huấn luyện trước( ví dụ như bert-base-uncased) mà liên quan tới một tác vụ khác hơn là tác vụ mà nó được huấn luyện sẵn?

AutoModelForSequenceClassification với bert-base-uncased, ta nhận được cảnh báo khi khởi tạo mô hình. Phần đầu được huấn luyện trước không được sử dụng cho chuỗi tác vụ phân loại, vì vậy nó bị loại bỏ và một phần đầu mới được khởi tạo với các trọng số ngẫu nhiên.", correct: true }, { text: "Phần đầu của mô hình được huấn luyện trước bị loại bỏ.", explain: "Một điều gì đó khác cần phải xảy ra. Hãy thử lại!" }, { text: "Không có gì, vì mô hình vẫn có thể được tinh chỉnh cho các tác vụ khác.", explain: "Phần đầu của mô hình được huấn luyện trước không được huấn luyện để giải quyết tác vụ này, vì vậy chúng ta nên loại bỏ phần đầu!" } ]} />

8. Mục đích của TrainingArguments là gì?

Trainer.", explain: "Chính xác!", correct: true }, { text: "Nó chỉ định kích thước của mô hình.", explain: "Kích thước mô hình được xác định bởi cấu hình mô hình, không phải lớp TrainingArguments." }, { text: "Nó chỉ chứa các siêu tham số được sử dụng để đánh giá.", explain: "Trong ví dụ này, chúng tôi đã chỉ định nơi mô hình và các checkpoint của nó sẽ được lưu. Hãy thử lại!" }, { text: "Nó chỉ chứa các siêu tham số được sử dụng để huấn luyện.", explain: "Trong ví dụ này, chúng tôi cũng đã sử dụng evaluation_strategy, vì vậy điều này ảnh hưởng đến việc đánh giá mô hình. Hãy thử lại!" } ]} />

9. Vì sao bạn nên sử dụng thư viện 🤗 Accelerate?

Trainer, không phải với thư viện 🤗 Accelerate. Hãy thử lại!" }, { text: "Nó làm cho các vòng huấn luyện hoạt động dựa trên các chiến lược phân tán", explain: "Đúng! Với 🤗 Accelerate, các vòng huấn luyện của bạn sẽ hoạt động cho nhiều GPU và TPU.", correct: true }, { text: "Nó cung cấp nhiều hàm tối ưu hơn.", explain: "Không, thư viện 🤗 Accelerate không cung cấp bất kỳ hàm tối ưu nào." } ]} />

{:else}

4. Điều gì xảy ra khi bạn khởi tạo một trong các lớp TFAutoModelForXxx với một mô hình ngôn ngữ huấn luyện trước( ví dụ như bert-base-uncased) mà liên quan tới một tác vụ khác hơn là tác vụ mà nó được huấn luyện sẵn?

TFAutoModelForSequenceClassification với bert-base-uncased, ta nhận được cảnh báo khi khởi tạo mô hình. Phần đầu được huấn luyện trước không được sử dụng cho chuỗi tác vụ phân loại, vì vậy nó bị loại bỏ và một phần đầu mới được khởi tạo với các trọng số ngẫu nhiên.", correct: true }, { text: "Phần đầu của mô hình được huấn luyện trước bị loại bỏ.", explain: "Một điều gì đó khác cần phải xảy ra. Hãy thử lại!" }, { text: "Không có gì, vì mô hình vẫn có thể được tinh chỉnh cho các tác vụ khác.", explain: "Phần đầu của mô hình được huấn luyện trước không được huấn luyện để giải quyết tác vụ này, vì vậy chúng ta nên loại bỏ phần đầu!" } ]} />

5. Các mô hình TensorFlow từ transformers vốn đã là các mô hình Keras. Lợi ích của việc này là gì?

TPUStrategy , bao gồm cả việc khởi tạo mô hình." }, { text: "Bạn có thể tận dụng các phương thức hiện có như compile(), fit(), và predict().", explain: "Đúng! Sau khi bạn có dữ liệu, việc đào tạo về dữ liệu đó cần rất ít công việc.", correct: true }, { text: "Bạn có thể học Keras cũng như transformers.", explain: "Đúng, nhưng chúng tôi đang tìm kiếm thứ khác :)", correct: true }, { text: "Bạn có thể dễ dàng tính toán các chỉ số liên quan đến tập dữ liệu.", explain: "Keras giúp chúng ta huấn luyện và đánh giá mô hình, không phải tính toán các số liệu liên quan đến tập dữ liệu." } ]} />

6. Làm thế nào bạn có thể định nghĩa thước đo tuỳ chỉnh của riêng bạn?

tf.keras.metrics.Metric.", explain: "Tuyệt vời!", correct: true }, { text: "Sử dụng API chức năng của Keras.", explain: "Thử lại!" }, { text: "Thông qua sử dụng metric_fn(y_true, y_pred).", explain: "Chính xác!", correct: true }, { text: "Sử dụng Googling.", explain: "Đó không phải là câu trả lời mà chúng tôi đang tìm kiếm, nhưng nó sẽ giúp bạn tìm thấy nó.", correct: true } ]} />

{/if}