Spaces:
Sleeping
Sleeping
| no.,question,ground truth, | |
| 1,Kỹ thuật Supervised Fine-Tuning (SFT) giúp mô hình học được điều gì ngoài việc biết "trả lời cái gì"?,"SFT còn dạy mô hình ""trả lời như thế nào"", bao gồm việc trả lời đúng vai trò, đúng cấu trúc và kiểu nội dung bài toán yêu cầu.", | |
| 2,Ba vai trò (role) quen thuộc trong định dạng hội thoại của dữ liệu instruction-tuned là gì?,"Dữ liệu được chuyển sang định dạng hội thoại gồm ba vai trò quen thuộc là system, user và assistant.", | |
| 3,Ý tưởng cốt lõi của phương pháp LoRA là gì?,LoRA giữ nguyên trọng số gốc và chỉ học thêm một phần hiệu chỉnh nhỏ có cấu trúc hạng thấp., | |
| 4,QLoRA khác biệt như thế nào để giúp tiết kiệm bộ nhớ?,QLoRA thiết lập cơ chế lượng tử hóa 4-bit giúp tiết kiệm bộ nhớ., | |
| 5,Dữ liệu pretraining khác với dữ liệu SFT ở điểm nào?,"Dữ liệu pretraining là các văn bản thô chưa được gắn nhãn, trong khi dữ liệu SFT có cấu trúc đầu vào - đầu ra rõ ràng.", | |
| 6,Hai nguồn dữ liệu tổng quát chính được dùng để pretrain GPT-2 tiếng Việt là gì?,Hai nguồn dữ liệu chính là BKAINewsCorpus và Wikipedia tiếng Việt., | |
| 7,Mục tiêu huấn luyện của mô hình decoder-only như GPT-2 trong giai đoạn pretraining là gì?,Mục tiêu cốt lõi là dự đoán token tiếp theo dựa trên các token đứng trước đó., | |
| 8,Tại sao corpus Wikipedia lại được upsampling lặp lại 3 lần so với BKAINews?,"Để điều chỉnh tỉ lệ gradient, giúp mô hình thấy nhiều ví dụ Wikipedia hơn trong mỗi update step và học nhiều hơn từ nguồn dữ liệu có mật độ tri thức cao.", | |
| 9,"Theo quy tắc Chinchilla, kiến trúc GPT-2 small cần khoảng bao nhiêu token để huấn luyện đủ?",Kiến trúc này cần xấp xỉ 2.34 tỷ (2.34B) token., | |
| 10,Mô hình Generative Pre-trained Transformer (GPT) sử dụng kiến trúc nào?,GPT tiên phong sử dụng kiến trúc decoder-only Transformer và hoàn toàn loại bỏ phần encoder., | |
| 11,Tập dữ liệu BooksCorpus dùng huấn luyện GPT chứa bao nhiêu mẫu?,Tập dữ liệu BooksCorpus chứa hơn 74 triệu mẫu với kích thước xấp xỉ 4.61GB., | |
| 12,Fine-tuning trong quá trình phát triển LLM được định nghĩa như thế nào?,"Là giai đoạn huấn luyện tiếp theo sau pre-training, sử dụng tập dữ liệu nhỏ có dán nhãn để cập nhật trọng số, giúp mô hình giải quyết tốt một tác vụ cụ thể.", | |
| 13,Language Model (Mô hình ngôn ngữ) thực chất là gì?,"Là thuật toán ước lượng phân phối xác suất của một chuỗi từ ngữ, thực hiện nhiệm vụ dự đoán từ tiếp theo có khả năng xuất hiện cao nhất.", | |
| 14,Việc mở rộng quy mô (scale) LLM tập trung vào hai yếu tố chính nào?,"Việc mở rộng quy mô này tập trung vào mở rộng về số lượng dữ liệu và mở rộng về số lượng tham số mô hình,.", | |
| 15,Hai nhãn (category) dùng để phân loại tin nhắn rác là gì?,Hai nhãn được sử dụng là Ham (tin nhắn bình thường) và Spam (tin nhắn rác)., | |
| 16,Thư viện FAISS có công dụng gì trong hệ thống vector database?,FAISS hỗ trợ việc tìm kiếm tương đồng và phân cụm các vector với tốc độ và độ chính xác cao., | |
| 17,Tham số stratify=y trong hàm train_test_split có ý nghĩa gì?,"Tham số này đảm bảo tỉ lệ spam/ham trong hai tập huấn luyện và kiểm thử là tương đương nhau, giúp tránh sai lệch.", | |
| 18,"Khi dùng chỉ mục IndexFlatIP trong FAISS, phép toán nào được dùng để đo độ tương đồng?",Chỉ mục này sử dụng phép toán Tích Vô hướng (Inner Product) để đo độ tương đồng., | |
| 19,Mô hình ngôn ngữ nào được dùng để tạo sentence embeddings phân loại spam?,Mô hình intfloat/multilingual-e5-base từ Hugging Face được sử dụng để tạo vector đại diện ngữ nghĩa., | |
| 20,Nhược điểm của SFT khi đối mặt với câu hỏi thực tế là gì?,Không gian câu hỏi của người dùng là vô hạn nên dữ liệu SFT không thể bao phủ hết mọi tình huống., | |
| 21,Alignment trong LLM là quá trình gì?,"Alignment là quá trình làm cho hành vi của một mô hình ngôn ngữ lớn phù hợp với ý định, giá trị và kỳ vọng của con người.", | |
| 22,Ba tiêu chí cốt lõi (3H) của một LLM đã được aligned là gì?,"Ba tiêu chí đó là helpful (hữu ích), harmless (vô hại) và honest (trung thực).", | |
| 23,Dữ liệu ưu tiên (preference data) cung cấp thông tin gì cho mô hình?,Dữ liệu ưu tiên cho mô hình thấy giữa hai câu trả lời thì câu trả lời A tốt hơn câu trả lời B thay vì chỉ cho xem câu trả lời đúng., | |
| 24,Reward Model đóng vai trò gì trong huấn luyện RLHF?,"Reward model xuất ra một điểm số vô hướng thể hiện mức độ phù hợp với sở thích của con người, đóng vai trò như một đại diện cho đánh giá của con người,.", | |
| 25,Quá trình RLHF bao gồm 3 giai đoạn nào?,"RLHF bao gồm ba giai đoạn: Supervised Fine-tuning (SFT), huấn luyện reward model và tinh chỉnh bằng Reinforcement Learning (RL),.", | |
| 26,Hiện tượng Sycophancy (xu nịnh) ở LLM là gì?,"Là hiện tượng mô hình không sửa lại thông tin sai của người dùng mà còn đồng tình và bổ sung thêm thông tin sai lệch,.", | |
| 27,Lợi ích của việc yêu cầu con người so sánh cặp câu trả lời thay vì chấm điểm là gì?,Việc con người chọn câu nào tốt hơn đơn giản và dễ hơn rất nhiều so với việc cho điểm chính xác cho từng câu., | |
| 28,Reward Hacking là hiện tượng như thế nào?,Là hiện tượng mô hình tìm cách tối ưu hóa chỉ số đo lường mà không thực sự cải thiện chất lượng câu trả lời., | |
| 29,Phương pháp Direct Preference Optimization (DPO) khác gì RLHF?,DPO là phương pháp alignment tối ưu trực tiếp từ dữ liệu ưu tiên mà không cần huấn luyện mô hình phần thưởng riêng biệt., | |
| 30,LLM Reasoning đòi hỏi mô hình phải làm gì khác so với sinh văn bản thông thường?,Nó đòi hỏi mô hình suy nghĩ từng bước để đưa ra lời giải chính xác và giải thích chi tiết quá trình tư duy., | |
| 31,Thuật toán học tăng cường nào được dùng để huấn luyện suy luận cho Llama 3.2?,Thuật toán Group Relative Policy Optimization (GRPO) được sử dụng để tăng cường khả năng suy luận., | |
| 32,"Trong định dạng prompt reasoning, chuỗi suy nghĩ được đặt giữa các thẻ nào?",Chuỗi suy nghĩ được đặt giữa hai thẻ <thinking> và </thinking>., | |
| 33,Đáp án cuối cùng trong bài toán reasoning được đặt ở đâu?,Phần đáp án cuối cùng được đặt giữa hai thẻ <answer> và </answer>., | |
| 34,Dataset nào được dùng để cải thiện năng lực giải toán tiếng Việt?,"Bộ dữ liệu MetaMathQA-40K phiên bản tiếng Việt được sử dụng cho mục đích này,.", | |
| 35,Thuật toán GRPO hoạt động dựa trên cơ chế nào?,GRPO giúp tối ưu hóa mô hình bằng cách so sánh kết quả của một nhóm các mẫu thử thay vì sử dụng một mô hình Critic riêng biệt., | |
| 36,Kỹ thuật Chain-of-Thought (CoT) mang lại lợi ích gì?,CoT yêu cầu mô hình liệt kê các bước lập luận logic từng bước một để giải quyết vấn đề phức tạp thay vì chỉ đưa ra đáp án cuối cùng., | |
| 37,Hệ thống End-to-end Question Answering bao gồm hai module chính nào?,Một hệ thống tự động bao gồm hai module chính là Document Retriever và Document Reader., | |
| 38,Nhiệm vụ của thành phần Retriever là gì?,Retriever có nhiệm vụ truy vấn và tìm kiếm các tài liệu có liên quan đến câu hỏi có trong cơ sở dữ liệu., | |
| 39,Tập dataset chính để huấn luyện đọc hiểu E2E QA trong bài là gì?,Bộ dữ liệu Stanford Question Answering Dataset (SQuAD 2.0) được sử dụng để huấn luyện hệ thống., | |
| 40,Số lượng bài báo (articles) trong tập Train của SQuAD 2.0 là bao nhiêu?,Tập huấn luyện có chứa thông tin từ tổng cộng 442 bài báo., | |
| 41,Mô hình pre-trained nào được dùng làm Reader để trích xuất câu trả lời?,"Mô hình DistilBERT, cụ thể là distilbert-base-uncased, được dùng làm Reader.", | |
| 42,"Khi tạo vector đại diện cho câu hỏi bằng BERT, vector của token nào được lấy?","Vector hidden state từ token [CLS] trong kết quả output của mô hình được sử dụng làm đại diện,.", | |
| 43,Metric nào được dùng để đánh giá performance của mô hình QA?,Metric squad_v2 từ thư viện evaluate được dùng để đánh giá mô hình., | |
| 44,Lợi ích của vector database so với CSDL truyền thống là gì?,"Vector database chuyển đổi dữ liệu thành các biểu diễn Embeddings, cho phép truy xuất dựa trên độ tương đồng ngữ nghĩa thay vì khớp từ khóa.", | |
| 45,Kỹ thuật Quantization trong FAISS có tác dụng gì?,"Kỹ thuật Quantization được sử dụng để nén các vector đa chiều, qua đó giảm thiểu đáng kể dung lượng bộ nhớ khi lưu trữ.", | |
| 46,"Trong đoạn mã FAISS, biến TOP_K có ý nghĩa gì?","Biến TOP_K đại diện cho số lượng kết quả (hàng xóm gần nhất) được trả về trong quá trình tìm kiếm,.", | |
| 47,Lớp Trainer trong HuggingFace giúp ích gì cho quá trình huấn luyện?,"Nó sẽ tự động định nghĩa hàm train, đưa input vào model, tính toán loss và update gradient mà không cần phải tự lập trình thủ công.", | |
| 48,Mục đích của việc thêm tiền tố "passage: " khi tạo embedding là gì?,Thêm tiền tố giúp cải thiện chất lượng embedding cho mô hình E5 khi mã hóa các văn bản., | |
| 49,Tổng số tham số trainable mới được thêm vào từ LoRA với rank r=16 cho ma trận 2048×2048 là bao nhiêu?,"Tổng số tham số LoRA trainable mới được thêm vào cho mỗi module là 65,536,.", | |
| 50,Kiến trúc Transformer giúp mô hình giải quyết bài toán QA tốt hơn các kiến trúc cũ nhờ cơ chế nào?,"Transformer nắm bắt hiệu quả hơn các phụ thuộc xa (long-range dependencies) thông qua cơ chế self-attention,.", | |