{ "evaluation": "answer_eval_offline", "config_path": "configs\\answer_generation.yaml", "cases_path": "data\\eval\\structured_eval_cases.json", "llm_provider": "offline_mock", "summary": { "total_cases": 86, "pass_rate": 0.4419, "passed_cases": 38, "failed_cases": 48, "status_accuracy": 1.0, "deterministic_exactness": 0.8333, "citation_count_accuracy": 1.0, "citation_type_accuracy": 0.9545, "citation_page_accuracy": null, "citation_metadata_accuracy": 0.3636, "source_section_accuracy": 0.0, "intent_accuracy": 1.0, "strategy_accuracy": 1.0, "structured_item_count_accuracy": 0.6364, "eval_type_breakdown": { "structured": { "total_cases": 86, "pass_rate": 0.4419, "passed_cases": 38, "failed_cases": 48, "status_accuracy": 1.0, "deterministic_exactness": 0.8333, "citation_count_accuracy": 1.0, "citation_type_accuracy": 0.9545, "citation_page_accuracy": null, "citation_metadata_accuracy": 0.3636, "source_section_accuracy": 0.0, "intent_accuracy": 1.0, "strategy_accuracy": 1.0, "structured_item_count_accuracy": 0.6364 } }, "content_type_breakdown": { "form_templates": { "total_cases": 2, "pass_rate": 0.0, "passed_cases": 0, "failed_cases": 2, "status_accuracy": 1.0, "deterministic_exactness": 1.0, "citation_count_accuracy": 1.0, "citation_type_accuracy": 1.0, "citation_page_accuracy": null, "citation_metadata_accuracy": 1.0, "source_section_accuracy": 0.0, "intent_accuracy": null, "strategy_accuracy": null, "structured_item_count_accuracy": null }, "formula_rules": { "total_cases": 5, "pass_rate": 1.0, "passed_cases": 5, "failed_cases": 0, "status_accuracy": 1.0, "deterministic_exactness": 1.0, "citation_count_accuracy": 1.0, "citation_type_accuracy": null, "citation_page_accuracy": null, "citation_metadata_accuracy": null, "source_section_accuracy": null, "intent_accuracy": 1.0, "strategy_accuracy": 1.0, "structured_item_count_accuracy": null }, "guardrail": { "total_cases": 15, "pass_rate": 1.0, "passed_cases": 15, "failed_cases": 0, "status_accuracy": 1.0, "deterministic_exactness": 1.0, "citation_count_accuracy": 1.0, "citation_type_accuracy": null, "citation_page_accuracy": null, "citation_metadata_accuracy": null, "source_section_accuracy": null, "intent_accuracy": null, "strategy_accuracy": null, "structured_item_count_accuracy": null }, "program_directory": { "total_cases": 37, "pass_rate": 0.2973, "passed_cases": 11, "failed_cases": 26, "status_accuracy": 1.0, "deterministic_exactness": 0.5833, "citation_count_accuracy": 1.0, "citation_type_accuracy": 0.9167, "citation_page_accuracy": null, "citation_metadata_accuracy": 0.0, "source_section_accuracy": 0.0, "intent_accuracy": 1.0, "strategy_accuracy": 1.0, "structured_item_count_accuracy": 0.6364 }, "scoring_tables": { "total_cases": 17, "pass_rate": 0.1176, "passed_cases": 2, "failed_cases": 15, "status_accuracy": 1.0, "deterministic_exactness": 1.0, "citation_count_accuracy": 1.0, "citation_type_accuracy": 1.0, "citation_page_accuracy": null, "citation_metadata_accuracy": 0.8667, "source_section_accuracy": 0.0, "intent_accuracy": 1.0, "strategy_accuracy": 1.0, "structured_item_count_accuracy": null }, "threshold_rules": { "total_cases": 10, "pass_rate": 0.5, "passed_cases": 5, "failed_cases": 5, "status_accuracy": 1.0, "deterministic_exactness": 0.3333, "citation_count_accuracy": 1.0, "citation_type_accuracy": 1.0, "citation_page_accuracy": null, "citation_metadata_accuracy": 0.3333, "source_section_accuracy": 0.0, "intent_accuracy": 1.0, "strategy_accuracy": 1.0, "structured_item_count_accuracy": null } }, "cohort_breakdown": { "K48-K49": { "total_cases": 9, "pass_rate": 0.2222, "passed_cases": 2, "failed_cases": 7, "status_accuracy": 1.0, "deterministic_exactness": 1.0, "citation_count_accuracy": 1.0, "citation_type_accuracy": 1.0, "citation_page_accuracy": null, "citation_metadata_accuracy": 0.4286, "source_section_accuracy": 0.0, "intent_accuracy": 1.0, "strategy_accuracy": 1.0, "structured_item_count_accuracy": 1.0 }, "K50": { "total_cases": 16, "pass_rate": 0.25, "passed_cases": 4, "failed_cases": 12, "status_accuracy": 1.0, "deterministic_exactness": 0.25, "citation_count_accuracy": 1.0, "citation_type_accuracy": 1.0, "citation_page_accuracy": null, "citation_metadata_accuracy": 0.0, "source_section_accuracy": 0.0, "intent_accuracy": 1.0, "strategy_accuracy": 1.0, "structured_item_count_accuracy": 0.25 }, "K51": { "total_cases": 16, "pass_rate": 0.25, "passed_cases": 4, "failed_cases": 12, "status_accuracy": 1.0, "deterministic_exactness": 0.625, "citation_count_accuracy": 1.0, "citation_type_accuracy": 1.0, "citation_page_accuracy": null, "citation_metadata_accuracy": 0.0, "source_section_accuracy": 0.0, "intent_accuracy": 1.0, "strategy_accuracy": 1.0, "structured_item_count_accuracy": 0.75 }, "general": { "total_cases": 45, "pass_rate": 0.6222, "passed_cases": 28, "failed_cases": 17, "status_accuracy": 1.0, "deterministic_exactness": 1.0, "citation_count_accuracy": 1.0, "citation_type_accuracy": 0.8667, "citation_page_accuracy": null, "citation_metadata_accuracy": 0.8667, "source_section_accuracy": 0.0, "intent_accuracy": 1.0, "strategy_accuracy": 1.0, "structured_item_count_accuracy": null } } }, "cases": [ { "id": "det_score_001", "category": "deterministic_exactness", "eval_type": "structured", "content_type": "scoring_tables", "cohort": "general", "query": "Điểm rèn luyện 92 là loại gì?", "passed": false, "checks": { "intent_match": null, "strategy_match": null, "status_match": true, "llm_called_match": true, "lookup_type_match": true, "tool_name_match": null, "answer_contains_match": true, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": null, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": true, "citation_page_match": null, "citation_metadata_match": true, "no_context_leak": true, "source_section_match": false }, "actual_status": "answered", "actual_intent": "score_lookup_query", "actual_strategy": "structured_lookup", "actual_lookup_type": "conduct_classification", "actual_tool_name": null, "actual_llm_called": false, "citations_used": [ { "chunk_type": "structured_lookup", "title": "Phân loại kết quả rèn luyện", "source_pages": [ 74 ], "source_label": "Bảng quy định được trích xuất", "source_url": null, "cohort": "K48-K49", "document_id": "so_tay_sinh_vien_khoa_48_49", "source_section": "scoring_table", "applicability": null, "content": "Dữ liệu được trích xuất trực tiếp từ cơ sở dữ liệu bảng quy chế trong Sổ tay Sinh viên HCMUE." } ], "answer_preview": "Tra theo Phân loại kết quả rèn luyện, giá trị 92.0 được xếp loại: Xuất sắc (khoảng 90-100)." }, { "id": "det_score_002", "category": "deterministic_exactness", "eval_type": "structured", "content_type": "scoring_tables", "cohort": "general", "query": "GPA 2.95 được xếp loại học lực gì?", "passed": false, "checks": { "intent_match": null, "strategy_match": null, "status_match": true, "llm_called_match": true, "lookup_type_match": true, "tool_name_match": null, "answer_contains_match": true, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": null, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": true, "citation_page_match": null, "citation_metadata_match": true, "no_context_leak": true, "source_section_match": false }, "actual_status": "answered", "actual_intent": "score_lookup_query", "actual_strategy": "structured_lookup", "actual_lookup_type": "academic_classification", "actual_tool_name": null, "actual_llm_called": false, "citations_used": [ { "chunk_type": "structured_lookup", "title": "Xếp loại học lực theo thang điểm 4", "source_pages": [ 23 ], "source_label": "Bảng quy định được trích xuất", "source_url": null, "cohort": "K48-K49", "document_id": "so_tay_sinh_vien_khoa_48_49", "source_section": "scoring_table", "applicability": null, "content": "Dữ liệu được trích xuất trực tiếp từ cơ sở dữ liệu bảng quy chế trong Sổ tay Sinh viên HCMUE." } ], "answer_preview": "Tra theo Xếp loại học lực theo thang điểm 4, giá trị 2.95 được xếp loại: Khá (khoảng 2.5-dưới 3.2)." }, { "id": "det_score_003", "category": "deterministic_exactness", "eval_type": "structured", "content_type": "scoring_tables", "cohort": "general", "query": "Điểm B+ quy đổi sang hệ 4 bao nhiêu?", "passed": false, "checks": { "intent_match": null, "strategy_match": null, "status_match": true, "llm_called_match": true, "lookup_type_match": true, "tool_name_match": null, "answer_contains_match": true, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": null, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": true, "citation_page_match": null, "citation_metadata_match": true, "no_context_leak": true, "source_section_match": false }, "actual_status": "answered", "actual_intent": "score_lookup_query", "actual_strategy": "structured_lookup", "actual_lookup_type": "letter_to_grade_4", "actual_tool_name": null, "actual_llm_called": false, "citations_used": [ { "chunk_type": "structured_lookup", "title": "Quy đổi điểm chữ sang thang điểm 4", "source_pages": [ 22 ], "source_label": "Bảng quy định được trích xuất", "source_url": null, "cohort": "K48-K49", "document_id": "so_tay_sinh_vien_khoa_48_49", "source_section": "scoring_table", "applicability": null, "content": "Dữ liệu được trích xuất trực tiếp từ cơ sở dữ liệu bảng quy chế trong Sổ tay Sinh viên HCMUE." } ], "answer_preview": "Tra theo Quy đổi điểm chữ sang thang điểm 4, điểm chữ B+ tương ứng thang điểm 4 là 3.5." }, { "id": "det_calc_001", "category": "deterministic_exactness", "eval_type": "structured", "content_type": "formula_rules", "cohort": "general", "query": "Tính điểm học bổng nếu GPA 3.2 và rèn luyện 90", "passed": true, "checks": { "intent_match": null, "strategy_match": null, "status_match": true, "llm_called_match": true, "lookup_type_match": null, "tool_name_match": true, "answer_contains_match": true, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": null, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": null, "citation_page_match": null, "citation_metadata_match": null, "no_context_leak": true, "source_section_match": null }, "actual_status": "answered", "actual_intent": "calculation_query", "actual_strategy": "calculator_tool", "actual_lookup_type": null, "actual_tool_name": "calculate_scholarship_score", "actual_llm_called": false, "citations_used": [], "answer_preview": "Kết quả từ calculate_scholarship_score với academic_score_4=3.2, conduct_score_100=90.0: 3.28.\n\nCông thức: (Điểm học tập x 80 + Điểm rèn luyện / 25 x 20) / 100" }, { "id": "guard_amb_001", "category": "guardrail_status", "eval_type": "structured", "content_type": "guardrail", "cohort": "general", "query": "CNTT ở đâu?", "passed": true, "checks": { "intent_match": null, "strategy_match": null, "status_match": true, "llm_called_match": true, "lookup_type_match": null, "tool_name_match": null, "answer_contains_match": true, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": null, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": null, "citation_page_match": null, "citation_metadata_match": null, "no_context_leak": true, "source_section_match": null }, "actual_status": "needs_clarification", "actual_intent": "needs_clarification", "actual_strategy": "none", "actual_lookup_type": null, "actual_tool_name": null, "actual_llm_called": false, "citations_used": [], "answer_preview": "Bạn muốn liên hệ về Khoa Công nghệ Thông tin, Phòng Công nghệ Thông tin, hay ngành Công nghệ Thông tin?" }, { "id": "guard_amb_002", "category": "guardrail_status", "eval_type": "structured", "content_type": "guardrail", "cohort": "general", "query": "Học vụ liên hệ ai?", "passed": true, "checks": { "intent_match": null, "strategy_match": null, "status_match": true, "llm_called_match": true, "lookup_type_match": null, "tool_name_match": null, "answer_contains_match": true, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": null, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": null, "citation_page_match": null, "citation_metadata_match": null, "no_context_leak": true, "source_section_match": null }, "actual_status": "needs_clarification", "actual_intent": "needs_clarification", "actual_strategy": "none", "actual_lookup_type": null, "actual_tool_name": null, "actual_llm_called": false, "citations_used": [], "answer_preview": "Bạn muốn liên hệ về chương trình đào tạo, điểm số, học lại, hay một thủ tục học vụ cụ thể?" }, { "id": "guard_amb_003", "category": "guardrail_status", "eval_type": "structured", "content_type": "guardrail", "cohort": "general", "query": "Giấy tờ sinh viên làm ở đâu?", "passed": true, "checks": { "intent_match": null, "strategy_match": null, "status_match": true, "llm_called_match": true, "lookup_type_match": null, "tool_name_match": null, "answer_contains_match": true, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": null, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": null, "citation_page_match": null, "citation_metadata_match": null, "no_context_leak": true, "source_section_match": null }, "actual_status": "needs_clarification", "actual_intent": "needs_clarification", "actual_strategy": "none", "actual_lookup_type": null, "actual_tool_name": null, "actual_llm_called": false, "citations_used": [], "answer_preview": "Bạn muốn liên hệ về giấy xác nhận sinh viên, biểu mẫu cần nộp, hay phòng ban tiếp nhận hồ sơ?" }, { "id": "guard_ood_001", "category": "guardrail_status", "eval_type": "structured", "content_type": "guardrail", "cohort": "general", "query": "Trường có bán bánh tráng trộn không?", "passed": true, "checks": { "intent_match": null, "strategy_match": null, "status_match": true, "llm_called_match": true, "lookup_type_match": null, "tool_name_match": null, "answer_contains_match": true, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": null, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": null, "citation_page_match": null, "citation_metadata_match": null, "no_context_leak": true, "source_section_match": null }, "actual_status": "out_of_domain", "actual_intent": "out_of_domain", "actual_strategy": "none", "actual_lookup_type": null, "actual_tool_name": null, "actual_llm_called": false, "citations_used": [], "answer_preview": "Câu hỏi này nằm ngoài phạm vi Sổ tay sinh viên nên mình không thể hỗ trợ được. Sổ tay chủ yếu bao gồm các nội dung như: quy chế đào tạo, biểu mẫu, thủ tục hành chính, học bổng, rèn luyện, ký túc xá, thông tin phòng ban và khoa/ngành. Bạn có thể hỏi lại theo một nội dung liên quan đến sổ tay nhé!" }, { "id": "guard_ood_002", "category": "guardrail_status", "eval_type": "structured", "content_type": "guardrail", "cohort": "general", "query": "Làm sao để nấu phở ngon?", "passed": true, "checks": { "intent_match": null, "strategy_match": null, "status_match": true, "llm_called_match": true, "lookup_type_match": null, "tool_name_match": null, "answer_contains_match": true, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": null, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": null, "citation_page_match": null, "citation_metadata_match": null, "no_context_leak": true, "source_section_match": null }, "actual_status": "out_of_domain", "actual_intent": "out_of_domain", "actual_strategy": "none", "actual_lookup_type": null, "actual_tool_name": null, "actual_llm_called": false, "citations_used": [], "answer_preview": "Câu hỏi này nằm ngoài phạm vi Sổ tay sinh viên nên mình không thể hỗ trợ được. Sổ tay chủ yếu bao gồm các nội dung như: quy chế đào tạo, biểu mẫu, thủ tục hành chính, học bổng, rèn luyện, ký túc xá, thông tin phòng ban và khoa/ngành. Bạn có thể hỏi lại theo một nội dung liên quan đến sổ tay nhé!" }, { "id": "cite_faculty_001", "category": "citation_correctness", "eval_type": "structured", "content_type": "program_directory", "cohort": "general", "query": "Khoa Công nghệ thông tin có ngành nào?", "passed": false, "checks": { "intent_match": null, "strategy_match": null, "status_match": true, "llm_called_match": false, "lookup_type_match": null, "tool_name_match": null, "answer_contains_match": null, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": null, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": false, "citation_page_match": null, "citation_metadata_match": false, "no_context_leak": true, "source_section_match": false }, "actual_status": "answered", "actual_intent": "faculty_query", "actual_strategy": "program_lookup", "actual_lookup_type": "program_directory", "actual_tool_name": null, "actual_llm_called": false, "citations_used": [ { "chunk_type": "program_directory", "title": "Danh sach nganh dao tao", "source_pages": [ 178, 179, 185, 186, 190 ], "source_label": "Danh muc nganh dao tao trong So tay sinh vien HCMUE", "source_url": null, "cohort": null, "document_id": null, "source_section": "program_directory", "applicability": null, "content": "Công nghệ Giáo dục; Công nghệ Thông tin; Sư phạm Tin học" } ], "answer_preview": "Khoa Công nghệ Thông tin có các ngành đào tạo (3 ngành):\n\nKhoa Công nghệ Thông tin:\n- Công nghệ Giáo dục (trang 178)\n- Công nghệ Thông tin (trang 178, 179, 185, 186)\n- Sư phạm Tin học (trang 185, 190)" }, { "id": "det_score_004", "category": "deterministic_exactness", "eval_type": "structured", "content_type": "scoring_tables", "cohort": "general", "query": "Điểm rèn luyện 75 là loại gì?", "passed": false, "checks": { "intent_match": null, "strategy_match": null, "status_match": true, "llm_called_match": true, "lookup_type_match": true, "tool_name_match": null, "answer_contains_match": true, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": null, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": true, "citation_page_match": null, "citation_metadata_match": true, "no_context_leak": true, "source_section_match": false }, "actual_status": "answered", "actual_intent": "score_lookup_query", "actual_strategy": "structured_lookup", "actual_lookup_type": "conduct_classification", "actual_tool_name": null, "actual_llm_called": false, "citations_used": [ { "chunk_type": "structured_lookup", "title": "Phân loại kết quả rèn luyện", "source_pages": [ 74 ], "source_label": "Bảng quy định được trích xuất", "source_url": null, "cohort": "K48-K49", "document_id": "so_tay_sinh_vien_khoa_48_49", "source_section": "scoring_table", "applicability": null, "content": "Dữ liệu được trích xuất trực tiếp từ cơ sở dữ liệu bảng quy chế trong Sổ tay Sinh viên HCMUE." } ], "answer_preview": "Tra theo Phân loại kết quả rèn luyện, giá trị 75.0 được xếp loại: Khá (khoảng 65-dưới 80)." }, { "id": "det_score_005", "category": "deterministic_exactness", "eval_type": "structured", "content_type": "scoring_tables", "cohort": "general", "query": "GPA 3.4 là loại học lực gì?", "passed": false, "checks": { "intent_match": null, "strategy_match": null, "status_match": true, "llm_called_match": true, "lookup_type_match": true, "tool_name_match": null, "answer_contains_match": true, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": null, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": true, "citation_page_match": null, "citation_metadata_match": true, "no_context_leak": true, "source_section_match": false }, "actual_status": "answered", "actual_intent": "score_lookup_query", "actual_strategy": "structured_lookup", "actual_lookup_type": "academic_classification", "actual_tool_name": null, "actual_llm_called": false, "citations_used": [ { "chunk_type": "structured_lookup", "title": "Xếp loại học lực theo thang điểm 4", "source_pages": [ 23 ], "source_label": "Bảng quy định được trích xuất", "source_url": null, "cohort": "K48-K49", "document_id": "so_tay_sinh_vien_khoa_48_49", "source_section": "scoring_table", "applicability": null, "content": "Dữ liệu được trích xuất trực tiếp từ cơ sở dữ liệu bảng quy chế trong Sổ tay Sinh viên HCMUE." } ], "answer_preview": "Tra theo Xếp loại học lực theo thang điểm 4, giá trị 3.4 được xếp loại: Giỏi (khoảng 3.2-dưới 3.6)." }, { "id": "det_score_006", "category": "deterministic_exactness", "eval_type": "structured", "content_type": "scoring_tables", "cohort": "general", "query": "Điểm C+ quy đổi sang thang 4 là bao nhiêu?", "passed": false, "checks": { "intent_match": null, "strategy_match": null, "status_match": true, "llm_called_match": true, "lookup_type_match": true, "tool_name_match": null, "answer_contains_match": true, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": null, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": true, "citation_page_match": null, "citation_metadata_match": true, "no_context_leak": true, "source_section_match": false }, "actual_status": "answered", "actual_intent": "score_lookup_query", "actual_strategy": "structured_lookup", "actual_lookup_type": "letter_to_grade_4", "actual_tool_name": null, "actual_llm_called": false, "citations_used": [ { "chunk_type": "structured_lookup", "title": "Quy đổi điểm chữ sang thang điểm 4", "source_pages": [ 22 ], "source_label": "Bảng quy định được trích xuất", "source_url": null, "cohort": "K48-K49", "document_id": "so_tay_sinh_vien_khoa_48_49", "source_section": "scoring_table", "applicability": null, "content": "Dữ liệu được trích xuất trực tiếp từ cơ sở dữ liệu bảng quy chế trong Sổ tay Sinh viên HCMUE." } ], "answer_preview": "Tra theo Quy đổi điểm chữ sang thang điểm 4, điểm chữ C+ tương ứng thang điểm 4 là 2.5." }, { "id": "det_calc_002", "category": "deterministic_exactness", "eval_type": "structured", "content_type": "formula_rules", "cohort": "general", "query": "Tính điểm học bổng nếu GPA 3.6 và rèn luyện 95", "passed": true, "checks": { "intent_match": null, "strategy_match": null, "status_match": true, "llm_called_match": true, "lookup_type_match": null, "tool_name_match": true, "answer_contains_match": true, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": null, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": null, "citation_page_match": null, "citation_metadata_match": null, "no_context_leak": true, "source_section_match": null }, "actual_status": "answered", "actual_intent": "calculation_query", "actual_strategy": "calculator_tool", "actual_lookup_type": null, "actual_tool_name": "calculate_scholarship_score", "actual_llm_called": false, "citations_used": [], "answer_preview": "Kết quả từ calculate_scholarship_score với academic_score_4=3.6, conduct_score_100=95.0: 3.64.\n\nCông thức: (Điểm học tập x 80 + Điểm rèn luyện / 25 x 20) / 100" }, { "id": "cite_faculty_002", "category": "citation_correctness", "eval_type": "structured", "content_type": "program_directory", "cohort": "general", "query": "Khoa Hóa học đào tạo những ngành nào?", "passed": false, "checks": { "intent_match": null, "strategy_match": null, "status_match": true, "llm_called_match": false, "lookup_type_match": null, "tool_name_match": null, "answer_contains_match": null, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": null, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": false, "citation_page_match": null, "citation_metadata_match": false, "no_context_leak": true, "source_section_match": false }, "actual_status": "answered", "actual_intent": "faculty_query", "actual_strategy": "program_lookup", "actual_lookup_type": "program_directory", "actual_tool_name": null, "actual_llm_called": false, "citations_used": [ { "chunk_type": "program_directory", "title": "Danh sach nganh dao tao", "source_pages": [ 182, 183, 187, 188 ], "source_label": "Danh muc nganh dao tao trong So tay sinh vien HCMUE", "source_url": null, "cohort": null, "document_id": "so_tay_sinh_vien_khoa_48_49", "source_section": "program_directory", "applicability": null, "content": "Hoá học; Sư phạm Hoá học; Sư phạm Khoa học tự nhiên" } ], "answer_preview": "Khoa Hóa học có các ngành đào tạo (3 ngành):\n\nKhoa Hóa học:\n- Hoá học (trang 182, 183, 188)\n- Sư phạm Hoá học (trang 187, 188)\n- Sư phạm Khoa học tự nhiên (trang 188)" }, { "id": "guard_amb_004", "category": "guardrail_status", "eval_type": "structured", "content_type": "guardrail", "cohort": "general", "query": "Học bổng hỏi ai?", "passed": true, "checks": { "intent_match": null, "strategy_match": null, "status_match": true, "llm_called_match": true, "lookup_type_match": null, "tool_name_match": null, "answer_contains_match": true, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": null, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": null, "citation_page_match": null, "citation_metadata_match": null, "no_context_leak": true, "source_section_match": null }, "actual_status": "needs_clarification", "actual_intent": "needs_clarification", "actual_strategy": "none", "actual_lookup_type": null, "actual_tool_name": null, "actual_llm_called": false, "citations_used": [], "answer_preview": "Bạn muốn liên hệ về điều kiện học bổng, kết quả xét học bổng, hay phòng ban phụ trách học bổng?" }, { "id": "guard_ood_003", "category": "guardrail_status", "eval_type": "structured", "content_type": "guardrail", "cohort": "general", "query": "Thời tiết hôm nay ở TP.HCM thế nào?", "passed": true, "checks": { "intent_match": null, "strategy_match": null, "status_match": true, "llm_called_match": true, "lookup_type_match": null, "tool_name_match": null, "answer_contains_match": true, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": null, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": null, "citation_page_match": null, "citation_metadata_match": null, "no_context_leak": true, "source_section_match": null }, "actual_status": "out_of_domain", "actual_intent": "out_of_domain", "actual_strategy": "none", "actual_lookup_type": null, "actual_tool_name": null, "actual_llm_called": false, "citations_used": [], "answer_preview": "Câu hỏi này nằm ngoài phạm vi Sổ tay sinh viên nên mình không thể hỗ trợ được. Sổ tay chủ yếu bao gồm các nội dung như: quy chế đào tạo, biểu mẫu, thủ tục hành chính, học bổng, rèn luyện, ký túc xá, thông tin phòng ban và khoa/ngành. Bạn có thể hỏi lại theo một nội dung liên quan đến sổ tay nhé!" }, { "id": "det_calc_002_aug_0", "category": "deterministic_exactness", "eval_type": "structured", "content_type": "formula_rules", "cohort": "general", "query": "Tính điểm học bổng nếu GPA 3.6 và rèn luyện 95 cụ thể là sao ạ?", "passed": true, "checks": { "intent_match": null, "strategy_match": null, "status_match": true, "llm_called_match": true, "lookup_type_match": null, "tool_name_match": true, "answer_contains_match": true, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": null, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": null, "citation_page_match": null, "citation_metadata_match": null, "no_context_leak": true, "source_section_match": null }, "actual_status": "answered", "actual_intent": "calculation_query", "actual_strategy": "calculator_tool", "actual_lookup_type": null, "actual_tool_name": "calculate_scholarship_score", "actual_llm_called": false, "citations_used": [], "answer_preview": "Kết quả từ calculate_scholarship_score với academic_score_4=3.6, conduct_score_100=95.0: 3.64.\n\nCông thức: (Điểm học tập x 80 + Điểm rèn luyện / 25 x 20) / 100" }, { "id": "det_score_006_aug_1", "category": "deterministic_exactness", "eval_type": "structured", "content_type": "scoring_tables", "cohort": "general", "query": "Điểm C+ quy đổi sang thang 4 là bao nhiêu? cụ thể là sao ạ?", "passed": false, "checks": { "intent_match": null, "strategy_match": null, "status_match": true, "llm_called_match": true, "lookup_type_match": true, "tool_name_match": null, "answer_contains_match": true, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": null, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": true, "citation_page_match": null, "citation_metadata_match": true, "no_context_leak": true, "source_section_match": false }, "actual_status": "answered", "actual_intent": "score_lookup_query", "actual_strategy": "structured_lookup", "actual_lookup_type": "letter_to_grade_4", "actual_tool_name": null, "actual_llm_called": false, "citations_used": [ { "chunk_type": "structured_lookup", "title": "Quy đổi điểm chữ sang thang điểm 4", "source_pages": [ 22 ], "source_label": "Bảng quy định được trích xuất", "source_url": null, "cohort": "K48-K49", "document_id": "so_tay_sinh_vien_khoa_48_49", "source_section": "scoring_table", "applicability": null, "content": "Dữ liệu được trích xuất trực tiếp từ cơ sở dữ liệu bảng quy chế trong Sổ tay Sinh viên HCMUE." } ], "answer_preview": "Tra theo Quy đổi điểm chữ sang thang điểm 4, điểm chữ C+ tương ứng thang điểm 4 là 2.5." }, { "id": "guard_amb_004_aug_3", "category": "guardrail_status", "eval_type": "structured", "content_type": "guardrail", "cohort": "general", "query": "Học bổng hỏi ai? hả phòng đào tạo?", "passed": true, "checks": { "intent_match": null, "strategy_match": null, "status_match": true, "llm_called_match": true, "lookup_type_match": null, "tool_name_match": null, "answer_contains_match": true, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": null, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": null, "citation_page_match": null, "citation_metadata_match": null, "no_context_leak": true, "source_section_match": null }, "actual_status": "needs_clarification", "actual_intent": "needs_clarification", "actual_strategy": "none", "actual_lookup_type": null, "actual_tool_name": null, "actual_llm_called": false, "citations_used": [], "answer_preview": "Bạn muốn liên hệ về điều kiện học bổng, kết quả xét học bổng, hay phòng ban phụ trách học bổng?" }, { "id": "det_score_003_aug_6", "category": "deterministic_exactness", "eval_type": "structured", "content_type": "scoring_tables", "cohort": "general", "query": "Điểm B+ quy đổi sang hệ 4 bao nhiêu? hả phòng đào tạo?", "passed": false, "checks": { "intent_match": null, "strategy_match": null, "status_match": true, "llm_called_match": true, "lookup_type_match": true, "tool_name_match": null, "answer_contains_match": true, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": null, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": true, "citation_page_match": null, "citation_metadata_match": true, "no_context_leak": true, "source_section_match": false }, "actual_status": "answered", "actual_intent": "score_lookup_query", "actual_strategy": "structured_lookup", "actual_lookup_type": "letter_to_grade_4", "actual_tool_name": null, "actual_llm_called": false, "citations_used": [ { "chunk_type": "structured_lookup", "title": "Quy đổi điểm chữ sang thang điểm 4", "source_pages": [ 22 ], "source_label": "Bảng quy định được trích xuất", "source_url": null, "cohort": "K48-K49", "document_id": "so_tay_sinh_vien_khoa_48_49", "source_section": "scoring_table", "applicability": null, "content": "Dữ liệu được trích xuất trực tiếp từ cơ sở dữ liệu bảng quy chế trong Sổ tay Sinh viên HCMUE." } ], "answer_preview": "Tra theo Quy đổi điểm chữ sang thang điểm 4, điểm chữ B+ tương ứng thang điểm 4 là 3.5." }, { "id": "det_score_001_aug_8", "category": "deterministic_exactness", "eval_type": "structured", "content_type": "scoring_tables", "cohort": "general", "query": "điểm đánh giá rèn luyện 92 là loại gì?", "passed": false, "checks": { "intent_match": null, "strategy_match": null, "status_match": true, "llm_called_match": true, "lookup_type_match": true, "tool_name_match": null, "answer_contains_match": true, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": null, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": true, "citation_page_match": null, "citation_metadata_match": true, "no_context_leak": true, "source_section_match": false }, "actual_status": "answered", "actual_intent": "score_lookup_query", "actual_strategy": "structured_lookup", "actual_lookup_type": "conduct_classification", "actual_tool_name": null, "actual_llm_called": false, "citations_used": [ { "chunk_type": "structured_lookup", "title": "Phân loại kết quả rèn luyện", "source_pages": [ 74 ], "source_label": "Bảng quy định được trích xuất", "source_url": null, "cohort": "K48-K49", "document_id": "so_tay_sinh_vien_khoa_48_49", "source_section": "scoring_table", "applicability": null, "content": "Dữ liệu được trích xuất trực tiếp từ cơ sở dữ liệu bảng quy chế trong Sổ tay Sinh viên HCMUE." } ], "answer_preview": "Tra theo Phân loại kết quả rèn luyện, giá trị 92.0 được xếp loại: Xuất sắc (khoảng 90-100)." }, { "id": "guard_amb_003_aug_9", "category": "guardrail_status", "eval_type": "structured", "content_type": "guardrail", "cohort": "general", "query": "Giấy tờ người học làm ở đâu?", "passed": true, "checks": { "intent_match": null, "strategy_match": null, "status_match": true, "llm_called_match": true, "lookup_type_match": null, "tool_name_match": null, "answer_contains_match": true, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": null, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": null, "citation_page_match": null, "citation_metadata_match": null, "no_context_leak": true, "source_section_match": null }, "actual_status": "needs_clarification", "actual_intent": "needs_clarification", "actual_strategy": "none", "actual_lookup_type": null, "actual_tool_name": null, "actual_llm_called": false, "citations_used": [], "answer_preview": "Bạn muốn liên hệ về giấy xác nhận sinh viên, biểu mẫu cần nộp, hay phòng ban tiếp nhận hồ sơ?" }, { "id": "guard_amb_001_aug_12", "category": "guardrail_status", "eval_type": "structured", "content_type": "guardrail", "cohort": "general", "query": "CNTT ở đâu? cụ thể là sao ạ?", "passed": true, "checks": { "intent_match": null, "strategy_match": null, "status_match": true, "llm_called_match": true, "lookup_type_match": null, "tool_name_match": null, "answer_contains_match": true, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": null, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": null, "citation_page_match": null, "citation_metadata_match": null, "no_context_leak": true, "source_section_match": null }, "actual_status": "needs_clarification", "actual_intent": "needs_clarification", "actual_strategy": "none", "actual_lookup_type": null, "actual_tool_name": null, "actual_llm_called": false, "citations_used": [], "answer_preview": "Bạn muốn liên hệ về Khoa Công nghệ Thông tin, Phòng Công nghệ Thông tin, hay ngành Công nghệ Thông tin?" }, { "id": "guard_ood_003_aug_13", "category": "guardrail_status", "eval_type": "structured", "content_type": "guardrail", "cohort": "general", "query": "Thời tiết hôm nay ở TP.HCM thế nào? hả phòng đào tạo?", "passed": true, "checks": { "intent_match": null, "strategy_match": null, "status_match": true, "llm_called_match": true, "lookup_type_match": null, "tool_name_match": null, "answer_contains_match": true, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": null, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": null, "citation_page_match": null, "citation_metadata_match": null, "no_context_leak": true, "source_section_match": null }, "actual_status": "out_of_domain", "actual_intent": "out_of_domain", "actual_strategy": "none", "actual_lookup_type": null, "actual_tool_name": null, "actual_llm_called": false, "citations_used": [], "answer_preview": "Câu hỏi này nằm ngoài phạm vi Sổ tay sinh viên nên mình không thể hỗ trợ được. Sổ tay chủ yếu bao gồm các nội dung như: quy chế đào tạo, biểu mẫu, thủ tục hành chính, học bổng, rèn luyện, ký túc xá, thông tin phòng ban và khoa/ngành. Bạn có thể hỏi lại theo một nội dung liên quan đến sổ tay nhé!" }, { "id": "det_score_003_aug_14", "category": "deterministic_exactness", "eval_type": "structured", "content_type": "scoring_tables", "cohort": "general", "query": "Điểm B+ quy đổi sang hệ 4 bao nhiêu? tư vấn giúp mình nhé!", "passed": false, "checks": { "intent_match": null, "strategy_match": null, "status_match": true, "llm_called_match": true, "lookup_type_match": true, "tool_name_match": null, "answer_contains_match": true, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": null, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": true, "citation_page_match": null, "citation_metadata_match": true, "no_context_leak": true, "source_section_match": false }, "actual_status": "answered", "actual_intent": "score_lookup_query", "actual_strategy": "structured_lookup", "actual_lookup_type": "letter_to_grade_4", "actual_tool_name": null, "actual_llm_called": false, "citations_used": [ { "chunk_type": "structured_lookup", "title": "Quy đổi điểm chữ sang thang điểm 4", "source_pages": [ 22 ], "source_label": "Bảng quy định được trích xuất", "source_url": null, "cohort": "K48-K49", "document_id": "so_tay_sinh_vien_khoa_48_49", "source_section": "scoring_table", "applicability": null, "content": "Dữ liệu được trích xuất trực tiếp từ cơ sở dữ liệu bảng quy chế trong Sổ tay Sinh viên HCMUE." } ], "answer_preview": "Tra theo Quy đổi điểm chữ sang thang điểm 4, điểm chữ B+ tương ứng thang điểm 4 là 3.5." }, { "id": "det_score_002_aug_15", "category": "deterministic_exactness", "eval_type": "structured", "content_type": "scoring_tables", "cohort": "general", "query": "GPA 2.95 được xếp loại học lực gì? tư vấn giúp mình nhé!", "passed": false, "checks": { "intent_match": null, "strategy_match": null, "status_match": true, "llm_called_match": true, "lookup_type_match": true, "tool_name_match": null, "answer_contains_match": true, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": null, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": true, "citation_page_match": null, "citation_metadata_match": true, "no_context_leak": true, "source_section_match": false }, "actual_status": "answered", "actual_intent": "score_lookup_query", "actual_strategy": "structured_lookup", "actual_lookup_type": "academic_classification", "actual_tool_name": null, "actual_llm_called": false, "citations_used": [ { "chunk_type": "structured_lookup", "title": "Xếp loại học lực theo thang điểm 4", "source_pages": [ 23 ], "source_label": "Bảng quy định được trích xuất", "source_url": null, "cohort": "K48-K49", "document_id": "so_tay_sinh_vien_khoa_48_49", "source_section": "scoring_table", "applicability": null, "content": "Dữ liệu được trích xuất trực tiếp từ cơ sở dữ liệu bảng quy chế trong Sổ tay Sinh viên HCMUE." } ], "answer_preview": "Tra theo Xếp loại học lực theo thang điểm 4, giá trị 2.95 được xếp loại: Khá (khoảng 2.5-dưới 3.2)." }, { "id": "guard_amb_001_aug_16", "category": "guardrail_status", "eval_type": "structured", "content_type": "guardrail", "cohort": "general", "query": "CNTT ở đâu? hả phòng đào tạo?", "passed": true, "checks": { "intent_match": null, "strategy_match": null, "status_match": true, "llm_called_match": true, "lookup_type_match": null, "tool_name_match": null, "answer_contains_match": true, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": null, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": null, "citation_page_match": null, "citation_metadata_match": null, "no_context_leak": true, "source_section_match": null }, "actual_status": "needs_clarification", "actual_intent": "needs_clarification", "actual_strategy": "none", "actual_lookup_type": null, "actual_tool_name": null, "actual_llm_called": false, "citations_used": [], "answer_preview": "Bạn muốn liên hệ về Khoa Công nghệ Thông tin, Phòng Công nghệ Thông tin, hay ngành Công nghệ Thông tin?" }, { "id": "guard_ood_001_aug_17", "category": "guardrail_status", "eval_type": "structured", "content_type": "guardrail", "cohort": "general", "query": "Trường có bán bánh tráng trộn không? tư vấn giúp mình nhé!", "passed": true, "checks": { "intent_match": null, "strategy_match": null, "status_match": true, "llm_called_match": true, "lookup_type_match": null, "tool_name_match": null, "answer_contains_match": true, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": null, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": null, "citation_page_match": null, "citation_metadata_match": null, "no_context_leak": true, "source_section_match": null }, "actual_status": "out_of_domain", "actual_intent": "out_of_domain", "actual_strategy": "none", "actual_lookup_type": null, "actual_tool_name": null, "actual_llm_called": false, "citations_used": [], "answer_preview": "Câu hỏi này nằm ngoài phạm vi Sổ tay sinh viên nên mình không thể hỗ trợ được. Sổ tay chủ yếu bao gồm các nội dung như: quy chế đào tạo, biểu mẫu, thủ tục hành chính, học bổng, rèn luyện, ký túc xá, thông tin phòng ban và khoa/ngành. Bạn có thể hỏi lại theo một nội dung liên quan đến sổ tay nhé!" }, { "id": "guard_amb_001_aug_19", "category": "guardrail_status", "eval_type": "structured", "content_type": "guardrail", "cohort": "general", "query": "CNTT ở đâu? tư vấn giúp mình nhé!", "passed": true, "checks": { "intent_match": null, "strategy_match": null, "status_match": true, "llm_called_match": true, "lookup_type_match": null, "tool_name_match": null, "answer_contains_match": true, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": null, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": null, "citation_page_match": null, "citation_metadata_match": null, "no_context_leak": true, "source_section_match": null }, "actual_status": "needs_clarification", "actual_intent": "needs_clarification", "actual_strategy": "none", "actual_lookup_type": null, "actual_tool_name": null, "actual_llm_called": false, "citations_used": [], "answer_preview": "Bạn muốn liên hệ về Khoa Công nghệ Thông tin, Phòng Công nghệ Thông tin, hay ngành Công nghệ Thông tin?" }, { "id": "ans_prog_school_k48", "category": "program_lookup_cohort", "eval_type": "structured", "content_type": "program_directory", "cohort": "K48-K49", "query": "Trường đang có những ngành đào tạo nào?", "passed": false, "checks": { "intent_match": true, "strategy_match": true, "status_match": true, "llm_called_match": true, "lookup_type_match": true, "tool_name_match": null, "answer_contains_match": true, "answer_not_contains_match": true, "structured_item_count_match": true, "structured_items_include_match": true, "structured_items_exclude_match": true, "citation_count_match": true, "citation_type_match": true, "citation_page_match": null, "citation_metadata_match": false, "no_context_leak": true, "source_section_match": false }, "actual_status": "answered", "actual_intent": "faculty_query", "actual_strategy": "program_lookup", "actual_lookup_type": "program_directory", "actual_tool_name": null, "actual_llm_called": false, "citations_used": [ { "chunk_type": "program_directory", "title": "Danh sach nganh dao tao", "source_pages": [ 178, 179, 180, 181, 182, 183, 184, 185, 186, 187, 188, 189, 190, 191, 192, 193, 207 ], "source_label": "Danh muc nganh dao tao trong So tay sinh vien HCMUE", "source_url": null, "cohort": "K48-K49", "document_id": "so_tay_sinh_vien_khoa_48_49", "source_section": "program_directory", "applicability": null, "content": "Công nghệ Thông tin; Sư phạm Tin học; Địa lý học; Du lịch; Sư phạm Địa lý; Sư phạm Lịch sử – Địa lý; Giáo dục Chính trị; Giáo dục Công dân; ..." } ], "answer_preview": "Các ngành đào tạo áp dụng cho K48-K49 (42 ngành):\n\nKhoa Công nghệ Thông tin:\n- Công nghệ Thông tin (trang 178, 179)\n- Sư phạm Tin học (trang 190)\n\nKhoa Địa lý:\n- Địa lý học (trang 179, 180)\n- Du lịch (trang 179)\n- Sư phạm Địa lý (trang 187)\n- Sư phạm Lịch sử – Địa lý (trang 188)\n\nKhoa Giáo dục Chính trị:\n- Giáo dục Chính trị (trang 180)\n- Giáo dục Công dân (trang 180)\n\nKhoa Giáo dục Đặc biệt:\n- Giáo dục Đặc biệt (trang 180, 181)\n\nKhoa Giáo dục Mầm non:\n- Giáo dục Mầm non (trình độ cao đẳng và đạ" }, { "id": "ans_prog_school_k50", "category": "program_lookup_cohort", "eval_type": "structured", "content_type": "program_directory", "cohort": "K50", "query": "Trường đang có những ngành đào tạo nào?", "passed": false, "checks": { "intent_match": true, "strategy_match": true, "status_match": true, "llm_called_match": true, "lookup_type_match": true, "tool_name_match": null, "answer_contains_match": false, "answer_not_contains_match": null, "structured_item_count_match": false, "structured_items_include_match": false, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": true, "citation_page_match": null, "citation_metadata_match": false, "no_context_leak": true, "source_section_match": false }, "actual_status": "answered", "actual_intent": "faculty_query", "actual_strategy": "program_lookup", "actual_lookup_type": "program_directory", "actual_tool_name": null, "actual_llm_called": false, "citations_used": [ { "chunk_type": "program_directory", "title": "Danh sach nganh dao tao", "source_pages": [ 185, 186, 187, 188, 189, 190, 191, 192, 193, 194, 195, 196, 197, 198, 199, 200, 201, 202, 203, 204, 205 ], "source_label": "Danh muc nganh dao tao trong So tay sinh vien HCMUE", "source_url": null, "cohort": "K50", "document_id": "so_tay_sinh_vien_khoa_50", "source_section": "program_directory", "applicability": null, "content": "Công nghệ Thông tin; Sư phạm Tin học; Địa lý học; Du lịch; Sư phạm Địa lý; Sư phạm Lịch sử – Địa lý; Giáo dục Chính trị; Giáo dục Công dân; ..." } ], "answer_preview": "Các ngành đào tạo áp dụng cho K50 (42 ngành):\n\nKhoa Công nghệ Thông tin:\n- Công nghệ Thông tin (trang 185, 186)\n- Sư phạm Tin học (trang 185)\n\nKhoa Địa lý:\n- Địa lý học (trang 192)\n- Du lịch (trang 192, 193)\n- Sư phạm Địa lý (trang 192)\n- Sư phạm Lịch sử – Địa lý (trang 192)\n\nKhoa Giáo dục Chính trị:\n- Giáo dục Chính trị (trang 202)\n- Giáo dục Công dân (trang 202)\n\nKhoa Giáo dục Đặc biệt:\n- Giáo dục Đặc biệt (trang 202, 203)\n\nKhoa Giáo dục Mầm non:\n- Giáo dục Mầm non (trình độ cao đẳng và đại họ" }, { "id": "ans_prog_school_k50", "category": "program_lookup_cohort", "eval_type": "structured", "content_type": "program_directory", "cohort": "K51", "query": "Trường đang có những ngành đào tạo nào?", "passed": false, "checks": { "intent_match": true, "strategy_match": true, "status_match": true, "llm_called_match": true, "lookup_type_match": true, "tool_name_match": null, "answer_contains_match": true, "answer_not_contains_match": null, "structured_item_count_match": true, "structured_items_include_match": true, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": true, "citation_page_match": null, "citation_metadata_match": false, "no_context_leak": true, "source_section_match": false }, "actual_status": "answered", "actual_intent": "faculty_query", "actual_strategy": "program_lookup", "actual_lookup_type": "program_directory", "actual_tool_name": null, "actual_llm_called": false, "citations_used": [ { "chunk_type": "program_directory", "title": "Danh sach nganh dao tao", "source_pages": [ 178, 179, 180, 181, 182, 183, 184, 185, 186, 187, 188, 189, 190, 191, 192, 193, 207 ], "source_label": "Danh muc nganh dao tao trong So tay sinh vien HCMUE", "source_url": null, "cohort": "K51", "document_id": "so_tay_sinh_vien_khoa_51", "source_section": "program_directory", "applicability": null, "content": "Công nghệ Giáo dục; Công nghệ Thông tin; Sư phạm Tin học; Địa lý học; Du lịch; Sư phạm Địa lý; Sư phạm Lịch sử – Địa lý; Giáo dục Chính trị; ..." } ], "answer_preview": "Các ngành đào tạo áp dụng cho K51 (44 ngành):\n\nKhoa Công nghệ Thông tin:\n- Công nghệ Giáo dục (trang 178)\n- Công nghệ Thông tin (trang 178, 179)\n- Sư phạm Tin học (trang 190)\n\nKhoa Địa lý:\n- Địa lý học (trang 179, 180)\n- Du lịch (trang 179)\n- Sư phạm Địa lý (trang 187)\n- Sư phạm Lịch sử – Địa lý (trang 188)\n\nKhoa Giáo dục Chính trị:\n- Giáo dục Chính trị (trang 180)\n- Giáo dục Công dân (trang 180)\n\nKhoa Giáo dục Đặc biệt:\n- Giáo dục Đặc biệt (trang 180, 181)\n\nKhoa Giáo dục Mầm non:\n- Giáo dục Mầm" }, { "id": "ans_prog_cntt_k48", "category": "program_lookup_faculty", "eval_type": "structured", "content_type": "program_directory", "cohort": "K48-K49", "query": "Khoa Công nghệ Thông tin có những ngành nào?", "passed": false, "checks": { "intent_match": null, "strategy_match": null, "status_match": true, "llm_called_match": true, "lookup_type_match": true, "tool_name_match": null, "answer_contains_match": true, "answer_not_contains_match": true, "structured_item_count_match": true, "structured_items_include_match": true, "structured_items_exclude_match": true, "citation_count_match": true, "citation_type_match": true, "citation_page_match": null, "citation_metadata_match": false, "no_context_leak": true, "source_section_match": false }, "actual_status": "answered", "actual_intent": "faculty_query", "actual_strategy": "program_lookup", "actual_lookup_type": "program_directory", "actual_tool_name": null, "actual_llm_called": false, "citations_used": [ { "chunk_type": "program_directory", "title": "Danh sach nganh dao tao", "source_pages": [ 178, 179, 190 ], "source_label": "Danh muc nganh dao tao trong So tay sinh vien HCMUE", "source_url": null, "cohort": "K48-K49", "document_id": "so_tay_sinh_vien_khoa_48_49", "source_section": "program_directory", "applicability": null, "content": "Công nghệ Thông tin; Sư phạm Tin học" } ], "answer_preview": "Khoa Công nghệ Thông tin có các ngành đào tạo (2 ngành):\n\nKhoa Công nghệ Thông tin:\n- Công nghệ Thông tin (trang 178, 179)\n- Sư phạm Tin học (trang 190)" }, { "id": "ans_prog_cntt_k50", "category": "program_lookup_faculty", "eval_type": "structured", "content_type": "program_directory", "cohort": "K50", "query": "Khoa Công nghệ Thông tin có những ngành nào?", "passed": false, "checks": { "intent_match": null, "strategy_match": null, "status_match": true, "llm_called_match": true, "lookup_type_match": true, "tool_name_match": null, "answer_contains_match": false, "answer_not_contains_match": null, "structured_item_count_match": false, "structured_items_include_match": false, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": true, "citation_page_match": null, "citation_metadata_match": false, "no_context_leak": true, "source_section_match": false }, "actual_status": "answered", "actual_intent": "faculty_query", "actual_strategy": "program_lookup", "actual_lookup_type": "program_directory", "actual_tool_name": null, "actual_llm_called": false, "citations_used": [ { "chunk_type": "program_directory", "title": "Danh sach nganh dao tao", "source_pages": [ 185, 186 ], "source_label": "Danh muc nganh dao tao trong So tay sinh vien HCMUE", "source_url": null, "cohort": "K50", "document_id": "so_tay_sinh_vien_khoa_50", "source_section": "program_directory", "applicability": null, "content": "Công nghệ Thông tin; Sư phạm Tin học" } ], "answer_preview": "Khoa Công nghệ Thông tin có các ngành đào tạo (2 ngành):\n\nKhoa Công nghệ Thông tin:\n- Công nghệ Thông tin (trang 185, 186)\n- Sư phạm Tin học (trang 185)" }, { "id": "ans_prog_cntt_k50", "category": "program_lookup_faculty", "eval_type": "structured", "content_type": "program_directory", "cohort": "K51", "query": "Khoa Công nghệ Thông tin có những ngành nào?", "passed": false, "checks": { "intent_match": null, "strategy_match": null, "status_match": true, "llm_called_match": true, "lookup_type_match": true, "tool_name_match": null, "answer_contains_match": true, "answer_not_contains_match": null, "structured_item_count_match": true, "structured_items_include_match": true, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": true, "citation_page_match": null, "citation_metadata_match": false, "no_context_leak": true, "source_section_match": false }, "actual_status": "answered", "actual_intent": "faculty_query", "actual_strategy": "program_lookup", "actual_lookup_type": "program_directory", "actual_tool_name": null, "actual_llm_called": false, "citations_used": [ { "chunk_type": "program_directory", "title": "Danh sach nganh dao tao", "source_pages": [ 178, 179, 190 ], "source_label": "Danh muc nganh dao tao trong So tay sinh vien HCMUE", "source_url": null, "cohort": "K51", "document_id": "so_tay_sinh_vien_khoa_51", "source_section": "program_directory", "applicability": null, "content": "Công nghệ Giáo dục; Công nghệ Thông tin; Sư phạm Tin học" } ], "answer_preview": "Khoa Công nghệ Thông tin có các ngành đào tạo (3 ngành):\n\nKhoa Công nghệ Thông tin:\n- Công nghệ Giáo dục (trang 178)\n- Công nghệ Thông tin (trang 178, 179)\n- Sư phạm Tin học (trang 190)" }, { "id": "ans_prog_math_k50", "category": "program_lookup_faculty", "eval_type": "structured", "content_type": "program_directory", "cohort": "K50", "query": "Khoa Toán - Tin học có ngành nào?", "passed": false, "checks": { "intent_match": null, "strategy_match": null, "status_match": true, "llm_called_match": true, "lookup_type_match": true, "tool_name_match": null, "answer_contains_match": false, "answer_not_contains_match": null, "structured_item_count_match": true, "structured_items_include_match": false, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": true, "citation_page_match": null, "citation_metadata_match": false, "no_context_leak": true, "source_section_match": false }, "actual_status": "answered", "actual_intent": "faculty_query", "actual_strategy": "program_lookup", "actual_lookup_type": "program_directory", "actual_tool_name": null, "actual_llm_called": false, "citations_used": [ { "chunk_type": "program_directory", "title": "Danh sach nganh dao tao", "source_pages": [ 186 ], "source_label": "Danh muc nganh dao tao trong So tay sinh vien HCMUE", "source_url": null, "cohort": "K50", "document_id": "so_tay_sinh_vien_khoa_50", "source_section": "program_directory", "applicability": null, "content": "Sư phạm Toán học (Tiếng Việt và Song ngữ Việt – Anh)" } ], "answer_preview": "Khoa Toán – Tin học có các ngành đào tạo (1 ngành):\n\nKhoa Toán – Tin học:\n- Sư phạm Toán học (Tiếng Việt và Song ngữ Việt – Anh) (trang 186)" }, { "id": "ans_prog_math_k50", "category": "program_lookup_faculty", "eval_type": "structured", "content_type": "program_directory", "cohort": "K51", "query": "Khoa Toán - Tin học có ngành nào?", "passed": false, "checks": { "intent_match": null, "strategy_match": null, "status_match": true, "llm_called_match": true, "lookup_type_match": true, "tool_name_match": null, "answer_contains_match": true, "answer_not_contains_match": null, "structured_item_count_match": true, "structured_items_include_match": true, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": true, "citation_page_match": null, "citation_metadata_match": false, "no_context_leak": true, "source_section_match": false }, "actual_status": "answered", "actual_intent": "faculty_query", "actual_strategy": "program_lookup", "actual_lookup_type": "program_directory", "actual_tool_name": null, "actual_llm_called": false, "citations_used": [ { "chunk_type": "program_directory", "title": "Danh sach nganh dao tao", "source_pages": [ 190, 191, 192, 193 ], "source_label": "Danh muc nganh dao tao trong So tay sinh vien HCMUE", "source_url": null, "cohort": "K51", "document_id": "so_tay_sinh_vien_khoa_51", "source_section": "program_directory", "applicability": null, "content": "Sư phạm Toán học (Tiếng Việt và Song ngữ Việt – Anh); Toán ứng dụng" } ], "answer_preview": "Khoa Toán – Tin học có các ngành đào tạo (2 ngành):\n\nKhoa Toán – Tin học:\n- Sư phạm Toán học (Tiếng Việt và Song ngữ Việt – Anh) (trang 190, 191)\n- Toán ứng dụng (trang 192, 193)" }, { "id": "ans_prog_physics_k50", "category": "program_lookup_faculty", "eval_type": "structured", "content_type": "program_directory", "cohort": "K50", "query": "Ngành Sư phạm Công nghệ thuộc khoa nào?", "passed": false, "checks": { "intent_match": null, "strategy_match": null, "status_match": true, "llm_called_match": true, "lookup_type_match": true, "tool_name_match": null, "answer_contains_match": true, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": true, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": true, "citation_page_match": null, "citation_metadata_match": false, "no_context_leak": true, "source_section_match": false }, "actual_status": "answered", "actual_intent": "faculty_query", "actual_strategy": "program_lookup", "actual_lookup_type": "program_directory", "actual_tool_name": null, "actual_llm_called": false, "citations_used": [ { "chunk_type": "program_directory", "title": "Danh sach nganh dao tao", "source_pages": [ 187 ], "source_label": "Danh muc nganh dao tao trong So tay sinh vien HCMUE", "source_url": null, "cohort": "K50", "document_id": "so_tay_sinh_vien_khoa_50", "source_section": "program_directory", "applicability": null, "content": "Sư phạm Công nghệ" } ], "answer_preview": "Các ngành đào tạo áp dụng cho K50 (1 ngành):\n\nKhoa Vật lý:\n- Sư phạm Công nghệ (trang 187)" }, { "id": "ans_prog_physics_k50", "category": "program_lookup_faculty", "eval_type": "structured", "content_type": "program_directory", "cohort": "K51", "query": "Ngành Sư phạm Công nghệ thuộc khoa nào?", "passed": false, "checks": { "intent_match": null, "strategy_match": null, "status_match": true, "llm_called_match": true, "lookup_type_match": true, "tool_name_match": null, "answer_contains_match": true, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": true, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": true, "citation_page_match": null, "citation_metadata_match": false, "no_context_leak": true, "source_section_match": false }, "actual_status": "answered", "actual_intent": "faculty_query", "actual_strategy": "program_lookup", "actual_lookup_type": "program_directory", "actual_tool_name": null, "actual_llm_called": false, "citations_used": [ { "chunk_type": "program_directory", "title": "Danh sach nganh dao tao", "source_pages": [ 187 ], "source_label": "Danh muc nganh dao tao trong So tay sinh vien HCMUE", "source_url": null, "cohort": "K51", "document_id": "so_tay_sinh_vien_khoa_51", "source_section": "program_directory", "applicability": null, "content": "Sư phạm Công nghệ" } ], "answer_preview": "Các ngành đào tạo áp dụng cho K51 (1 ngành):\n\nKhoa Vật lý:\n- Sư phạm Công nghệ (trang 187)" }, { "id": "ans_prog_geo_k50", "category": "program_lookup_faculty", "eval_type": "structured", "content_type": "program_directory", "cohort": "K50", "query": "Ngành Sư phạm Lịch sử - Địa lý thuộc khoa nào?", "passed": false, "checks": { "intent_match": null, "strategy_match": null, "status_match": true, "llm_called_match": true, "lookup_type_match": true, "tool_name_match": null, "answer_contains_match": false, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": true, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": true, "citation_page_match": null, "citation_metadata_match": false, "no_context_leak": true, "source_section_match": false }, "actual_status": "answered", "actual_intent": "faculty_query", "actual_strategy": "program_lookup", "actual_lookup_type": "program_directory", "actual_tool_name": null, "actual_llm_called": false, "citations_used": [ { "chunk_type": "program_directory", "title": "Danh sach nganh dao tao", "source_pages": [ 192 ], "source_label": "Danh muc nganh dao tao trong So tay sinh vien HCMUE", "source_url": null, "cohort": "K50", "document_id": "so_tay_sinh_vien_khoa_50", "source_section": "program_directory", "applicability": null, "content": "Sư phạm Lịch sử – Địa lý" } ], "answer_preview": "Các ngành đào tạo áp dụng cho K50 (1 ngành):\n\nKhoa Địa lý:\n- Sư phạm Lịch sử – Địa lý (trang 192)" }, { "id": "ans_prog_geo_k50", "category": "program_lookup_faculty", "eval_type": "structured", "content_type": "program_directory", "cohort": "K51", "query": "Ngành Sư phạm Lịch sử - Địa lý thuộc khoa nào?", "passed": false, "checks": { "intent_match": null, "strategy_match": null, "status_match": true, "llm_called_match": true, "lookup_type_match": true, "tool_name_match": null, "answer_contains_match": false, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": true, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": true, "citation_page_match": null, "citation_metadata_match": false, "no_context_leak": true, "source_section_match": false }, "actual_status": "answered", "actual_intent": "faculty_query", "actual_strategy": "program_lookup", "actual_lookup_type": "program_directory", "actual_tool_name": null, "actual_llm_called": false, "citations_used": [ { "chunk_type": "program_directory", "title": "Danh sach nganh dao tao", "source_pages": [ 188 ], "source_label": "Danh muc nganh dao tao trong So tay sinh vien HCMUE", "source_url": null, "cohort": "K51", "document_id": "so_tay_sinh_vien_khoa_51", "source_section": "program_directory", "applicability": null, "content": "Sư phạm Lịch sử – Địa lý" } ], "answer_preview": "Các ngành đào tạo áp dụng cho K51 (1 ngành):\n\nKhoa Địa lý:\n- Sư phạm Lịch sử – Địa lý (trang 188)" }, { "id": "ans_score_pass_k48", "category": "score_cohort", "eval_type": "structured", "content_type": "threshold_rules", "cohort": "K48-K49", "query": "Mấy điểm thì qua môn?", "passed": false, "checks": { "intent_match": null, "strategy_match": null, "status_match": true, "llm_called_match": true, "lookup_type_match": true, "tool_name_match": null, "answer_contains_match": true, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": null, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": true, "citation_page_match": null, "citation_metadata_match": true, "no_context_leak": true, "source_section_match": false }, "actual_status": "answered", "actual_intent": "score_lookup_query", "actual_strategy": "structured_lookup", "actual_lookup_type": "grade_10_to_letter", "actual_tool_name": null, "actual_llm_called": false, "citations_used": [ { "chunk_type": "structured_lookup", "title": "Quy đổi thang điểm 10 sang điểm chữ", "source_pages": [ 20 ], "source_label": "Bảng quy định được trích xuất", "source_url": null, "cohort": "K48-K49", "document_id": "so_tay_sinh_vien_khoa_48_49", "source_section": "scoring_table", "applicability": null, "content": "Dữ liệu được trích xuất trực tiếp từ cơ sở dữ liệu bảng quy chế trong Sổ tay Sinh viên HCMUE." } ], "answer_preview": "Theo bảng quy đổi điểm áp dụng cho K48-K49, ngưỡng đạt/qua môn được tóm tắt như sau:\n- Áp dụng chung theo bảng quy đổi điểm học phần: Từ 4.0 trở lên.\nĐạt: A (8.5-10), B+ (7.8-8.4), B (7.0-7.7), C+ (6.3-6.9), C (5.5-6.2), D+ (4.8-5.4), D (4.0-4.7).\nKhông đạt: F+ (3.0-3.9), F (0.0-2.9)." }, { "id": "ans_score_pass_k50", "category": "score_cohort", "eval_type": "structured", "content_type": "threshold_rules", "cohort": "K50", "query": "K50-K51 mấy điểm thì qua môn?", "passed": false, "checks": { "intent_match": null, "strategy_match": null, "status_match": true, "llm_called_match": true, "lookup_type_match": true, "tool_name_match": null, "answer_contains_match": false, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": null, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": true, "citation_page_match": null, "citation_metadata_match": false, "no_context_leak": true, "source_section_match": false }, "actual_status": "answered", "actual_intent": "score_lookup_query", "actual_strategy": "structured_lookup", "actual_lookup_type": "grade_10_to_letter", "actual_tool_name": null, "actual_llm_called": false, "citations_used": [ { "chunk_type": "structured_lookup", "title": "Quy đổi thang điểm 10 sang điểm chữ", "source_pages": [ 20 ], "source_label": "Bảng quy định được trích xuất", "source_url": null, "cohort": "K50", "document_id": "so_tay_sinh_vien_khoa_50", "source_section": "scoring_table", "applicability": null, "content": "Dữ liệu được trích xuất trực tiếp từ cơ sở dữ liệu bảng quy chế trong Sổ tay Sinh viên HCMUE." } ], "answer_preview": "Theo bảng quy đổi điểm áp dụng cho K50, ngưỡng đạt/qua môn được tóm tắt như sau:\n- Áp dụng chung theo bảng quy đổi điểm học phần: Từ 4.0 trở lên.\nĐạt: A (8.5-10), B+ (7.8-8.4), B (7.0-7.7), C+ (6.3-6.9), C (5.5-6.2), D+ (4.8-5.4), D (4.0-4.7).\nKhông đạt: F+ (3.0-3.9), F (0.0-2.9)." }, { "id": "ans_score_pass_k50", "category": "score_cohort", "eval_type": "structured", "content_type": "threshold_rules", "cohort": "K51", "query": "K50-K51 mấy điểm thì qua môn?", "passed": false, "checks": { "intent_match": null, "strategy_match": null, "status_match": true, "llm_called_match": true, "lookup_type_match": true, "tool_name_match": null, "answer_contains_match": false, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": null, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": true, "citation_page_match": null, "citation_metadata_match": false, "no_context_leak": true, "source_section_match": false }, "actual_status": "answered", "actual_intent": "score_lookup_query", "actual_strategy": "structured_lookup", "actual_lookup_type": "grade_10_to_letter", "actual_tool_name": null, "actual_llm_called": false, "citations_used": [ { "chunk_type": "structured_lookup", "title": "Quy đổi thang điểm 10 sang điểm chữ", "source_pages": [ 20 ], "source_label": "Bảng quy định được trích xuất", "source_url": null, "cohort": "K50", "document_id": "so_tay_sinh_vien_khoa_50", "source_section": "scoring_table", "applicability": null, "content": "Dữ liệu được trích xuất trực tiếp từ cơ sở dữ liệu bảng quy chế trong Sổ tay Sinh viên HCMUE." } ], "answer_preview": "Theo bảng quy đổi điểm áp dụng cho K50, ngưỡng đạt/qua môn được tóm tắt như sau:\n- Áp dụng chung theo bảng quy đổi điểm học phần: Từ 4.0 trở lên.\nĐạt: A (8.5-10), B+ (7.8-8.4), B (7.0-7.7), C+ (6.3-6.9), C (5.5-6.2), D+ (4.8-5.4), D (4.0-4.7).\nKhông đạt: F+ (3.0-3.9), F (0.0-2.9)." }, { "id": "ans_score_dplus_k50", "category": "score_cohort", "eval_type": "structured", "content_type": "scoring_tables", "cohort": "K50", "query": "K50-K51 D+ có qua môn không?", "passed": false, "checks": { "intent_match": null, "strategy_match": null, "status_match": true, "llm_called_match": true, "lookup_type_match": false, "tool_name_match": null, "answer_contains_match": true, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": null, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": true, "citation_page_match": null, "citation_metadata_match": false, "no_context_leak": true, "source_section_match": false }, "actual_status": "answered", "actual_intent": "score_lookup_query", "actual_strategy": "structured_lookup", "actual_lookup_type": "grade_10_to_letter", "actual_tool_name": null, "actual_llm_called": false, "citations_used": [ { "chunk_type": "structured_lookup", "title": "Quy đổi thang điểm 10 sang điểm chữ", "source_pages": [ 20 ], "source_label": "Bảng quy định được trích xuất", "source_url": null, "cohort": "K50", "document_id": "so_tay_sinh_vien_khoa_50", "source_section": "scoring_table", "applicability": null, "content": "Dữ liệu được trích xuất trực tiếp từ cơ sở dữ liệu bảng quy chế trong Sổ tay Sinh viên HCMUE." } ], "answer_preview": "Theo bảng quy đổi điểm áp dụng cho K50, điểm chữ D+ có kết quả như sau:\n- Quy đổi hệ 4: D+ = 1.5.\n- Áp dụng chung theo bảng quy đổi điểm học phần: D+; khoảng điểm 4.8-5.4; trạng thái Đạt; ngưỡng qua môn Từ 4.0 trở lên." }, { "id": "ans_score_dplus_k50", "category": "score_cohort", "eval_type": "structured", "content_type": "scoring_tables", "cohort": "K51", "query": "K50-K51 D+ có qua môn không?", "passed": false, "checks": { "intent_match": null, "strategy_match": null, "status_match": true, "llm_called_match": true, "lookup_type_match": false, "tool_name_match": null, "answer_contains_match": true, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": null, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": true, "citation_page_match": null, "citation_metadata_match": false, "no_context_leak": true, "source_section_match": false }, "actual_status": "answered", "actual_intent": "score_lookup_query", "actual_strategy": "structured_lookup", "actual_lookup_type": "grade_10_to_letter", "actual_tool_name": null, "actual_llm_called": false, "citations_used": [ { "chunk_type": "structured_lookup", "title": "Quy đổi thang điểm 10 sang điểm chữ", "source_pages": [ 20 ], "source_label": "Bảng quy định được trích xuất", "source_url": null, "cohort": "K50", "document_id": "so_tay_sinh_vien_khoa_50", "source_section": "scoring_table", "applicability": null, "content": "Dữ liệu được trích xuất trực tiếp từ cơ sở dữ liệu bảng quy chế trong Sổ tay Sinh viên HCMUE." } ], "answer_preview": "Theo bảng quy đổi điểm áp dụng cho K50, điểm chữ D+ có kết quả như sau:\n- Quy đổi hệ 4: D+ = 1.5.\n- Áp dụng chung theo bảng quy đổi điểm học phần: D+; khoảng điểm 4.8-5.4; trạng thái Đạt; ngưỡng qua môn Từ 4.0 trở lên." }, { "id": "ans_score_conduct_95", "category": "score_boundary", "eval_type": "structured", "content_type": "scoring_tables", "cohort": "general", "query": "Điểm rèn luyện 95 là loại gì?", "passed": false, "checks": { "intent_match": null, "strategy_match": null, "status_match": true, "llm_called_match": true, "lookup_type_match": true, "tool_name_match": null, "answer_contains_match": true, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": null, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": true, "citation_page_match": null, "citation_metadata_match": true, "no_context_leak": true, "source_section_match": false }, "actual_status": "answered", "actual_intent": "score_lookup_query", "actual_strategy": "structured_lookup", "actual_lookup_type": "conduct_classification", "actual_tool_name": null, "actual_llm_called": false, "citations_used": [ { "chunk_type": "structured_lookup", "title": "Phân loại kết quả rèn luyện", "source_pages": [ 74 ], "source_label": "Bảng quy định được trích xuất", "source_url": null, "cohort": "K48-K49", "document_id": "so_tay_sinh_vien_khoa_48_49", "source_section": "scoring_table", "applicability": null, "content": "Dữ liệu được trích xuất trực tiếp từ cơ sở dữ liệu bảng quy chế trong Sổ tay Sinh viên HCMUE." } ], "answer_preview": "Tra theo Phân loại kết quả rèn luyện, giá trị 95.0 được xếp loại: Xuất sắc (khoảng 90-100)." }, { "id": "ans_score_gpa_36", "category": "score_boundary", "eval_type": "structured", "content_type": "scoring_tables", "cohort": "general", "query": "GPA 3.6 là xếp loại học lực gì?", "passed": false, "checks": { "intent_match": null, "strategy_match": null, "status_match": true, "llm_called_match": true, "lookup_type_match": true, "tool_name_match": null, "answer_contains_match": true, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": null, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": true, "citation_page_match": null, "citation_metadata_match": true, "no_context_leak": true, "source_section_match": false }, "actual_status": "answered", "actual_intent": "score_lookup_query", "actual_strategy": "structured_lookup", "actual_lookup_type": "academic_classification", "actual_tool_name": null, "actual_llm_called": false, "citations_used": [ { "chunk_type": "structured_lookup", "title": "Xếp loại học lực theo thang điểm 4", "source_pages": [ 23 ], "source_label": "Bảng quy định được trích xuất", "source_url": null, "cohort": "K48-K49", "document_id": "so_tay_sinh_vien_khoa_48_49", "source_section": "scoring_table", "applicability": null, "content": "Dữ liệu được trích xuất trực tiếp từ cơ sở dữ liệu bảng quy chế trong Sổ tay Sinh viên HCMUE." } ], "answer_preview": "Tra theo Xếp loại học lực theo thang điểm 4, giá trị 3.6 được xếp loại: Xuất sắc (khoảng 3.6-4.0)." }, { "id": "ans_form_confirm_student", "category": "form_lookup", "eval_type": "structured", "content_type": "form_templates", "cohort": "K48-K49", "query": "Có mẫu đơn xin cấp giấy xác nhận sinh viên không?", "passed": false, "checks": { "intent_match": null, "strategy_match": null, "status_match": true, "llm_called_match": null, "lookup_type_match": true, "tool_name_match": null, "answer_contains_match": true, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": null, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": true, "citation_page_match": null, "citation_metadata_match": true, "no_context_leak": true, "source_section_match": false }, "actual_status": "answered", "actual_intent": "form_query", "actual_strategy": "form_lookup", "actual_lookup_type": "form_template", "actual_tool_name": null, "actual_llm_called": false, "citations_used": [ { "chunk_type": "form_template", "title": "GIẤY XÁC NHẬN", "source_pages": [ 168, 179, 181 ], "source_label": "Danh mục biểu mẫu trong Sổ tay sinh viên", "source_url": null, "cohort": "K48-K49", "document_id": "so_tay_sinh_vien_khoa_48_49", "source_section": "form_templates", "applicability": null, "content": "BỘ GIÁO DỤC VÀ ĐÀO TẠO\nTRƯỜNG ĐẠI HỌC SƯ PHẠM\nTHÀNH PHỐ HỒ CHÍ MINH\nSố ……/XN-ĐHSP\nCỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM\nĐộc lập - Tự do - Hạnh phúc\nTP. HCM, ngày … tháng … năm 20…\nGIẤY XÁC NHẬN\n(Dành cho sinh viên vay vốn Ngân hàng)\nHọ và tên sinh viên: .....................................................................................\nNgày sinh: ……/…………/………….. Giới tính: Nam ¨; Nữ ¨\nCMND số: ............................. Ngày cấp: ...../....../......... Nơi cấp: ...............\nTên trường: Trườn" } ], "answer_preview": "Với yêu cầu “Có mẫu đơn xin cấp giấy xác nhận sinh viên không?”:\nMình tìm thấy biểu mẫu phù hợp trong trang Biểu mẫu:\n- GIẤY XÁC NHẬN (trang 181): BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM THÀNH PHỐ HỒ CHÍ MINH Số ……/XN-ĐHSP CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự do - Hạ...\n- ĐƠN XIN TRỢ CẤP XÃ HỘI (trang 179): CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự do - Hạnh phúc ĐƠN XIN TRỢ CẤP XÃ HỘI Kính gửi: - Hiệu trưởng Trường Đại học Sư phạm Thàn...\n- CÁC MẪU ĐƠN VÀ BIỂU MẪU (trang " }, { "id": "ans_form_fee_reduction", "category": "form_lookup", "eval_type": "structured", "content_type": "form_templates", "cohort": "K48-K49", "query": "Em cần mẫu đơn xin miễn giảm học phí", "passed": false, "checks": { "intent_match": null, "strategy_match": null, "status_match": true, "llm_called_match": null, "lookup_type_match": true, "tool_name_match": null, "answer_contains_match": true, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": null, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": true, "citation_page_match": null, "citation_metadata_match": true, "no_context_leak": true, "source_section_match": false }, "actual_status": "answered", "actual_intent": "mixed_query", "actual_strategy": "semantic_multi_filter", "actual_lookup_type": "form_template", "actual_tool_name": null, "actual_llm_called": false, "citations_used": [ { "chunk_type": "form_template", "title": "ĐƠN ĐỀ NGHỊ MIỄN, GIẢM HỌC PHÍ", "source_pages": [ 176, 182, 184 ], "source_label": "Danh mục biểu mẫu trong Sổ tay sinh viên", "source_url": null, "cohort": "K48-K49", "document_id": "so_tay_sinh_vien_khoa_48_49", "source_section": "form_templates", "applicability": null, "content": "CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM\nĐộc lập - Tự do - Hạnh phúc\nĐƠN ĐỀ NGHỊ MIỄN, GIẢM HỌC PHÍ\n(Dùng cho học sinh, sinh viên đang học tại các cơ sở giáo dục nghề nghiệp\nvà giáo dục đại học công lập)\nKính gửi: Hiệu trưởng Trường Đại học Sư phạm Thành phố Hồ Chí Minh.\nHọ và tên sinh viên: ..............................................................................\nNgày, tháng, năm sinh: .........................................................................\nNơi sinh: ..........................." } ], "answer_preview": "Với yêu cầu “Em cần mẫu đơn xin miễn giảm học phí”:\nMình tìm thấy biểu mẫu phù hợp trong trang Biểu mẫu:\n- ĐƠN ĐỀ NGHỊ MIỄN, GIẢM HỌC PHÍ (trang 182): CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự do - Hạnh phúc ĐƠN ĐỀ NGHỊ MIỄN, GIẢM HỌC PHÍ (Dùng cho học sinh, sinh viên đang học tại...\n- ĐƠN ĐỀ NGHỊ HỖ TRỢ CHI PHÍ HỌC TẬP (trang 184): CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự do - Hạnh phúc ĐƠN ĐỀ NGHỊ HỖ TRỢ CHI PHÍ HỌC TẬP (Dùng cho sinh viên đang học tại các cơ...\n- ĐƠN XIN TẠM NGHỈ" }, { "id": "ans_calc_scholarship_34_88", "category": "calculator", "eval_type": "structured", "content_type": "formula_rules", "cohort": "general", "query": "Tính điểm học bổng nếu GPA 3.4 và rèn luyện 88", "passed": true, "checks": { "intent_match": null, "strategy_match": null, "status_match": true, "llm_called_match": true, "lookup_type_match": null, "tool_name_match": true, "answer_contains_match": true, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": null, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": null, "citation_page_match": null, "citation_metadata_match": null, "no_context_leak": true, "source_section_match": null }, "actual_status": "answered", "actual_intent": "calculation_query", "actual_strategy": "calculator_tool", "actual_lookup_type": null, "actual_tool_name": "calculate_scholarship_score", "actual_llm_called": false, "citations_used": [], "answer_preview": "Kết quả từ calculate_scholarship_score với academic_score_4=3.4, conduct_score_100=88.0: 3.424.\n\nCông thức: (Điểm học tập x 80 + Điểm rèn luyện / 25 x 20) / 100" }, { "id": "ans_guard_ood_food", "category": "guardrail_status", "eval_type": "structured", "content_type": "guardrail", "cohort": "general", "query": "Hôm nay nên ăn gì ở quận 5?", "passed": true, "checks": { "intent_match": null, "strategy_match": null, "status_match": true, "llm_called_match": true, "lookup_type_match": null, "tool_name_match": null, "answer_contains_match": true, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": null, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": null, "citation_page_match": null, "citation_metadata_match": null, "no_context_leak": true, "source_section_match": null }, "actual_status": "out_of_domain", "actual_intent": "out_of_domain", "actual_strategy": "none", "actual_lookup_type": null, "actual_tool_name": null, "actual_llm_called": false, "citations_used": [], "answer_preview": "Câu hỏi này nằm ngoài phạm vi Sổ tay sinh viên nên mình không thể hỗ trợ được. Sổ tay chủ yếu bao gồm các nội dung như: quy chế đào tạo, biểu mẫu, thủ tục hành chính, học bổng, rèn luyện, ký túc xá, thông tin phòng ban và khoa/ngành. Bạn có thể hỏi lại theo một nội dung liên quan đến sổ tay nhé!" }, { "id": "cohort_matrix_ans_school_k48", "category": "cohort_program_school", "eval_type": "structured", "content_type": "program_directory", "cohort": "K48-K49", "query": "Theo sổ tay K48-K49, trường có những ngành đào tạo nào?", "passed": false, "checks": { "intent_match": true, "strategy_match": true, "status_match": true, "llm_called_match": true, "lookup_type_match": true, "tool_name_match": null, "answer_contains_match": null, "answer_not_contains_match": null, "structured_item_count_match": true, "structured_items_include_match": true, "structured_items_exclude_match": true, "citation_count_match": true, "citation_type_match": true, "citation_page_match": null, "citation_metadata_match": false, "no_context_leak": true, "source_section_match": null }, "actual_status": "answered", "actual_intent": "faculty_query", "actual_strategy": "program_lookup", "actual_lookup_type": "program_directory", "actual_tool_name": null, "actual_llm_called": false, "citations_used": [ { "chunk_type": "program_directory", "title": "Danh sach nganh dao tao", "source_pages": [ 178, 179, 180, 181, 182, 183, 184, 185, 186, 187, 188, 189, 190, 191, 192, 193, 207 ], "source_label": "Danh muc nganh dao tao trong So tay sinh vien HCMUE", "source_url": null, "cohort": "K48-K49", "document_id": "so_tay_sinh_vien_khoa_48_49", "source_section": "program_directory", "applicability": null, "content": "Công nghệ Thông tin; Sư phạm Tin học; Địa lý học; Du lịch; Sư phạm Địa lý; Sư phạm Lịch sử – Địa lý; Giáo dục Chính trị; Giáo dục Công dân; ..." } ], "answer_preview": "Các ngành đào tạo áp dụng cho K48-K49 (42 ngành):\n\nKhoa Công nghệ Thông tin:\n- Công nghệ Thông tin (trang 178, 179)\n- Sư phạm Tin học (trang 190)\n\nKhoa Địa lý:\n- Địa lý học (trang 179, 180)\n- Du lịch (trang 179)\n- Sư phạm Địa lý (trang 187)\n- Sư phạm Lịch sử – Địa lý (trang 188)\n\nKhoa Giáo dục Chính trị:\n- Giáo dục Chính trị (trang 180)\n- Giáo dục Công dân (trang 180)\n\nKhoa Giáo dục Đặc biệt:\n- Giáo dục Đặc biệt (trang 180, 181)\n\nKhoa Giáo dục Mầm non:\n- Giáo dục Mầm non (trình độ cao đẳng và đạ" }, { "id": "cohort_matrix_ans_school_k50", "category": "cohort_program_school", "eval_type": "structured", "content_type": "program_directory", "cohort": "K50", "query": "Theo sổ tay K50-K51, trường có những ngành đào tạo nào?", "passed": false, "checks": { "intent_match": true, "strategy_match": true, "status_match": true, "llm_called_match": true, "lookup_type_match": true, "tool_name_match": null, "answer_contains_match": null, "answer_not_contains_match": null, "structured_item_count_match": false, "structured_items_include_match": false, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": true, "citation_page_match": null, "citation_metadata_match": false, "no_context_leak": true, "source_section_match": null }, "actual_status": "answered", "actual_intent": "faculty_query", "actual_strategy": "program_lookup", "actual_lookup_type": "program_directory", "actual_tool_name": null, "actual_llm_called": false, "citations_used": [ { "chunk_type": "program_directory", "title": "Danh sach nganh dao tao", "source_pages": [ 185, 186, 187, 188, 189, 190, 191, 192, 193, 194, 195, 196, 197, 198, 199, 200, 201, 202, 203, 204, 205 ], "source_label": "Danh muc nganh dao tao trong So tay sinh vien HCMUE", "source_url": null, "cohort": "K50", "document_id": "so_tay_sinh_vien_khoa_50", "source_section": "program_directory", "applicability": null, "content": "Công nghệ Thông tin; Sư phạm Tin học; Địa lý học; Du lịch; Sư phạm Địa lý; Sư phạm Lịch sử – Địa lý; Giáo dục Chính trị; Giáo dục Công dân; ..." } ], "answer_preview": "Các ngành đào tạo áp dụng cho K50 (42 ngành):\n\nKhoa Công nghệ Thông tin:\n- Công nghệ Thông tin (trang 185, 186)\n- Sư phạm Tin học (trang 185)\n\nKhoa Địa lý:\n- Địa lý học (trang 192)\n- Du lịch (trang 192, 193)\n- Sư phạm Địa lý (trang 192)\n- Sư phạm Lịch sử – Địa lý (trang 192)\n\nKhoa Giáo dục Chính trị:\n- Giáo dục Chính trị (trang 202)\n- Giáo dục Công dân (trang 202)\n\nKhoa Giáo dục Đặc biệt:\n- Giáo dục Đặc biệt (trang 202, 203)\n\nKhoa Giáo dục Mầm non:\n- Giáo dục Mầm non (trình độ cao đẳng và đại họ" }, { "id": "cohort_matrix_ans_school_k50", "category": "cohort_program_school", "eval_type": "structured", "content_type": "program_directory", "cohort": "K51", "query": "Theo sổ tay K50-K51, trường có những ngành đào tạo nào?", "passed": false, "checks": { "intent_match": true, "strategy_match": true, "status_match": true, "llm_called_match": true, "lookup_type_match": true, "tool_name_match": null, "answer_contains_match": null, "answer_not_contains_match": null, "structured_item_count_match": false, "structured_items_include_match": false, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": true, "citation_page_match": null, "citation_metadata_match": false, "no_context_leak": true, "source_section_match": null }, "actual_status": "answered", "actual_intent": "faculty_query", "actual_strategy": "program_lookup", "actual_lookup_type": "program_directory", "actual_tool_name": null, "actual_llm_called": false, "citations_used": [ { "chunk_type": "program_directory", "title": "Danh sach nganh dao tao", "source_pages": [ 185, 186, 187, 188, 189, 190, 191, 192, 193, 194, 195, 196, 197, 198, 199, 200, 201, 202, 203, 204, 205 ], "source_label": "Danh muc nganh dao tao trong So tay sinh vien HCMUE", "source_url": null, "cohort": "K50", "document_id": "so_tay_sinh_vien_khoa_50", "source_section": "program_directory", "applicability": null, "content": "Công nghệ Thông tin; Sư phạm Tin học; Địa lý học; Du lịch; Sư phạm Địa lý; Sư phạm Lịch sử – Địa lý; Giáo dục Chính trị; Giáo dục Công dân; ..." } ], "answer_preview": "Các ngành đào tạo áp dụng cho K50 (42 ngành):\n\nKhoa Công nghệ Thông tin:\n- Công nghệ Thông tin (trang 185, 186)\n- Sư phạm Tin học (trang 185)\n\nKhoa Địa lý:\n- Địa lý học (trang 192)\n- Du lịch (trang 192, 193)\n- Sư phạm Địa lý (trang 192)\n- Sư phạm Lịch sử – Địa lý (trang 192)\n\nKhoa Giáo dục Chính trị:\n- Giáo dục Chính trị (trang 202)\n- Giáo dục Công dân (trang 202)\n\nKhoa Giáo dục Đặc biệt:\n- Giáo dục Đặc biệt (trang 202, 203)\n\nKhoa Giáo dục Mầm non:\n- Giáo dục Mầm non (trình độ cao đẳng và đại họ" }, { "id": "cohort_matrix_ans_cntt_k48", "category": "cohort_program_faculty", "eval_type": "structured", "content_type": "program_directory", "cohort": "K48-K49", "query": "K48-K49 khoa CNTT có những ngành nào?", "passed": false, "checks": { "intent_match": true, "strategy_match": true, "status_match": true, "llm_called_match": true, "lookup_type_match": true, "tool_name_match": null, "answer_contains_match": null, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": true, "structured_items_exclude_match": true, "citation_count_match": true, "citation_type_match": true, "citation_page_match": null, "citation_metadata_match": false, "no_context_leak": true, "source_section_match": null }, "actual_status": "answered", "actual_intent": "faculty_query", "actual_strategy": "program_lookup", "actual_lookup_type": "program_directory", "actual_tool_name": null, "actual_llm_called": false, "citations_used": [ { "chunk_type": "program_directory", "title": "Danh sach nganh dao tao", "source_pages": [ 178, 179, 190 ], "source_label": "Danh muc nganh dao tao trong So tay sinh vien HCMUE", "source_url": null, "cohort": "K48-K49", "document_id": "so_tay_sinh_vien_khoa_48_49", "source_section": "program_directory", "applicability": null, "content": "Công nghệ Thông tin; Sư phạm Tin học" } ], "answer_preview": "Khoa Công nghệ Thông tin có các ngành đào tạo (2 ngành):\n\nKhoa Công nghệ Thông tin:\n- Công nghệ Thông tin (trang 178, 179)\n- Sư phạm Tin học (trang 190)" }, { "id": "cohort_matrix_ans_cntt_k50", "category": "cohort_program_faculty", "eval_type": "structured", "content_type": "program_directory", "cohort": "K50", "query": "K50-K51 khoa CNTT có những ngành nào?", "passed": false, "checks": { "intent_match": true, "strategy_match": true, "status_match": true, "llm_called_match": true, "lookup_type_match": true, "tool_name_match": null, "answer_contains_match": null, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": false, "structured_items_exclude_match": true, "citation_count_match": true, "citation_type_match": true, "citation_page_match": null, "citation_metadata_match": false, "no_context_leak": true, "source_section_match": null }, "actual_status": "answered", "actual_intent": "faculty_query", "actual_strategy": "program_lookup", "actual_lookup_type": "program_directory", "actual_tool_name": null, "actual_llm_called": false, "citations_used": [ { "chunk_type": "program_directory", "title": "Danh sach nganh dao tao", "source_pages": [ 185, 186 ], "source_label": "Danh muc nganh dao tao trong So tay sinh vien HCMUE", "source_url": null, "cohort": "K50", "document_id": "so_tay_sinh_vien_khoa_50", "source_section": "program_directory", "applicability": null, "content": "Công nghệ Thông tin; Sư phạm Tin học" } ], "answer_preview": "Khoa Công nghệ Thông tin có các ngành đào tạo (2 ngành):\n\nKhoa Công nghệ Thông tin:\n- Công nghệ Thông tin (trang 185, 186)\n- Sư phạm Tin học (trang 185)" }, { "id": "cohort_matrix_ans_cntt_k50", "category": "cohort_program_faculty", "eval_type": "structured", "content_type": "program_directory", "cohort": "K51", "query": "K50-K51 khoa CNTT có những ngành nào?", "passed": false, "checks": { "intent_match": true, "strategy_match": true, "status_match": true, "llm_called_match": true, "lookup_type_match": true, "tool_name_match": null, "answer_contains_match": null, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": false, "structured_items_exclude_match": true, "citation_count_match": true, "citation_type_match": true, "citation_page_match": null, "citation_metadata_match": false, "no_context_leak": true, "source_section_match": null }, "actual_status": "answered", "actual_intent": "faculty_query", "actual_strategy": "program_lookup", "actual_lookup_type": "program_directory", "actual_tool_name": null, "actual_llm_called": false, "citations_used": [ { "chunk_type": "program_directory", "title": "Danh sach nganh dao tao", "source_pages": [ 185, 186 ], "source_label": "Danh muc nganh dao tao trong So tay sinh vien HCMUE", "source_url": null, "cohort": "K50", "document_id": "so_tay_sinh_vien_khoa_50", "source_section": "program_directory", "applicability": null, "content": "Công nghệ Thông tin; Sư phạm Tin học" } ], "answer_preview": "Khoa Công nghệ Thông tin có các ngành đào tạo (2 ngành):\n\nKhoa Công nghệ Thông tin:\n- Công nghệ Thông tin (trang 185, 186)\n- Sư phạm Tin học (trang 185)" }, { "id": "cohort_matrix_ans_math_k50", "category": "cohort_program_faculty", "eval_type": "structured", "content_type": "program_directory", "cohort": "K50", "query": "K51 ngành Toán ứng dụng thuộc khoa nào?", "passed": false, "checks": { "intent_match": null, "strategy_match": null, "status_match": true, "llm_called_match": true, "lookup_type_match": true, "tool_name_match": null, "answer_contains_match": null, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": true, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": true, "citation_page_match": null, "citation_metadata_match": false, "no_context_leak": true, "source_section_match": null }, "actual_status": "answered", "actual_intent": "faculty_query", "actual_strategy": "program_lookup", "actual_lookup_type": "program_directory", "actual_tool_name": null, "actual_llm_called": false, "citations_used": [ { "chunk_type": "program_directory", "title": "Danh sach nganh dao tao", "source_pages": [ 192, 193 ], "source_label": "Danh muc nganh dao tao trong So tay sinh vien HCMUE", "source_url": null, "cohort": "K51", "document_id": "so_tay_sinh_vien_khoa_51", "source_section": "program_directory", "applicability": null, "content": "Toán ứng dụng" } ], "answer_preview": "Các ngành đào tạo áp dụng cho K51 (1 ngành):\n\nKhoa Toán – Tin học:\n- Toán ứng dụng (trang 192, 193)" }, { "id": "cohort_matrix_ans_math_k50", "category": "cohort_program_faculty", "eval_type": "structured", "content_type": "program_directory", "cohort": "K51", "query": "K51 ngành Toán ứng dụng thuộc khoa nào?", "passed": false, "checks": { "intent_match": null, "strategy_match": null, "status_match": true, "llm_called_match": true, "lookup_type_match": true, "tool_name_match": null, "answer_contains_match": null, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": true, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": true, "citation_page_match": null, "citation_metadata_match": false, "no_context_leak": true, "source_section_match": null }, "actual_status": "answered", "actual_intent": "faculty_query", "actual_strategy": "program_lookup", "actual_lookup_type": "program_directory", "actual_tool_name": null, "actual_llm_called": false, "citations_used": [ { "chunk_type": "program_directory", "title": "Danh sach nganh dao tao", "source_pages": [ 192, 193 ], "source_label": "Danh muc nganh dao tao trong So tay sinh vien HCMUE", "source_url": null, "cohort": "K51", "document_id": "so_tay_sinh_vien_khoa_51", "source_section": "program_directory", "applicability": null, "content": "Toán ứng dụng" } ], "answer_preview": "Các ngành đào tạo áp dụng cho K51 (1 ngành):\n\nKhoa Toán – Tin học:\n- Toán ứng dụng (trang 192, 193)" }, { "id": "cohort_matrix_ans_edtech_k50", "category": "cohort_program_faculty", "eval_type": "structured", "content_type": "program_directory", "cohort": "K50", "query": "K50 ngành Công nghệ Giáo dục thuộc khoa nào?", "passed": false, "checks": { "intent_match": null, "strategy_match": null, "status_match": true, "llm_called_match": false, "lookup_type_match": false, "tool_name_match": null, "answer_contains_match": null, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": false, "structured_items_exclude_match": true, "citation_count_match": true, "citation_type_match": true, "citation_page_match": null, "citation_metadata_match": false, "no_context_leak": true, "source_section_match": null }, "actual_status": "answered", "actual_intent": "faculty_query", "actual_strategy": "program_lookup", "actual_lookup_type": null, "actual_tool_name": null, "actual_llm_called": true, "citations_used": [ { "chunk_id": "K50_program_program_31", "chunk_type": "program_directory", "title": "Quản lý giáo dục", "source_pages": [ 199, 200 ], "source_label": "Ngành đào tạo", "source_url": null, "cohort": "K50", "document_id": "so_tay_sinh_vien_khoa_50", "source_section": null, "applicability": null, "distance": 0.0, "rerank": { "final_score": 0.8861586284637452, "cross_encoder_score": 0.7161586284637451, "raw_logit": 0.9254863262176514, "semantic_score": 0.7161586284637451, "metadata_boost": 0.17 }, "retrieval_purpose": "faculty_query", "content": "Ngành đào tạo: Quản lý giáo dục Thông tin liên quan: Khoa phụ trách: Khoa Khoa học Giáo dục NGÀNH QUẢN LÝ GIÁO DỤC Cơ hội nghề nghiệp sau khi tốt nghiệp: – Chuyên viên hành chính làm công tác quản lý học sinh, sinh viên; quản lý hoạt động dạy học và giáo dục tại các cơ sở giáo dục: mầm non, phổ thông, dạy nghề, cao đẳng, đại học; – Trợ lý công tác học sinh, sinh viên ở các cơ sở giáo dục: mầm non, phổ thông, dạy nghề, cao đẳng, đại học; – Chuyên viên hành chính ở các cơ sở giáo dục; – Giảng viên về khoa học quản lý giáo dục ở các cơ sở giáo dục và đào tạo; nghiên cứu viên tại các viện NCKH giáo dục; – Học tập, nghiên cứu chuyên sâu ở các bậc học cao hơn tại các cơ sở giáo dục trong và ngoài nước về khoa học giáo dục: chuyên ngành Quản lý Giáo dục, Giáo dục học, Đo lường và đánh giá giáo dục. Nguồn: Trang 199-200" }, { "chunk_id": "K50_program_program_32", "chunk_type": "program_directory", "title": "Giáo dục học", "source_pages": [ 200 ], "source_label": "Ngành đào tạo", "source_url": null, "cohort": "K50", "document_id": "so_tay_sinh_vien_khoa_50", "source_section": null, "applicability": null, "distance": 0.0, "rerank": { "final_score": 0.8522755932807923, "cross_encoder_score": 0.6822755932807922, "raw_logit": 0.764249324798584, "semantic_score": 0.6822755932807922, "metadata_boost": 0.17 }, "retrieval_purpose": "faculty_query", "content": "Ngành đào tạo: Giáo dục học Thông tin liên quan: Khoa phụ trách: Khoa Khoa học Giáo dục NGÀNH GIÁO DỤC HỌC Cơ hội nghề nghiệp sau khi tốt nghiệp: – Giáo viên giáo dục kỹ năng sống tại các cơ sở giáo dục mầm non và phổ thông; – Trợ lý công tác học sinh, sinh viên ở các cơ sở giáo dục mầm non, phổ thông, dạy nghề, cao đẳng, đại học; – Chuyên viên hành chính ở các cơ sở giáo dục; – Giảng viên Giáo dục học ở các cơ sở giáo dục và đào tạo; nghiên cứu viên tại các viện nghiên cứu về khoa học giáo dục; – Học tập, nghiên cứu chuyên sâu ở các bậc học cao hơn tại các cơ sở giáo dục trong và ngoài nước về khoa học giáo dục: chuyên ngành Giáo dục học, Quản lý giáo dục, Đo lường và đánh giá giáo dục. Nguồn: Trang 200" }, { "chunk_id": "K50_program_program_38", "chunk_type": "program_directory", "title": "Giáo dục Đặc biệt", "source_pages": [ 202, 203 ], "source_label": "Ngành đào tạo", "source_url": null, "cohort": "K50", "document_id": "so_tay_sinh_vien_khoa_50", "source_section": null, "applicability": null, "distance": 0.0, "rerank": { "final_score": 0.8355988693237305, "cross_encoder_score": 0.6655988693237305, "raw_logit": 0.6883461475372314, "semantic_score": 0.6655988693237305, "metadata_boost": 0.17 }, "retrieval_purpose": "faculty_query", "content": "Ngành đào tạo: Giáo dục Đặc biệt Thông tin liên quan: Khoa phụ trách: Khoa Giáo dục Đặc biệt\n\n18. Khoa Giáo dục Đặc biệt Số điện thoại liên lạc : (028) 38352020 số máy nội bộ 163, 164 Email : khoagddb@hcmue.edu.vn Website : khoagddb.hcmue.edu.vn SỔ TAY SINH VIÊN KHÓA 50 203 Văn phòng làm việc : Nhà A, tầng 3, P.301, P.302, số 280 An Dương Vương, Phường 4, Quận 5, TP. HCM. Cơ hội nghề nghiệp sau khi tốt nghiệp: – Làm công tác giáo dục và giảng dạy tại các trường chuyên biệt; – Giáo viên hỗ trợ hoà nhập tại các trường mầm non và tiểu học; – Giáo dục viên tại các cơ sở y tế; – Nhân viên làm việc tại các cơ sở giáo dục trẻ có nhu cầu đặc biệt và các tổ chức phi chính phủ; – Có khả năng và trình độ để tiếp tục học tập, nghiên cứu ở các bậc học cao hơn theo các chuyên ngành Giáo dục Đặc biệt: Giáo dục trẻ khiếm thính, Giáo dục trẻ khiếm thị, Giáo dục trẻ khuyết tật trí tuệ. Nguồn: Trang 202-203" }, { "chunk_id": "K50_program_program_7", "chunk_type": "program_directory", "title": "Sư phạm Hoá học", "source_pages": [ 187, 188 ], "source_label": "Ngành đào tạo", "source_url": null, "cohort": "K50", "document_id": "so_tay_sinh_vien_khoa_50", "source_section": null, "applicability": null, "distance": 0.0, "rerank": { "final_score": 0.7784585189819336, "cross_encoder_score": 0.6084585189819336, "raw_logit": 0.44083741307258606, "semantic_score": 0.6084585189819336, "metadata_boost": 0.17 }, "retrieval_purpose": "faculty_query", "content": "Ngành đào tạo: Sư phạm Hoá học Thông tin liên quan: Khoa phụ trách: Khoa Hóa học NGÀNH SƯ PHẠM HOÁ HỌC Cơ hội nghề nghiệp sau khi tốt nghiệp: – Làm công tác giáo dục và giảng dạy bộ môn Hoá học ở các trường THPT, trung cấp chuyên nghiệp – dạy nghề. Có thể tham gia giảng dạy một số nội dung ở bậc cao đẳng, đại học, tham gia các hoạt động nghiên cứu ở các cơ quan nghiên cứu; – Có khả năng và trình độ để tiếp tục học tập, nghiên cứu ở các bậc học cao hơn theo các chuyên ngành liên quan đến hoá học. Nguồn: Trang 187-188" } ], "answer_preview": "Theo các nguồn được truy xuất từ Sổ tay sinh viên, nội dung trả lời cần được đối chiếu với phần nguồn bên dưới." }, { "id": "cohort_matrix_ans_edtech_k50", "category": "cohort_program_faculty", "eval_type": "structured", "content_type": "program_directory", "cohort": "K51", "query": "K50 ngành Công nghệ Giáo dục thuộc khoa nào?", "passed": false, "checks": { "intent_match": null, "strategy_match": null, "status_match": true, "llm_called_match": false, "lookup_type_match": false, "tool_name_match": null, "answer_contains_match": null, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": false, "structured_items_exclude_match": true, "citation_count_match": true, "citation_type_match": true, "citation_page_match": null, "citation_metadata_match": false, "no_context_leak": true, "source_section_match": null }, "actual_status": "answered", "actual_intent": "faculty_query", "actual_strategy": "program_lookup", "actual_lookup_type": null, "actual_tool_name": null, "actual_llm_called": true, "citations_used": [ { "chunk_id": "K50_program_program_31", "chunk_type": "program_directory", "title": "Quản lý giáo dục", "source_pages": [ 199, 200 ], "source_label": "Ngành đào tạo", "source_url": null, "cohort": "K50", "document_id": "so_tay_sinh_vien_khoa_50", "source_section": null, "applicability": null, "distance": 0.0, "rerank": { "final_score": 0.8861586284637452, "cross_encoder_score": 0.7161586284637451, "raw_logit": 0.9254863262176514, "semantic_score": 0.7161586284637451, "metadata_boost": 0.17 }, "retrieval_purpose": "faculty_query", "content": "Ngành đào tạo: Quản lý giáo dục Thông tin liên quan: Khoa phụ trách: Khoa Khoa học Giáo dục NGÀNH QUẢN LÝ GIÁO DỤC Cơ hội nghề nghiệp sau khi tốt nghiệp: – Chuyên viên hành chính làm công tác quản lý học sinh, sinh viên; quản lý hoạt động dạy học và giáo dục tại các cơ sở giáo dục: mầm non, phổ thông, dạy nghề, cao đẳng, đại học; – Trợ lý công tác học sinh, sinh viên ở các cơ sở giáo dục: mầm non, phổ thông, dạy nghề, cao đẳng, đại học; – Chuyên viên hành chính ở các cơ sở giáo dục; – Giảng viên về khoa học quản lý giáo dục ở các cơ sở giáo dục và đào tạo; nghiên cứu viên tại các viện NCKH giáo dục; – Học tập, nghiên cứu chuyên sâu ở các bậc học cao hơn tại các cơ sở giáo dục trong và ngoài nước về khoa học giáo dục: chuyên ngành Quản lý Giáo dục, Giáo dục học, Đo lường và đánh giá giáo dục. Nguồn: Trang 199-200" }, { "chunk_id": "K50_program_program_32", "chunk_type": "program_directory", "title": "Giáo dục học", "source_pages": [ 200 ], "source_label": "Ngành đào tạo", "source_url": null, "cohort": "K50", "document_id": "so_tay_sinh_vien_khoa_50", "source_section": null, "applicability": null, "distance": 0.0, "rerank": { "final_score": 0.8522755932807923, "cross_encoder_score": 0.6822755932807922, "raw_logit": 0.764249324798584, "semantic_score": 0.6822755932807922, "metadata_boost": 0.17 }, "retrieval_purpose": "faculty_query", "content": "Ngành đào tạo: Giáo dục học Thông tin liên quan: Khoa phụ trách: Khoa Khoa học Giáo dục NGÀNH GIÁO DỤC HỌC Cơ hội nghề nghiệp sau khi tốt nghiệp: – Giáo viên giáo dục kỹ năng sống tại các cơ sở giáo dục mầm non và phổ thông; – Trợ lý công tác học sinh, sinh viên ở các cơ sở giáo dục mầm non, phổ thông, dạy nghề, cao đẳng, đại học; – Chuyên viên hành chính ở các cơ sở giáo dục; – Giảng viên Giáo dục học ở các cơ sở giáo dục và đào tạo; nghiên cứu viên tại các viện nghiên cứu về khoa học giáo dục; – Học tập, nghiên cứu chuyên sâu ở các bậc học cao hơn tại các cơ sở giáo dục trong và ngoài nước về khoa học giáo dục: chuyên ngành Giáo dục học, Quản lý giáo dục, Đo lường và đánh giá giáo dục. Nguồn: Trang 200" }, { "chunk_id": "K50_program_program_38", "chunk_type": "program_directory", "title": "Giáo dục Đặc biệt", "source_pages": [ 202, 203 ], "source_label": "Ngành đào tạo", "source_url": null, "cohort": "K50", "document_id": "so_tay_sinh_vien_khoa_50", "source_section": null, "applicability": null, "distance": 0.0, "rerank": { "final_score": 0.8355988693237305, "cross_encoder_score": 0.6655988693237305, "raw_logit": 0.6883461475372314, "semantic_score": 0.6655988693237305, "metadata_boost": 0.17 }, "retrieval_purpose": "faculty_query", "content": "Ngành đào tạo: Giáo dục Đặc biệt Thông tin liên quan: Khoa phụ trách: Khoa Giáo dục Đặc biệt\n\n18. Khoa Giáo dục Đặc biệt Số điện thoại liên lạc : (028) 38352020 số máy nội bộ 163, 164 Email : khoagddb@hcmue.edu.vn Website : khoagddb.hcmue.edu.vn SỔ TAY SINH VIÊN KHÓA 50 203 Văn phòng làm việc : Nhà A, tầng 3, P.301, P.302, số 280 An Dương Vương, Phường 4, Quận 5, TP. HCM. Cơ hội nghề nghiệp sau khi tốt nghiệp: – Làm công tác giáo dục và giảng dạy tại các trường chuyên biệt; – Giáo viên hỗ trợ hoà nhập tại các trường mầm non và tiểu học; – Giáo dục viên tại các cơ sở y tế; – Nhân viên làm việc tại các cơ sở giáo dục trẻ có nhu cầu đặc biệt và các tổ chức phi chính phủ; – Có khả năng và trình độ để tiếp tục học tập, nghiên cứu ở các bậc học cao hơn theo các chuyên ngành Giáo dục Đặc biệt: Giáo dục trẻ khiếm thính, Giáo dục trẻ khiếm thị, Giáo dục trẻ khuyết tật trí tuệ. Nguồn: Trang 202-203" }, { "chunk_id": "K50_program_program_7", "chunk_type": "program_directory", "title": "Sư phạm Hoá học", "source_pages": [ 187, 188 ], "source_label": "Ngành đào tạo", "source_url": null, "cohort": "K50", "document_id": "so_tay_sinh_vien_khoa_50", "source_section": null, "applicability": null, "distance": 0.0, "rerank": { "final_score": 0.7784585189819336, "cross_encoder_score": 0.6084585189819336, "raw_logit": 0.44083741307258606, "semantic_score": 0.6084585189819336, "metadata_boost": 0.17 }, "retrieval_purpose": "faculty_query", "content": "Ngành đào tạo: Sư phạm Hoá học Thông tin liên quan: Khoa phụ trách: Khoa Hóa học NGÀNH SƯ PHẠM HOÁ HỌC Cơ hội nghề nghiệp sau khi tốt nghiệp: – Làm công tác giáo dục và giảng dạy bộ môn Hoá học ở các trường THPT, trung cấp chuyên nghiệp – dạy nghề. Có thể tham gia giảng dạy một số nội dung ở bậc cao đẳng, đại học, tham gia các hoạt động nghiên cứu ở các cơ quan nghiên cứu; – Có khả năng và trình độ để tiếp tục học tập, nghiên cứu ở các bậc học cao hơn theo các chuyên ngành liên quan đến hoá học. Nguồn: Trang 187-188" } ], "answer_preview": "Theo các nguồn được truy xuất từ Sổ tay sinh viên, nội dung trả lời cần được đối chiếu với phần nguồn bên dưới." }, { "id": "cohort_matrix_ans_pass_k48_d", "category": "cohort_score", "eval_type": "structured", "content_type": "threshold_rules", "cohort": "K48-K49", "query": "K48-K49 điểm D có được xem là đạt không?", "passed": true, "checks": { "intent_match": null, "strategy_match": null, "status_match": true, "llm_called_match": null, "lookup_type_match": true, "tool_name_match": null, "answer_contains_match": true, "answer_not_contains_match": true, "structured_item_count_match": null, "structured_items_include_match": null, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": null, "citation_page_match": null, "citation_metadata_match": null, "no_context_leak": true, "source_section_match": null }, "actual_status": "answered", "actual_intent": "score_lookup_query", "actual_strategy": "structured_lookup", "actual_lookup_type": "grade_10_to_letter", "actual_tool_name": null, "actual_llm_called": false, "citations_used": [ { "chunk_type": "structured_lookup", "title": "Quy đổi thang điểm 10 sang điểm chữ", "source_pages": [ 20 ], "source_label": "Bảng quy định được trích xuất", "source_url": null, "cohort": "K48-K49", "document_id": "so_tay_sinh_vien_khoa_48_49", "source_section": "scoring_table", "applicability": null, "content": "Dữ liệu được trích xuất trực tiếp từ cơ sở dữ liệu bảng quy chế trong Sổ tay Sinh viên HCMUE." } ], "answer_preview": "Theo bảng quy đổi điểm áp dụng cho K48-K49, điểm chữ D có kết quả như sau:\n- Quy đổi hệ 4: D = 1.0.\n- Áp dụng chung theo bảng quy đổi điểm học phần: D; khoảng điểm 4.0-4.7; trạng thái Đạt; ngưỡng qua môn Từ 4.0 trở lên." }, { "id": "cohort_matrix_ans_pass_k50_remaining", "category": "cohort_score", "eval_type": "structured", "content_type": "threshold_rules", "cohort": "K50", "query": "K50-K51 học phần còn lại điểm D+ có đạt không?", "passed": false, "checks": { "intent_match": null, "strategy_match": null, "status_match": true, "llm_called_match": null, "lookup_type_match": true, "tool_name_match": null, "answer_contains_match": false, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": null, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": null, "citation_page_match": null, "citation_metadata_match": null, "no_context_leak": true, "source_section_match": null }, "actual_status": "answered", "actual_intent": "score_lookup_query", "actual_strategy": "structured_lookup", "actual_lookup_type": "grade_10_to_letter", "actual_tool_name": null, "actual_llm_called": false, "citations_used": [ { "chunk_type": "structured_lookup", "title": "Quy đổi thang điểm 10 sang điểm chữ", "source_pages": [ 20 ], "source_label": "Bảng quy định được trích xuất", "source_url": null, "cohort": "K50", "document_id": "so_tay_sinh_vien_khoa_50", "source_section": "scoring_table", "applicability": null, "content": "Dữ liệu được trích xuất trực tiếp từ cơ sở dữ liệu bảng quy chế trong Sổ tay Sinh viên HCMUE." } ], "answer_preview": "Theo bảng quy đổi điểm áp dụng cho K50, điểm chữ D+ có kết quả như sau:\n- Quy đổi hệ 4: D+ = 1.5.\n- Áp dụng chung theo bảng quy đổi điểm học phần: D+; khoảng điểm 4.8-5.4; trạng thái Đạt; ngưỡng qua môn Từ 4.0 trở lên." }, { "id": "cohort_matrix_ans_pass_k50_remaining", "category": "cohort_score", "eval_type": "structured", "content_type": "threshold_rules", "cohort": "K51", "query": "K50-K51 học phần còn lại điểm D+ có đạt không?", "passed": false, "checks": { "intent_match": null, "strategy_match": null, "status_match": true, "llm_called_match": null, "lookup_type_match": true, "tool_name_match": null, "answer_contains_match": false, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": null, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": null, "citation_page_match": null, "citation_metadata_match": null, "no_context_leak": true, "source_section_match": null }, "actual_status": "answered", "actual_intent": "score_lookup_query", "actual_strategy": "structured_lookup", "actual_lookup_type": "grade_10_to_letter", "actual_tool_name": null, "actual_llm_called": false, "citations_used": [ { "chunk_type": "structured_lookup", "title": "Quy đổi thang điểm 10 sang điểm chữ", "source_pages": [ 20 ], "source_label": "Bảng quy định được trích xuất", "source_url": null, "cohort": "K50", "document_id": "so_tay_sinh_vien_khoa_50", "source_section": "scoring_table", "applicability": null, "content": "Dữ liệu được trích xuất trực tiếp từ cơ sở dữ liệu bảng quy chế trong Sổ tay Sinh viên HCMUE." } ], "answer_preview": "Theo bảng quy đổi điểm áp dụng cho K50, điểm chữ D+ có kết quả như sau:\n- Quy đổi hệ 4: D+ = 1.5.\n- Áp dụng chung theo bảng quy đổi điểm học phần: D+; khoảng điểm 4.8-5.4; trạng thái Đạt; ngưỡng qua môn Từ 4.0 trở lên." }, { "id": "structured_golden_017", "category": null, "eval_type": "structured", "content_type": "program_directory", "cohort": "general", "query": "Khoa Tiếng Anh có những ngành nào?", "passed": true, "checks": { "intent_match": true, "strategy_match": true, "status_match": null, "llm_called_match": null, "lookup_type_match": true, "tool_name_match": null, "answer_contains_match": null, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": null, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": null, "citation_page_match": null, "citation_metadata_match": null, "no_context_leak": true, "source_section_match": null }, "actual_status": "answered", "actual_intent": "faculty_query", "actual_strategy": "program_lookup", "actual_lookup_type": "program_directory", "actual_tool_name": null, "actual_llm_called": false, "citations_used": [ { "chunk_type": "program_directory", "title": "Danh sach nganh dao tao", "source_pages": [ 183, 189, 193, 194 ], "source_label": "Danh muc nganh dao tao trong So tay sinh vien HCMUE", "source_url": null, "cohort": null, "document_id": "so_tay_sinh_vien_khoa_48_49", "source_section": "program_directory", "applicability": null, "content": "Ngôn ngữ Anh; Sư phạm tiếng Anh" } ], "answer_preview": "Khoa Tiếng Anh có các ngành đào tạo (2 ngành):\n\nKhoa Tiếng Anh:\n- Ngôn ngữ Anh (trang 183, 194)\n- Sư phạm tiếng Anh (trang 189, 193, 194)" }, { "id": "structured_golden_044", "category": null, "eval_type": "structured", "content_type": "program_directory", "cohort": "general", "query": "Khoa Tiếng Pháp đào tạo ngành nào?", "passed": true, "checks": { "intent_match": true, "strategy_match": true, "status_match": null, "llm_called_match": null, "lookup_type_match": true, "tool_name_match": null, "answer_contains_match": null, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": null, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": null, "citation_page_match": null, "citation_metadata_match": null, "no_context_leak": true, "source_section_match": null }, "actual_status": "answered", "actual_intent": "faculty_query", "actual_strategy": "program_lookup", "actual_lookup_type": "program_directory", "actual_tool_name": null, "actual_llm_called": false, "citations_used": [ { "chunk_type": "program_directory", "title": "Danh sach nganh dao tao", "source_pages": [ 184, 185, 190, 194, 195, 196 ], "source_label": "Danh muc nganh dao tao trong So tay sinh vien HCMUE", "source_url": null, "cohort": null, "document_id": "so_tay_sinh_vien_khoa_48_49", "source_section": "program_directory", "applicability": null, "content": "Ngôn ngữ Pháp; Sư phạm tiếng Pháp" } ], "answer_preview": "Khoa Tiếng Pháp có các ngành đào tạo (2 ngành):\n\nKhoa Tiếng Pháp:\n- Ngôn ngữ Pháp (trang 184, 185, 195, 196)\n- Sư phạm tiếng Pháp (trang 190, 194, 195)" }, { "id": "structured_golden_045", "category": null, "eval_type": "structured", "content_type": "program_directory", "cohort": "general", "query": "Khoa Tâm lí học có những ngành nào?", "passed": false, "checks": { "intent_match": true, "strategy_match": true, "status_match": null, "llm_called_match": null, "lookup_type_match": false, "tool_name_match": null, "answer_contains_match": null, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": null, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": null, "citation_page_match": null, "citation_metadata_match": null, "no_context_leak": true, "source_section_match": null }, "actual_status": "answered", "actual_intent": "faculty_query", "actual_strategy": "program_lookup", "actual_lookup_type": null, "actual_tool_name": null, "actual_llm_called": true, "citations_used": [ { "chunk_id": "K48-K49_program_program_32", "chunk_type": "program_directory", "title": "TÂM LÍ HỌC GIÁO DỤC", "source_pages": [ 155 ], "source_label": "Ngành đào tạo", "source_url": null, "cohort": "K48-K49", "document_id": "so_tay_sinh_vien_khoa_48_49", "source_section": null, "applicability": null, "distance": 0.0, "rerank": { "final_score": 0.8500538516044617, "cross_encoder_score": 0.7200538516044617, "raw_logit": 0.9447287321090698, "semantic_score": 0.7200538516044617, "metadata_boost": 0.13 }, "retrieval_purpose": "faculty_query", "content": "Ngành đào tạo: TÂM LÍ HỌC GIÁO DỤC Thông tin liên quan: Khoa phụ trách: Khoa Tâm lý học NGÀNH TÂM LÍ HỌC GIÁO DỤC Cơ hội nghề nghiệp sau khi tốt nghiệp: – Chuyên viên tâm lý học đường thực hiện công tác dự phòng tâm lý (giảng dạy kỹ năng sống và các chuyên đề Tâm lý học giáo dục có liên quan, sàng lọc các vấn đề sức khỏe tâm thần, tư vấn – tham vấn học đường) tại các trường phổ thông và cơ sở giáo dục nghề nghiệp; – Chuyên viên thực hiện công tác đánh giá và hỗ trợ một số vấn đề tâm lý của trẻ em và thanh thiếu niên tại các phòng khám tâm lý, trường học, cơ sở giáo dục chuyên biệt; – Giáo viên dạy kỹ năng sống, giảng dạy các chuyên đề về Tâm lý học giáo dục tại các trường phổ thông, trung cấp chuyên nghiệp, cao đẳng (hoặc trợ giảng tại các trường đại học) và các cơ sở giáo dục khác; – Chuyên viên phụ trách các hoạt động liên quan đến dự phòng, đánh giá và hỗ trợ tâm lý cho trẻ em và thanh thiếu niên trong các tổ chức đoàn thể, tổ chức xã hội – nghề nghiệp, tổ chức phi chính phủ, các cơ sở dịch vụ Tâm lý – Giáo dục. Nguồn: Trang 155" }, { "chunk_id": "K48-K49_program_program_31", "chunk_type": "program_directory", "title": "TÂM LÍ HỌC", "source_pages": [ 154, 155 ], "source_label": "Ngành đào tạo", "source_url": null, "cohort": "K48-K49", "document_id": "so_tay_sinh_vien_khoa_48_49", "source_section": null, "applicability": null, "distance": 0.0, "rerank": { "final_score": 0.846846764087677, "cross_encoder_score": 0.716846764087677, "raw_logit": 0.9288738965988159, "semantic_score": 0.716846764087677, "metadata_boost": 0.13 }, "retrieval_purpose": "faculty_query", "content": "Ngành đào tạo: TÂM LÍ HỌC Thông tin liên quan: Khoa phụ trách: Khoa Tâm lý học NGÀNH TÂM LÍ HỌC Cơ hội nghề nghiệp sau khi tốt nghiệp: v Hướng tham vấn – trị liệu tâm lý: Nhà tham vấn – trị liệu tâm lý tại các cơ sở giáo dục, các trung tâm, các bệnh viện, các tổ chức, các đoàn thể, chính quyền và gia đình có nhu cầu tham vấn – trị liệu tâm lý. v Hướng ứng dụng tâm lý học trong tổ chức: – Nhà tư vấn về đào tạo, chuyên viên đào tạo nội bộ trong các tổ chức, doanh nghiệp, bệnh viện; – Nhà tư vấn về tổ chức và nhân sự, truyền thông – quảng cáo – tiếp thị, chuyên viên nhân sự, chuyên viên hành chính, chuyên viên truyền thông – quảng cáo – tiếp thị tại các tổ chức, doanh nghiệp, bệnh viện; – Chuyên viên đào tạo và huấn luyện kỹ năng sống/ kỹ năng mềm tại các cơ sở giáo dục, và các tổ chức, trung tâm có nhu cầu. Nguồn: Trang 154-155" }, { "chunk_id": "K51_program_program_39", "chunk_type": "program_directory", "title": "Tâm lý học", "source_pages": [ 191, 192 ], "source_label": "Ngành đào tạo", "source_url": null, "cohort": "K51", "document_id": "so_tay_sinh_vien_khoa_51", "source_section": null, "applicability": null, "distance": 0.0, "rerank": { "final_score": 0.8451802778244019, "cross_encoder_score": 0.7151802778244019, "raw_logit": 0.9206783771514893, "semantic_score": 0.7151802778244019, "metadata_boost": 0.13 }, "retrieval_purpose": "faculty_query", "content": "Ngành đào tạo: Tâm lý học Thông tin liên quan: Khoa phụ trách: Khoa Tâm lý học\n\n39. Ngành Tâm lý học Cơ hội nghề nghiệp sau khi tốt nghiệp: ❖ Hướng tham vấn – trị liệu tâm lý: Nhà tham vấn – trị liệu tâm lý tại các cơ sở giáo dục, các trung tâm, các bệnh viện, các tổ chức, các đoàn thể, chính quyền và gia đình có nhu cầu tham vấn – trị liệu tâm lý. ❖ Hướng ứng dụng tâm lý học trong tổ chức: – Nhà tư vấn về đào tạo, chuyên viên đào tạo nội bộ trong các tổ chức, doanh nghiệp, bệnh viện; – Nhà tư vấn về tổ chức và nhân sự, truyền thông – quảng cáo – tiếp thị, chuyên viên nhân sự, chuyên viên hành chính, chuyên viên truyền thông – quảng cáo – tiếp thị tại các tổ chức, doanh nghiệp, bệnh viện; – Chuyên viên đào tạo và huấn luyện kỹ năng sống/kỹ năng mềm tại các cơ sở giáo dục, và các tổ chức, trung tâm có nhu cầu. Nguồn: Trang 191-192" }, { "chunk_id": "K50_program_program_33", "chunk_type": "program_directory", "title": "Tâm lý học", "source_pages": [ 200, 201 ], "source_label": "Ngành đào tạo", "source_url": null, "cohort": "K50", "document_id": "so_tay_sinh_vien_khoa_50", "source_section": null, "applicability": null, "distance": 0.0, "rerank": { "final_score": 0.8378031897544861, "cross_encoder_score": 0.7078031897544861, "raw_logit": 0.884738564491272, "semantic_score": 0.7078031897544861, "metadata_boost": 0.13 }, "retrieval_purpose": "faculty_query", "content": "Ngành đào tạo: Tâm lý học Thông tin liên quan: Khoa phụ trách: Khoa Tâm lý học NGÀNH TÂM LÝ HỌC Cơ hội nghề nghiệp sau khi tốt nghiệp:  Hướng tham vấn – trị liệu tâm lý: SỔ TAY SINH VIÊN KHÓA 50 201 Nhà tham vấn – trị liệu tâm lý tại các cơ sở giáo dục, các trung tâm, các bệnh viện, các tổ chức, các đoàn thể, chính quyền và gia đình có nhu cầu tham vấn – trị liệu tâm lý.  Hướng ứng dụng tâm lý học trong tổ chức: – Nhà tư vấn về đào tạo, chuyên viên đào tạo nội bộ trong các tổ chức, doanh nghiệp, bệnh viện; – Nhà tư vấn về tổ chức và nhân sự, truyền thông – quảng cáo – tiếp thị, chuyên viên nhân sự, chuyên viên hành chính, chuyên viên truyền thông – quảng cáo – tiếp thị tại các tổ chức, doanh nghiệp, bệnh viện; – Chuyên viên đào tạo và huấn luyện kỹ năng sống/kỹ năng mềm tại các cơ sở giáo dục, và các tổ chức, trung tâm có nhu cầu. Nguồn: Trang 200-201" } ], "answer_preview": "Theo các nguồn được truy xuất từ Sổ tay sinh viên, nội dung trả lời cần được đối chiếu với phần nguồn bên dưới." }, { "id": "case_aug_11", "category": null, "eval_type": "structured", "content_type": "formula_rules", "cohort": "general", "query": "Tính điểm học bổng nếu GPA 3.2 và rèn luyện 90 ạ?", "passed": true, "checks": { "intent_match": true, "strategy_match": true, "status_match": null, "llm_called_match": null, "lookup_type_match": null, "tool_name_match": true, "answer_contains_match": null, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": null, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": null, "citation_page_match": null, "citation_metadata_match": null, "no_context_leak": true, "source_section_match": null }, "actual_status": "answered", "actual_intent": "calculation_query", "actual_strategy": "calculator_tool", "actual_lookup_type": null, "actual_tool_name": "calculate_scholarship_score", "actual_llm_called": false, "citations_used": [], "answer_preview": "Kết quả từ calculate_scholarship_score với academic_score_4=3.2, conduct_score_100=90.0: 3.28.\n\nCông thức: (Điểm học tập x 80 + Điểm rèn luyện / 25 x 20) / 100" }, { "id": "case_aug_20", "category": null, "eval_type": "structured", "content_type": "program_directory", "cohort": "general", "query": "Khoa Tâm lí học có những ngành nào? cho em hỏi với.", "passed": false, "checks": { "intent_match": true, "strategy_match": true, "status_match": null, "llm_called_match": null, "lookup_type_match": false, "tool_name_match": null, "answer_contains_match": null, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": null, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": null, "citation_page_match": null, "citation_metadata_match": null, "no_context_leak": true, "source_section_match": null }, "actual_status": "answered", "actual_intent": "faculty_query", "actual_strategy": "program_lookup", "actual_lookup_type": null, "actual_tool_name": null, "actual_llm_called": true, "citations_used": [ { "chunk_id": "K48-K49_program_program_31", "chunk_type": "program_directory", "title": "TÂM LÍ HỌC", "source_pages": [ 154, 155 ], "source_label": "Ngành đào tạo", "source_url": null, "cohort": "K48-K49", "document_id": "so_tay_sinh_vien_khoa_48_49", "source_section": null, "applicability": null, "distance": 0.0, "rerank": { "final_score": 0.8469637680053711, "cross_encoder_score": 0.7169637680053711, "raw_logit": 0.929450511932373, "semantic_score": 0.7169637680053711, "metadata_boost": 0.13 }, "retrieval_purpose": "faculty_query", "content": "Ngành đào tạo: TÂM LÍ HỌC Thông tin liên quan: Khoa phụ trách: Khoa Tâm lý học NGÀNH TÂM LÍ HỌC Cơ hội nghề nghiệp sau khi tốt nghiệp: v Hướng tham vấn – trị liệu tâm lý: Nhà tham vấn – trị liệu tâm lý tại các cơ sở giáo dục, các trung tâm, các bệnh viện, các tổ chức, các đoàn thể, chính quyền và gia đình có nhu cầu tham vấn – trị liệu tâm lý. v Hướng ứng dụng tâm lý học trong tổ chức: – Nhà tư vấn về đào tạo, chuyên viên đào tạo nội bộ trong các tổ chức, doanh nghiệp, bệnh viện; – Nhà tư vấn về tổ chức và nhân sự, truyền thông – quảng cáo – tiếp thị, chuyên viên nhân sự, chuyên viên hành chính, chuyên viên truyền thông – quảng cáo – tiếp thị tại các tổ chức, doanh nghiệp, bệnh viện; – Chuyên viên đào tạo và huấn luyện kỹ năng sống/ kỹ năng mềm tại các cơ sở giáo dục, và các tổ chức, trung tâm có nhu cầu. Nguồn: Trang 154-155" }, { "chunk_id": "K51_program_program_39", "chunk_type": "program_directory", "title": "Tâm lý học", "source_pages": [ 191, 192 ], "source_label": "Ngành đào tạo", "source_url": null, "cohort": "K51", "document_id": "so_tay_sinh_vien_khoa_51", "source_section": null, "applicability": null, "distance": 0.0, "rerank": { "final_score": 0.8460524725914002, "cross_encoder_score": 0.7160524725914001, "raw_logit": 0.9249642491340637, "semantic_score": 0.7160524725914001, "metadata_boost": 0.13 }, "retrieval_purpose": "faculty_query", "content": "Ngành đào tạo: Tâm lý học Thông tin liên quan: Khoa phụ trách: Khoa Tâm lý học\n\n39. Ngành Tâm lý học Cơ hội nghề nghiệp sau khi tốt nghiệp: ❖ Hướng tham vấn – trị liệu tâm lý: Nhà tham vấn – trị liệu tâm lý tại các cơ sở giáo dục, các trung tâm, các bệnh viện, các tổ chức, các đoàn thể, chính quyền và gia đình có nhu cầu tham vấn – trị liệu tâm lý. ❖ Hướng ứng dụng tâm lý học trong tổ chức: – Nhà tư vấn về đào tạo, chuyên viên đào tạo nội bộ trong các tổ chức, doanh nghiệp, bệnh viện; – Nhà tư vấn về tổ chức và nhân sự, truyền thông – quảng cáo – tiếp thị, chuyên viên nhân sự, chuyên viên hành chính, chuyên viên truyền thông – quảng cáo – tiếp thị tại các tổ chức, doanh nghiệp, bệnh viện; – Chuyên viên đào tạo và huấn luyện kỹ năng sống/kỹ năng mềm tại các cơ sở giáo dục, và các tổ chức, trung tâm có nhu cầu. Nguồn: Trang 191-192" }, { "chunk_id": "K48-K49_program_program_32", "chunk_type": "program_directory", "title": "TÂM LÍ HỌC GIÁO DỤC", "source_pages": [ 155 ], "source_label": "Ngành đào tạo", "source_url": null, "cohort": "K48-K49", "document_id": "so_tay_sinh_vien_khoa_48_49", "source_section": null, "applicability": null, "distance": 0.0, "rerank": { "final_score": 0.8452053713798523, "cross_encoder_score": 0.7152053713798523, "raw_logit": 0.9208012223243713, "semantic_score": 0.7152053713798523, "metadata_boost": 0.13 }, "retrieval_purpose": "faculty_query", "content": "Ngành đào tạo: TÂM LÍ HỌC GIÁO DỤC Thông tin liên quan: Khoa phụ trách: Khoa Tâm lý học NGÀNH TÂM LÍ HỌC GIÁO DỤC Cơ hội nghề nghiệp sau khi tốt nghiệp: – Chuyên viên tâm lý học đường thực hiện công tác dự phòng tâm lý (giảng dạy kỹ năng sống và các chuyên đề Tâm lý học giáo dục có liên quan, sàng lọc các vấn đề sức khỏe tâm thần, tư vấn – tham vấn học đường) tại các trường phổ thông và cơ sở giáo dục nghề nghiệp; – Chuyên viên thực hiện công tác đánh giá và hỗ trợ một số vấn đề tâm lý của trẻ em và thanh thiếu niên tại các phòng khám tâm lý, trường học, cơ sở giáo dục chuyên biệt; – Giáo viên dạy kỹ năng sống, giảng dạy các chuyên đề về Tâm lý học giáo dục tại các trường phổ thông, trung cấp chuyên nghiệp, cao đẳng (hoặc trợ giảng tại các trường đại học) và các cơ sở giáo dục khác; – Chuyên viên phụ trách các hoạt động liên quan đến dự phòng, đánh giá và hỗ trợ tâm lý cho trẻ em và thanh thiếu niên trong các tổ chức đoàn thể, tổ chức xã hội – nghề nghiệp, tổ chức phi chính phủ, các cơ sở dịch vụ Tâm lý – Giáo dục. Nguồn: Trang 155" }, { "chunk_id": "K50_program_program_33", "chunk_type": "program_directory", "title": "Tâm lý học", "source_pages": [ 200, 201 ], "source_label": "Ngành đào tạo", "source_url": null, "cohort": "K50", "document_id": "so_tay_sinh_vien_khoa_50", "source_section": null, "applicability": null, "distance": 0.0, "rerank": { "final_score": 0.8437300968170166, "cross_encoder_score": 0.7137300968170166, "raw_logit": 0.9135695695877075, "semantic_score": 0.7137300968170166, "metadata_boost": 0.13 }, "retrieval_purpose": "faculty_query", "content": "Ngành đào tạo: Tâm lý học Thông tin liên quan: Khoa phụ trách: Khoa Tâm lý học NGÀNH TÂM LÝ HỌC Cơ hội nghề nghiệp sau khi tốt nghiệp:  Hướng tham vấn – trị liệu tâm lý: SỔ TAY SINH VIÊN KHÓA 50 201 Nhà tham vấn – trị liệu tâm lý tại các cơ sở giáo dục, các trung tâm, các bệnh viện, các tổ chức, các đoàn thể, chính quyền và gia đình có nhu cầu tham vấn – trị liệu tâm lý.  Hướng ứng dụng tâm lý học trong tổ chức: – Nhà tư vấn về đào tạo, chuyên viên đào tạo nội bộ trong các tổ chức, doanh nghiệp, bệnh viện; – Nhà tư vấn về tổ chức và nhân sự, truyền thông – quảng cáo – tiếp thị, chuyên viên nhân sự, chuyên viên hành chính, chuyên viên truyền thông – quảng cáo – tiếp thị tại các tổ chức, doanh nghiệp, bệnh viện; – Chuyên viên đào tạo và huấn luyện kỹ năng sống/kỹ năng mềm tại các cơ sở giáo dục, và các tổ chức, trung tâm có nhu cầu. Nguồn: Trang 200-201" } ], "answer_preview": "Theo các nguồn được truy xuất từ Sổ tay sinh viên, nội dung trả lời cần được đối chiếu với phần nguồn bên dưới." }, { "id": "case_aug_24", "category": null, "eval_type": "structured", "content_type": "program_directory", "cohort": "general", "query": "Khoa Tiếng Anh có những ngành nào? ạ?", "passed": true, "checks": { "intent_match": true, "strategy_match": true, "status_match": null, "llm_called_match": null, "lookup_type_match": true, "tool_name_match": null, "answer_contains_match": null, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": null, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": null, "citation_page_match": null, "citation_metadata_match": null, "no_context_leak": true, "source_section_match": null }, "actual_status": "answered", "actual_intent": "faculty_query", "actual_strategy": "program_lookup", "actual_lookup_type": "program_directory", "actual_tool_name": null, "actual_llm_called": false, "citations_used": [ { "chunk_type": "program_directory", "title": "Danh sach nganh dao tao", "source_pages": [ 183, 189, 193, 194 ], "source_label": "Danh muc nganh dao tao trong So tay sinh vien HCMUE", "source_url": null, "cohort": null, "document_id": "so_tay_sinh_vien_khoa_48_49", "source_section": "program_directory", "applicability": null, "content": "Ngôn ngữ Anh; Sư phạm tiếng Anh" } ], "answer_preview": "Khoa Tiếng Anh có các ngành đào tạo (2 ngành):\n\nKhoa Tiếng Anh:\n- Ngôn ngữ Anh (trang 183, 194)\n- Sư phạm tiếng Anh (trang 189, 193, 194)" }, { "id": "case_aug_30", "category": null, "eval_type": "structured", "content_type": "program_directory", "cohort": "general", "query": "Khoa Hóa học đào tạo những ngành nào? ạ?", "passed": true, "checks": { "intent_match": true, "strategy_match": true, "status_match": null, "llm_called_match": null, "lookup_type_match": true, "tool_name_match": null, "answer_contains_match": null, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": null, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": null, "citation_page_match": null, "citation_metadata_match": null, "no_context_leak": true, "source_section_match": null }, "actual_status": "answered", "actual_intent": "faculty_query", "actual_strategy": "program_lookup", "actual_lookup_type": "program_directory", "actual_tool_name": null, "actual_llm_called": false, "citations_used": [ { "chunk_type": "program_directory", "title": "Danh sach nganh dao tao", "source_pages": [ 182, 183, 187, 188 ], "source_label": "Danh muc nganh dao tao trong So tay sinh vien HCMUE", "source_url": null, "cohort": null, "document_id": "so_tay_sinh_vien_khoa_48_49", "source_section": "program_directory", "applicability": null, "content": "Hoá học; Sư phạm Hoá học; Sư phạm Khoa học tự nhiên" } ], "answer_preview": "Khoa Hóa học có các ngành đào tạo (3 ngành):\n\nKhoa Hóa học:\n- Hoá học (trang 182, 183, 188)\n- Sư phạm Hoá học (trang 187, 188)\n- Sư phạm Khoa học tự nhiên (trang 188)" }, { "id": "case_aug_34", "category": null, "eval_type": "structured", "content_type": "program_directory", "cohort": "general", "query": "Khoa Tiếng Anh có những ngành nào? cụ thể là sao ạ?", "passed": true, "checks": { "intent_match": true, "strategy_match": true, "status_match": null, "llm_called_match": null, "lookup_type_match": true, "tool_name_match": null, "answer_contains_match": null, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": null, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": null, "citation_page_match": null, "citation_metadata_match": null, "no_context_leak": true, "source_section_match": null }, "actual_status": "answered", "actual_intent": "faculty_query", "actual_strategy": "program_lookup", "actual_lookup_type": "program_directory", "actual_tool_name": null, "actual_llm_called": false, "citations_used": [ { "chunk_type": "program_directory", "title": "Danh sach nganh dao tao", "source_pages": [ 183, 189, 193, 194 ], "source_label": "Danh muc nganh dao tao trong So tay sinh vien HCMUE", "source_url": null, "cohort": null, "document_id": "so_tay_sinh_vien_khoa_48_49", "source_section": "program_directory", "applicability": null, "content": "Ngôn ngữ Anh; Sư phạm tiếng Anh" } ], "answer_preview": "Khoa Tiếng Anh có các ngành đào tạo (2 ngành):\n\nKhoa Tiếng Anh:\n- Ngôn ngữ Anh (trang 183, 194)\n- Sư phạm tiếng Anh (trang 189, 193, 194)" }, { "id": "case_aug_35", "category": null, "eval_type": "structured", "content_type": "scoring_tables", "cohort": "general", "query": "GPA 3.4 là loại học lực gì? ạ?", "passed": true, "checks": { "intent_match": true, "strategy_match": true, "status_match": null, "llm_called_match": null, "lookup_type_match": true, "tool_name_match": null, "answer_contains_match": null, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": null, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": null, "citation_page_match": null, "citation_metadata_match": null, "no_context_leak": true, "source_section_match": null }, "actual_status": "answered", "actual_intent": "score_lookup_query", "actual_strategy": "structured_lookup", "actual_lookup_type": "academic_classification", "actual_tool_name": null, "actual_llm_called": false, "citations_used": [ { "chunk_type": "structured_lookup", "title": "Xếp loại học lực theo thang điểm 4", "source_pages": [ 23 ], "source_label": "Bảng quy định được trích xuất", "source_url": null, "cohort": "K48-K49", "document_id": "so_tay_sinh_vien_khoa_48_49", "source_section": "scoring_table", "applicability": null, "content": "Dữ liệu được trích xuất trực tiếp từ cơ sở dữ liệu bảng quy chế trong Sổ tay Sinh viên HCMUE." } ], "answer_preview": "Tra theo Xếp loại học lực theo thang điểm 4, giá trị 3.4 được xếp loại: Giỏi (khoảng 3.2-dưới 3.6)." }, { "id": "case_aug_43", "category": null, "eval_type": "structured", "content_type": "program_directory", "cohort": "general", "query": "Khoa Tiếng Pháp đào tạo ngành nào? cụ thể là sao ạ?", "passed": true, "checks": { "intent_match": true, "strategy_match": true, "status_match": null, "llm_called_match": null, "lookup_type_match": true, "tool_name_match": null, "answer_contains_match": null, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": null, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": null, "citation_page_match": null, "citation_metadata_match": null, "no_context_leak": true, "source_section_match": null }, "actual_status": "answered", "actual_intent": "faculty_query", "actual_strategy": "program_lookup", "actual_lookup_type": "program_directory", "actual_tool_name": null, "actual_llm_called": false, "citations_used": [ { "chunk_type": "program_directory", "title": "Danh sach nganh dao tao", "source_pages": [ 184, 185, 190, 194, 195, 196 ], "source_label": "Danh muc nganh dao tao trong So tay sinh vien HCMUE", "source_url": null, "cohort": null, "document_id": "so_tay_sinh_vien_khoa_48_49", "source_section": "program_directory", "applicability": null, "content": "Ngôn ngữ Pháp; Sư phạm tiếng Pháp" } ], "answer_preview": "Khoa Tiếng Pháp có các ngành đào tạo (2 ngành):\n\nKhoa Tiếng Pháp:\n- Ngôn ngữ Pháp (trang 184, 185, 195, 196)\n- Sư phạm tiếng Pháp (trang 190, 194, 195)" }, { "id": "case_aug_45", "category": null, "eval_type": "structured", "content_type": "scoring_tables", "cohort": "general", "query": "GPA 3.4 là loại học lực gì? hả phòng đào tạo?", "passed": true, "checks": { "intent_match": true, "strategy_match": true, "status_match": null, "llm_called_match": null, "lookup_type_match": true, "tool_name_match": null, "answer_contains_match": null, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": null, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": null, "citation_page_match": null, "citation_metadata_match": null, "no_context_leak": true, "source_section_match": null }, "actual_status": "answered", "actual_intent": "score_lookup_query", "actual_strategy": "structured_lookup", "actual_lookup_type": "academic_classification", "actual_tool_name": null, "actual_llm_called": false, "citations_used": [ { "chunk_type": "structured_lookup", "title": "Xếp loại học lực theo thang điểm 4", "source_pages": [ 23 ], "source_label": "Bảng quy định được trích xuất", "source_url": null, "cohort": "K48-K49", "document_id": "so_tay_sinh_vien_khoa_48_49", "source_section": "scoring_table", "applicability": null, "content": "Dữ liệu được trích xuất trực tiếp từ cơ sở dữ liệu bảng quy chế trong Sổ tay Sinh viên HCMUE." } ], "answer_preview": "Tra theo Xếp loại học lực theo thang điểm 4, giá trị 3.4 được xếp loại: Giỏi (khoảng 3.2-dưới 3.6)." }, { "id": "v4_prog_school_k48_typo", "category": null, "eval_type": "structured", "content_type": "program_directory", "cohort": "K48-K49", "query": "truong dang co nhung nganh nao", "passed": true, "checks": { "intent_match": true, "strategy_match": true, "status_match": null, "llm_called_match": null, "lookup_type_match": true, "tool_name_match": null, "answer_contains_match": null, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": null, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": null, "citation_page_match": null, "citation_metadata_match": null, "no_context_leak": true, "source_section_match": null }, "actual_status": "answered", "actual_intent": "faculty_query", "actual_strategy": "program_lookup", "actual_lookup_type": "program_directory", "actual_tool_name": null, "actual_llm_called": false, "citations_used": [ { "chunk_type": "program_directory", "title": "Danh sach nganh dao tao", "source_pages": [ 178, 179, 180, 181, 182, 183, 184, 185, 186, 187, 188, 189, 190, 191, 192, 193, 207 ], "source_label": "Danh muc nganh dao tao trong So tay sinh vien HCMUE", "source_url": null, "cohort": "K48-K49", "document_id": "so_tay_sinh_vien_khoa_48_49", "source_section": "program_directory", "applicability": null, "content": "Công nghệ Thông tin; Sư phạm Tin học; Địa lý học; Du lịch; Sư phạm Địa lý; Sư phạm Lịch sử – Địa lý; Giáo dục Chính trị; Giáo dục Công dân; ..." } ], "answer_preview": "Các ngành đào tạo áp dụng cho K48-K49 (42 ngành):\n\nKhoa Công nghệ Thông tin:\n- Công nghệ Thông tin (trang 178, 179)\n- Sư phạm Tin học (trang 190)\n\nKhoa Địa lý:\n- Địa lý học (trang 179, 180)\n- Du lịch (trang 179)\n- Sư phạm Địa lý (trang 187)\n- Sư phạm Lịch sử – Địa lý (trang 188)\n\nKhoa Giáo dục Chính trị:\n- Giáo dục Chính trị (trang 180)\n- Giáo dục Công dân (trang 180)\n\nKhoa Giáo dục Đặc biệt:\n- Giáo dục Đặc biệt (trang 180, 181)\n\nKhoa Giáo dục Mầm non:\n- Giáo dục Mầm non (trình độ cao đẳng và đạ" }, { "id": "v4_prog_faculty_physics_k50", "category": null, "eval_type": "structured", "content_type": "program_directory", "cohort": "K50", "query": "Khoa Vật lý phụ trách ngành nào?", "passed": true, "checks": { "intent_match": true, "strategy_match": true, "status_match": null, "llm_called_match": null, "lookup_type_match": true, "tool_name_match": null, "answer_contains_match": null, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": null, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": null, "citation_page_match": null, "citation_metadata_match": null, "no_context_leak": true, "source_section_match": null }, "actual_status": "answered", "actual_intent": "faculty_query", "actual_strategy": "program_lookup", "actual_lookup_type": "program_directory", "actual_tool_name": null, "actual_llm_called": false, "citations_used": [ { "chunk_type": "program_directory", "title": "Danh sach nganh dao tao", "source_pages": [ 187 ], "source_label": "Danh muc nganh dao tao trong So tay sinh vien HCMUE", "source_url": null, "cohort": "K50", "document_id": "so_tay_sinh_vien_khoa_50", "source_section": "program_directory", "applicability": null, "content": "Sư phạm Công nghệ; Sư phạm Vật lý; Vật lý học" } ], "answer_preview": "Khoa Vật lý có các ngành đào tạo (3 ngành):\n\nKhoa Vật lý:\n- Sư phạm Công nghệ (trang 187)\n- Sư phạm Vật lý (trang 187)\n- Vật lý học (trang 187)" }, { "id": "v4_prog_faculty_physics_k50", "category": null, "eval_type": "structured", "content_type": "program_directory", "cohort": "K51", "query": "Khoa Vật lý phụ trách ngành nào?", "passed": true, "checks": { "intent_match": true, "strategy_match": true, "status_match": null, "llm_called_match": null, "lookup_type_match": true, "tool_name_match": null, "answer_contains_match": null, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": null, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": null, "citation_page_match": null, "citation_metadata_match": null, "no_context_leak": true, "source_section_match": null }, "actual_status": "answered", "actual_intent": "faculty_query", "actual_strategy": "program_lookup", "actual_lookup_type": "program_directory", "actual_tool_name": null, "actual_llm_called": false, "citations_used": [ { "chunk_type": "program_directory", "title": "Danh sach nganh dao tao", "source_pages": [ 187, 191, 193 ], "source_label": "Danh muc nganh dao tao trong So tay sinh vien HCMUE", "source_url": null, "cohort": "K51", "document_id": "so_tay_sinh_vien_khoa_51", "source_section": "program_directory", "applicability": null, "content": "Sư phạm Công nghệ; Sư phạm Vật lý; Vật lý học" } ], "answer_preview": "Khoa Vật lý có các ngành đào tạo (3 ngành):\n\nKhoa Vật lý:\n- Sư phạm Công nghệ (trang 187)\n- Sư phạm Vật lý (trang 191)\n- Vật lý học (trang 193)" }, { "id": "v4_prog_faculty_geo_k50", "category": null, "eval_type": "structured", "content_type": "program_directory", "cohort": "K50", "query": "Khoa Địa lý có ngành nào?", "passed": true, "checks": { "intent_match": true, "strategy_match": true, "status_match": null, "llm_called_match": null, "lookup_type_match": true, "tool_name_match": null, "answer_contains_match": null, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": null, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": null, "citation_page_match": null, "citation_metadata_match": null, "no_context_leak": true, "source_section_match": null }, "actual_status": "answered", "actual_intent": "faculty_query", "actual_strategy": "program_lookup", "actual_lookup_type": "program_directory", "actual_tool_name": null, "actual_llm_called": false, "citations_used": [ { "chunk_type": "program_directory", "title": "Danh sach nganh dao tao", "source_pages": [ 192, 193 ], "source_label": "Danh muc nganh dao tao trong So tay sinh vien HCMUE", "source_url": null, "cohort": "K50", "document_id": "so_tay_sinh_vien_khoa_50", "source_section": "program_directory", "applicability": null, "content": "Địa lý học; Du lịch; Sư phạm Địa lý; Sư phạm Lịch sử – Địa lý" } ], "answer_preview": "Khoa Địa lý có các ngành đào tạo (4 ngành):\n\nKhoa Địa lý:\n- Địa lý học (trang 192)\n- Du lịch (trang 192, 193)\n- Sư phạm Địa lý (trang 192)\n- Sư phạm Lịch sử – Địa lý (trang 192)" }, { "id": "v4_prog_faculty_geo_k50", "category": null, "eval_type": "structured", "content_type": "program_directory", "cohort": "K51", "query": "Khoa Địa lý có ngành nào?", "passed": true, "checks": { "intent_match": true, "strategy_match": true, "status_match": null, "llm_called_match": null, "lookup_type_match": true, "tool_name_match": null, "answer_contains_match": null, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": null, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": null, "citation_page_match": null, "citation_metadata_match": null, "no_context_leak": true, "source_section_match": null }, "actual_status": "answered", "actual_intent": "faculty_query", "actual_strategy": "program_lookup", "actual_lookup_type": "program_directory", "actual_tool_name": null, "actual_llm_called": false, "citations_used": [ { "chunk_type": "program_directory", "title": "Danh sach nganh dao tao", "source_pages": [ 179, 180, 187, 188 ], "source_label": "Danh muc nganh dao tao trong So tay sinh vien HCMUE", "source_url": null, "cohort": "K51", "document_id": "so_tay_sinh_vien_khoa_51", "source_section": "program_directory", "applicability": null, "content": "Địa lý học; Du lịch; Sư phạm Địa lý; Sư phạm Lịch sử – Địa lý" } ], "answer_preview": "Khoa Địa lý có các ngành đào tạo (4 ngành):\n\nKhoa Địa lý:\n- Địa lý học (trang 179, 180)\n- Du lịch (trang 179)\n- Sư phạm Địa lý (trang 187)\n- Sư phạm Lịch sử – Địa lý (trang 188)" }, { "id": "v4_score_pass_k50", "category": null, "eval_type": "structured", "content_type": "threshold_rules", "cohort": "K50", "query": "Mấy điểm thì qua môn?", "passed": true, "checks": { "intent_match": true, "strategy_match": true, "status_match": null, "llm_called_match": null, "lookup_type_match": true, "tool_name_match": null, "answer_contains_match": null, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": null, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": null, "citation_page_match": null, "citation_metadata_match": null, "no_context_leak": true, "source_section_match": null }, "actual_status": "answered", "actual_intent": "score_lookup_query", "actual_strategy": "structured_lookup", "actual_lookup_type": "grade_10_to_letter", "actual_tool_name": null, "actual_llm_called": false, "citations_used": [ { "chunk_type": "structured_lookup", "title": "Quy đổi thang điểm 10 sang điểm chữ", "source_pages": [ 20 ], "source_label": "Bảng quy định được trích xuất", "source_url": null, "cohort": "K50", "document_id": "so_tay_sinh_vien_khoa_50", "source_section": "scoring_table", "applicability": null, "content": "Dữ liệu được trích xuất trực tiếp từ cơ sở dữ liệu bảng quy chế trong Sổ tay Sinh viên HCMUE." } ], "answer_preview": "Theo bảng quy đổi điểm áp dụng cho K50, ngưỡng đạt/qua môn được tóm tắt như sau:\n- Áp dụng chung theo bảng quy đổi điểm học phần: Từ 4.0 trở lên.\nĐạt: A (8.5-10), B+ (7.8-8.4), B (7.0-7.7), C+ (6.3-6.9), C (5.5-6.2), D+ (4.8-5.4), D (4.0-4.7).\nKhông đạt: F+ (3.0-3.9), F (0.0-2.9)." }, { "id": "v4_score_pass_k50", "category": null, "eval_type": "structured", "content_type": "threshold_rules", "cohort": "K51", "query": "Mấy điểm thì qua môn?", "passed": true, "checks": { "intent_match": true, "strategy_match": true, "status_match": null, "llm_called_match": null, "lookup_type_match": true, "tool_name_match": null, "answer_contains_match": null, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": null, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": null, "citation_page_match": null, "citation_metadata_match": null, "no_context_leak": true, "source_section_match": null }, "actual_status": "answered", "actual_intent": "score_lookup_query", "actual_strategy": "structured_lookup", "actual_lookup_type": "grade_10_to_letter", "actual_tool_name": null, "actual_llm_called": false, "citations_used": [ { "chunk_type": "structured_lookup", "title": "Các bảng: K51: quy đổi điểm cho học phần giáo dục đại cương/học phần chung | K51: quy đổi điểm cho các học phần còn lại | K51: học phần đạt/không đạt không phân mức", "source_pages": [ 20 ], "source_label": "Bảng quy định được trích xuất", "source_url": null, "cohort": "K51", "document_id": "so_tay_sinh_vien_khoa_51", "source_section": "scoring_table", "applicability": null, "content": "Dữ liệu được trích xuất trực tiếp từ cơ sở dữ liệu bảng quy chế trong Sổ tay Sinh viên HCMUE." } ], "answer_preview": "Theo bảng quy đổi điểm áp dụng cho K51, ngưỡng đạt/qua môn được tóm tắt như sau:\n- Học phần giáo dục đại cương hoặc học phần chung thuộc nhóm học phần nền tảng: Từ 4.0 trở lên.\n- Các học phần còn lại: Từ 5.5 trở lên.\n- Học phần chỉ yêu cầu đạt, không tính vào điểm trung bình học tập: Từ 5.0 trở lên." }, { "id": "v4_score_55_k50", "category": null, "eval_type": "structured", "content_type": "threshold_rules", "cohort": "K50", "query": "Điểm 5.5 tương ứng điểm chữ gì?", "passed": true, "checks": { "intent_match": true, "strategy_match": true, "status_match": null, "llm_called_match": null, "lookup_type_match": true, "tool_name_match": null, "answer_contains_match": null, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": null, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": null, "citation_page_match": null, "citation_metadata_match": null, "no_context_leak": true, "source_section_match": null }, "actual_status": "answered", "actual_intent": "score_lookup_query", "actual_strategy": "structured_lookup", "actual_lookup_type": "grade_10_to_letter", "actual_tool_name": null, "actual_llm_called": false, "citations_used": [ { "chunk_type": "structured_lookup", "title": "Quy đổi thang điểm 10 sang điểm chữ", "source_pages": [ 20 ], "source_label": "Bảng quy định được trích xuất", "source_url": null, "cohort": "K50", "document_id": "so_tay_sinh_vien_khoa_50", "source_section": "scoring_table", "applicability": null, "content": "Dữ liệu được trích xuất trực tiếp từ cơ sở dữ liệu bảng quy chế trong Sổ tay Sinh viên HCMUE." } ], "answer_preview": "Theo bảng quy đổi điểm áp dụng cho K50, ngưỡng đạt/qua môn được tóm tắt như sau:\n- Áp dụng chung theo bảng quy đổi điểm học phần: Từ 4.0 trở lên.\nĐạt: A (8.5-10), B+ (7.8-8.4), B (7.0-7.7), C+ (6.3-6.9), C (5.5-6.2), D+ (4.8-5.4), D (4.0-4.7).\nKhông đạt: F+ (3.0-3.9), F (0.0-2.9)." }, { "id": "v4_score_55_k50", "category": null, "eval_type": "structured", "content_type": "threshold_rules", "cohort": "K51", "query": "Điểm 5.5 tương ứng điểm chữ gì?", "passed": true, "checks": { "intent_match": true, "strategy_match": true, "status_match": null, "llm_called_match": null, "lookup_type_match": true, "tool_name_match": null, "answer_contains_match": null, "answer_not_contains_match": null, "structured_item_count_match": null, "structured_items_include_match": null, "structured_items_exclude_match": null, "citation_count_match": true, "citation_type_match": null, "citation_page_match": null, "citation_metadata_match": null, "no_context_leak": true, "source_section_match": null }, "actual_status": "answered", "actual_intent": "score_lookup_query", "actual_strategy": "structured_lookup", "actual_lookup_type": "grade_10_to_letter", "actual_tool_name": null, "actual_llm_called": false, "citations_used": [ { "chunk_type": "structured_lookup", "title": "Các bảng: K51: quy đổi điểm cho học phần giáo dục đại cương/học phần chung | K51: quy đổi điểm cho các học phần còn lại | K51: học phần đạt/không đạt không phân mức", "source_pages": [ 20 ], "source_label": "Bảng quy định được trích xuất", "source_url": null, "cohort": "K51", "document_id": "so_tay_sinh_vien_khoa_51", "source_section": "scoring_table", "applicability": null, "content": "Dữ liệu được trích xuất trực tiếp từ cơ sở dữ liệu bảng quy chế trong Sổ tay Sinh viên HCMUE." } ], "answer_preview": "Theo bảng quy đổi điểm áp dụng cho K51, ngưỡng đạt/qua môn được tóm tắt như sau:\n- Học phần giáo dục đại cương hoặc học phần chung thuộc nhóm học phần nền tảng: Từ 4.0 trở lên.\n- Các học phần còn lại: Từ 5.5 trở lên.\n- Học phần chỉ yêu cầu đạt, không tính vào điểm trung bình học tập: Từ 5.0 trở lên." } ] }