retrival chậm

core/embeddings/chunk.py

@@ -18,7 +18,7 @@ TABLE_ROWS_PER_CHUNK = 15
 
 # Small-to-Big Config
 ENABLE_TABLE_SUMMARY = True
-MIN_TABLE_ROWS_FOR_SUMMARY = 5  # Only summarize tables with >= 5 rows
+MIN_TABLE_ROWS_FOR_SUMMARY = 0  # Summarize ALL tables regardless of size
 SUMMARY_MODEL = "nex-agi/DeepSeek-V3.1-Nex-N1"
 SILICONFLOW_BASE_URL = "https://api.siliconflow.com/v1"
 
@@ -27,6 +27,8 @@ COURSE_PATTERN = re.compile(r"Học\s*phần\s+(.+?)\s*\(\s*m[ãa]\s+([^\)]+)\)"
 TABLE_PLACEHOLDER = re.compile(r"__TBL_(\d+)__")
 HEADER_KEYWORDS = {'TT', 'STT', 'MÃ', 'TÊN', 'KHỐI', 'SỐ', 'ID', 'NO', '#'}
 FRONTMATTER_PATTERN = re.compile(r"^---\s*\n(.*?)\n---\s*\n", re.DOTALL)
+# Pattern để trích xuất số bảng và tiêu đề (ví dụ: "Bảng 3.1 Danh mục các học phần...")
+TABLE_TITLE_PATTERN = re.compile(r"(?:^|\n)#+\s*(?:Bảng|BẢNG)\s*(\d+(?:\.\d+)?)\s*[.:]*\s*(.+?)(?:\n|$)", re.IGNORECASE)
 
 
 def _is_table_row(line: str) -> bool:
@@ -119,65 +121,118 @@ def _get_summary_client() -> Optional[OpenAI]:
     return _summary_client
 
 
-def _summarize_table(table_text: str, context_hint: str = "") -> Optional[str]:
+def _summarize_table(
+    table_text: str, 
+    context_hint: str = "",
+    table_number: str = "",
+    table_title: str = "",
+    source_file: str = "",
+    max_retries: int = 5,
+    base_delay: float = 2.0
+) -> str:
+    """Summarize a table with retry logic. Raises exception if all retries fail."""
+    import time
+    
     if not ENABLE_TABLE_SUMMARY:
-        return None
+        raise RuntimeError("Table summarization is disabled but required. Set ENABLE_TABLE_SUMMARY = True")
     
     client = _get_summary_client()
     if client is None:
-        return None
+        raise RuntimeError("SILICONFLOW_API_KEY not set. Cannot summarize tables.")
     
-    prompt = f"""Tóm tắt ngắn gọn nội dung bảng sau trong 2-4 câu bằng tiếng Việt.
-Ghi rõ: 
-- Bảng này liệt kê/quy định về cái gì
-- Các cột chính trong bảng
-- Thông tin quan trọng (nếu có số liệu cụ thể thì nêu ví dụ)
+    # Build table identifier string
+    table_id_parts = []
+    if table_number:
+        table_id_parts.append(f"Bảng {table_number}")
+    if table_title:
+        table_id_parts.append(f'"{table_title}"')
+    if source_file:
+        table_id_parts.append(f"từ file {source_file}")
+    
+    table_identifier = " - ".join(table_id_parts) if table_id_parts else "Unknown table"
+    
+    prompt = f"""Tóm tắt ngắn gọn nội dung bảng sau bằng tiếng Việt.
 
-{f"Ngữ cảnh: {context_hint}" if context_hint else ""}
+{f"**Thông tin bảng:** {table_identifier}" if table_identifier else ""}
+{f"**Ngữ cảnh:** {context_hint}" if context_hint else ""}
+
+**YÊU CẦU QUAN TRỌNG:**
+- Bắt đầu tóm tắt bằng việc nêu rõ đây là {f"Bảng {table_number}" if table_number else "bảng nào"}{f' với tiêu đề "{table_title}"' if table_title else ""}{f" thuộc file {source_file}" if source_file else ""}
+- Ghi rõ bảng này liệt kê/quy định về cái gì
+- Nêu các cột chính trong bảng
+- Thông tin quan trọng (nếu có số liệu cụ thể thì nêu ví dụ)
 
 Bảng:
 {table_text[:3000]}  
 """
     
-    try:
-        response = client.chat.completions.create(
-            model=SUMMARY_MODEL,
-            messages=[{"role": "user", "content": prompt}],
-            temperature=0.3,
-            max_tokens=1000,
-        )
-        summary = response.choices[0].message.content or ""
-        return summary.strip() if summary.strip() else None
-    except Exception as e:
-        print(f" Table summarization failed: {e}")
-        return None
+    last_error = None
+    for attempt in range(max_retries):
+        try:
+            response = client.chat.completions.create(
+                model=SUMMARY_MODEL,
+                messages=[{"role": "user", "content": prompt}],
+                temperature=0.3,
+                max_tokens=1000,
+            )
+            summary = response.choices[0].message.content or ""
+            if summary.strip():
+                return summary.strip()
+            else:
+                raise ValueError("Empty summary returned from API")
+                
+        except Exception as e:
+            last_error = e
+            delay = base_delay * (2 ** attempt)  # Exponential backoff: 2, 4, 8, 16, 32 seconds
+            print(f"⚠️  Retry {attempt + 1}/{max_retries} for {table_identifier}: {e}")
+            print(f"   Waiting {delay:.1f}s before retry...")
+            time.sleep(delay)
+    
+    # All retries failed
+    raise RuntimeError(f"Failed to summarize {table_identifier} after {max_retries} retries. Last error: {last_error}")
+
+
+
 
 
 def _create_table_nodes(
     table_text: str, 
     metadata: dict, 
-    context_hint: str = ""
+    context_hint: str = "",
+    table_number: str = "",
+    table_title: str = "",
+    source_file: str = ""
 ) -> List[TextNode]:
+    """Create table nodes. For large tables, creates parent+summary nodes with retry until success."""
     # Count rows to decide if we should summarize
     row_count = table_text.count("\n")
     
-    if row_count < MIN_TABLE_ROWS_FOR_SUMMARY:
-        # Table too small, just return as-is
-        return [TextNode(text=table_text, metadata={**metadata, "is_table": True})]
+    # Add table info to metadata
+    table_meta = {**metadata}
+    if table_number:
+        table_meta["table_number"] = table_number
+    if table_title:
+        table_meta["table_title"] = table_title
     
-    # Try to generate summary
-    summary = _summarize_table(table_text, context_hint)
+    if row_count < MIN_TABLE_ROWS_FOR_SUMMARY:
+        # Table too small, just return as-is (no summary needed)
+        return [TextNode(text=table_text, metadata={**table_meta, "is_table": True})]
     
-    if summary is None:
-        # Summarization failed, return raw table
-        return [TextNode(text=table_text, metadata={**metadata, "is_table": True})]
+    # Generate summary with retry logic (will raise exception if all retries fail)
+    summary = _summarize_table(
+        table_text, 
+        context_hint,
+        table_number=table_number,
+        table_title=table_title,
+        source_file=source_file
+    )
     
     # Create parent node (raw table - will NOT be embedded)
     parent_id = str(uuid.uuid4())
     parent_node = TextNode(
         text=table_text,
         metadata={
-            **metadata,
+            **table_meta,
             "is_table": True,
             "is_parent": True,  # Flag to skip embedding
             "node_id": parent_id,
@@ -189,16 +244,19 @@ def _create_table_nodes(
     summary_node = TextNode(
         text=summary,
         metadata={
-            **metadata,
+            **table_meta,
             "is_table_summary": True,
             "parent_id": parent_id,  # Link to parent
         }
     )
     
-    print(f"Created summary for table ({row_count} rows)")
+    table_id = f"Bảng {table_number}" if table_number else "table"
+    print(f"✅ Created summary for {table_id} ({row_count} rows)")
     return [parent_node, summary_node]
 
 
+
+
 def _enrich_metadata(node: BaseNode, source_path: Path | None) -> None:
     if source_path:
         node.metadata.update({"source_path": str(source_path), "source_file": source_path.name})
@@ -259,8 +317,20 @@ def chunk_markdown(text: str, source_path: str | Path | None = None) -> List[Bas
         last_end = 0
         for match in matches:
             # Text before table
-            if (before := content[last_end:match.start()].strip()) and len(before) >= MIN_CHUNK_SIZE:
-                nodes.extend(_chunk_text(before, meta) if len(before) > CHUNK_SIZE else [TextNode(text=before, metadata=meta.copy())])
+            before_text = content[last_end:match.start()].strip()
+            
+            # Extract table number and title from text before table
+            table_number = ""
+            table_title = ""
+            if before_text:
+                # Look for patterns like "## Bảng 3.1 Danh mục các học phần..."
+                title_match = TABLE_TITLE_PATTERN.search(before_text)
+                if title_match:
+                    table_number = title_match.group(1).strip()
+                    table_title = title_match.group(2).strip()
+            
+            if before_text and len(before_text) >= MIN_CHUNK_SIZE:
+                nodes.extend(_chunk_text(before_text, meta) if len(before_text) > CHUNK_SIZE else [TextNode(text=before_text, metadata=meta.copy())])
             
             # Table chunks - using Small-to-Big pattern
             if (idx := int(match.group(1))) < len(tables):
@@ -270,13 +340,23 @@ def chunk_markdown(text: str, source_path: str | Path | None = None) -> List[Bas
                 # Get context hint from header path
                 context_hint = meta.get("Header 1", "") or meta.get("section", "")
                 
+                # Get source file for summary
+                source_file = meta.get("source_file", "") or (path.name if path else "")
+                
                 for i, chunk in enumerate(table_chunks):
                     chunk_meta = {**meta}
                     if len(table_chunks) > 1:
                         chunk_meta["table_part"] = f"{i+1}/{len(table_chunks)}"
                     
                     # Create parent + summary nodes if applicable
-                    table_nodes = _create_table_nodes(chunk, chunk_meta, context_hint)
+                    table_nodes = _create_table_nodes(
+                        chunk, 
+                        chunk_meta, 
+                        context_hint,
+                        table_number=table_number,
+                        table_title=table_title,
+                        source_file=source_file
+                    )
                     nodes.extend(table_nodes)
                     
             last_end = match.end()
@@ -284,6 +364,7 @@ def chunk_markdown(text: str, source_path: str | Path | None = None) -> List[Bas
         # Text after table
         if (after := content[last_end:].strip()) and len(after) >= MIN_CHUNK_SIZE:
             nodes.extend(_chunk_text(after, meta) if len(after) > CHUNK_SIZE else [TextNode(text=after, metadata=meta.copy())])
+
     
     final: List[BaseNode] = []
     i = 0

core/embeddings/generator.py

@@ -1,66 +1,17 @@
 from __future__ import annotations
-import os
-from dataclasses import dataclass
-from pathlib import Path
-from typing import Any, Dict, Generator, List, Optional, TYPE_CHECKING
-
-from openai import OpenAI
+from typing import Any, Dict, List, TYPE_CHECKING
 
 if TYPE_CHECKING:
     from core.embeddings.retrival import Retriever
 
 
-@dataclass
-class LLMConfig:
-    provider: str = "siliconflow"  # "siliconflow" or "groq"
-    # SiliconFlow config
-    siliconflow_model: str = "nex-agi/DeepSeek-V3.1-Nex-N1"
-    siliconflow_api_base: str = "https://api.siliconflow.com/v1"
-    # Groq config  
-    groq_model: str = "llama-3.1-8b-instant"
-    groq_api_base: str = "https://api.groq.com/openai/v1"
-    # Common config
-    temperature: float = 0.0
-    max_tokens: int = 4096
-    max_context_chars: int = 8000
-    
-    @property
-    def model(self) -> str:
-        return self.siliconflow_model if self.provider == "siliconflow" else self.groq_model
-    
-    @property
-    def api_base_url(self) -> str:
-        return self.siliconflow_api_base if self.provider == "siliconflow" else self.groq_api_base
-    
-    @property
-    def api_key_env(self) -> str:
-        return "SILICONFLOW_API_KEY" if self.provider == "siliconflow" else "GROQ_API_KEY"
-
-
-# Singleton config
-_llm_config: LLMConfig | None = None
-
-
-def get_llm_config() -> LLMConfig:
-    global _llm_config
-    if _llm_config is None:
-        provider = os.getenv("LLM_PROVIDER", "siliconflow").lower()
-        _llm_config = LLMConfig(provider=provider)
-        print(f"[LLM] Provider: {provider} | Model: {_llm_config.model}")
-    return _llm_config
-
-
+# System prompt để sử dụng khi gọi LLM (export cho gradio/eval dùng)
 SYSTEM_PROMPT = """Bạn là Trợ lý học vụ Đại học Bách khoa Hà Nội.
 
 ## NGUYÊN TẮC:
-1. Chỉ trả lời dựa trên CONTEXT được cung cấp. Không suy đoán, không bổ sung thông tin ngoài CONTEXT.
+1. Chỉ được đưa ra câu trả lời dựa trên CONTEXT được cung cấp. Không suy đoán, không bổ sung thông tin ngoài CONTEXT.
 2. Nếu CONTEXT chứa nhiều văn bản khác nhau, ưu tiên nội dung mới nhất, TRỪ KHI có điều khoản chuyển tiếp nói khác.
-3. Khi câu hỏi yêu cầu quy đổi, so sánh điều kiện hoặc xét ngưỡng:
-   - Phải đối chiếu chính xác từng điều kiện với bảng hoặc quy định trong CONTEXT.
-   - Không khẳng định “nằm trong khoảng” nếu không đúng.
-   - Nếu có nhiều tiêu chí, phải nêu rõ tiêu chí quyết định kết quả cuối cùng.
-4. Cuối câu trả lời, phải trích dẫn nguồn đúng theo tài liệu xuất hiện trong CONTEXT. Không tự tạo nguồn.
-5. Nếu không tìm thấy thông tin trong CONTEXT, trả lời: "Không tìm thấy thông tin trong dữ liệu hiện có."
+3. Nếu không tìm thấy thông tin trong CONTEXT, trả lời: "Không tìm thấy thông tin trong dữ liệu hiện có."
 """
 
 
@@ -105,103 +56,43 @@ def build_context(results: List[Dict[str, Any]], max_chars: int = 8000) -> str:
     return context[:max_chars] if len(context) > max_chars else context
 
 
-class RAGGenerator:
-    def __init__(
-        self,
-        retriever: "Retriever",
-        config: Optional[LLMConfig] = None,
-        client: Optional[OpenAI] = None,
-    ):
+def build_prompt(question: str, context: str) -> str:
+    return f"{SYSTEM_PROMPT}\n\n## CONTEXT:\n{context}\n\n## CÂU HỎI: {question}\n\n## TRẢ LỜI:"
+
+
+class RAGContextBuilder:
+    
+    def __init__(self, retriever: "Retriever", max_context_chars: int = 8000):
         self._retriever = retriever
-        self._config = config or get_llm_config()
-        self._llm_model = self._config.model
-        self._temperature = self._config.temperature
-        self._max_tokens = self._config.max_tokens
-        self._max_context_chars = self._config.max_context_chars
-        
-        # Get API key based on provider
-        api_key = (os.getenv(self._config.api_key_env) or "").strip()
-        if not api_key and client is None:
-            raise RuntimeError(f"Missing {self._config.api_key_env}")
-        self._client = client or OpenAI(api_key=api_key, base_url=self._config.api_base_url)
+        self._max_context_chars = max_context_chars
 
-    def _build_prompt(self, question: str, context: str) -> str:
-        return f"{SYSTEM_PROMPT}\n\n## CONTEXT:\n{context}\n\n## CÂU HỎI: {question}\n\n## TRẢ LỜI:"
+    def retrieve_and_prepare(
+        self, 
+        question: str, 
+        k: int = 5, 
+        initial_k: int = 20, 
+        mode: str = "hybrid_rerank"
+    ) -> Dict[str, Any]:
 
-    def generate(self, question: str, k: int = 5, initial_k: int = 20, mode: str = "hybrid_rerank") -> Dict[str, Any]:
         results = self._retriever.flexible_search(question, k=k, initial_k=initial_k, mode=mode)
 
         if not results:
             return {
-                "answer": "Không tìm thấy thông tin trong dữ liệu hiện có.",
-                "contexts": [],
                 "results": [],
+                "contexts": [],
+                "context_text": "",
+                "prompt": "",
             }
 
-        context = build_context(results, self._max_context_chars)
-        prompt = self._build_prompt(question, context)
-
-        completion = self._client.chat.completions.create(
-            model=self._llm_model,
-            messages=[{"role": "user", "content": prompt}],
-            temperature=self._temperature,
-            max_tokens=self._max_tokens,
-        )
+        context_text = build_context(results, self._max_context_chars)
+        prompt = build_prompt(question, context_text)
 
         return {
-            "answer": completion.choices[0].message.content or "",
-            "contexts": [r.get("content", "")[:1000] for r in results],
             "results": results,
+            "contexts": [r.get("content", "")[:1000] for r in results],
+            "context_text": context_text,
+            "prompt": prompt,
         }
 
-    def generate_stream(
-        self, question: str, k: int = 5, initial_k: int = 20
-    ) -> Generator[str, None, None]:
-        results = self._retriever.search_with_rerank(question, k=k, initial_k=initial_k)
 
-        if not results:
-            yield "Không tìm thấy thông tin trong dữ liệu hiện có."
-            return
-
-        context = build_context(results, self._max_context_chars)
-        prompt = self._build_prompt(question, context)
-
-        completion = self._client.chat.completions.create(
-            model=self._llm_model,
-            messages=[{"role": "user", "content": prompt}],
-            temperature=self._temperature,
-            max_tokens=self._max_tokens,
-            stream=True,
-        )
-
-        acc = ""
-        for chunk in completion:
-            delta = getattr(chunk.choices[0].delta, "content", "") or ""
-            if delta:
-                acc += delta
-                yield acc
-
-    def generate_stream_from_results(
-        self, question: str, results: List[Dict[str, Any]]
-    ) -> Generator[str, None, None]:
-        if not results:
-            yield "Không tìm thấy thông tin trong dữ liệu hiện có."
-            return
-
-        context = build_context(results, self._max_context_chars)
-        prompt = self._build_prompt(question, context)
-
-        completion = self._client.chat.completions.create(
-            model=self._llm_model,
-            messages=[{"role": "user", "content": prompt}],
-            temperature=self._temperature,
-            max_tokens=self._max_tokens,
-            stream=True,
-        )
-
-        acc = ""
-        for chunk in completion:
-            delta = getattr(chunk.choices[0].delta, "content", "") or ""
-            if delta:
-                acc += delta
-                yield acc
+RAGGenerator = RAGContextBuilder

core/embeddings/retrival.py

@@ -111,6 +111,9 @@ class SiliconFlowReranker(BaseDocumentCompressor):
 
 class Retriever:
     def __init__(self, vector_db: "ChromaVectorDB", use_reranker: bool = True):
+        import time
+        start = time.time()
+        
         self._vector_db = vector_db
         self._config = get_retrieval_config()
         self._reranker: Optional[SiliconFlowReranker] = None
@@ -118,18 +121,76 @@ class Retriever:
         self._vector_retriever = self._vector_db.vectorstore.as_retriever(
             search_kwargs={"k": self._config.initial_k}
         )
-        self._bm25_retriever = self._init_bm25()
-        self._ensemble_retriever = self._init_ensemble()
+        
+        # Lazy-load BM25 - only initialize when needed
+        self._bm25_retriever: Optional[BM25Retriever] = None
+        self._bm25_initialized = False
+        self._ensemble_retriever: Optional[EnsembleRetriever] = None
+        
+        # BM25 cache path (persist to disk)
+        from pathlib import Path
+        persist_dir = getattr(self._vector_db.config, 'persist_dir', None)
+        if persist_dir:
+            self._bm25_cache_path = Path(persist_dir) / "bm25_cache.pkl"
+        else:
+            self._bm25_cache_path = None
         
         if use_reranker:
             self._reranker = self._init_reranker()
         
-        self._final_retriever = self._build_final()
+        logger.info(f"Retriever initialized in {time.time() - start:.2f}s (BM25 lazy-loaded)")
+    
+    def _save_bm25_cache(self, bm25: BM25Retriever) -> None:
+        """Save BM25 retriever to disk for fast loading."""
+        if not self._bm25_cache_path:
+            return
+        try:
+            import pickle
+            with open(self._bm25_cache_path, 'wb') as f:
+                pickle.dump(bm25, f)
+            logger.info(f"BM25 cache saved to {self._bm25_cache_path}")
+        except Exception as e:
+            logger.warning(f"Failed to save BM25 cache: {e}")
+    
+    def _load_bm25_cache(self) -> Optional[BM25Retriever]:
+        """Load BM25 retriever from disk cache."""
+        if not self._bm25_cache_path or not self._bm25_cache_path.exists():
+            return None
+        try:
+            import pickle
+            import time
+            start = time.time()
+            with open(self._bm25_cache_path, 'rb') as f:
+                bm25 = pickle.load(f)
+            bm25.k = self._config.initial_k
+            logger.info(f"BM25 loaded from cache in {time.time() - start:.2f}s")
+            return bm25
+        except Exception as e:
+            logger.warning(f"Failed to load BM25 cache: {e}")
+            return None
     
     def _init_bm25(self) -> Optional[BM25Retriever]:
+        """Initialize BM25 retriever (lazy-loaded, with disk cache)."""
+        if self._bm25_initialized:
+            return self._bm25_retriever
+        
+        self._bm25_initialized = True
+        
+        # Try loading from cache first
+        cached = self._load_bm25_cache()
+        if cached:
+            self._bm25_retriever = cached
+            return cached
+        
+        # Build from scratch
         try:
+            import time
+            start = time.time()
+            logger.info("Building BM25 index from documents...")
+            
             docs = self._vector_db.get_all_documents()
             if not docs:
+                logger.warning("No documents found for BM25")
                 return None
             
             lc_docs = [
@@ -138,17 +199,37 @@ class Retriever:
             ]
             bm25 = BM25Retriever.from_documents(lc_docs)
             bm25.k = self._config.initial_k
+            
+            self._bm25_retriever = bm25
+            logger.info(f"BM25 built with {len(docs)} docs in {time.time() - start:.2f}s")
+            
+            # Save to cache for next time
+            self._save_bm25_cache(bm25)
+            
             return bm25
-        except Exception:
+        except Exception as e:
+            logger.error(f"Failed to init BM25: {e}")
             return None
+
     
-    def _init_ensemble(self) -> EnsembleRetriever:
-        if self._bm25_retriever:
-            return EnsembleRetriever(
-                retrievers=[self._vector_retriever, self._bm25_retriever],
+    def _get_ensemble_retriever(self) -> EnsembleRetriever:
+        """Get or create ensemble retriever (lazy-loaded)."""
+        if self._ensemble_retriever is not None:
+            return self._ensemble_retriever
+        
+        bm25 = self._init_bm25()
+        if bm25:
+            self._ensemble_retriever = EnsembleRetriever(
+                retrievers=[self._vector_retriever, bm25],
                 weights=[self._config.vector_weight, self._config.bm25_weight]
             )
-        return EnsembleRetriever(retrievers=[self._vector_retriever], weights=[1.0])
+        else:
+            self._ensemble_retriever = EnsembleRetriever(
+                retrievers=[self._vector_retriever], 
+                weights=[1.0]
+            )
+        return self._ensemble_retriever
+
     
     def _init_reranker(self) -> Optional[SiliconFlowReranker]:
         api_key = os.getenv("SILICONFLOW_API_KEY", "").strip()
@@ -162,12 +243,15 @@ class Retriever:
         )
     
     def _build_final(self):
+        """Build final retriever with reranker (lazy-loaded)."""
+        ensemble = self._get_ensemble_retriever()
         if self._reranker:
             return ContextualCompressionRetriever(
                 base_compressor=self._reranker,
-                base_retriever=self._ensemble_retriever
+                base_retriever=ensemble
             )
-        return self._ensemble_retriever
+        return ensemble
+
     
     @property
     def has_reranker(self) -> bool:
@@ -210,29 +294,32 @@ class Retriever:
     def bm25_search(self, text: str, *, k: int | None = None) -> List[Dict[str, Any]]:
         if not text.strip():
             return []
-        if not self._bm25_retriever:
+        
+        bm25 = self._init_bm25()  # Lazy-load BM25
+        if not bm25:
             return self.vector_search(text, k=k)
         
         k = k or self._config.top_k
-        self._bm25_retriever.k = k
-        results = self._bm25_retriever.invoke(text)
+        bm25.k = k
+        results = bm25.invoke(text)
         return [self._to_result(doc, i + 1) for i, doc in enumerate(results[:k])]
     
     def hybrid_search(
         self, text: str, *, k: int | None = None, initial_k: int | None = None
     ) -> List[Dict[str, Any]]:
-        """Hybrid search (Vector + BM25) WITHOUT reranking."""
         if not text.strip():
             return []
         
         k = k or self._config.top_k
         if initial_k:
             self._vector_retriever.search_kwargs["k"] = initial_k
-            if self._bm25_retriever:
-                self._bm25_retriever.k = initial_k
+            bm25 = self._init_bm25()
+            if bm25:
+                bm25.k = initial_k
         
-        # Dùng ensemble_retriever (KHÔNG có reranker) thay vì final_retriever
-        results = self._ensemble_retriever.invoke(text)
+        # Dùng ensemble_retriever (lazy-loaded, KHÔNG có reranker)
+        ensemble = self._get_ensemble_retriever()
+        results = ensemble.invoke(text)
         return [self._to_result(doc, i + 1) for i, doc in enumerate(results[:k])]
     
     def search_with_rerank(
@@ -243,7 +330,6 @@ class Retriever:
         where: Optional[Dict[str, Any]] = None,
         initial_k: int | None = None,
     ) -> List[Dict[str, Any]]:
-        """Hybrid search (Vector + BM25) WITH reranking."""
         if not text.strip():
             return []
         
@@ -260,13 +346,15 @@ class Retriever:
                 for i, doc in enumerate(results[:k])
             ]
         
-        # _final_retriever (ensemble + reranker)
+        # Build final retriever (lazy-loaded ensemble + reranker)
         if initial_k:
             self._vector_retriever.search_kwargs["k"] = initial_k
-            if self._bm25_retriever:
-                self._bm25_retriever.k = initial_k
+            bm25 = self._init_bm25()
+            if bm25:
+                bm25.k = initial_k
         
-        results = self._final_retriever.invoke(text)
+        final_retriever = self._build_final()
+        results = final_retriever.invoke(text)
         return [
             self._to_result(doc, i + 1, rerank_score=doc.metadata.get("rerank_score"))
             for i, doc in enumerate(results[:k])

core/embeddings/vector_store.py

@@ -44,7 +44,6 @@ class ChromaVectorDB:
         logger.info(f"ChromaVectorDB initialized: {self.config.collection_name}")
     
     def _load_parent_nodes(self) -> Dict[str, Dict[str, Any]]:
-        """Load parent nodes from JSON file if exists."""
         if self._parent_nodes_path.exists():
             try:
                 with open(self._parent_nodes_path, 'r', encoding='utf-8') as f:
@@ -284,30 +283,6 @@ class ChromaVectorDB:
         logger.info(f"Deleted {len(ids)} documents from vector store")
         return len(ids)
 
-    def delete_parent_nodes_by_source(self, source_basename: str) -> int:
-        if not self._parent_nodes:
-            return 0
-        
-        # Find parent nodes that belong to this source file
-        keys_to_delete = []
-        for key, node in self._parent_nodes.items():
-            meta = node.get("metadata", {})
-            node_source = meta.get("source_file", "") or meta.get("source_basename", "")
-            if source_basename in node_source or node_source.endswith(source_basename):
-                keys_to_delete.append(key)
-        
-        if not keys_to_delete:
-            return 0
-        
-        # Delete the parent nodes
-        for key in keys_to_delete:
-            del self._parent_nodes[key]
-        
-        # Persist changes
-        self._save_parent_nodes()
-        logger.info(f"Deleted {len(keys_to_delete)} parent nodes for: {source_basename}")
-        return len(keys_to_delete)
-
     def get_parent_node(self, parent_id: str) -> Optional[Dict[str, Any]]:
         return self._parent_nodes.get(parent_id)
     

core/gradio/gradio_rag_qwen.py

@@ -26,16 +26,19 @@ def _load_env() -> None:
 from core.embeddings.embedding_model import EmbeddingConfig, QwenEmbeddings
 from core.embeddings.vector_store import ChromaConfig, ChromaVectorDB
 from core.embeddings.retrival import Retriever, RetrievalMode, get_retrieval_config
-from core.embeddings.generator import RAGGenerator, LLMConfig, get_llm_config
+from core.embeddings.generator import RAGContextBuilder, build_context, build_prompt, SYSTEM_PROMPT
 
 _load_env()
 
-RETRIEVAL_MODE = RetrievalMode.HYBRID_RERANK
+RETRIEVAL_MODE = RetrievalMode.VECTOR_ONLY  # Fastest mode - no BM25/reranker
 
+# LLM Config (hardcoded sau khi xóa LLMConfig từ generator)
+LLM_MODEL = os.getenv("LLM_MODEL", "qwen/qwen3-32b")
+LLM_API_BASE = "https://api.groq.com/openai/v1"
+LLM_API_KEY_ENV = "GROQ_API_KEY"
 
-# Load all configs
+# Load retrieval config
 GRADIO_CFG = GradioConfig()
-LLM_CFG = get_llm_config()
 RETRIEVAL_CFG = get_retrieval_config()
 
 
@@ -43,7 +46,7 @@ class AppState:
     def __init__(self) -> None:
         self.db: Optional[ChromaVectorDB] = None
         self.retriever: Optional[Retriever] = None
-        self.generator: Optional[RAGGenerator] = None
+        self.rag_builder: Optional[RAGContextBuilder] = None
         self.client: Optional[OpenAI] = None
 
 
@@ -67,46 +70,77 @@ def _init_resources() -> None:
     )
     STATE.retriever = Retriever(vector_db=STATE.db)
 
-    api_key = (os.getenv(LLM_CFG.api_key_env) or "").strip()
+    # LLM Client
+    api_key = (os.getenv(LLM_API_KEY_ENV) or "").strip()
     if not api_key:
-        raise RuntimeError(f"Missing {LLM_CFG.api_key_env}")
-    STATE.client = OpenAI(api_key=api_key, base_url=LLM_CFG.api_base_url)
+        raise RuntimeError(f"Missing {LLM_API_KEY_ENV}")
+    STATE.client = OpenAI(api_key=api_key, base_url=LLM_API_BASE)
     
-    # Initialize RAGGenerator with shared config
-    STATE.generator = RAGGenerator(
-        retriever=STATE.retriever,
-        config=LLM_CFG,
-        client=STATE.client,
-    )
+    # RAGContextBuilder - chỉ retrieve, không gọi LLM
+    STATE.rag_builder = RAGContextBuilder(retriever=STATE.retriever)
     
     print(" Đã sẵn sàng!")
 
 
 def rag_chat(message: str, history: List[Dict[str, str]] | None = None):
+    import time
+    total_start = time.time()
+    
+    init_start = time.time()
     _init_resources()
+    init_time = time.time() - init_start
 
     assert STATE.db is not None
     assert STATE.client is not None
     assert STATE.retriever is not None
-    assert STATE.generator is not None
+    assert STATE.rag_builder is not None
 
-    # Flexible search
-    results = STATE.retriever.flexible_search(
+    # Bước 1: Retrieve và prepare context
+    retrieval_start = time.time()
+    prepared = STATE.rag_builder.retrieve_and_prepare(
         message,
-        mode=RETRIEVAL_MODE,
         k=RETRIEVAL_CFG.top_k, 
         initial_k=RETRIEVAL_CFG.initial_k,
+        mode=RETRIEVAL_MODE.value,
     )
+    retrieval_time = time.time() - retrieval_start
+    results = prepared["results"]
 
     if not results:
         yield "Xin lỗi, tôi không tìm thấy thông tin phù hợp trong dữ liệu."
         return
 
-    # Use RAGGenerator for streaming response
+    # Bước 2: Gọi LLM streaming để generate answer
+    llm_start = time.time()
+    completion = STATE.client.chat.completions.create(
+        model=LLM_MODEL,
+        messages=[{"role": "user", "content": prepared["prompt"]}],
+        temperature=0.0,
+        max_tokens=4096,
+        stream=True,
+    )
+    
     acc = ""
-    for partial in STATE.generator.generate_stream_from_results(message, results):
-        acc = partial
-        yield acc
+    first_token_time = None
+    for chunk in completion:
+        if first_token_time is None:
+            first_token_time = time.time() - llm_start
+        delta = getattr(chunk.choices[0].delta, "content", "") or ""
+        if delta:
+            acc += delta
+            yield acc
+    
+    llm_time = time.time() - llm_start
+    total_time = time.time() - total_start
+    
+    # Timing info
+    timing_info = f"\n\n---\n**⏱️ Timing:**\n"
+    timing_info += f"- Init: {init_time:.2f}s\n"
+    timing_info += f"- Retrieval: {retrieval_time:.2f}s\n"
+    timing_info += f"- LLM (first token): {first_token_time:.2f}s\n" if first_token_time else ""
+    timing_info += f"- LLM (total): {llm_time:.2f}s\n"
+    timing_info += f"- **Total: {total_time:.2f}s**\n"
+
 
     # Debug info with mode indicator
     debug_info = f"\n\n---\n\n**Retrieved (Top {len(results)} | Mode: {RETRIEVAL_MODE.value})**\n\n"
@@ -148,7 +182,8 @@ def rag_chat(message: str, history: List[Dict[str, str]] | None = None):
             debug_info += f"   - **Mục:** {header[:80]}{'...' if len(header) > 80 else ''}\n"
         debug_info += f"   - **Content:** {content[:200]}{'...' if len(content) > 200 else ''}\n\n"
 
-    yield acc + debug_info
+    yield acc + timing_info + debug_info
+
 
 
 # Create Gradio interface

data/data_process/quyet_dinh/tieng_anh/06_ Quy định ngoại ngữ từ K70_chính quy_final.md

@@ -2,7 +2,7 @@
 document_type: "quyet_dinh"
 title: "QUY ĐỊNH Phân loại trình độ đầu vào , chương trình ngoại ngữ cơ bản và chuẩn ngoại ngữ yêu cầu đối với sinh viên đại học hình thức chính quy từ k70"
 issued_year: "2025"
-applicable_cohorts: "K70"
+applicable_cohorts: ">=K70"
 ---
 
 # QUY ĐỊNH Phân loại trình độ đầu vào , chương trình ngoại ngữ cơ bản và chuẩn ngoại ngữ yêu cầu đối với sinh viên đại học hình thức chính quy

data/data_process/quyet_dinh/tieng_anh/QD_ngoai_ngu_tu_K65_CQ_final.md

@@ -1,8 +1,8 @@
 ---
 document_type: "quyet_dinh"
-title: "QUY ĐỊNH  Phân loại trình độ đầu vào, chương trình môn học và chuẩn ngoại ngữ yêu cầu đối với sinh viên đại học hệ chính quy"
+title: "QUY ĐỊNH  Phân loại trình độ đầu vào, chương trình môn học và chuẩn ngoại ngữ yêu cầu đối với sinh viên đại học hệ chính quy từ K65"
 issued_year: "2020"
-applicable_cohorts: "K65"
+applicable_cohorts: ">=K65"
 ---
 
 # QUY ĐỊNH  Phân loại trình độ đầu vào, chương trình môn học và chuẩn ngoại ngữ yêu cầu đối với sinh viên đại học hệ chính quy

data/data_process/quyet_dinh/tieng_anh/QD_ngoai_ngu_tu_K68_CQ_final.md

@@ -2,7 +2,7 @@
 document_type: "quyet_dinh"
 title: "QUY ĐỊNH Về việc ban hành Quy định về phân loại trình độ đầu vào, chương trình môn học và chuẩn ngoại ngữ yêu cầu đối với sinh viên đại học hệ chính quy từ k68"
 issued_year: "2023"
-applicable_cohorts: "K68"
+applicable_cohorts: ">=K68"
 ---
 
 # QUYẾT ĐỊNH Về việc ban hành Quy định về phân loại trình độ đầu vào, chương trình môn học và chuẩn ngoại ngữ yêu cầu đối với sinh viên đại học hệ chính quy từ k68

evaluation/eval_utils.py

@@ -26,8 +26,22 @@ def strip_thinking(text: str) -> str:
 
 def load_config() -> dict:
     return {
-        "llm": {
+        # Model for generating RAG answers
+        "gen_llm": {
+            "model": os.getenv("GEN_LLM_MODEL", "nex-agi/DeepSeek-V3.1-Nex-N1"),
+            "temperature": float(os.getenv("GEN_LLM_TEMPERATURE", "0")),
+            "max_tokens": int(os.getenv("GEN_LLM_MAX_TOKENS", "4096")),
+        },
+        # Model for RAGAS evaluation (should be DIFFERENT from gen_llm to avoid bias)
+        "eval_llm": {
             "model": os.getenv("EVAL_LLM_MODEL", "nex-agi/DeepSeek-V3.1-Nex-N1"),
+            "api_key_env": os.getenv("EVAL_API_KEY_ENV", "SILICONFLOW_API_KEY"),  # Which env var has the API key
+            "base_url": os.getenv("EVAL_API_BASE_URL", "https://api.siliconflow.com/v1"),
+            "temperature": float(os.getenv("EVAL_LLM_TEMPERATURE", "0")),
+        },
+        # Legacy compatibility (deprecated, use gen_llm instead)
+        "llm": {
+            "model": os.getenv("GEN_LLM_MODEL", os.getenv("EVAL_LLM_MODEL", "nex-agi/DeepSeek-V3.1-Nex-N1")),
             "temperature": float(os.getenv("EVAL_LLM_TEMPERATURE", "0")),
             "timeout": int(os.getenv("EVAL_LLM_TIMEOUT", "30")),
             "max_retries": int(os.getenv("EVAL_LLM_MAX_RETRIES", "2")),
@@ -63,7 +77,9 @@ def load_csv_data(csv_path: str, sample_size: int = 0) -> tuple[list, list]:
     return questions, ground_truths
 
 
-def init_rag_components(config: dict) -> tuple[RAGGenerator, dict]:
+def init_rag_components(config: dict) -> tuple:
+    from openai import OpenAI
+    
     emb_cfg = SiliconFlowConfig()
     qwen_embeddings = QwenEmbeddings(emb_cfg)
     
@@ -71,42 +87,114 @@ def init_rag_components(config: dict) -> tuple[RAGGenerator, dict]:
     db = ChromaVectorDB(embedder=qwen_embeddings, config=db_cfg)
     retriever = Retriever(vector_db=db)
     
-    # RAGGenerator uses Groq with llama-3.1-8b-instant (default)
-    rag_generator = RAGGenerator(retriever=retriever)
+    rag_builder = RAGGenerator(retriever=retriever)
+    
+    api_key = os.getenv("SILICONFLOW_API_KEY", "").strip()
+    if not api_key:
+        raise ValueError("Missing SILICONFLOW_API_KEY")
+    
+    llm_client = OpenAI(
+        api_key=api_key,
+        base_url="https://api.siliconflow.com/v1",
+    )
     
     info = {
-        "gen_model": rag_generator._llm_model,  # Get actual model from RAGGenerator
+        "gen_model": config["llm"]["model"],
         "eval_model": config["llm"]["model"],  
         "embed_model": emb_cfg.model,
         "collection": db_cfg.collection_name,
         "doc_count": db.count(),
         "embeddings": qwen_embeddings,
+        "llm_client": llm_client,
     }
     
-    return rag_generator, info
+    return rag_builder, info
 
 
 def generate_answers(
-    rag_generator: RAGGenerator,
+    rag_builder: RAGGenerator,
     questions: list,
-    top_k: int = 5,
-    initial_k: int = 100,
     retrieval_mode: str = "hybrid_rerank",
+    max_workers: int = 8,  # SiliconFlow allows 1000 RPM, safe to use 8 workers
+    llm_client = None,
+    llm_model: str = "nex-agi/DeepSeek-V3.1-Nex-N1",
+    timeout_per_question: int = 120,  # 2 minutes timeout per question
 ) -> tuple[list, list]:
-    answers, contexts = [], []
+    from concurrent.futures import ThreadPoolExecutor, as_completed, TimeoutError
     
-    for i, q in enumerate(questions):
+    if llm_client is None:
+        from openai import OpenAI
+        api_key = os.getenv("SILICONFLOW_API_KEY", "").strip()
+        if not api_key:
+            raise ValueError("Missing SILICONFLOW_API_KEY")
+        llm_client = OpenAI(
+            api_key=api_key, 
+            base_url="https://api.siliconflow.com/v1",
+            timeout=60.0,  # 60 seconds timeout for API call
+        )
+    
+    def process_question(idx_q: tuple) -> tuple:
+        """Process a single question and return (idx, answer, contexts, error, retrieval_empty)"""
+        idx, q = idx_q
         try:
-            result = rag_generator.generate(q, k=top_k, initial_k=initial_k, mode=retrieval_mode)
-            # Strip <think>...</think> tags from answer
-            answer = strip_thinking(result["answer"])
-            answers.append(answer)
-            contexts.append(result["contexts"])
+            prepared = rag_builder.retrieve_and_prepare(q, mode=retrieval_mode)
+            
+            if not prepared["results"]:
+                # Mark retrieval as failed for debugging RAG vs LLM issues
+                return idx, "Không tìm thấy thông tin trong dữ liệu hiện có.", [], None, True
+            
+            completion = llm_client.chat.completions.create(
+                model=llm_model,
+                messages=[{"role": "user", "content": prepared["prompt"]}],
+                temperature=0.0,
+                max_tokens=4096,
+            )
+            
+            answer = strip_thinking(completion.choices[0].message.content or "")
+            return idx, answer, prepared["contexts"], None, False
         except Exception as e:
-            print(f"  Error at {i+1}: {e}")
-            answers.append("Không thể trả lời.")
-            contexts.append([])
-        print(f"  [{i+1}/{len(questions)}] Done")
+            return idx, "Không thể trả lời.", [], str(e), False
+    
+    n = len(questions)
+    answers: list[str] = [""] * n
+    contexts: list[list] = [[] for _ in range(n)]  # FIXED: [[]] * n creates shared references!
+    retrieval_failed: list[bool] = [False] * n  # Track retrieval failures for debugging
+    errors: list[str | None] = [None] * n  # Track error messages
+    
+    print(f"  Generating answers with {max_workers} workers...")
+    
+    with ThreadPoolExecutor(max_workers=max_workers) as executor:
+        futures = {executor.submit(process_question, (i, q)): i for i, q in enumerate(questions)}
+        done_count = 0
+        
+        for future in as_completed(futures):
+            try:
+                # Use timeout_per_question for actual timeout enforcement
+                idx, answer, ctx, error, is_retrieval_empty = future.result(timeout=timeout_per_question)
+                answers[idx] = answer
+                contexts[idx] = ctx
+                retrieval_failed[idx] = is_retrieval_empty
+                errors[idx] = error
+                done_count += 1
+                
+                if error:
+                    print(f"  [{done_count}/{n}] Q{idx+1}: Error - {error}")
+                elif is_retrieval_empty:
+                    print(f"  [{done_count}/{n}] Q{idx+1}: Done (⚠️ no retrieval results)")
+                else:
+                    print(f"  [{done_count}/{n}] Q{idx+1}: Done")
+            except TimeoutError:
+                idx = futures[future]
+                answers[idx] = "Timeout: Không thể xử lý câu hỏi trong thời gian cho phép."
+                contexts[idx] = []
+                errors[idx] = f"Timeout after {timeout_per_question}s"
+                done_count += 1
+                print(f"  [{done_count}/{n}] Q{idx+1}: TIMEOUT")
+    
+    # Log summary of retrieval failures
+    failed_count = sum(retrieval_failed)
+    if failed_count > 0:
+        print(f"  ⚠️ {failed_count}/{n} questions had empty retrieval results")
     
     return answers, contexts
 

evaluation/ragas_eval.py

@@ -31,16 +31,31 @@ def run_ragas_evaluation(sample_size: int = 10, output_dir: Optional[str] = None
     # Init components
     rag_gen, info = init_rag_components(config)
     
-    # LLM for RAGAS evaluation
-    api_key = os.getenv("SILICONFLOW_API_KEY", "")
-    if not api_key:
-        raise ValueError("Missing SILICONFLOW_API_KEY")
+    eval_config = config.get("eval_llm", config["llm"])  # Fallback to llm for backward compatibility
+    gen_config = config.get("gen_llm", config["llm"])
     
+    # Get eval API key (may be different from generation API key)
+    eval_api_key_env = eval_config.get("api_key_env", "SILICONFLOW_API_KEY")
+    eval_api_key = os.getenv(eval_api_key_env, "")
+    if not eval_api_key:
+        # Fallback to SILICONFLOW_API_KEY
+        eval_api_key = os.getenv("SILICONFLOW_API_KEY", "")
+    if not eval_api_key:
+        raise ValueError(f"Missing API key. Set {eval_api_key_env} or SILICONFLOW_API_KEY")
+    
+    eval_base_url = eval_config.get("base_url", "https://api.siliconflow.com/v1")
+    eval_model = eval_config.get("model", config["llm"]["model"])
+    gen_model = gen_config.get("model", config["llm"]["model"])
+    
+    # ChatOpenAI expects SecretStr or callable for api_key
+    from pydantic import SecretStr
     evaluator_llm = LangchainLLMWrapper(ChatOpenAI(
-        model=config["llm"]["model"],
-        api_key=lambda: api_key,  # type: ignore
-        base_url="https://api.siliconflow.com/v1",
-        temperature=config["llm"]["temperature"],
+        model=eval_model,
+        api_key=SecretStr(eval_api_key),  # Wrap in SecretStr
+        base_url=eval_base_url,
+        temperature=eval_config.get("temperature", 0),
+        timeout=120,  # 2 minutes timeout per request
+        max_retries=3,
     ))
     evaluator_embeddings = LangchainEmbeddingsWrapper(info["embeddings"])
     
@@ -49,11 +64,13 @@ def run_ragas_evaluation(sample_size: int = 10, output_dir: Optional[str] = None
         str(REPO_ROOT / config["data"]["csv_path"]),
         sample_size or config["data"]["sample_size"]
     )
+    
+    # Use generation model (NOT evaluation model) for RAG answers
     answers, contexts = generate_answers(
         rag_gen, questions,
-        config["retrieval"]["top_k"],
-        config["retrieval"]["initial_k"],
         retrieval_mode=retrieval_mode,
+        llm_client=info["llm_client"],
+        llm_model=gen_config.get("model", config["llm"]["model"]),
     )
     
     # Run RAGAS
@@ -75,7 +92,12 @@ def run_ragas_evaluation(sample_size: int = 10, output_dir: Optional[str] = None
         llm=evaluator_llm,
         embeddings=evaluator_embeddings,
         raise_exceptions=False,
-        run_config=RunConfig(max_workers=2, timeout=300),  
+        run_config=RunConfig(
+            max_workers=8,  # SiliconFlow allows 1000 RPM, safe to use 8 workers
+            timeout=600,    # 10 minutes per job
+            max_retries=3,  # Retry on transient failures
+            max_wait=120,   # Max wait between retries
+        ),
     )
     
     # Save JSON
@@ -83,99 +105,182 @@ def run_ragas_evaluation(sample_size: int = 10, output_dir: Optional[str] = None
     timestamp = datetime.now().strftime("%Y%m%d_%H%M%S")
     json_path = out_path / f"ragas_{timestamp}.json"
     
-    # Convert results to dict
-    scores: dict = {}
-    if hasattr(results, "scores"):
-        scores = results.scores  # type: ignore
-    elif hasattr(results, "__getitem__"):
-        for k in ["faithfulness", "answer_relevancy", "context_precision", "context_recall", "rouge1_score", "rouge2_score", "rougeL_score"]:
-            try:
-                scores[k] = float(results[k])  # type: ignore
-            except (KeyError, TypeError):
-                pass
+    # Convert results to dict - handle both per-sample and aggregate scores
+    scores_per_sample: list = []
+    avg_scores: dict = {}
+    
+    # Get per-sample scores from results DataFrame
+    if hasattr(results, "to_pandas"):
+        df = results.to_pandas()  # type: ignore[union-attr]
+        metric_cols = [col for col in df.columns if col not in ("question", "answer", "contexts", "ground_truth", "user_input", "response", "reference", "retrieved_contexts")]
+        
+        for _, row in df.iterrows():
+            sample_scores = {}
+            for col in metric_cols:
+                val = row[col]
+                if val is not None:
+                    try:
+                        sample_scores[col] = float(val)
+                    except (ValueError, TypeError):
+                        pass
+            scores_per_sample.append(sample_scores)
+        
+        # Calculate average scores
+        import numpy as np
+        for col in metric_cols:
+            values = [s.get(col) for s in scores_per_sample if s.get(col) is not None]
+            if values:
+                valid_values = [v for v in values if not np.isnan(v)]
+                if valid_values:
+                    avg_scores[col] = float(np.mean(valid_values))
+    else:
+        # Fallback for older ragas versions
+        if hasattr(results, "scores"):
+            avg_scores = results.scores  # type: ignore
+        elif hasattr(results, "__getitem__"):
+            for k in ["faithfulness", "answer_relevancy", "context_precision", "context_recall", "rouge1_score", "rouge2_score", "rougeL_score"]:
+                try:
+                    avg_scores[k] = float(results[k])  # type: ignore
+                except (KeyError, TypeError):
+                    pass
     
+    # Save JSON with both per-sample and average scores
     with open(json_path, 'w', encoding='utf-8') as f:
         json.dump({
             "timestamp": timestamp,
             "retrieval_mode": retrieval_mode,
-            "config": {"sample_size": len(questions), **{k: v for k, v in info.items() if k != "embeddings"}},
-            "scores": scores,
+            "config": {"sample_size": len(questions), **{k: v for k, v in info.items() if k not in ("embeddings", "llm_client")}},
+            "avg_scores": avg_scores,
+            "scores_per_sample": scores_per_sample,
             "samples": [
-                {"question": q, "answer": a, "ground_truth": gt, "contexts": ctx}
-                for q, a, gt, ctx in zip(questions, answers, ground_truths, contexts)
+                {"question": q, "answer": a, "ground_truth": gt, "contexts": ctx, "scores": sc}
+                for q, a, gt, ctx, sc in zip(questions, answers, ground_truths, contexts, scores_per_sample or [{}]*len(questions))
             ]
         }, f, ensure_ascii=False, indent=2)
     
+    # Save CSV summary (only average scores, not per-sample)
+    csv_path = out_path / f"ragas_{retrieval_mode}_{timestamp}.csv"
+    with open(csv_path, 'w', encoding='utf-8') as f:
+        # Header: metric names
+        f.write("retrieval_mode,sample_size," + ",".join(avg_scores.keys()) + "\n")
+        # Data: average values
+        f.write(f"{retrieval_mode},{len(questions)}," + ",".join([f"{v:.4f}" for v in avg_scores.values()]) + "\n")
+    
     print(f"Saved: {json_path}")
-    return scores
+    print(f"Saved: {csv_path}")
+    
+    # Print summary
+    print(f"\n{'='*60}")
+    print(f"SUMMARY - {retrieval_mode} ({len(questions)} samples)")
+    print(f"{'='*60}")
+    for metric, score in avg_scores.items():
+        bar = "#" * int(score * 20) + "-" * (20 - int(score * 20))
+        print(f"  {metric:25} [{bar}] {score:.4f}")
+    
+    return avg_scores
 
 
 if __name__ == "__main__":
     import argparse
-    parser = argparse.ArgumentParser(description="RAGAS Evaluation - Compare all retrieval modes")
+    parser = argparse.ArgumentParser(description="RAGAS Evaluation - Compare retrieval modes")
     parser.add_argument("--samples", type=int, default=10, help="Number of samples to evaluate")
     parser.add_argument("--output", type=str, default=None, help="Output directory")
+    parser.add_argument("--mode", type=str, default="all", 
+                        choices=["all", "vector_only", "bm25_only", "hybrid", "hybrid_rerank"],
+                        help="Retrieval mode to evaluate (default: all)")
     args = parser.parse_args()
     
-    # Always run all modes and compare
     ALL_MODES = ["vector_only", "bm25_only", "hybrid", "hybrid_rerank"]
-    all_results = {}
-    
-    for mode in ALL_MODES:
-        print(f"\n{'#'*60}")
-        print(f"# Running mode: {mode}")
-        print(f"{'#'*60}")
-        try:
-            scores = run_ragas_evaluation(args.samples, args.output, mode)
-            all_results[mode] = scores
-        except Exception as e:
-            print(f"Error in {mode}: {e}")
-            all_results[mode] = {"error": str(e)}
-    
-    # Print comparison table
-    print(f"\n{'='*80}")
-    print("COMPARISON REPORT - All Retrieval Modes")
-    print(f"{'='*80}")
-    
-    # Get all metric names
-    metrics = set()
-    for scores in all_results.values():
-        if isinstance(scores, dict) and "error" not in scores:
-            metrics.update(scores.keys())
-    metrics = sorted(metrics)
-    
-    # Print header
-    header = f"{'Metric':<25} | " + " | ".join(f"{m:<15}" for m in ALL_MODES)
-    print(header)
-    print("-" * len(header))
-    
-    # Print each metric
-    for metric in metrics:
-        row = f"{metric:<25} | "
+    
+    # Single mode or all modes
+    if args.mode != "all":
+        print(f"\n{'='*60}")
+        print(f"RAGAS EVALUATION - Single Mode: {args.mode}")
+        print(f"{'='*60}")
+        scores = run_ragas_evaluation(args.samples, args.output, args.mode)
+        print(f"\nScores: {scores}")
+    else:
+        # Run all modes and compare
+        all_results = {}
+        
         for mode in ALL_MODES:
-            scores = all_results.get(mode, {})
-            if isinstance(scores, dict) and metric in scores:
-                val = scores[metric]
-                if isinstance(val, (int, float)):
-                    row += f"{val:<15.4f} | "
+            print(f"\n{'#'*60}")
+            print(f"# Running mode: {mode}")
+            print(f"{'#'*60}")
+            try:
+                scores = run_ragas_evaluation(args.samples, args.output, mode)
+                all_results[mode] = scores
+            except Exception as e:
+                print(f"Error in {mode}: {e}")
+                all_results[mode] = {"error": str(e)}
+    
+        # Print comparison table
+        print(f"\n{'='*80}")
+        print("COMPARISON REPORT - All Retrieval Modes")
+        print(f"{'='*80}")
+        
+        # Get all metric names
+        metrics = set()
+        for scores in all_results.values():
+            if isinstance(scores, dict) and "error" not in scores:
+                metrics.update(scores.keys())
+        metrics = sorted(metrics)
+        
+        # Print header
+        header = f"{'Metric':<25} | " + " | ".join(f"{m:<15}" for m in ALL_MODES)
+        print(header)
+        print("-" * len(header))
+        
+        # Print each metric
+        for metric in metrics:
+            row = f"{metric:<25} | "
+            for mode in ALL_MODES:
+                scores = all_results.get(mode, {})
+                if isinstance(scores, dict) and metric in scores:
+                    val = scores[metric]
+                    if isinstance(val, (int, float)):
+                        row += f"{val:<15.4f} | "
+                    else:
+                        row += f"{'N/A':<15} | "
                 else:
                     row += f"{'N/A':<15} | "
-            else:
-                row += f"{'N/A':<15} | "
-        print(row)
-    
-    # Save comparison JSON
-    config = load_config()
-    out_path = Path(args.output) if args.output else REPO_ROOT / config["output"]["dir"]
-    out_path.mkdir(parents=True, exist_ok=True)
-    timestamp = datetime.now().strftime("%Y%m%d_%H%M%S")
-    comparison_path = out_path / f"comparison_{timestamp}.json"
-    
-    with open(comparison_path, 'w', encoding='utf-8') as f:
-        json.dump({
-            "timestamp": timestamp,
-            "sample_size": args.samples,
-            "results": all_results,
-        }, f, ensure_ascii=False, indent=2)
-    
-    print(f"\n✅ Comparison saved: {comparison_path}")
+            print(row)
+        
+        # Save comparison JSON and CSV
+        config = load_config()
+        out_path = Path(args.output) if args.output else REPO_ROOT / config["output"]["dir"]
+        out_path.mkdir(parents=True, exist_ok=True)
+        timestamp = datetime.now().strftime("%Y%m%d_%H%M%S")
+        
+        # Save JSON
+        comparison_path = out_path / f"comparison_{timestamp}.json"
+        with open(comparison_path, 'w', encoding='utf-8') as f:
+            json.dump({
+                "timestamp": timestamp,
+                "sample_size": args.samples,
+                "results": all_results,
+            }, f, ensure_ascii=False, indent=2)
+        
+        # Save CSV summary
+        csv_path = out_path / f"comparison_{timestamp}.csv"
+        with open(csv_path, 'w', encoding='utf-8') as f:
+            # Header
+            f.write("Metric," + ",".join(ALL_MODES) + "\n")
+            # Data rows
+            for metric in metrics:
+                row_values = [metric]
+                for mode in ALL_MODES:
+                    scores = all_results.get(mode, {})
+                    if isinstance(scores, dict) and metric in scores:
+                        val = scores[metric]
+                        if isinstance(val, (int, float)):
+                            row_values.append(f"{val:.4f}")
+                        else:
+                            row_values.append("N/A")
+                    else:
+                        row_values.append("N/A")
+                f.write(",".join(row_values) + "\n")
+        
+        print(f"\nComparison saved:")
+        print(f"  - JSON: {comparison_path}")
+        print(f"  - CSV:  {csv_path}")

evaluation/results/comparison_20260105_132921.json

@@ -1,154 +0,0 @@
-{
-  "timestamp": "20260105_132921",
-  "sample_size": 5,
-  "results": {
-    "vector_only": [
-      {
-        "faithfulness": 1.0,
-        "answer_relevancy": 0.7364493749907867,
-        "context_precision": 0.99999999995,
-        "context_recall": 1.0,
-        "rouge_score(mode=fmeasure)": 0.6690140845070423
-      },
-      {
-        "faithfulness": 1.0,
-        "answer_relevancy": 0.7310359258257583,
-        "context_precision": 0.999999999975,
-        "context_recall": 1.0,
-        "rouge_score(mode=fmeasure)": 0.6643356643356644
-      },
-      {
-        "faithfulness": 0.6923076923076923,
-        "answer_relevancy": 0.8345119784254372,
-        "context_precision": 0.8666666666377778,
-        "context_recall": 1.0,
-        "rouge_score(mode=fmeasure)": 0.4396135265700484
-      },
-      {
-        "faithfulness": 0.2857142857142857,
-        "answer_relevancy": 0.0,
-        "context_precision": 0.6791666666496875,
-        "context_recall": 1.0,
-        "rouge_score(mode=fmeasure)": 0.39164490861618795
-      },
-      {
-        "faithfulness": 0.5384615384615384,
-        "answer_relevancy": 0.7938279373591263,
-        "context_precision": 0.9999999999,
-        "context_recall": 1.0,
-        "rouge_score(mode=fmeasure)": 0.36512261580381467
-      }
-    ],
-    "bm25_only": [
-      {
-        "faithfulness": 0.875,
-        "answer_relevancy": 0.7264722326341989,
-        "context_precision": 0.99999999995,
-        "context_recall": 1.0,
-        "rouge_score(mode=fmeasure)": 0.7589285714285714
-      },
-      {
-        "faithfulness": 0.9285714285714286,
-        "answer_relevancy": 0.7342079659938445,
-        "context_precision": 0.999999999975,
-        "context_recall": 1.0,
-        "rouge_score(mode=fmeasure)": 0.6351351351351351
-      },
-      {
-        "faithfulness": 0.8888888888888888,
-        "answer_relevancy": 0.8335330619249784,
-        "context_precision": 0.9999999999666667,
-        "context_recall": 1.0,
-        "rouge_score(mode=fmeasure)": 0.5673352435530086
-      },
-      {
-        "faithfulness": 0.42857142857142855,
-        "answer_relevancy": 0.6506986819875058,
-        "context_precision": 0.99999999998,
-        "context_recall": 1.0,
-        "rouge_score(mode=fmeasure)": 0.5048543689320388
-      },
-      {
-        "faithfulness": 0.8333333333333334,
-        "answer_relevancy": 0.8338701751762124,
-        "context_precision": 0.9999999999,
-        "context_recall": 1.0,
-        "rouge_score(mode=fmeasure)": 0.5344827586206896
-      }
-    ],
-    "hybrid": [
-      {
-        "faithfulness": 0.8571428571428571,
-        "answer_relevancy": 0.8972923254436237,
-        "context_precision": 0.99999999995,
-        "context_recall": 1.0,
-        "rouge_score(mode=fmeasure)": 0.7606837606837608
-      },
-      {
-        "faithfulness": 1.0,
-        "answer_relevancy": 0.7008081720389104,
-        "context_precision": 0.94999999997625,
-        "context_recall": 1.0,
-        "rouge_score(mode=fmeasure)": 0.44655581947743467
-      },
-      {
-        "faithfulness": 1.0,
-        "answer_relevancy": 0.8991661959917713,
-        "context_precision": 0.99999999995,
-        "context_recall": 1.0,
-        "rouge_score(mode=fmeasure)": 0.6297577854671281
-      },
-      {
-        "faithfulness": 1.0,
-        "answer_relevancy": 0.0,
-        "context_precision": 0.99999999998,
-        "context_recall": 1.0,
-        "rouge_score(mode=fmeasure)": 0.1372549019607843
-      },
-      {
-        "faithfulness": 0.7,
-        "answer_relevancy": 0.7942512688700306,
-        "context_precision": 0.49999999995,
-        "context_recall": 1.0,
-        "rouge_score(mode=fmeasure)": 0.39747634069400634
-      }
-    ],
-    "hybrid_rerank": [
-      {
-        "faithfulness": 0.8888888888888888,
-        "answer_relevancy": 0.7358630343295559,
-        "context_precision": 0.99999999995,
-        "context_recall": 1.0,
-        "rouge_score(mode=fmeasure)": 0.7818930041152263
-      },
-      {
-        "faithfulness": 1.0,
-        "answer_relevancy": 0.6748679131476658,
-        "context_precision": 0.8874999999778125,
-        "context_recall": 1.0,
-        "rouge_score(mode=fmeasure)": 0.6909090909090908
-      },
-      {
-        "faithfulness": 1.0,
-        "answer_relevancy": 0.8327119887318949,
-        "context_precision": 0.9166666666361111,
-        "context_recall": 1.0,
-        "rouge_score(mode=fmeasure)": 0.6297577854671281
-      },
-      {
-        "faithfulness": 1.0,
-        "answer_relevancy": 0.0,
-        "context_precision": 0.99999999998,
-        "context_recall": 1.0,
-        "rouge_score(mode=fmeasure)": 0.1372549019607843
-      },
-      {
-        "faithfulness": 0.6666666666666666,
-        "answer_relevancy": 0.8847245139750438,
-        "context_precision": 0.7499999999625,
-        "context_recall": 1.0,
-        "rouge_score(mode=fmeasure)": 0.7083333333333333
-      }
-    ]
-  }
-}

evaluation/results/ragas_20260105_125700.json

@@ -1,111 +0,0 @@
-{
-  "timestamp": "20260105_125700",
-  "retrieval_mode": "vector_only",
-  "config": {
-    "sample_size": 5,
-    "gen_model": "nex-agi/DeepSeek-V3.1-Nex-N1",
-    "eval_model": "nex-agi/DeepSeek-V3.1-Nex-N1",
-    "embed_model": "Qwen/Qwen3-Embedding-4B",
-    "collection": "hust_rag_collection",
-    "doc_count": 1441
-  },
-  "scores": [
-    {
-      "faithfulness": 1.0,
-      "answer_relevancy": 0.7364493749907867,
-      "context_precision": 0.99999999995,
-      "context_recall": 1.0,
-      "rouge_score(mode=fmeasure)": 0.6690140845070423
-    },
-    {
-      "faithfulness": 1.0,
-      "answer_relevancy": 0.7310359258257583,
-      "context_precision": 0.999999999975,
-      "context_recall": 1.0,
-      "rouge_score(mode=fmeasure)": 0.6643356643356644
-    },
-    {
-      "faithfulness": 0.6923076923076923,
-      "answer_relevancy": 0.8345119784254372,
-      "context_precision": 0.8666666666377778,
-      "context_recall": 1.0,
-      "rouge_score(mode=fmeasure)": 0.4396135265700484
-    },
-    {
-      "faithfulness": 0.2857142857142857,
-      "answer_relevancy": 0.0,
-      "context_precision": 0.6791666666496875,
-      "context_recall": 1.0,
-      "rouge_score(mode=fmeasure)": 0.39164490861618795
-    },
-    {
-      "faithfulness": 0.5384615384615384,
-      "answer_relevancy": 0.7938279373591263,
-      "context_precision": 0.9999999999,
-      "context_recall": 1.0,
-      "rouge_score(mode=fmeasure)": 0.36512261580381467
-    }
-  ],
-  "samples": [
-    {
-      "question": "Chương trình đào tạo ngành Kỹ thuật Cơ điện tử được xây dựng dựa trên những cơ sở nào?",
-      "answer": "Dựa trên CONTEXT được cung cấp, chương trình đào tạo ngành Kỹ thuật Cơ điện tử được xây dựng trên các cơ sở sau:\n\n1.  **Phát triển từ chương trình nội bộ:** Chương trình được phát triển trên cơ sở chương trình đào tạo ngành Cơ điện tử năm 2009 của trường.\n2.  **Tham khảo chương trình quốc tế:** Chương trình có sự tham khảo từ các trường đại học nổi tiếng trên thế giới như:\n    *   Stanford (Hoa Kỳ)\n    *   Chico (Hoa Kỳ)\n    *   Sibaura (Nhật Bản)\n    *   Đại học Quốc gia Đài Loan (NTU)\n3.  **Tiêu chuẩn kiểm định:** Chương trình được kiểm định theo tiêu chuẩn AUN-QA năm 2017.\n\nNguồn: 1.1. Kỹ thuật Cơ điện tử.md",
-      "ground_truth": "Chương trình đào tạo ngành Kỹ thuật Cơ điện tử được xây dựng trên cơ sở phát triển chương trình năm 2009, kết hợp tham khảo chương trình đào tạo của các trường đại học nổi tiếng trên thế giới như Stanford, Chico (Hoa Kỳ), Sibaura (Nhật Bản) và Đại học Quốc gia Đài Loan (NTU), đồng thời được kiểm định theo tiêu chuẩn AUN-QA năm 2017.",
-      "contexts": [
-        "# 1. Tên chương trình: KỸ THUẬT CƠ ĐIỆN TỬ\nChương trình đào tạo ngành Cơ điện tử hiện nay được xây dựng trên cơ sở phát triển chương trình đào tạo ngành Cơ điện tử năm 2009 kết hợp với sự tham khảo chương trình đào tạo ngành Cơ điện tử của các trường đại học nổi tiếng trên thế giới như Stanford, Chico (Koa Kỳ), Sibaura (Nhật Bản), Đại học Quốc gia Đài Loan (NTU)…; Chương trình được kiểm định theo tiêu chuẩn AUN -QA năm 2017;\nSinh viên theo học ngành này sẽ được trang bị các kiến thức cơ sở và chuyên ngành vững chắc, có kỹ năng nghề nghiệp và năng lực nghiên cứu, khả năng làm việc và sáng tạo trong mọi môi trường lao động để giải quyết những vấn đề liên quan đến nghiên cứu thiết kế, chế tạo thiết bị, hệ thống cơ điện tử và vận hành các hệ thống sản xuất công nghiệp, nhanh chóng thích ứng với môi trường làm việc của cuộc cách mạng công nghiệp 4.0.",
-        "## 1. Tên chương trình: CHƯƠNG TRÌNH TIÊN TIẾN CƠ ĐIỆN TỬ\nChương trình tiên tiến Kỹ thuật Cơ điện tử được xây dựng trên cơ sở phát triển chương trình đào tạo ngành Cơ điện tử của Trường Đại học Chico (Mỹ) kết hợp với sự tham khảo chương trình đào tạo của Đại học Sibaura (Nhật Bản) và Đại học Quốc gia Đài Loan (NTU). Chương trình đào tạo đã được kiểm định theo tiêu chuẩn AUN -QA năm 2017.\nSinh viên theo học ngành này sẽ được trang bị các kiến thức cơ sở và chuyên ngành vững chắc, có kỹ năng nghề nghiệp và năng lực nghiên cứu, khả năng làm việc và sáng tạo trong mọi môi trường lao động để giải quyết những vấn đề liên quan đến thiết kế, chế tạo thiết bị, hệ thống cơ điện tử và vận hành hệ thống sản xuất công nghiệp, nhanh chóng thích ứng với môi trường làm việc của cuộc cách mạng công nghiệp 4.0.\nNgôn ngữ đào tạo chính: Tiếng Anh.",
-        "## 1. Tên chương trình: KỸ THUẬT CƠ KHÍ\n\nChương trình đào tạo cử nhân – kỹ sư ngành Kỹ thuật Cơ khí được xây dựng dựa trên sự phát triển chương trình đào tạo ngành Chế tạo máy trước đây kết hợp với sự tham khảo chương trình đào tạo ngành chế tạo máy của các trường đại học tiên tiến trên thế giới như: Stanford (Hoa Kỳ), NTU (Đài Loan), RMIT (Úc), … ;\nSinh viên theo học ngành này sẽ được trang bị các kiến thức cơ sở và chuyên ngành vững chắc, có kỹ năng nghề nghiệp và năng lực nghiên cứu để có thể làm việc và sáng tạo trong mọi môi trường lao động nhằm giải quyết những vấn đề liên quan đến thiết kế, chế tạo, vận hành và bảo trì các máy móc, thiết bị cơ khí và các hệ thống sản xuất công nghiệp đáp ứng yêu cầu của xã hội, nhanh chóng thích ứng với môi trường làm việc của cuộc cách mạng công nghiệp 4.0.",
-        "## 1. Tên chương trình: CHƯƠNG TRÌNH TIÊN TIẾN ĐIỆN TỬ -VIỄN THÔNG\n\nNgành Điện tử - Viễn thông là một trong những ngành mũi nhọn của cuộc Cách mạng công nghiệp lần thứ 4 và là ngành có nhu cầu cao về nhân lực ở Việt Nam và trên thế giới. Theo học chương trình này, sinh viên được trang bị một cách toàn diện cả về kỹ năng chuyên môn và kỹ năng mềm để có thể thiết kế, chế tạo, vận hành các thiết bị và hệ thống điện tử viễn thông, đáp ứng được yêu cầu về tính năng động và sáng tạo của lĩnh vực nghề nghiệp này.\n\nChương trình tiên tiến kỹ thuật Điện tử -Viễn thông được giảng dạy hoàn toàn bằng tiếng Anh và do các giảng viên của trường ĐHBK Hà Nội và các giảng viên nước ngoài tham gia giảng dạy.\n\nChương trình được thiết kế dựa trên chương trình của trường Đại học San Jose State University, Hoa Kỳ và bao gồm khối kiến thức toán học và khoa học cơ bản, khối kiến thức cơ sở cốt lõi ngành Điện tử -Viễn thông, khối kiến thức bổ trợ kiến thức xã hội và kỹ năng mềm và khối kiến thức chuyên sâu ngành",
-        "## 1. Tên chương trình: KỸ THUẬT ĐIỆN TỬ -VIỄN THÔNG\n\nNgành Điện tử - Viễn thông là một trong những ngành mũi nhọn của cuộc Cách mạng công nghiệp lần thứ 4 và là ngành có nhu cầu cao về nhân lực ở Việt Nam và trên thế giới. Theo học ngành này, sinh viên được trang bị một cách toàn diện cả về kỹ năng chuyên môn và kỹ năng mềm để có thể thiết kế, chế tạo, vận hành các thiết bị và hệ thống điện tử viễn thông, đáp ứng được yêu cầu về tính năng động và sáng tạo của lĩnh vực nghề nghiệp này.\n\nChương trình kỹ thuật Điện tử- Viễn thông được giảng dạy bằng tiếng Việt và được thiết kế bao gồm khối kiến thức toán học và khoa học cơ bản, khối kiến thức cơ sở cốt lõi ngành Điện tử -Viễn thông, khối kiến thức bổ trợ kiến thức xã hội và kỹ năng mềm và khối kiến thức tự chọn chuyên sâu theo các định hướng kỹ thuật điện tử, kỹ thuật máy tính, kỹ thuật thông tin truyền thông, kỹ thuật y sinh, kỹ thuật điện tử hàng không vũ trụ, kỹ thuật đa phương tiện, kỹ thuật vi điện tử và công nghệ nano."
-      ]
-    },
-    {
-      "question": "Sinh viên tốt nghiệp ngành Kỹ thuật Cơ điện tử đạt được những kiến thức chuyên môn gì?",
-      "answer": "Dựa trên tài liệu đào tạo ngành Kỹ thuật Cơ điện tử, sinh viên tốt nghiệp đạt được những kiến thức chuyên môn sau:\n\nCó kiến thức chuyên môn rộng và vững chắc, thích ứng tốt với những công việc phù hợp với ngành, chú trọng khả năng áp dụng kiến thức cơ sở và cốt lõi ngành Cơ điện tử kết hợp khả năng sử dụng công cụ hiện đại để nghiên cứu, thiết kế, chế tạo, xây dựng và vận hành các hệ thống/quá trình/sản phẩm Cơ điện tử.\n\n**Nguồn:** 1.1. Kỹ thuật Cơ điện tử.md | Mục: /2. Kiến thức, kỹ năng đạt được sau tốt nghiệp/",
-      "ground_truth": "Sinh viên tốt nghiệp có kiến thức chuyên môn rộng và vững chắc, có khả năng áp dụng kiến thức cơ sở và cốt lõi của ngành Cơ điện tử kết hợp với việc sử dụng các công cụ hiện đại để nghiên cứu, thiết kế, chế tạo, xây dựng và vận hành các hệ thống, quá trình và sản phẩm Cơ điện tử.",
-      "contexts": [
-        "# 2. Kiến thức, kỹ năng đạt được sau tốt nghiệp\n\n## a. Kiến thức\nCó kiến thức chuyên môn rộng và vững chắc, thích ứng tốt với những công việc phù hợp với ngành, chú trọng khả năng áp dụng kiến thức cơ sở và cốt lõi ngành Cơ điện tử kết hợp khả năng sử dụng công cụ hiện đại để nghiên cứu, thiết kế, chế tạo, xây dựng và vận hành các hệ thống/quá trình/sản phẩm Cơ điện tử.",
-        "## 2. Kiến thức, kỹ năng đạt được sau tốt nghiệp\n\n## a. Kiến thức\nCó kiến thức chuyên môn rộng và vững chắc, thích ứng tốt với những công việc phù hợp với ngành, chú trọng khả năng áp dụng kiến thức cơ sở và cốt lõi ngành Cơ điện tử kết hợp khả năng sử dụng công cụ hiện đại để nghiên cứu, thiết kế, chế tạo, xây dựng và vận hành các hệ thống/quá trình/sản phẩm cơ điện tử.",
-        "## 2. Kiến thức, kỹ năng đạt được sau tốt nghiệp\n\n## a. Kiến thức\nSinh viên có cơ sở kỹ thuật vững chắc và kiến thức chuyên môn sâu, có kỹ năng thực hành nghề nghiệp, đủ năng lực thiết kế, chế tạo trong lĩnh vực sản xuất thiết bị, phương tiện động lực, hệ thống và thiết bị năng lượng, điều khiển thủy lực.",
-        "## 2. Kiến thức, kỹ năng đạt được sau tốt nghiệp\n\n## a. Kiến thức\nCó kiến thức cơ sở chuyên môn rộng và vững chắc, thích ứng tốt với những công việc phù hợp với ngành học,\nChú trọng khả năng áp dụng kiến thức cơ sở và cốt lõi ngành Kỹ thuật Cơ khí kết hợp khả năng sử dụng công cụ hiện đại để thiết kế, chế tạo, vận hành, nghiên cứu phân tích, cải tiến máy móc, thiết bị hay hệ thống sản xuất.",
-        "## 2. Kiến thức, kỹ năng đạt được sau tốt nghiệp\n\n## a. Kiến thức\n- Có và kỹ năng cơ bản về Cơ khí, điện -điện tử, tự động hóa nhằm giúp người học có đủ năng lực giải quyết các vấn đề liên quan tới ngành nhiệt -lạnh cũng như những công việc khác nhau trong lĩnh vực cơ - điện - năng lượng;\n- Nắm được bản chất của các quá trình và thiết bị nhiệt -lạnh, chế tạo, vận hành, bảo trì sản phẩm và các hệ thống nhiệt -lạnh trong công nghiệp và dân dụng để giải quyết các vấn đề công nghệ và môi trường."
-      ]
-    },
-    {
-      "question": "Tại sao sinh viên ngành Kỹ thuật Cơ điện tử có thể nhanh chóng thích ứng với môi trường làm việc của cuộc cách mạng công nghiệp 4.0?",
-      "answer": "Dựa trên CONTEXT được cung cấp, sinh viên ngành Kỹ thuật Cơ điện tử có thể nhanh chóng thích ứng với môi trường làm việc của cuộc cách mạng công nghiệp 4.0 vì:\n\n1.  **Được trang bị kiến thức cơ sở và chuyên ngành vững chắc:** Chương trình đào tạo cung cấp nền tảng kiến thức rộng và sâu, giúp sinh viên có khả năng áp dụng vào thực tiễn.\n2.  **Có kỹ năng nghề nghiệp và năng lực nghiên cứu:** Sinh viên được rèn luyện các kỹ năng cần thiết để giải quyết các vấn đề phức tạp.\n3.  **Khả năng làm việc và sáng tạo trong mọi môi trường lao động:** Chương trình đào tạo hướng đến việc phát triển năng lực sáng tạo và thích ứng linh hoạt.\n4.  **Giải quyết những vấn đề liên quan đến nghiên cứu thiết kế, chế tạo thiết bị, hệ thống cơ điện tử và vận hành các hệ thống sản xuất công nghiệp:** Đây là những lĩnh vực cốt lõi của Cách mạng công nghiệp 4.0.\n\n**Nguồn:** 1.1. Kỹ thuật Cơ điện tử.md",
-      "ground_truth": "Vì chương trình đào tạo trang bị cho sinh viên nền tảng kiến thức cơ sở và chuyên ngành vững chắc, kỹ năng nghề nghiệp, năng lực nghiên cứu, khả năng làm việc và sáng tạo trong nhiều môi trường lao động, giúp giải quyết các vấn đề liên quan đến thiết kế, chế tạo và vận hành các hệ thống cơ điện tử trong sản xuất công nghiệp hiện đại.",
-      "contexts": [
-        "# 1. Tên chương trình: KỸ THUẬT CƠ ĐIỆN TỬ\nChương trình đào tạo ngành Cơ điện tử hiện nay được xây dựng trên cơ sở phát triển chương trình đào tạo ngành Cơ điện tử năm 2009 kết hợp với sự tham khảo chương trình đào tạo ngành Cơ điện tử của các trường đại học nổi tiếng trên thế giới như Stanford, Chico (Koa Kỳ), Sibaura (Nhật Bản), Đại học Quốc gia Đài Loan (NTU)…; Chương trình được kiểm định theo tiêu chuẩn AUN -QA năm 2017;\nSinh viên theo học ngành này sẽ được trang bị các kiến thức cơ sở và chuyên ngành vững chắc, có kỹ năng nghề nghiệp và năng lực nghiên cứu, khả năng làm việc và sáng tạo trong mọi môi trường lao động để giải quyết những vấn đề liên quan đến nghiên cứu thiết kế, chế tạo thiết bị, hệ thống cơ điện tử và vận hành các hệ thống sản xuất công nghiệp, nhanh chóng thích ứng với môi trường làm việc của cuộc cách mạng công nghiệp 4.0.",
-        "## 1. Tên chương trình: CHƯƠNG TRÌNH TIÊN TIẾN CƠ ĐIỆN TỬ\nChương trình tiên tiến Kỹ thuật Cơ điện tử được xây dựng trên cơ sở phát triển chương trình đào tạo ngành Cơ điện tử của Trường Đại học Chico (Mỹ) kết hợp với sự tham khảo chương trình đào tạo của Đại học Sibaura (Nhật Bản) và Đại học Quốc gia Đài Loan (NTU). Chương trình đào tạo đã được kiểm định theo tiêu chuẩn AUN -QA năm 2017.\nSinh viên theo học ngành này sẽ được trang bị các kiến thức cơ sở và chuyên ngành vững chắc, có kỹ năng nghề nghiệp và năng lực nghiên cứu, khả năng làm việc và sáng tạo trong mọi môi trường lao động để giải quyết những vấn đề liên quan đến thiết kế, chế tạo thiết bị, hệ thống cơ điện tử và vận hành hệ thống sản xuất công nghiệp, nhanh chóng thích ứng với môi trường làm việc của cuộc cách mạng công nghiệp 4.0.\nNgôn ngữ đào tạo chính: Tiếng Anh.",
-        "## 1. Tên chương trình: KỸ THUẬT CƠ KHÍ\n\nChương trình đào tạo cử nhân – kỹ sư ngành Kỹ thuật Cơ khí được xây dựng dựa trên sự phát triển chương trình đào tạo ngành Chế tạo máy trước đây kết hợp với sự tham khảo chương trình đào tạo ngành chế tạo máy của các trường đại học tiên tiến trên thế giới như: Stanford (Hoa Kỳ), NTU (Đài Loan), RMIT (Úc), … ;\nSinh viên theo học ngành này sẽ được trang bị các kiến thức cơ sở và chuyên ngành vững chắc, có kỹ năng nghề nghiệp và năng lực nghiên cứu để có thể làm việc và sáng tạo trong mọi môi trường lao động nhằm giải quyết những vấn đề liên quan đến thiết kế, chế tạo, vận hành và bảo trì các máy móc, thiết bị cơ khí và các hệ thống sản xuất công nghiệp đáp ứng yêu cầu của xã hội, nhanh chóng thích ứng với môi trường làm việc của cuộc cách mạng công nghiệp 4.0.",
-        "## 1. Tên chương trình: KỸ THUẬT ĐIỆN TỬ -VIỄN THÔNG\n\nNgành Điện tử - Viễn thông là một trong những ngành mũi nhọn của cuộc Cách mạng công nghiệp lần thứ 4 và là ngành có nhu cầu cao về nhân lực ở Việt Nam và trên thế giới. Theo học ngành này, sinh viên được trang bị một cách toàn diện cả về kỹ năng chuyên môn và kỹ năng mềm để có thể thiết kế, chế tạo, vận hành các thiết bị và hệ thống điện tử viễn thông, đáp ứng được yêu cầu về tính năng động và sáng tạo của lĩnh vực nghề nghiệp này.\n\nChương trình kỹ thuật Điện tử- Viễn thông được giảng dạy bằng tiếng Việt và được thiết kế bao gồm khối kiến thức toán học và khoa học cơ bản, khối kiến thức cơ sở cốt lõi ngành Điện tử -Viễn thông, khối kiến thức bổ trợ kiến thức xã hội và kỹ năng mềm và khối kiến thức tự chọn chuyên sâu theo các định hướng kỹ thuật điện tử, kỹ thuật máy tính, kỹ thuật thông tin truyền thông, kỹ thuật y sinh, kỹ thuật điện tử hàng không vũ trụ, kỹ thuật đa phương tiện, kỹ thuật vi điện tử và công nghệ nano.",
-        "# 2. Kiến thức, kỹ năng đạt được sau tốt nghiệp\n\n## a. Kiến thức\nCó kiến thức chuyên môn rộng và vững chắc, thích ứng tốt với những công việc phù hợp với ngành, chú trọng khả năng áp dụng kiến thức cơ sở và cốt lõi ngành Cơ điện tử kết hợp khả năng sử dụng công cụ hiện đại để nghiên cứu, thiết kế, chế tạo, xây dựng và vận hành các hệ thống/quá trình/sản phẩm Cơ điện tử."
-      ]
-    },
-    {
-      "question": "Chương trình đào tạo ngành Kỹ thuật Cơ điện tử được điều chỉnh như thế nào để đảm bảo t��nh cập nhật mà không ảnh hưởng đến người học?",
-      "answer": "Dựa trên các tài liệu được cung cấp, tôi không tìm thấy thông tin cụ thể về việc chương trình đào tạo ngành **Kỹ thuật Cơ điện tử** được điều chỉnh như thế nào để đảm bảo tính cập nhật mà không ảnh hưởng đến người học.\n\nTuy nhiên, các tài liệu về các chương trình đào tạo khác (Kỹ thuật Ô tô, Chương trình tiên tiến Điện tử - Viễn thông, Chương trình tiên tiến Kỹ thuật Ô tô, Chương trình tiên tiến Điều khiển - Tự động hóa và Hệ thống điện) đều có ghi nhận nguyên tắc chung:\n\n> \"Chương trình đào tạo có thể được điều chỉnh hàng năm để đảm bảo tính cập nhật với sự phát triển của khoa học, kỹ thuật và công nghệ; tuy nhiên đảm bảo nguyên tắc không gây ảnh hưởng ngược tới kết quả người học đã tích lũy.\"\n\nNguyên tắc này có thể áp dụng tương tự cho chương trình Kỹ thuật Cơ điện tử, nhưng không có thông tin cụ thể trong tài liệu về ngành này.\n\n**Nguồn:** Tài liệu 1.3, 2.5, 1.7, 2.3",
-      "ground_truth": "Chương trình đào tạo có thể được điều chỉnh hàng năm nhằm đảm bảo tính cập nhật với sự phát triển của khoa học, kỹ thuật và công nghệ, nhưng vẫn tuân thủ nguyên tắc không gây ảnh hưởng ngược tới kết quả học tập mà người học đã tích lũy.",
-      "contexts": [
-        "# 1. Tên chương trình: KỸ THUẬT CƠ ĐIỆN TỬ\nChương trình đào tạo ngành Cơ điện tử hiện nay được xây dựng trên cơ sở phát triển chương trình đào tạo ngành Cơ điện tử năm 2009 kết hợp với sự tham khảo chương trình đào tạo ngành Cơ điện tử của các trường đại học nổi tiếng trên thế giới như Stanford, Chico (Koa Kỳ), Sibaura (Nhật Bản), Đại học Quốc gia Đài Loan (NTU)…; Chương trình được kiểm định theo tiêu chuẩn AUN -QA năm 2017;\nSinh viên theo học ngành này sẽ được trang bị các kiến thức cơ sở và chuyên ngành vững chắc, có kỹ năng nghề nghiệp và năng lực nghiên cứu, khả năng làm việc và sáng tạo trong mọi môi trường lao động để giải quyết những vấn đề liên quan đến nghiên cứu thiết kế, chế tạo thiết bị, hệ thống cơ điện tử và vận hành các hệ thống sản xuất công nghiệp, nhanh chóng thích ứng với môi trường làm việc của cuộc cách mạng công nghiệp 4.0.",
-        "## 4. Danh mục học phần và thời lượng học tập:\nChương trình đào tạo có thể được điều chỉnh hàng năm để đảm bảo tính cập nhật với sự phát triển của khoa học, kỹ thuật và công nghệ; tuy nhiên đảm bảo nguyên tắc không gây ảnh hưởng ngược tới kết quả người học đã tích lũy.",
-        "## 4. Danh mục học phần và thời lượng học tập:\n\nChương trình đào tạo có thể được điều chỉnh hàng năm để đảm bảo tính cập nhật với sự phát triển c ủa khoa học, kỹ thuật và công nghệ; tuy nhiên đảm bảo nguyên tắc không gây ảnh hưởng ngược tới kết quả người học đã tích lũy.",
-        "## 4. Danh mục học phần và thời lượng học tập:\n\nChương trình đào tạo có thể được điều chỉnh hàng năm để đảm bảo tính cập nhật với sự phát triển c ủa khoa học, kỹ thuật và công nghệ; tuy nhiên đảm bảo nguyên tắc không gây ảnh hưởng ngược tới kết quả người học đã tích lũy.",
-        "## 4. Danh mục học phần và thời lượng học tập:\n\nChương trình đào tạo có thể được điều chỉnh hàng năm để đảm bảo tính cập nhật với sự phát triển c ủa khoa học, kỹ thuật và công nghệ; tuy nhiên đảm bảo nguyên tắc không gây ảnh hưởng ngược tới kết quả người học đã tích lũy."
-      ]
-    },
-    {
-      "question": "Chương trình đào tạo kỹ sư chuyên sâu đặc thù (180 tín chỉ) áp dụng cho những đối tượng sinh viên nào?",
-      "answer": "Dựa trên các tài liệu được cung cấp, chương trình đào tạo kỹ sư chuyên sâu đặc thù (180 tín chỉ) áp dụng cho các đối tượng sau:\n\n**1. Sinh viên các khóa từ K62:**\n- Áp dụng với sinh viên các khóa từ K62 đang học tập và có mong muốn tiếp tục học tập theo chương trình đào tạo kỹ sư chuyên sâu đặc thù.\n\n**2. Sinh viên theo chương trình tích hợp cử nhân-kỹ sư:**\n- Chương trình tích hợp cử nhân-kỹ sư có thời gian thiết kế là 5,5 năm và khối lượng học tập 180 TC, bao gồm hai bậc trình độ: Cử nhân (4 năm) và Kỹ sư (1,5 năm).\n\n**3. Học viên chương trình đào tạo kỹ sư chuyên sâu theo chương trình tích hợp:**\n- Dành cho học viên đã được cấp mã số học viên tạm thời và học viên đã được công nhận chính thức.\n\n**Nguồn:**\n- Tài liệu 1: 01_3 HD hoc chuyen tiep ky su 180 TC_Final.md\n- Tài liệu 3: 02_ Hướng dẫn công nhận học phần vào CTĐT KSCS.md  \n- Tài liệu 4: QCDT_2025_5445_QD-DHBK.md",
-      "ground_truth": "Chương trình áp dụng cho sinh viên các khóa từ K62 đang học tập và có mong muốn tiếp tục học theo chương trình kỹ sư chuyên sâu đặc thù, đồng thời áp dụng cho các chương trình đào tạo có đào tạo bậc kỹ sư chuyên sâu đặc thù.",
-      "contexts": [
-        "# HƯỚNG DẪN HỌC TẬP CHƯƠNG TRÌNH ĐÀO TẠO KỸ SƯ CHUYÊN SÂU ĐẶC THÙ (180 TC)\n\n## 1. Phạm vi áp dụng\n+ Áp dụng với sinh viên các khóa từ K62 đang học tập và có mong muốn tiếp tục học tập theo chương trình đạo tạo kỹ sư chuyên sâu đặc thù.\n+ Áp dụng với các chương trình đào tạo (viết tắt là: CTĐT) có đào tạo bậc kỹ sư chuyên sâu đặc thù (viết tắt là: KS) .",
-        "## II. Khung chương trình đào tạo kỹ sư chuyên sâu\n\n1. CTĐT KSCS có khối lượng học tập 60 tín chỉ đối với người học đã tốt nghiệp đại học. Thời gian học tập toàn khóa theo kế hoạch học tập chuẩn là 2 năm, người tốt nghiệp được cấp bằng kỹ sư bậc 7 theo Khung năng lực quốc gia Việt Nam .\n2. Điểm trung bình toàn khóa được sử dụng để xét tốt nghiệp và xếp hạng tốt nghiệp là điểm trung bình tích lũy toàn khóa tính theo các học phần đăng ký xét tốt nghiệp thuộc CTĐT KSCS .\n3. Học viên của CTĐT KSCS được Giám đốc Đại học Bách khoa Hà Nội công nhận tốt nghiệp được cấp bằng tốt nghiệp Kỹ sư bậc 7 theo Khung năng lực quốc gia Việt Nam.\n4. Khung quy định của CTĐT KSCS:\nKhung quy định của chương trình đào tạo Kỹ sư chuyên sâu đặc thù (KSCS) gồm các nhóm học phần sau:\nNhóm kiến thức định hướng chuyên ngành có khối lượng 12 tín chỉ,\ngồm các học phần được thiết kế theo nhóm để định hướng người học tiếp cận theo chuyên ngành.\nNhóm kiến thức chuyên ngành cốt lõi có khối lượng từ 19 đến 20 tín chỉ,\nlà ",
-        "# HƯỚNG DẪN CÔNG NHẬN HỌC PHẦN VÀO CHƯƠNG TRÌNH ĐÀO TẠO KỸ SƯ CHUYÊN SÂU\n\n## I. Phạm vi áp dụng:\n1. Dành cho học viên chương trình đào tạo kỹ sư chuyên sâu (KSCS) theo chương trình tích hợp.\n2. Dành cho học viên đã được cấp mã số học viên tạm thời và học viên đã được công nhận chính thức.",
-        "Sinh viên tham gia chương trình được tuyển chọn dựa trên thành tích học tập xuất sắc và có tiềm năng nghiên cứu. Chương trình đảm bảo trang bị cho người học kiến thức chuyên sâu theo định hướng nghiên cứu, khả năng tư duy độc lập và sáng tạo, đáp ứng yêu cầu nhân lực chất lượng cao. Chương trình được tổ chức với quy mô lớp học nhỏ, giảng viên có trình độ cao và phương pháp giảng dạy hiện đại, tạo điều kiện tối ưu để sinh viên phát huy năng lực. Sinh viên thuộc các CTĐT Tài năng được tạo điều kiện để tham gia các hoạt động nghiên cứu khoa học, trao đổi học thuật, công nhận tín chỉ đã tích lũy từ các cơ sở đào tạo đối tác.\n\n6. Thời gian và khối lượng học tập chuẩn đối với các CTĐT theo hình thức chính quy không kể các học phần bổ sung kiến thức được quy định như sau:\nChương trình Cử nhân dành cho người học tốt nghiệp THPT,\nthời gian đào tạo 4 năm, khối lượng học tập tối thiểu 132 tín chỉ.\nChương trình Kỹ sư dành cho người học tốt nghiệp cử nhân theo chương trình tích hợp,\nthời gian đào t",
-        "### Điều 2. Ngành đào tạo, chương trình đào tạo\n1. Ngành đào tạo (sau đây gọi tắt là ngành) là một lĩnh vực chuyên môn rộng, có mã số trong Danh mục thống kê ngành đào tạo của giáo dục đại học do Bộ GDĐT quản lý 4 .\n2. Chương trình đào tạo (CTĐT) được xây dựng theo đơn vị tín chỉ (TC) và là bản thiết kế cho toàn bộ quá trình đào tạo của một ngành. Chương trình thể hiện rõ trình độ đào tạo; đối tượng đào tạo, điều kiện nhập học và điều kiện tốt nghiệp; m���c tiêu đào tạo, chuẩn kiến thức, kỹ năng, mức tự chủ và trách nhiệm của người học khi tốt nghiệp; nội dung (chương trình giảng dạy); kế hoạch đào tạo theo thời gian học tập chuẩn; phương pháp và hình thức đào tạo; cách thức đánh giá kết quả học tập; các điều kiện thực hiện chương trình.\n3. CTĐT tích hợp là chương trình được thiết kế tổng thể theo hướng tích hợp kiến thức, kỹ năng của hai bậc trình độ, đảm bảo học tập liên tục giữa các bậc đào tạo nhằm tối ưu hóa thời gian đào tạo cho người học. CTĐT tích hợp cử nhân-kỹ sư, cử nhân-thạc "
-      ]
-    }
-  ]
-}

evaluation/results/ragas_20260105_130744.json

@@ -1,111 +0,0 @@
-{
-  "timestamp": "20260105_130744",
-  "retrieval_mode": "bm25_only",
-  "config": {
-    "sample_size": 5,
-    "gen_model": "nex-agi/DeepSeek-V3.1-Nex-N1",
-    "eval_model": "nex-agi/DeepSeek-V3.1-Nex-N1",
-    "embed_model": "Qwen/Qwen3-Embedding-4B",
-    "collection": "hust_rag_collection",
-    "doc_count": 1441
-  },
-  "scores": [
-    {
-      "faithfulness": 0.875,
-      "answer_relevancy": 0.7264722326341989,
-      "context_precision": 0.99999999995,
-      "context_recall": 1.0,
-      "rouge_score(mode=fmeasure)": 0.7589285714285714
-    },
-    {
-      "faithfulness": 0.9285714285714286,
-      "answer_relevancy": 0.7342079659938445,
-      "context_precision": 0.999999999975,
-      "context_recall": 1.0,
-      "rouge_score(mode=fmeasure)": 0.6351351351351351
-    },
-    {
-      "faithfulness": 0.8888888888888888,
-      "answer_relevancy": 0.8335330619249784,
-      "context_precision": 0.9999999999666667,
-      "context_recall": 1.0,
-      "rouge_score(mode=fmeasure)": 0.5673352435530086
-    },
-    {
-      "faithfulness": 0.42857142857142855,
-      "answer_relevancy": 0.6506986819875058,
-      "context_precision": 0.99999999998,
-      "context_recall": 1.0,
-      "rouge_score(mode=fmeasure)": 0.5048543689320388
-    },
-    {
-      "faithfulness": 0.8333333333333334,
-      "answer_relevancy": 0.8338701751762124,
-      "context_precision": 0.9999999999,
-      "context_recall": 1.0,
-      "rouge_score(mode=fmeasure)": 0.5344827586206896
-    }
-  ],
-  "samples": [
-    {
-      "question": "Chương trình đào tạo ngành Kỹ thuật Cơ điện tử được xây dựng dựa trên những cơ sở nào?",
-      "answer": "Dựa trên CONTEXT được cung cấp, chương trình đào tạo ngành Kỹ thuật Cơ điện tử được xây dựng trên cơ sở:\n\n- Phát triển chương trình đào tạo ngành Cơ điện tử năm 2009.\n- Tham khảo chương trình đào tạo ngành Cơ điện tử của các trường đại học nổi tiếng trên thế giới như Stanford, Chico (Hoa Kỳ), Sibaura (Nhật Bản), Đại học Quốc gia Đài Loan (NTU).\n\nNguồn: 1.1. Kỹ thuật Cơ điện tử.md",
-      "ground_truth": "Chương trình đào tạo ngành Kỹ thuật Cơ điện tử được xây dựng trên cơ sở phát triển chương trình năm 2009, kết hợp tham khảo chương trình đào tạo của các trường đại học nổi tiếng trên thế giới như Stanford, Chico (Hoa Kỳ), Sibaura (Nhật Bản) và Đại học Quốc gia Đài Loan (NTU), đồng thời được kiểm định theo tiêu chuẩn AUN-QA năm 2017.",
-      "contexts": [
-        "## 1. Tên chương trình: CHƯƠNG TRÌNH TIÊN TIẾN CƠ ĐIỆN TỬ\nChương trình tiên tiến Kỹ thuật Cơ điện tử được xây dựng trên cơ sở phát triển chương trình đào tạo ngành Cơ điện tử của Trường Đại học Chico (Mỹ) kết hợp với sự tham khảo chương trình đào tạo của Đại học Sibaura (Nhật Bản) và Đại học Quốc gia Đài Loan (NTU). Chương trình đào tạo đã được kiểm định theo tiêu chuẩn AUN -QA năm 2017.\nSinh viên theo học ngành này sẽ được trang bị các kiến thức cơ sở và chuyên ngành vững chắc, có kỹ năng nghề nghiệp và năng lực nghiên cứu, khả năng làm việc và sáng tạo trong mọi môi trường lao động để giải quyết những vấn đề liên quan đến thiết kế, chế tạo thiết bị, hệ thống cơ điện tử và vận hành hệ thống sản xuất công nghiệp, nhanh chóng thích ứng với môi trường làm việc của cuộc cách mạng công nghiệp 4.0.\nNgôn ngữ đào tạo chính: Tiếng Anh.",
-        "# 1. Tên chương trình: KỸ THUẬT CƠ ĐIỆN TỬ\nChương trình đào tạo ngành Cơ điện tử hiện nay được xây dựng trên cơ sở phát triển chương trình đào tạo ngành Cơ điện tử năm 2009 kết hợp với sự tham khảo chương trình đào tạo ngành Cơ điện tử của các trường đại học nổi tiếng trên thế giới như Stanford, Chico (Koa Kỳ), Sibaura (Nhật Bản), Đại học Quốc gia Đài Loan (NTU)…; Chương trình được kiểm định theo tiêu chuẩn AUN -QA năm 2017;\nSinh viên theo học ngành này sẽ được trang bị các kiến thức cơ sở và chuyên ngành vững chắc, có kỹ năng nghề nghiệp và năng lực nghiên cứu, khả năng làm việc và sáng tạo trong mọi môi trường lao động để giải quyết những vấn đề liên quan đến nghiên cứu thiết kế, chế tạo thiết bị, hệ thống cơ điện tử và vận hành các hệ thống sản xuất công nghiệp, nhanh chóng thích ứng với môi trường làm việc của cuộc cách mạng công nghiệp 4.0.",
-        "## 1. Tên chương trình: KỸ THUẬT CƠ KHÍ\n\nChương trình đào tạo cử nhân – kỹ sư ng��nh Kỹ thuật Cơ khí được xây dựng dựa trên sự phát triển chương trình đào tạo ngành Chế tạo máy trước đây kết hợp với sự tham khảo chương trình đào tạo ngành chế tạo máy của các trường đại học tiên tiến trên thế giới như: Stanford (Hoa Kỳ), NTU (Đài Loan), RMIT (Úc), … ;\nSinh viên theo học ngành này sẽ được trang bị các kiến thức cơ sở và chuyên ngành vững chắc, có kỹ năng nghề nghiệp và năng lực nghiên cứu để có thể làm việc và sáng tạo trong mọi môi trường lao động nhằm giải quyết những vấn đề liên quan đến thiết kế, chế tạo, vận hành và bảo trì các máy móc, thiết bị cơ khí và các hệ thống sản xuất công nghiệp đáp ứng yêu cầu của xã hội, nhanh chóng thích ứng với môi trường làm việc của cuộc cách mạng công nghiệp 4.0.",
-        "# 2. Kiến thức, kỹ năng đạt được sau tốt nghiệp\n\n## a. Kiến thức\nCó kiến thức chuyên môn rộng và vững chắc, thích ứng tốt với những công việc phù hợp với ngành, chú trọng khả năng áp dụng kiến thức cơ sở và cốt lõi ngành Cơ điện tử kết hợp khả năng sử dụng công cụ hiện đại để nghiên cứu, thiết kế, chế tạo, xây dựng và vận hành các hệ thống/quá trình/sản phẩm Cơ điện tử.",
-        "## 2. Kiến thức, kỹ năng đạt được sau tốt nghiệp\n\n## a. Kiến thức\nCó kiến thức chuyên môn rộng và vững chắc, thích ứng tốt với những công việc phù hợp với ngành, chú trọng khả năng áp dụng kiến thức cơ sở và cốt lõi ngành Cơ điện tử kết hợp khả năng sử dụng công cụ hiện đại để nghiên cứu, thiết kế, chế tạo, xây dựng và vận hành các hệ thống/quá trình/sản phẩm cơ điện tử."
-      ]
-    },
-    {
-      "question": "Sinh viên tốt nghiệp ngành Kỹ thuật Cơ điện tử đạt được những kiến thức chuyên môn gì?",
-      "answer": "Dựa trên CONTEXT được cung cấp, sinh viên tốt nghiệp ngành Kỹ thuật Cơ điện tử sẽ đạt được những kiến thức chuyên môn sau:\n\n**Kiến thức chuyên môn:**\n- Có kiến thức chuyên môn rộng và vững chắc, thích ứng tốt với những công việc phù hợp với ngành.\n- Chú trọng khả năng áp dụng kiến thức cơ sở và cốt lõi ngành Cơ điện tử.\n- Kết hợp khả năng sử dụng công cụ hiện đại để:\n  - Nghiên cứu\n  - Thiết kế\n  - Chế tạo\n  - Xây dựng\n  - Vận hành các hệ thống/quá trình/sản phẩm Cơ điện tử.\n\n**Nguồn:** Tài liệu 1.1. Kỹ thuật Cơ điện tử.md, Mục 2. Kiến thức, kỹ năng đạt được sau tốt nghiệp",
-      "ground_truth": "Sinh viên tốt nghiệp có kiến thức chuyên môn rộng và vững chắc, có khả năng áp dụng kiến thức cơ sở và cốt lõi của ngành Cơ điện tử kết hợp với việc sử dụng các công cụ hiện đại để nghiên cứu, thiết kế, chế tạo, xây dựng và vận hành các hệ thống, quá trình và sản phẩm Cơ điện tử.",
-      "contexts": [
-        "# 2. Kiến thức, kỹ năng đạt được sau tốt nghiệp\n\n## a. Kiến thức\nCó kiến thức chuyên môn rộng và vững chắc, thích ứng tốt với những công việc phù hợp với ngành, chú trọng khả năng áp dụng kiến thức cơ sở và cốt lõi ngành Cơ điện tử kết hợp khả năng sử dụng công cụ hiện đại để nghiên cứu, thiết kế, chế tạo, xây dựng và vận hành các hệ thống/quá trình/sản phẩm Cơ điện tử.",
-        "## 2. Kiến thức, kỹ năng đạt được sau tốt nghiệp\n\n## a. Kiến thức\nCó kiến thức chuyên môn rộng và vững chắc, thích ứng tốt với những công việc phù hợp với ngành, chú trọng khả năng áp dụng kiến thức cơ sở và cốt lõi ngành Cơ điện tử kết hợp khả năng sử dụng công cụ hiện đại để nghiên cứu, thiết kế, chế tạo, xây dựng và vận hành các hệ thống/quá trình/sản phẩm cơ điện tử.",
-        "## 1. Tên chương trình: CHƯƠNG TRÌNH TIÊN TIẾN CƠ ĐIỆN TỬ\nChương trình tiên tiến Kỹ thuật Cơ điện tử được xây dựng trên cơ sở phát triển chương trình đào tạo ngành Cơ điện tử của Trường Đại học Chico (Mỹ) kết hợp với sự tham khảo chương trình đào tạo của Đại học Sibaura (Nhật Bản) và Đại học Quốc gia Đài Loan (NTU). Chương trình đào tạo đã được kiểm định theo tiêu chuẩn AUN -QA năm 2017.\nSinh viên theo học ngành này sẽ được trang bị các kiến thức cơ sở và chuyên ngành vững chắc, có kỹ năng nghề nghiệp và năng lực nghiên cứu, khả năng làm việc và sáng tạo trong mọi môi trường lao động để giải quyết những vấn đề liên quan đến thiết kế, chế tạo thiết bị, hệ thống cơ điện tử và vận hành hệ thống sản xuất công nghiệp, nhanh chóng thích ứng với môi trường làm việc của cuộc cách mạng công nghiệp 4.0.\nNgôn ngữ đào tạo chính: Tiếng Anh.",
-        "## 2. Kiến thức, kỹ năng đạt được sau tốt nghiệp\n\n## a. Kiến thức\nCó kiến thức cơ sở chuyên môn rộng và vững chắc, thích ứng tốt với những công việc phù hợp với ngành học,\nChú trọng khả năng áp dụng kiến thức cơ sở và cốt lõi ngành Kỹ thuật Cơ khí kết hợp khả năng sử dụng công cụ hiện đại để thiết kế, chế tạo, vận hành, nghiên cứu phân tích, cải tiến máy móc, thiết bị hay hệ thống sản xuất.",
-        "## 1. Tên chương trình: KỸ THUẬT ĐIỆN TỬ -VIỄN THÔNG\n\nNgành Điện tử - Viễn thông là một trong những ngành mũi nhọn của cuộc Cách mạng công nghiệp lần thứ 4 và là ngành có nhu cầu cao về nhân lực ở Việt Nam và trên thế giới. Theo học ngành này, sinh viên được trang bị một cách toàn diện cả về kỹ năng chuyên môn và kỹ năng mềm để có thể thiết kế, chế tạo, vận hành các thiết bị và hệ thống điện tử viễn thông, đáp ứng được yêu cầu về tính năng động và sáng tạo của lĩnh vực nghề nghiệp này.\n\nChương trình kỹ thuật Điện tử- Viễn thông được giảng dạy bằng tiếng Việt và được thiết kế bao gồm khối kiến thức toán học và khoa học cơ bản, khối kiến thức cơ sở cốt lõi ngành Điện tử -Viễn thông, khối kiến thức bổ trợ kiến thức xã hội và kỹ năng mềm và khối kiến thức tự chọn chuyên sâu theo các định hướng kỹ thuật điện tử, kỹ thuật máy tính, kỹ thuật thông tin truyền thông, kỹ thuật y sinh, kỹ thuật điện tử hàng không vũ trụ, kỹ thuật đa phương tiện, kỹ thuật vi điện tử và công nghệ nano."
-      ]
-    },
-    {
-      "question": "Tại sao sinh viên ngành Kỹ thuật Cơ điện tử có thể nhanh chóng thích ứng với môi trường làm việc của cuộc cách mạng công nghiệp 4.0?",
-      "answer": "Dựa trên CONTEXT được cung cấp, sinh viên ngành Kỹ thuật Cơ điện tử có thể nhanh chóng thích ứng với môi trường làm việc của cuộc cách mạng công nghiệp 4.0 vì:\n\nChương trình đào tạo trang bị cho sinh viên:\n- **Các kiến thức cơ sở và chuyên ngành vững chắc**\n- **Kỹ năng nghề nghiệp và năng lực nghiên cứu**\n- **Khả năng làm việc và sáng tạo trong mọi môi trường lao động**\n- **Năng lực giải quyết những vấn đề liên quan đến nghiên cứu thiết kế, chế tạo thiết bị, hệ thống cơ điện tử và vận hành các hệ thống sản xuất công nghiệp**\n\nĐây là những yếu tố cốt lõi giúp sinh viên tốt nghiệp có đủ năng lực để thích ứng nhanh với yêu cầu của cuộc cách mạng công nghiệp 4.0.\n\n**Nguồn:** 1.1. Kỹ thuật Cơ điện tử.md",
-      "ground_truth": "Vì chương trình đào tạo trang bị cho sinh viên nền tảng kiến thức cơ sở và chuyên ngành vững chắc, kỹ năng nghề nghiệp, năng lực nghiên cứu, khả năng làm việc và sáng tạo trong nhiều môi trường lao động, giúp giải quyết các vấn đề liên quan đến thiết kế, chế tạo và vận hành các hệ thống cơ điện tử trong sản xuất công nghiệp hiện đại.",
-      "contexts": [
-        "## 1. Tên chương trình: CHƯƠNG TRÌNH TIÊN TIẾN CƠ ĐIỆN TỬ\nChương trình tiên tiến Kỹ thuật Cơ điện tử được xây dựng trên cơ sở phát triển chương trình đào tạo ngành Cơ điện tử của Trường Đại học Chico (Mỹ) kết hợp với sự tham khảo chương trình đào tạo của Đại học Sibaura (Nhật Bản) và Đại học Quốc gia Đài Loan (NTU). Chương trình đào tạo đã được kiểm định theo tiêu chuẩn AUN -QA năm 2017.\nSinh viên theo học ngành này sẽ được trang bị các kiến thức cơ sở và chuyên ngành vững chắc, có kỹ năng nghề nghiệp và năng lực nghiên cứu, khả năng làm việc và sáng tạo trong mọi môi trường lao động để giải quyết những vấn đề liên quan đến thiết kế, chế tạo thiết bị, hệ thống cơ điện tử và vận hành hệ thống sản xuất công nghiệp, nhanh chóng thích ứng với môi trường l��m việc của cuộc cách mạng công nghiệp 4.0.\nNgôn ngữ đào tạo chính: Tiếng Anh.",
-        "# 1. Tên chương trình: KỸ THUẬT CƠ ĐIỆN TỬ\nChương trình đào tạo ngành Cơ điện tử hiện nay được xây dựng trên cơ sở phát triển chương trình đào tạo ngành Cơ điện tử năm 2009 kết hợp với sự tham khảo chương trình đào tạo ngành Cơ điện tử của các trường đại học nổi tiếng trên thế giới như Stanford, Chico (Koa Kỳ), Sibaura (Nhật Bản), Đại học Quốc gia Đài Loan (NTU)…; Chương trình được kiểm định theo tiêu chuẩn AUN -QA năm 2017;\nSinh viên theo học ngành này sẽ được trang bị các kiến thức cơ sở và chuyên ngành vững chắc, có kỹ năng nghề nghiệp và năng lực nghiên cứu, khả năng làm việc và sáng tạo trong mọi môi trường lao động để giải quyết những vấn đề liên quan đến nghiên cứu thiết kế, chế tạo thiết bị, hệ thống cơ điện tử và vận hành các hệ thống sản xuất công nghiệp, nhanh chóng thích ứng với môi trường làm việc của cuộc cách mạng công nghiệp 4.0.",
-        "## 1. Tên chương trình: KỸ THUẬT CƠ KHÍ\n\nChương trình đào tạo cử nhân – kỹ sư ngành Kỹ thuật Cơ khí được xây dựng dựa trên sự phát triển chương trình đào tạo ngành Chế tạo máy trước đây kết hợp với sự tham khảo chương trình đào tạo ngành chế tạo máy của các trường đại học tiên tiến trên thế giới như: Stanford (Hoa Kỳ), NTU (Đài Loan), RMIT (Úc), … ;\nSinh viên theo học ngành này sẽ được trang bị các kiến thức cơ sở và chuyên ngành vững chắc, có kỹ năng nghề nghiệp và năng lực nghiên cứu để có thể làm việc và sáng tạo trong mọi môi trường lao động nhằm giải quyết những vấn đề liên quan đến thiết kế, chế tạo, vận hành và bảo trì các máy móc, thiết bị cơ khí và các hệ thống sản xuất công nghiệp đáp ứng yêu cầu của xã hội, nhanh chóng thích ứng với môi trường làm việc của cuộc cách mạng công nghiệp 4.0.",
-        "## b. Kỹ năng\n- Kỹ năng chuyên nghiệp và phẩm chất cá nhân, kỹ năng xã hội cần thiết và giao tiếp để làm việc hiệu quả trong nhóm đa ngành và trong môi trường hội nhập quốc tế; có năng lực khởi nghiệp và thích ứng tốt với cuộc cách mạng công nghiệp 4.0.\n- Hiểu biết về chính trị, kinh tế; có kiến thức cơ bản về khoa học xã hội và nhân văn phù hợp với chuyên ngành được được đào tạo để đóng góp hiệu quả vào sự phát triển bền vững của đất nước.",
-        "## b. Kỹ năng\n- Có kỹ năng chuyên nghiệp và phẩm chất cá nhân, kỹ năng xã hội cần thiết và giao tiếp để làm việc hiệu quả trong nhóm đa ngành và trong môi trường hội nhập quốc tế;\n- Có năng lực khởi nghiệp và thích ứng tốt với cuộc cách mạng công nghiệp 4.0;\n- Có kiến thức cơ bản về khoa học xã hội và nhân văn phù hợp với ngành Kỹ thuật Sinh học để đóng góp hiệu quả vào sự phát triển bền vững của đất nước."
-      ]
-    },
-    {
-      "question": "Chương trình đào tạo ngành Kỹ thuật Cơ điện tử được điều chỉnh như thế nào để đảm bảo tính cập nhật mà không ảnh hưởng đến người học?",
-      "answer": "Dựa trên tài liệu về Chương trình tiên tiến Cơ điện tử (ME-E1), chương trình đào tạo được điều chỉnh như sau:\n\n**Chương trình đào tạo có thể được điều chỉnh hàng năm để đảm bảo tính cập nhật với sự phát triển của khoa học, kỹ thuật và công nghệ; tuy nhiên đảm bảo nguyên tắc không gây ảnh hưởng ngược tới kết quả người học đã tích lũy.**\n\nĐiều này có nghĩa là:\n- Chương trình được cập nhật hàng năm theo xu hướng phát triển của khoa học, kỹ thuật và công nghệ\n- Việc điều chỉnh tuân thủ nguyên tắc bảo vệ quyền lợi của người học, không làm ảnh hưởng đến kết quả học tập mà sinh viên đã tích lũy được\n\n*Nguồn: 1.6. Chương trình tiên tiến Cơ điện tử.md*",
-      "ground_truth": "Chương trình đào tạo có thể được điều chỉnh hàng năm nhằm đảm bảo tính cập nhật với sự phát triển của khoa học, kỹ thuật và công nghệ, nhưng vẫn tuân thủ nguyên tắc không gây ảnh hưởng ngược tới kết quả học tập mà người học đã tích lũy.",
-      "contexts": [
-        "## 3. Thời gian đào tạo\n\n- Đào tạo Kỹ sư: 5 năm\n\n## 4. Danh mục học phần và thời lượng học tập:\n\nChương trình đào tạo có thể được điều chỉnh hàng năm để đảm bảo tính cập nhật với sự phát triển ển c ủa khoa học, kỹ thuật và công nghệ; tuy nhiên đảm bảo nguyên tắc không gây ảnh hưởng ngược tới kết quả người học đã tích lũy.",
-        "## 3. Thời gian đào tạo\n\n- Đào tạo Kỹ sư: 5 năm\n\n## 4. Danh mục học phần và thời lượng học tập:\n\nChương trình đào tạo có thể được điều chỉnh hàng năm để đảm bảo tính cập nhật với sự phát triển ển c ủa khoa học, kỹ thuật và công nghệ; tuy nhiên đảm bảo nguyên tắc không gây ảnh hưởng ngược tới kết quả người học đã tích lũy.",
-        "## 4. Danh mục học phần và thời lượng học tập:\nChương trình đào tạo có thể được điều chỉnh hàng năm để đảm bảo tính cập nhật với sự phát triển của khoa học, kỹ thuật và công nghệ; tuy nhiên đảm bảo nguyên tắc không gây ảnh hưởng ngược tới kết quả người học đã tích lũy.",
-        "## 4. Danh mục học phần và thời lượng học tập:\n\nChương trình đào tạo có thể được điều chỉnh hàng năm để đảm bảo tính cập nhật với sự phát triển c ủa khoa học, kỹ thuật và công nghệ; tuy nhiên đảm bảo nguyên tắc không gây ảnh hưởng ngược tới kết quả người học đã tích lũy.",
-        "## 4. Danh mục học phần và thời lượng học tập:\nChương trình đào tạo có thể được điều chỉnh hàng năm để đảm bảo tính cập nhật với sự phát triển c ủa khoa học, kỹ thuật và công nghệ; tuy nhiên đảm bảo nguyên tắc không gây ảnh hưởng ngược tới kết quả người học đã tích lũy."
-      ]
-    },
-    {
-      "question": "Chương trình đào tạo kỹ sư chuyên sâu đặc thù (180 tín chỉ) áp dụng cho những đối tượng sinh viên nào?",
-      "answer": "Dựa trên tài liệu hướng dẫn học tập chương trình đào tạo kỹ sư chuyên sâu đặc thù (180 TC), chương trình này áp dụng với:\n\n**Đối tượng áp dụng:**\n- Sinh viên các khóa từ K62 đang học tập tại Đại học Bách khoa Hà Nội\n- Sinh viên có mong muốn tiếp tục học tập theo chương trình đào tạo kỹ sư chuyên sâu đặc thù\n\n**Nguồn:** 01_3 HD hoc chuyen tiep ky su 180 TC_Final.md | Mục: /HƯỚNG DẪN HỌC TẬP CHƯƠNG TRÌNH ĐÀO TẠO KỸ SƯ CHUYÊN SÂU ĐẶC THÙ (180 TC)/ | Phần: 1. Phạm vi áp dụng",
-      "ground_truth": "Chương trình áp dụng cho sinh viên các khóa từ K62 đang học tập và có mong muốn tiếp tục học theo chương trình kỹ sư chuyên sâu đặc thù, đồng thời áp dụng cho các chương trình đào tạo có đào tạo bậc kỹ sư chuyên sâu đặc thù.",
-      "contexts": [
-        "# HƯỚNG DẪN HỌC TẬP CHƯƠNG TRÌNH ĐÀO TẠO KỸ SƯ CHUYÊN SÂU ĐẶC THÙ (180 TC)\n\n## 1. Phạm vi áp dụng\n+ Áp dụng với sinh viên các khóa từ K62 đang học tập và có mong muốn tiếp tục học tập theo chương trình đạo tạo kỹ sư chuyên sâu đặc thù.\n+ Áp dụng với các chương trình đào tạo (viết tắt là: CTĐT) có đào tạo bậc kỹ sư chuyên sâu đặc thù (viết tắt là: KS) .",
-        "### Điều 1. Phạm vi điều chỉnh và đối tượng áp dụng\n\n1. Phạm vi điều chỉnh: Văn bản này quy định về đối tượng, tiêu chuẩn, quy trình, thủ tục đăng ký xét, cấp học bổng cho sinh viên/học viên (sau đây gọi chung là người học) Đại học Bách khoa Hà Nội có đồ án tốt nghiệp/khóa luận tốt nghiệp góp phần cải tiến, nâng cao chất lượng, hiệu quả kinh doanh, sản xuất hoặc chất lượng các dịch vụ an sinh xã hội tại quê hương của người học. Học bổng này được cấp với tên gọi là Học bổng Gắn kết quê hương .\n2. Đối tượng áp dụng: Quy định này áp dụng đối với sinh viên hệ đại học chính quy văn bằng thứ nhất hoặc học viên chương trình kỹ sư chuyên sâu đặc thù đang học tập tại Đại học Bách khoa Hà Nội.",
-        "## 4. Điểm trung bình toàn khóa và hạng tốt nghiệp kỹ sư\n+ Điểm của các học phần bậc kỹ sư chuyên sâu đặc thù sẽ không được sử dụng để xét cấp học bổng khuyến khích học tập ở bậc cử nhân .\n+ Điểm trung bình toàn khóa và hạng tốt nghiệp kỹ sư được thực hiện theo Quy chế đào tạo hiện hành .\n+ Trích dẫn quy định về điểm trung bình toàn khóa: \" là điểm trung bình tích lũy của cả giai đoạn đào tạo cử nhân đã tốt nghiệp và giai đoạn đào tạo kỹ sư, với trọng số là tỷ lệ phần trăm của s ố tín chỉ tích lũy của mỗi giai đoạn đào tạo trong tổng số tín chỉ tích lũy của cả hai giai đoạn\".\n+ Xếp bậc năng lực với người học được cấp bằng kỹ sư chuyên sâu đặc thù: người học hoàn thành đủ các học phần theo yêu cầu của CTĐT và đạt chứng chỉ ngoại ngữ tối thiểu trình độ B2 (hoặc tương đương) theo Khung năng lực ngoại ngữ 6 bậc của Việt Nam: được cấp bằng Kỹ sư chuyên sâu đặc thù trình độ Bậc 7 theo Khung trình độ quốc gia Việt Nam .",
-        "### 6) Chế độ miễn giảm học phí\n\n- Đại học hỗ trợ toàn bộ phần chênh lệch giữa mức học phí của Đại học với mức học phí được miễn, giảm theo quy định của Nhà nước đối với các sinh viên thuộc đối tượng được hưởng chế độ chính sách miễn, giảm học phí theo quy định.\n- Việc hỗ trợ học phí chênh lệch và chế độ miễn giảm học phí theo quy định của Nhà nước tại mục 1, 2, 3 của Phụ lục này không áp dụng với các học phần thuộc khung chương trình đào tạo kỹ sư chuyên sâu đặc thù.",
-        "## 6) Chế độ miễn giảm học phí\n\n- -Đại học hỗ trợ toàn bộ phần chênh lệch giữa mức học phí của Đại học với mức học phí được miễn, giảm theo quy định của Nhà nước đối với các sinh viên thuộc đối tượng được hưởng chế độ chính sách miễn, giảm học phí theo quy định.\n- -Việc hỗ trợ học phí chênh lệch và chế độ miễn giảm học phí theo quy định của Nhà nước tại mục 1, 2, 3 của Phụ lục này không áp dụng với các học phần thuộc khung chương trình đào tạo kỹ sư chuyên sâu ."
-      ]
-    }
-  ]
-}

evaluation/results/ragas_20260105_131901.json

@@ -1,111 +0,0 @@
-{
-  "timestamp": "20260105_131901",
-  "retrieval_mode": "hybrid",
-  "config": {
-    "sample_size": 5,
-    "gen_model": "nex-agi/DeepSeek-V3.1-Nex-N1",
-    "eval_model": "nex-agi/DeepSeek-V3.1-Nex-N1",
-    "embed_model": "Qwen/Qwen3-Embedding-4B",
-    "collection": "hust_rag_collection",
-    "doc_count": 1441
-  },
-  "scores": [
-    {
-      "faithfulness": 0.8571428571428571,
-      "answer_relevancy": 0.8972923254436237,
-      "context_precision": 0.99999999995,
-      "context_recall": 1.0,
-      "rouge_score(mode=fmeasure)": 0.7606837606837608
-    },
-    {
-      "faithfulness": 1.0,
-      "answer_relevancy": 0.7008081720389104,
-      "context_precision": 0.94999999997625,
-      "context_recall": 1.0,
-      "rouge_score(mode=fmeasure)": 0.44655581947743467
-    },
-    {
-      "faithfulness": 1.0,
-      "answer_relevancy": 0.8991661959917713,
-      "context_precision": 0.99999999995,
-      "context_recall": 1.0,
-      "rouge_score(mode=fmeasure)": 0.6297577854671281
-    },
-    {
-      "faithfulness": 1.0,
-      "answer_relevancy": 0.0,
-      "context_precision": 0.99999999998,
-      "context_recall": 1.0,
-      "rouge_score(mode=fmeasure)": 0.1372549019607843
-    },
-    {
-      "faithfulness": 0.7,
-      "answer_relevancy": 0.7942512688700306,
-      "context_precision": 0.49999999995,
-      "context_recall": 1.0,
-      "rouge_score(mode=fmeasure)": 0.39747634069400634
-    }
-  ],
-  "samples": [
-    {
-      "question": "Chương trình đào tạo ngành Kỹ thuật Cơ điện tử được xây dựng dựa trên những cơ sở nào?",
-      "answer": "Dựa trên tài liệu được cung cấp, chương trình đào tạo ngành Kỹ thuật Cơ điện tử được xây dựng trên cơ sở phát triển chương trình đào tạo ngành Cơ điện tử năm 2009, kết hợp với sự tham khảo chương trình đào tạo ngành Cơ điện tử của các trường đại học nổi tiếng trên thế giới như Stanford, Chico (Hoa Kỳ), Sibaura (Nhật Bản), Đại học Quốc gia Đài Loan (NTU).\n\nNguồn: 1.1. Kỹ thuật Cơ điện tử.md",
-      "ground_truth": "Chương trình đào tạo ngành Kỹ thuật Cơ điện tử được xây dựng trên cơ sở phát triển chương trình năm 2009, kết hợp tham khảo chương trình đào tạo của các trường đại học nổi tiếng trên thế giới như Stanford, Chico (Hoa Kỳ), Sibaura (Nhật Bản) và Đại học Quốc gia Đài Loan (NTU), đồng thời được kiểm định theo tiêu chuẩn AUN-QA năm 2017.",
-      "contexts": [
-        "# 1. Tên chương trình: KỸ THUẬT CƠ ĐIỆN TỬ\nChương trình đào tạo ngành Cơ điện tử hiện nay được xây dựng trên cơ sở phát triển chương trình đào tạo ngành Cơ điện tử năm 2009 kết hợp với sự tham khảo chương trình đào tạo ngành Cơ điện tử của các trường đại học nổi tiếng trên thế giới như Stanford, Chico (Koa Kỳ), Sibaura (Nhật Bản), Đại học Quốc gia Đài Loan (NTU)…; Chương trình được kiểm định theo tiêu chuẩn AUN -QA năm 2017;\nSinh viên theo học ngành này sẽ được trang bị các kiến thức cơ sở và chuyên ngành vững chắc, có kỹ năng nghề nghiệp và năng lực nghiên cứu, khả năng làm việc và sáng tạo trong mọi môi trường lao động để giải quyết những vấn đề liên quan đến nghiên cứu thiết kế, chế tạo thiết bị, hệ thống cơ điện tử và vận hành các hệ thống sản xuất công nghiệp, nhanh chóng thích ứng với môi trường làm việc của cuộc cách mạng công nghiệp 4.0.",
-        "## 1. Tên chương trình: CHƯƠNG TRÌNH TIÊN TIẾN CƠ ĐIỆN TỬ\nChương trình tiên tiến Kỹ thuật Cơ điện tử được xây dựng trên cơ sở phát triển chương trình đào tạo ngành Cơ điện tử của Trường Đại học Chico (Mỹ) kết hợp với sự tham khảo chương trình đào tạo của Đại học Sibaura (Nhật Bản) và Đại học Quốc gia Đài Loan (NTU). Chương trình đào tạo đã được kiểm định theo tiêu chuẩn AUN -QA năm 2017.\nSinh viên theo học ngành này sẽ được trang bị các kiến thức cơ sở và chuyên ngành vững chắc, có kỹ năng nghề nghiệp và năng lực nghiên cứu, khả năng làm việc và sáng tạo trong mọi môi trường lao động để giải quyết những vấn đề liên quan đến thiết kế, chế tạo thiết bị, hệ thống cơ điện tử và vận hành hệ thống sản xuất công nghiệp, nhanh chóng thích ứng với môi trường làm việc của cuộc cách mạng công nghiệp 4.0.\nNgôn ngữ đào tạo chính: Tiếng Anh.",
-        "## 1. Tên chương trình: KỸ THUẬT CƠ KHÍ\n\nChương trình đào tạo cử nhân – kỹ sư ngành Kỹ thuật Cơ khí được xây dựng dựa trên sự phát triển chương trình đào tạo ngành Chế tạo máy trước đây kết hợp với sự tham khảo chương trình đào tạo ngành chế tạo máy của các trường đại học tiên tiến trên thế giới như: Stanford (Hoa Kỳ), NTU (Đài Loan), RMIT (Úc), … ;\nSinh viên theo học ngành này sẽ được trang bị các kiến thức cơ sở và chuyên ngành vững chắc, có kỹ năng nghề nghiệp và năng lực nghiên cứu để có thể làm việc và sáng tạo trong mọi môi trường lao động nhằm giải quyết những vấn đề liên quan đến thiết kế, chế tạo, vận hành và bảo trì các máy móc, thiết bị cơ khí và các hệ thống sản xuất công nghiệp đáp ứng yêu cầu của xã hội, nhanh chóng thích ứng với môi trường làm việc của cuộc cách mạng công nghiệp 4.0.",
-        "## 1. Tên chương trình: CHƯƠNG TRÌNH TIÊN TIẾN ĐIỆN TỬ -VIỄN THÔNG\n\nNgành Điện tử - Viễn thông là một trong những ngành mũi nhọn của cuộc Cách mạng công nghiệp lần thứ 4 và là ngành có nhu cầu cao về nhân lực ở Việt Nam và trên thế giới. Theo học chương trình này, sinh viên được trang bị một cách toàn diện cả về kỹ năng chuyên môn và kỹ năng mềm để có thể thiết kế, chế tạo, vận hành các thiết bị và hệ thống điện tử viễn thông, đáp ứng được yêu cầu về tính năng động và sáng tạo của lĩnh vực nghề nghiệp này.\n\nChương trình tiên tiến kỹ thuật Điện tử -Viễn thông được giảng dạy hoàn toàn bằng tiếng Anh và do các giảng viên của trường ĐHBK Hà Nội và các giảng viên nước ngoài tham gia giảng dạy.\n\nChương trình được thiết kế dựa trên chương trình của trường Đại học San Jose State University, Hoa Kỳ và bao gồm khối kiến thức toán học và khoa học cơ bản, khối kiến thức cơ sở cốt lõi ngành Điện tử -Viễn thông, khối kiến thức bổ trợ kiến thức xã hội và kỹ năng mềm và khối kiến thức chuyên sâu ngành",
-        "# 2. Kiến thức, kỹ năng đạt được sau tốt nghiệp\n\n## a. Kiến thức\nCó kiến thức chuyên môn rộng và vững chắc, thích ứng tốt với những công việc phù hợp với ngành, chú trọng khả năng áp dụng kiến thức cơ sở và cốt lõi ngành Cơ điện tử kết hợp khả năng sử dụng công cụ hiện đại để nghiên cứu, thiết kế, chế tạo, xây dựng và vận hành các hệ thống/quá trình/sản phẩm Cơ điện tử."
-      ]
-    },
-    {
-      "question": "Sinh viên tốt nghiệp ngành Kỹ thuật Cơ điện tử đạt được những kiến thức chuyên môn gì?",
-      "answer": "Dựa trên các tài liệu được cung cấp, sinh viên tốt nghiệp ngành Kỹ thuật Cơ điện tử sẽ đạt được những kiến thức chuyên môn sau:\n\n**Kiến thức chuyên môn:**\n- Có kiến thức chuyên môn rộng và vững chắc, thích ứng tốt với những công việc phù hợp với ngành\n- Chú trọng khả năng áp dụng kiến thức cơ sở và cốt lõi ngành Cơ điện tử\n- Kết hợp khả năng sử dụng công cụ hiện đại để:\n  - Nghiên cứu\n  - Thiết kế\n  - Chế tạo\n  - Xây dựng\n  - Vận hành các hệ thống/quá trình/sản phẩm Cơ điện tử\n\n**Năng lực làm việc:**\n- Có kỹ năng nghề nghiệp và năng lực nghiên cứu\n- Khả năng làm việc và sáng tạo trong mọi môi trường lao động\n- Giải quyết những vấn đề liên quan đến nghiên cứu thiết kế, chế tạo thiết bị, hệ thống cơ điện tử\n- Vận hành các hệ thống sản xuất công nghiệp\n- Nhanh chóng thích ứng với môi trường làm việc của cuộc cách mạng công nghiệp 4.0\n\n*Nguồn: 1.1. Kỹ thuật Cơ điện tử.md, Mục 2. Kiến thức, kỹ năng đạt được sau tốt nghiệp*",
-      "ground_truth": "Sinh viên tốt nghiệp có kiến thức chuyên môn rộng và vững chắc, có khả năng áp dụng kiến thức cơ sở và cốt lõi của ngành Cơ điện tử kết hợp với việc sử dụng các công cụ hiện đại để nghiên cứu, thiết kế, chế tạo, xây dựng và vận hành các hệ thống, quá trình và sản phẩm Cơ điện tử.",
-      "contexts": [
-        "# 2. Kiến thức, kỹ năng đạt được sau tốt nghiệp\n\n## a. Kiến thức\nCó kiến thức chuyên môn rộng và vững chắc, thích ứng tốt với những công việc phù hợp với ngành, chú trọng khả năng áp dụng kiến thức cơ sở và cốt lõi ngành Cơ điện tử kết hợp khả năng sử dụng công cụ hiện đại để nghiên cứu, thiết kế, chế tạo, xây dựng và vận hành các hệ thống/quá trình/sản phẩm Cơ điện tử.",
-        "## 2. Kiến thức, kỹ năng đạt được sau tốt nghiệp\n\n## a. Kiến thức\nCó kiến thức chuyên môn rộng và vững chắc, thích ứng tốt với những công việc phù hợp với ngành, chú trọng khả năng áp dụng kiến thức cơ sở và cốt lõi ngành Cơ điện tử kết hợp khả năng sử dụng công cụ hiện đại để nghiên cứu, thiết kế, chế tạo, xây dựng và vận hành các hệ thống/quá trình/sản phẩm cơ điện tử.",
-        "## 2. Kiến thức, kỹ năng đạt được sau tốt nghiệp\n\n## a. Kiến thức\nCó kiến thức cơ sở chuyên môn rộng và vững chắc, thích ứng tốt với những công việc phù hợp với ngành học,\nChú trọng khả năng áp dụng kiến thức cơ sở và cốt lõi ngành Kỹ thuật Cơ khí kết hợp khả năng sử dụng công cụ hiện đại để thiết kế, chế tạo, vận hành, nghiên cứu phân tích, cải tiến máy móc, thiết bị hay hệ thống sản xuất.",
-        "## 2. Kiến thức, kỹ năng đạt được sau tốt nghiệp\n\n## a. Kiến thức\nSinh viên tốt nghiệp có kiến thức về khoa học cơ bản, về Kỹ thuật Cơ khí, về Kỹ thuật Hàng không vững vàng, có kỹ năng thực hành nghề nghiệp, đủ năng lực áp dụng các kiến thức để vận hành, bảo dưỡng, thiết kế và triển khai các hệ thống, thiết bị liên quan đến Cơ khí Hàng không .",
-        "# 1. Tên chương trình: KỸ THUẬT CƠ ĐIỆN TỬ\nChương trình đào tạo ngành Cơ điện tử hiện nay được xây dựng trên cơ sở phát triển chương trình đào tạo ngành Cơ điện tử năm 2009 kết hợp với sự tham khảo chương trình đào tạo ngành Cơ điện tử của các trường đại học nổi tiếng trên thế giới như Stanford, Chico (Koa Kỳ), Sibaura (Nhật Bản), Đại học Quốc gia Đài Loan (NTU)…; Chương trình được kiểm định theo tiêu chuẩn AUN -QA năm 2017;\nSinh viên theo học ngành này sẽ được trang bị các kiến thức cơ sở và chuyên ngành vững chắc, có kỹ năng nghề nghiệp và năng lực nghiên cứu, khả năng làm việc và sáng tạo trong mọi môi trường lao động để giải quyết những vấn đề liên quan đến nghiên cứu thiết kế, chế tạo thiết bị, hệ thống cơ điện tử và vận hành các hệ thống sản xuất công nghiệp, nhanh chóng thích ứng với môi trường làm việc của cuộc cách mạng công nghiệp 4.0."
-      ]
-    },
-    {
-      "question": "Tại sao sinh viên ngành Kỹ thuật Cơ điện tử có thể nhanh chóng thích ứng với môi trường làm việc của cuộc cách mạng công nghiệp 4.0?",
-      "answer": "Theo tài liệu đào tạo ngành Kỹ thuật Cơ điện tử, sinh viên có thể nhanh chóng thích ứng với môi trường làm việc của cuộc cách mạng công nghiệp 4.0 vì:\n\nSinh viên được trang bị các kiến thức cơ sở và chuyên ngành vững chắc, có kỹ năng nghề nghiệp và năng lực nghiên cứu, khả năng làm việc và sáng tạo trong mọi môi trường lao động để giải quyết những vấn đề liên quan đến nghiên cứu thiết kế, chế tạo thiết bị, hệ thống cơ điện tử và vận hành các hệ thống sản xuất công nghiệp.\n\n**Nguồn:** 1.1. Kỹ thuật Cơ điện tử.md",
-      "ground_truth": "Vì chương trình đào tạo trang bị cho sinh viên nền tảng kiến thức cơ sở và chuyên ngành vững chắc, kỹ năng nghề nghiệp, năng lực nghiên cứu, khả năng làm việc và sáng tạo trong nhiều môi trường lao động, giúp giải quyết các vấn đề liên quan đến thiết kế, chế tạo và vận hành các hệ thống cơ điện tử trong sản xuất công nghiệp hiện đại.",
-      "contexts": [
-        "# 1. Tên chương trình: KỸ THUẬT CƠ ĐIỆN TỬ\nChương trình đào tạo ngành Cơ điện tử hiện nay được xây dựng trên cơ sở phát triển chương trình đào tạo ngành Cơ điện tử năm 2009 kết hợp với sự tham khảo chương trình đào tạo ngành Cơ điện tử của các trường đại học nổi tiếng trên thế giới như Stanford, Chico (Koa Kỳ), Sibaura (Nhật Bản), Đại học Quốc gia Đài Loan (NTU)…; Chương trình được kiểm định theo tiêu chuẩn AUN -QA năm 2017;\nSinh viên theo học ngành này sẽ được trang bị các kiến thức cơ sở và chuyên ngành vững chắc, có kỹ năng nghề nghiệp và năng lực nghiên cứu, khả năng làm việc và sáng tạo trong mọi môi trường lao động để giải quyết những vấn đề li��n quan đến nghiên cứu thiết kế, chế tạo thiết bị, hệ thống cơ điện tử và vận hành các hệ thống sản xuất công nghiệp, nhanh chóng thích ứng với môi trường làm việc của cuộc cách mạng công nghiệp 4.0.",
-        "## 1. Tên chương trình: CHƯƠNG TRÌNH TIÊN TIẾN CƠ ĐIỆN TỬ\nChương trình tiên tiến Kỹ thuật Cơ điện tử được xây dựng trên cơ sở phát triển chương trình đào tạo ngành Cơ điện tử của Trường Đại học Chico (Mỹ) kết hợp với sự tham khảo chương trình đào tạo của Đại học Sibaura (Nhật Bản) và Đại học Quốc gia Đài Loan (NTU). Chương trình đào tạo đã được kiểm định theo tiêu chuẩn AUN -QA năm 2017.\nSinh viên theo học ngành này sẽ được trang bị các kiến thức cơ sở và chuyên ngành vững chắc, có kỹ năng nghề nghiệp và năng lực nghiên cứu, khả năng làm việc và sáng tạo trong mọi môi trường lao động để giải quyết những vấn đề liên quan đến thiết kế, chế tạo thiết bị, hệ thống cơ điện tử và vận hành hệ thống sản xuất công nghiệp, nhanh chóng thích ứng với môi trường làm việc của cuộc cách mạng công nghiệp 4.0.\nNgôn ngữ đào tạo chính: Tiếng Anh.",
-        "## 1. Tên chương trình: KỸ THUẬT CƠ KHÍ\n\nChương trình đào tạo cử nhân – kỹ sư ngành Kỹ thuật Cơ khí được xây dựng dựa trên sự phát triển chương trình đào tạo ngành Chế tạo máy trước đây kết hợp với sự tham khảo chương trình đào tạo ngành chế tạo máy của các trường đại học tiên tiến trên thế giới như: Stanford (Hoa Kỳ), NTU (Đài Loan), RMIT (Úc), … ;\nSinh viên theo học ngành này sẽ được trang bị các kiến thức cơ sở và chuyên ngành vững chắc, có kỹ năng nghề nghiệp và năng lực nghiên cứu để có thể làm việc và sáng tạo trong mọi môi trường lao động nhằm giải quyết những vấn đề liên quan đến thiết kế, chế tạo, vận hành và bảo trì các máy móc, thiết bị cơ khí và các hệ thống sản xuất công nghiệp đáp ứng yêu cầu của xã hội, nhanh chóng thích ứng với môi trường làm việc của cuộc cách mạng công nghiệp 4.0.",
-        "## b. Kỹ năng\n- Có kỹ năng chuyên nghiệp và phẩm chất cá nhân, kỹ năng xã hội cần thiết và giao tiếp để làm việc hiệu quả trong nhóm đa ngành và trong môi trường hội nhập quốc tế;\n- Có năng lực khởi nghiệp và thích ứng tốt với cuộc cách mạng công nghiệp 4.0;\n- Có kiến thức cơ bản về khoa học xã hội và nhân văn phù hợp với ngành Kỹ thuật Sinh học để đóng góp hiệu quả vào sự phát triển bền vững của đất nước.",
-        "## 1. Tên chương trình: KỸ THUẬT ĐIỆN TỬ -VIỄN THÔNG\n\nNgành Điện tử - Viễn thông là một trong những ngành mũi nhọn của cuộc Cách mạng công nghiệp lần thứ 4 và là ngành có nhu cầu cao về nhân lực ở Việt Nam và trên thế giới. Theo học ngành này, sinh viên được trang bị một cách toàn diện cả về kỹ năng chuyên môn và kỹ năng mềm để có thể thiết kế, chế tạo, vận hành các thiết bị và hệ thống điện tử viễn thông, đáp ứng được yêu cầu về tính năng động và sáng tạo của lĩnh vực nghề nghiệp này.\n\nChương trình kỹ thuật Điện tử- Viễn thông được giảng dạy bằng tiếng Việt và được thiết kế bao gồm khối kiến thức toán học và khoa học cơ bản, khối kiến thức cơ sở cốt lõi ngành Điện tử -Viễn thông, khối kiến thức bổ trợ kiến thức xã hội và kỹ năng mềm và khối kiến thức tự chọn chuyên sâu theo các định hướng kỹ thuật điện tử, kỹ thuật máy tính, kỹ thuật thông tin truyền thông, kỹ thuật y sinh, kỹ thuật điện tử hàng không vũ trụ, kỹ thuật đa phương tiện, kỹ thuật vi điện tử và công nghệ nano."
-      ]
-    },
-    {
-      "question": "Chương trình đào tạo ngành Kỹ thuật Cơ điện tử được điều chỉnh như thế nào để đảm bảo tính cập nhật mà không ảnh hưởng đến người học?",
-      "answer": "Không tìm thấy thông tin trong dữ liệu hiện có.",
-      "ground_truth": "Chương trình đào tạo có thể được điều chỉnh hàng năm nhằm đảm bảo tính cập nhật với sự phát triển của khoa học, kỹ thuật và công nghệ, nhưng vẫn tuân thủ nguyên tắc không gây ảnh hưởng ngược tới kết quả học tập mà người học đã tích lũy.",
-      "contexts": [
-        "## 4. Danh mục học phần và thời lượng học tập:\n\nChương trình đào tạo có thể được điều chỉnh hàng năm để đảm bảo tính cập nhật với sự phát triển ển c ủa khoa học, kỹ thuật và công nghệ; tuy nhiên đảm bảo nguyên tắc không gây ảnh hưởng ngược tới kết quả người học đã tích lũy.",
-        "## 4. Danh mục học phần và thời lượng học tập:\nChương trình đào tạo có thể được điều chỉnh hàng năm để đảm bảo tính cập nhật với sự phát triển ển c ủa khoa học, kỹ thuật và công nghệ; tuy nhiên đảm bảo nguyên tắc không gây ảnh hưởng ngược tới kết quả người học đã tích lũy.",
-        "## 4. Danh mục học phần và thời lượng học tập:\n\nChương trình đào tạo có thể được điều chỉnh hàng năm để đảm bảo tính cập nhật với sự phát triển c ủa khoa học, kỹ thuật và công nghệ; tuy nhiên đảm bảo nguyên tắc không gây ảnh hưởng ngược tới kết quả người học đã tích lũy.",
-        "## 4. Danh mục học phần và thời lượng học tập:\nChương trình đào tạo có thể được điều chỉnh hàng năm để đảm bảo tính cập nhật với sự phát triển c ủa khoa học, kỹ thuật và công nghệ; tuy nhiên đảm bảo nguyên tắc không gây ảnh hưởng ngược tới kết quả người học đã tích lũy.",
-        "## 3. Thời gian đào tạo\n\n- Đào tạo Kỹ sư: 5 năm\n\n## 4. Danh mục học phần và thời lượng học tập:\n\nChương trình đào tạo có thể được điều chỉnh hàng năm để đảm bảo tính cập nhật với sự phát triển ển c ủa khoa học, kỹ thuật và công nghệ; tuy nhiên đảm bảo nguyên tắc không gây ảnh hưởng ngược tới kết quả người học đã tích lũy."
-      ]
-    },
-    {
-      "question": "Chương trình đào tạo kỹ sư chuyên sâu đặc thù (180 tín chỉ) áp dụng cho những đối tượng sinh viên nào?",
-      "answer": "Dựa trên CONTEXT được cung cấp, chương trình đào tạo kỹ sư chuyên sâu đặc thù (180 tín chỉ) áp dụng cho các đối tượng sau:\n\n1. **Sinh viên các khóa từ K62** đang học tập và có mong muốn tiếp tục học tập theo chương trình đào tạo kỹ sư chuyên sâu đặc thù.\n\n2. **Sinh viên chưa tốt nghiệp bậc cử nhân** đã tích lũy từ 118 tín chỉ trở lên của chương trình đào tạo cử nhân được phép học tích lũy trước tối đa 15 tín chỉ của chương trình kỹ sư.\n\n3. **Người học đã tốt nghiệp đại học** (CTĐT KSCS có khối lượng học tập 60 tín chỉ đối với người học đã tốt nghiệp đại học).\n\n**Nguồn:**\n- Tài liệu 2 (01_3 HD hoc chuyen tiep ky su 180 TC_Final.md)\n- Tài liệu 3 (03_ Quy định đào tạo KS 180 TC_signed.md)\n- Tài liệu 5 (01_3 HD hoc chuyen tiep ky su 180 TC_Final.md)",
-      "ground_truth": "Chương trình áp dụng cho sinh viên các khóa từ K62 đang học tập và có mong muốn tiếp tục học theo chương trình kỹ sư chuyên sâu đặc thù, đồng thời áp dụng cho các chương trình đào tạo có đào tạo bậc kỹ sư chuyên sâu đặc thù.",
-      "contexts": [
-        "## 3. Thời gian đào tạo và khả năng học lên bậc học cao hơn\n\n- Đào tạo Cử nhân: 4 năm\n- Đào tạo Kỹ sư: 5 năm\n- Đào tạo tích hợp Cử nhân - Thạc sĩ: 5,5 năm\n- Đào tạo tích hợp Cử nhân - Thạc sĩ – Tiến sĩ: 8,5 năm",
-        "# HƯỚNG DẪN HỌC TẬP CHƯƠNG TRÌNH ĐÀO TẠO KỸ SƯ CHUYÊN SÂU ĐẶC THÙ (180 TC)\n\n## 1. Phạm vi áp dụng\n+ Áp dụng với sinh viên các khóa từ K62 đang học tập và có mong muốn tiếp tục học tập theo chương trình đạo tạo kỹ sư chuyên sâu đặc thù.\n+ Áp dụng với các chương trình đào tạo (viết tắt là: CTĐT) có đào tạo bậc kỹ sư chuyên sâu đặc thù (viết tắt là: KS) .",
-        "## II. Khung chương trình đào tạo kỹ sư chuyên sâu\n\n1. CTĐT KSCS có khối lượng học tập 60 tín chỉ đối với người học đã tốt nghiệp đại học. Thời gian học tập toàn khóa theo kế hoạch học tập chuẩn là 2 năm, người tốt nghiệp được cấp bằng kỹ sư bậc 7 theo Khung năng lực quốc gia Việt Nam .\n2. Điểm trung bình toàn khóa được sử dụng để xét tốt nghiệp và xếp hạng tốt nghiệp là điểm trung bình tích lũy toàn khóa tính theo các học phần đăng ký xét tốt nghiệp thuộc CTĐT KSCS .\n3. Học viên của CTĐT KSCS được Giám đốc Đại học Bách khoa Hà Nội công nhận tốt nghiệp được cấp bằng tốt nghiệp Kỹ sư bậc 7 theo Khung năng lực quốc gia Việt Nam.\n4. Khung quy định của CTĐT KSCS:\nKhung quy định của chương trình đào tạo Kỹ sư chuyên sâu đặc thù (KSCS) gồm các nhóm học phần sau:\nNhóm kiến thức định hướng chuyên ngành có khối lượng 12 tín chỉ,\ngồm các học phần được thiết kế theo nhóm để định hướng người học tiếp cận theo chuyên ngành.\nNhóm kiến thức chuyên ngành cốt lõi có khối lượng từ 19 đến 20 tín chỉ,\nlà ",
-        "## 4. Điểm trung bình toàn khóa và hạng tốt nghiệp kỹ sư\n+ Điểm của các học phần bậc kỹ sư chuyên sâu đặc thù sẽ không được sử dụng để xét cấp học bổng khuyến khích học tập ở bậc cử nhân .\n+ Điểm trung bình toàn khóa và hạng tốt nghiệp kỹ sư được thực hiện theo Quy chế đào tạo hiện hành .\n+ Trích dẫn quy định về điểm trung bình toàn khóa: \" là điểm trung bình tích lũy của cả giai đoạn đào tạo cử nhân đã tốt nghiệp và giai đoạn đào tạo kỹ sư, với trọng số là tỷ lệ phần trăm của s ố tín chỉ tích lũy của mỗi giai đoạn đào tạo trong tổng số tín chỉ tích lũy của cả hai giai đoạn\".\n+ Xếp bậc năng lực với người học được cấp bằng kỹ sư chuyên sâu đặc thù: người học hoàn thành đủ các học phần theo yêu cầu của CTĐT và đạt chứng chỉ ngoại ngữ tối thiểu trình độ B2 (hoặc tương đương) theo Khung năng lực ngoại ngữ 6 bậc của Việt Nam: được cấp bằng Kỹ sư chuyên sâu đặc thù trình độ Bậc 7 theo Khung trình độ quốc gia Việt Nam .",
-        "## 2. Điều kiện học chuyển tiếp Cử nhân – – Kỹ sư chuyên sâu đặc thù\n\n### A. Với các sinh viên chưa tốt nghiệp bậc cử nhân\n+ Sinh viên đã tích lũy từ 118 tín chỉ trở lên của chương trình đào tạo cử nhân sẽ được phép học tích lũy trước tối đa 15 tín chỉ của CTĐT KS. Trường hợp sinh viên tích lũy trước nhiều hơn 15 tín chỉ thì cũng chỉ được công nhận tối đa 15 tín chỉ học trước .\n+ Các học phần đã học tích lũy trước sẽ không được tính vào CTĐT cho tới khi sinh viên được công nhận tốt nghiệp bậc cử nhân và đồng thời đã đăng ký học tiếp CTĐT KS."
-      ]
-    }
-  ]
-}

evaluation/results/ragas_20260105_132921.json

@@ -1,111 +0,0 @@
-{
-  "timestamp": "20260105_132921",
-  "retrieval_mode": "hybrid_rerank",
-  "config": {
-    "sample_size": 5,
-    "gen_model": "nex-agi/DeepSeek-V3.1-Nex-N1",
-    "eval_model": "nex-agi/DeepSeek-V3.1-Nex-N1",
-    "embed_model": "Qwen/Qwen3-Embedding-4B",
-    "collection": "hust_rag_collection",
-    "doc_count": 1441
-  },
-  "scores": [
-    {
-      "faithfulness": 0.8888888888888888,
-      "answer_relevancy": 0.7358630343295559,
-      "context_precision": 0.99999999995,
-      "context_recall": 1.0,
-      "rouge_score(mode=fmeasure)": 0.7818930041152263
-    },
-    {
-      "faithfulness": 1.0,
-      "answer_relevancy": 0.6748679131476658,
-      "context_precision": 0.8874999999778125,
-      "context_recall": 1.0,
-      "rouge_score(mode=fmeasure)": 0.6909090909090908
-    },
-    {
-      "faithfulness": 1.0,
-      "answer_relevancy": 0.8327119887318949,
-      "context_precision": 0.9166666666361111,
-      "context_recall": 1.0,
-      "rouge_score(mode=fmeasure)": 0.6297577854671281
-    },
-    {
-      "faithfulness": 1.0,
-      "answer_relevancy": 0.0,
-      "context_precision": 0.99999999998,
-      "context_recall": 1.0,
-      "rouge_score(mode=fmeasure)": 0.1372549019607843
-    },
-    {
-      "faithfulness": 0.6666666666666666,
-      "answer_relevancy": 0.8847245139750438,
-      "context_precision": 0.7499999999625,
-      "context_recall": 1.0,
-      "rouge_score(mode=fmeasure)": 0.7083333333333333
-    }
-  ],
-  "samples": [
-    {
-      "question": "Chương trình đào tạo ngành Kỹ thuật Cơ điện tử được xây dựng dựa trên những cơ sở nào?",
-      "answer": "Dựa trên CONTEXT được cung cấp, chương trình đào tạo ngành Kỹ thuật Cơ điện tử được xây dựng trên các cơ sở sau:\n\n1.  **Phát triển từ chương trình đào tạo ngành Cơ điện tử năm 2009** của trường.\n2.  **Tham khảo chương trình đào tạo** của các trường đại học nổi tiếng trên thế giới:\n    *   Stanford (Hoa Kỳ)\n    *   Chico (Hoa Kỳ)\n    *   Sibaura (Nhật Bản)\n    *   Đại học Quốc gia Đài Loan (NTU)\n3.  **Kiểm định theo tiêu chuẩn AUN-QA** năm 2017.\n\nNguồn: 1.1. Kỹ thuật Cơ điện tử.md",
-      "ground_truth": "Chương trình đào tạo ngành Kỹ thuật Cơ điện tử được xây dựng trên cơ sở phát triển chương trình năm 2009, kết hợp tham khảo chương trình đào tạo của các trường đại học nổi tiếng trên thế giới như Stanford, Chico (Hoa Kỳ), Sibaura (Nhật Bản) và Đại học Quốc gia Đài Loan (NTU), đồng thời được kiểm định theo tiêu chuẩn AUN-QA năm 2017.",
-      "contexts": [
-        "# 1. Tên chương trình: KỸ THUẬT CƠ ĐIỆN TỬ\nChương trình đào tạo ngành Cơ điện tử hiện nay được xây dựng trên cơ sở phát triển chương trình đào tạo ngành Cơ điện tử năm 2009 kết hợp với sự tham khảo chương trình đào tạo ngành Cơ điện tử của các trường đại học nổi tiếng trên thế giới như Stanford, Chico (Koa Kỳ), Sibaura (Nhật Bản), Đại học Quốc gia Đài Loan (NTU)…; Chương trình được kiểm định theo tiêu chuẩn AUN -QA năm 2017;\nSinh viên theo học ngành này sẽ được trang bị các kiến thức cơ sở và chuyên ngành vững chắc, có kỹ năng nghề nghiệp và năng lực nghiên cứu, khả năng làm việc và sáng tạo trong mọi môi trường lao động để giải quyết những vấn đề liên quan đến nghiên cứu thiết kế, chế tạo thiết bị, hệ thống cơ điện tử và vận hành các hệ thống sản xuất công nghiệp, nhanh chóng thích ứng với môi trường làm việc của cuộc cách mạng công nghiệp 4.0.",
-        "## 1. Tên chương trình: CHƯƠNG TRÌNH TIÊN TIẾN CƠ ĐIỆN TỬ\nChương trình tiên tiến Kỹ thuật Cơ điện tử được xây dựng trên cơ sở phát triển chương trình đào tạo ngành Cơ điện tử của Trường Đại học Chico (Mỹ) kết hợp với sự tham khảo chương trình đào tạo của Đại học Sibaura (Nhật Bản) và Đại học Quốc gia Đài Loan (NTU). Chương trình đào tạo đã được kiểm định theo tiêu chuẩn AUN -QA năm 2017.\nSinh viên theo học ngành này sẽ được trang bị các kiến thức cơ sở và chuyên ngành vững chắc, có kỹ năng nghề nghiệp và năng lực nghiên cứu, khả năng làm việc và sáng tạo trong mọi môi trường lao động để giải quyết những vấn đề liên quan đến thiết kế, chế tạo thiết bị, hệ thống cơ điện tử và vận hành hệ thống sản xuất công nghiệp, nhanh chóng thích ứng với môi trường làm việc của cuộc cách mạng công nghiệp 4.0.\nNgôn ngữ đào tạo chính: Tiếng Anh.",
-        "## 1. Tên chương trình: CHƯƠNG TRÌNH TIÊN TIẾN ĐIỀU KHIỂN -TỰ ĐỘNG HÓA VÀ HỆ THỐNG ĐIỆN\n\nChương trình đào tạo được xây và dựng phát triển theo các chương trình đào tạo của Mỹ phù hợp với thực tiễn Việt Nam. Sinh viên có thể chọn 1 trong hai hướng: Kỹ thuật điều khiển và tự động hóa hoặc Hệ thống điện.\n\nTheo học chương trình tiên tiến Kỹ thuật điều khiển -Tự động hóa và Hệ thống điện Lý thuyết mạch điện – – điện tử, sinh viên được trang bị kiến thức về: Kỹ thuật đo lường và các hệ thống cảm biến thông minh; Các hệ thống mạng truyền thông công nghiệp; Kỹ thuật lập trình các chip vi điều khiển, vi xử lý; Các phương pháp điều khiển truyền thống và hiện đại; Lập trình tự động hóa các dây chuyền sản xuất công nghiệp; Điều khiển điện tử công suất và truyền động điện; Kỹ thuật điều khiển Robot; Kỹ thuật mạng nơron và trí tuệ nhân tạo (AI); Lưới điện và hệ thống điện; Bảo vệ và ổn định hệ thống điện.\n\nNgôn ngữ giảng dạy: Tiếng Anh",
-        "### Điều 2. Ngành đào tạo, chương trình đào tạo\n1. Ngành đào tạo (sau đây gọi tắt là ngành) là một lĩnh vực chuyên môn rộng, có mã số trong Danh mục thống kê ngành đào tạo của giáo dục đại học do Bộ GDĐT quản lý 4 .\n2. Chương trình đào tạo (CTĐT) được xây dựng theo đơn vị tín chỉ (TC) và là bản thiết kế cho toàn bộ quá trình đào tạo của một ngành. Chương trình thể hiện rõ trình độ đào tạo; đối tượng đào tạo, điều kiện nhập học và điều kiện tốt nghiệp; mục tiêu đào tạo, chuẩn kiến thức, kỹ năng, mức tự chủ và trách nhiệm của người học khi tốt nghiệp; nội dung (chương trình giảng dạy); kế hoạch đào tạo theo thời gian học tập chuẩn; phương pháp và hình thức đào tạo; cách thức đánh giá kết quả học tập; các điều kiện thực hiện chương trình.\n3. CTĐT tích hợp là chương trình được thiết kế tổng thể theo hướng tích hợp kiến thức, kỹ năng của hai bậc trình độ, đảm bảo học tập liên tục giữa các bậc đào tạo nhằm tối ưu hóa thời gian đào tạo cho người học. CTĐT tích hợp cử nhân-kỹ sư, cử nhân-thạc ",
-        "## 1. Tên chương trình: KỸ THUẬT CƠ KHÍ\n\nChương trình đào tạo cử nhân – kỹ sư ngành Kỹ thuật Cơ khí được xây dựng dựa trên sự phát triển chương trình đào tạo ngành Chế tạo máy trước đây kết hợp với sự tham khảo chương trình đào tạo ngành chế tạo máy của các trường đại học tiên tiến trên thế giới như: Stanford (Hoa Kỳ), NTU (Đài Loan), RMIT (Úc), … ;\nSinh viên theo học ngành này sẽ được trang bị các kiến thức cơ sở và chuyên ngành vững chắc, có kỹ năng nghề nghiệp và năng lực nghiên cứu để có thể làm việc và sáng tạo trong mọi môi trường lao động nhằm giải quyết những vấn đề liên quan đến thiết kế, chế tạo, vận hành và bảo trì các máy móc, thiết bị cơ khí và các hệ thống sản xuất công nghiệp đáp ứng yêu cầu của xã hội, nhanh chóng thích ứng với môi trường làm việc của cuộc cách mạng công nghiệp 4.0."
-      ]
-    },
-    {
-      "question": "Sinh viên tốt nghiệp ngành Kỹ thuật Cơ điện tử đạt được những kiến thức chuyên môn gì?",
-      "answer": "Dựa trên tài liệu được cung cấp, sinh viên tốt nghiệp ngành Kỹ thuật Cơ điện tử sẽ có:\n\n**Kiến thức chuyên môn:**\n- Có kiến thức chuyên môn rộng và vững chắc, thích ứng tốt với những công việc phù hợp với ngành.\n- Chú trọng khả năng áp dụng kiến thức cơ sở và cốt lõi ngành Cơ điện tử.\n- Kết hợp khả năng sử dụng công cụ hiện đại để nghiên cứu, thiết kế, chế tạo, xây dựng và vận hành các hệ thống/quá trình/sản phẩm Cơ điện tử.\n\n**Nguồn:** 1.1. Kỹ thuật Cơ điện tử.md, Mục 2.a. Kiến thức",
-      "ground_truth": "Sinh viên tốt nghiệp có kiến thức chuyên môn rộng và vững chắc, có khả năng áp dụng kiến thức cơ sở và cốt lõi của ngành Cơ điện tử kết hợp với việc sử dụng các công cụ hiện đại để nghiên cứu, thiết kế, chế tạo, xây dựng và vận hành các hệ thống, quá trình và sản phẩm Cơ điện tử.",
-      "contexts": [
-        "## 2. Kiến thức, kỹ năng đạt được sau tốt nghiệp\n\n## a. Kiến thức\nCó kiến thức chuyên môn rộng và vững chắc, thích ứng tốt với những công việc phù hợp với ngành, chú trọng khả năng áp dụng kiến thức cơ sở và cốt lõi ngành Cơ điện tử kết hợp khả năng sử dụng công cụ hiện đại để nghiên cứu, thiết kế, chế tạo, xây dựng và vận hành các hệ thống/quá trình/sản phẩm cơ điện tử.",
-        "# 2. Kiến thức, kỹ năng đạt được sau tốt nghiệp\n\n## a. Kiến thức\nCó kiến thức chuyên môn rộng và vững chắc, thích ứng tốt với những công việc phù hợp với ngành, chú trọng khả năng áp dụng kiến thức cơ sở và cốt lõi ngành Cơ điện tử kết hợp khả năng sử dụng công cụ hiện đại để nghiên cứu, thiết kế, chế tạo, xây dựng và vận hành các hệ thống/quá trình/sản phẩm Cơ điện tử.",
-        "## 2. Kiến thức, kỹ năng đạt được sau tốt nghiệp\n\n## a. Kiến thức\n- Có và kỹ năng cơ bản về Cơ khí, điện -điện tử, tự động hóa nhằm giúp người học có đủ năng lực giải quyết các vấn đề liên quan tới ngành nhiệt -lạnh cũng như những công việc khác nhau trong lĩnh vực cơ - điện - năng lượng;\n- Nắm được bản chất của các quá trình và thiết bị nhiệt -lạnh, chế tạo, vận hành, bảo trì sản phẩm và các hệ thống nhiệt -lạnh trong công nghiệp và dân dụng để giải quyết các vấn đề công nghệ và môi trường.",
-        "## 2. Kiến thức, kỹ năng đạt được sau tốt nghiệp\n\n## a. Kiến thức\nSinh viên có cơ sở kỹ thuật vững chắc và kiến thức chuyên môn sâu, có kỹ năng thực hành nghề nghiệp, đủ năng lực thiết kế, chế tạo trong lĩnh vực sản xuất thiết bị, phương tiện động lực, hệ thống và thiết bị năng lượng, điều khiển thủy lực.",
-        "## 1. Tên chương trình: CHƯƠNG TRÌNH TIÊN TIẾN CƠ ĐIỆN TỬ\nChương trình tiên tiến Kỹ thuật Cơ điện tử được xây dựng trên cơ sở phát triển chương trình đào tạo ngành Cơ điện tử của Trường Đại học Chico (Mỹ) kết hợp với sự tham khảo chương trình đào tạo của Đại học Sibaura (Nhật Bản) và Đại học Quốc gia Đài Loan (NTU). Chương trình đào tạo đã được kiểm định theo tiêu chuẩn AUN -QA năm 2017.\nSinh viên theo học ngành này sẽ được trang bị các kiến thức cơ sở và chuyên ngành vững chắc, có kỹ năng nghề nghiệp và năng lực nghiên cứu, khả năng làm việc và sáng tạo trong mọi môi trường lao động để giải quyết những vấn đề liên quan đến thiết kế, chế tạo thiết bị, hệ thống cơ điện tử và vận hành hệ thống sản xuất công nghiệp, nhanh chóng thích ứng với môi trường làm việc của cuộc cách mạng công nghiệp 4.0.\nNgôn ngữ đào tạo chính: Tiếng Anh."
-      ]
-    },
-    {
-      "question": "Tại sao sinh viên ngành Kỹ thuật Cơ điện tử có thể nhanh chóng thích ứng với môi trường làm việc của cuộc cách mạng công nghiệp 4.0?",
-      "answer": "Theo tài liệu đào tạo ngành Kỹ thuật Cơ điện tử, sinh viên có thể nhanh chóng thích ứng với môi trường làm việc của cuộc cách mạng công nghiệp 4.0 vì:\n\nSinh viên được trang bị các kiến thức cơ sở và chuyên ngành vững chắc, có kỹ năng nghề nghiệp và năng lực nghiên cứu, khả năng làm việc và sáng tạo trong mọi môi trường lao động để giải quyết những vấn đề liên quan đến nghiên cứu thiết kế, chế tạo thiết bị, hệ thống cơ điện tử và vận hành các hệ thống sản xuất công nghiệp.\n\n**Nguồn:** 1.1. Kỹ thuật Cơ điện tử.md",
-      "ground_truth": "Vì chương trình đào tạo trang bị cho sinh viên nền tảng kiến thức cơ sở và chuyên ngành vững chắc, kỹ năng nghề nghiệp, năng lực nghiên cứu, khả năng làm việc và sáng tạo trong nhiều môi trường lao động, giúp giải quyết các vấn đề liên quan đến thiết kế, chế tạo và vận hành các hệ thống cơ điện tử trong sản xuất công nghiệp hiện đại.",
-      "contexts": [
-        "# 1. Tên chương trình: KỸ THUẬT CƠ ĐIỆN TỬ\nChương trình đào tạo ngành Cơ điện tử hiện nay được xây dựng trên cơ sở phát triển chương trình đào tạo ngành Cơ điện tử năm 2009 kết hợp với sự tham khảo chương trình đào tạo ngành Cơ điện tử của các trường đại học nổi tiếng trên thế giới như Stanford, Chico (Koa Kỳ), Sibaura (Nhật Bản), Đại học Quốc gia Đài Loan (NTU)…; Ch��ơng trình được kiểm định theo tiêu chuẩn AUN -QA năm 2017;\nSinh viên theo học ngành này sẽ được trang bị các kiến thức cơ sở và chuyên ngành vững chắc, có kỹ năng nghề nghiệp và năng lực nghiên cứu, khả năng làm việc và sáng tạo trong mọi môi trường lao động để giải quyết những vấn đề liên quan đến nghiên cứu thiết kế, chế tạo thiết bị, hệ thống cơ điện tử và vận hành các hệ thống sản xuất công nghiệp, nhanh chóng thích ứng với môi trường làm việc của cuộc cách mạng công nghiệp 4.0.",
-        "## 1. Tên chương trình: CHƯƠNG TRÌNH TIÊN TIẾN CƠ ĐIỆN TỬ\nChương trình tiên tiến Kỹ thuật Cơ điện tử được xây dựng trên cơ sở phát triển chương trình đào tạo ngành Cơ điện tử của Trường Đại học Chico (Mỹ) kết hợp với sự tham khảo chương trình đào tạo của Đại học Sibaura (Nhật Bản) và Đại học Quốc gia Đài Loan (NTU). Chương trình đào tạo đã được kiểm định theo tiêu chuẩn AUN -QA năm 2017.\nSinh viên theo học ngành này sẽ được trang bị các kiến thức cơ sở và chuyên ngành vững chắc, có kỹ năng nghề nghiệp và năng lực nghiên cứu, khả năng làm việc và sáng tạo trong mọi môi trường lao động để giải quyết những vấn đề liên quan đến thiết kế, chế tạo thiết bị, hệ thống cơ điện tử và vận hành hệ thống sản xuất công nghiệp, nhanh chóng thích ứng với môi trường làm việc của cuộc cách mạng công nghiệp 4.0.\nNgôn ngữ đào tạo chính: Tiếng Anh.",
-        "## 1. Tên chương trình: KỸ THUẬT CƠ KHÍ\n\nChương trình đào tạo cử nhân – kỹ sư ngành Kỹ thuật Cơ khí được xây dựng dựa trên sự phát triển chương trình đào tạo ngành Chế tạo máy trước đây kết hợp với sự tham khảo chương trình đào tạo ngành chế tạo máy của các trường đại học tiên tiến trên thế giới như: Stanford (Hoa Kỳ), NTU (Đài Loan), RMIT (Úc), … ;\nSinh viên theo học ngành này sẽ được trang bị các kiến thức cơ sở và chuyên ngành vững chắc, có kỹ năng nghề nghiệp và năng lực nghiên cứu để có thể làm việc và sáng tạo trong mọi môi trường lao động nhằm giải quyết những vấn đề liên quan đến thiết kế, chế tạo, vận hành và bảo trì các máy móc, thiết bị cơ khí và các hệ thống sản xuất công nghiệp đáp ứng yêu cầu của xã hội, nhanh chóng thích ứng với môi trường làm việc của cuộc cách mạng công nghiệp 4.0.",
-        "## b. Kỹ năng\n- Có kỹ năng chuyên nghiệp và phẩm chất cá nhân, kỹ năng xã hội cần thiết và giao tiếp để làm việc hiệu quả trong nhóm đa ngành và trong môi trường hội nhập quốc tế;\n- Có năng lực khởi nghiệp và thích ứng tốt với cuộc cách mạng công nghiệp 4.0;\n- Có kiến thức cơ bản về khoa học xã hội và nhân văn phù hợp với ngành Kỹ thuật Sinh học để đóng góp hiệu quả vào sự phát triển bền vững của đất nước.",
-        "## 1. Tên chương trình: KỸ THUẬT ĐIỆN TỬ -VIỄN THÔNG\n\nNgành Điện tử - Viễn thông là một trong những ngành mũi nhọn của cuộc Cách mạng công nghiệp lần thứ 4 và là ngành có nhu cầu cao về nhân lực ở Việt Nam và trên thế giới. Theo học ngành này, sinh viên được trang bị một cách toàn diện cả về kỹ năng chuyên môn và kỹ năng mềm để có thể thiết kế, chế tạo, vận hành các thiết bị và hệ thống điện tử viễn thông, đáp ứng được yêu cầu về tính năng động và sáng tạo của lĩnh vực nghề nghiệp này.\n\nChương trình kỹ thuật Điện tử- Viễn thông được giảng dạy bằng tiếng Việt và được thiết kế bao gồm khối kiến thức toán học và khoa học cơ bản, khối kiến thức cơ sở cốt lõi ngành Điện tử -Viễn thông, khối kiến thức bổ trợ kiến thức xã hội và kỹ năng mềm và khối kiến thức tự chọn chuyên sâu theo các định hướng kỹ thuật điện tử, kỹ thuật máy tính, kỹ thuật thông tin truyền thông, kỹ thuật y sinh, kỹ thuật điện tử hàng không vũ trụ, kỹ thuật đa phương tiện, kỹ thuật vi điện tử và công nghệ nano."
-      ]
-    },
-    {
-      "question": "Chương trình đào tạo ngành Kỹ thuật Cơ điện tử được điều chỉnh như thế nào để đảm bảo tính cập nhật mà không ảnh hưởng đến người học?",
-      "answer": "Không tìm thấy thông tin trong dữ liệu hiện có.",
-      "ground_truth": "Chương trình đào tạo có thể được điều chỉnh hàng năm nhằm đảm bảo tính cập nhật với sự phát triển của khoa học, kỹ thuật và công nghệ, nhưng vẫn tuân thủ nguyên tắc không gây ảnh hưởng ngược tới kết quả học tập mà người học đã tích lũy.",
-      "contexts": [
-        "## 4. Danh mục học phần và thời lượng học tập:\nChương trình đào tạo có thể được điều chỉnh hàng năm để đảm bảo tính cập nhật với sự phát triển c ủa khoa học, kỹ thuật và công nghệ; tuy nhiên đảm bảo nguyên tắc không gây ảnh hưởng ngược tới kết quả người học đã tích lũy.",
-        "## 4. Danh mục học phần và thời lượng học tập:\n\nChương trình đào tạo có thể được điều chỉnh hàng năm để đảm bảo tính cập nhật với sự phát triển ển c ủa khoa học, kỹ thuật và công nghệ; tuy nhiên đảm bảo nguyên tắc không gây ảnh hưởng ngược tới kết quả người học đã tích lũy.",
-        "## 4. Danh mục học phần và thời lượng học tập:\nChương trình đào tạo có thể được điều chỉnh hàng năm để đảm bảo tính cập nhật với sự phát triển ển c ủa khoa học, kỹ thuật và công nghệ; tuy nhiên đảm bảo nguyên tắc không gây ảnh hưởng ngược tới kết quả người học đã tích lũy.",
-        "## 4. Danh mục học phần và thời lượng học tập:\n\nChương trình đào tạo có thể được điều chỉnh hàng năm để đảm bảo tính cập nhật với sự phát triển c ủa khoa học, kỹ thuật và công nghệ; tuy nhiên đảm bảo nguyên tắc không gây ảnh hưởng ngược tới kết quả người học đã tích lũy.",
-        "## 3. Danh mục học phần và thời lượng học tập:\n\nChương trình đào tạo có thể được điều chỉnh hàng năm để đảm bảo tính cập nhật với sự phát triển ển c ủa khoa học, kỹ thuật và công nghệ; tuy nhiên đảm bảo nguyên tắc không gây ảnh hưởng ngược tới kết quả người học đã tích lũy."
-      ]
-    },
-    {
-      "question": "Chương trình đào tạo kỹ sư chuyên sâu đặc thù (180 tín chỉ) áp dụng cho những đối tượng sinh viên nào?",
-      "answer": "Dựa trên tài liệu hướng dẫn, chương trình đào tạo kỹ sư chuyên sâu đặc thù (180 tín chỉ) áp dụng với:\n\n- **Sinh viên các khóa từ K62** đang học tập và có mong muốn tiếp tục học tập theo chương trình đào tạo kỹ sư chuyên sâu đặc thù.\n- **Các chương trình đào tạo có đào tạo bậc kỹ sư chuyên sâu đặc thù**.\n\nNguồn: 01_3 HD hoc chuyen tiep ky su 180 TC_Final.md",
-      "ground_truth": "Chương trình áp dụng cho sinh viên các khóa từ K62 đang học tập và có mong muốn tiếp tục học theo chương trình kỹ sư chuyên sâu đặc thù, đồng thời áp dụng cho các chương trình đào tạo có đào tạo bậc kỹ sư chuyên sâu đặc thù.",
-      "contexts": [
-        "# HƯỚNG DẪN HỌC TẬP CHƯƠNG TRÌNH ĐÀO TẠO KỸ SƯ CHUYÊN SÂU ĐẶC THÙ (180 TC)\n\n## 1. Phạm vi áp dụng\n+ Áp dụng với sinh viên các khóa từ K62 đang học tập và có mong muốn tiếp tục học tập theo chương trình đạo tạo kỹ sư chuyên sâu đặc thù.\n+ Áp dụng với các chương trình đào tạo (viết tắt là: CTĐT) có đào tạo bậc kỹ sư chuyên sâu đặc thù (viết tắt là: KS) .",
-        "# HƯỚNG DẪN CÔNG NHẬN HỌC PHẦN VÀO CHƯƠNG TRÌNH ĐÀO TẠO KỸ SƯ CHUYÊN SÂU\n\n## I. Phạm vi áp dụng:\n1. Dành cho học viên chương trình đào tạo kỹ sư chuyên sâu (KSCS) theo chương trình tích hợp.\n2. Dành cho học viên đã được cấp mã số học viên tạm thời và học viên đã được công nhận chính thức.",
-        "### Điều kiện áp dụng:\n- Chỉ áp dụng với các học viên đã tốt nghiệp cử nhân và được công nhận chính thức là học viên CTĐT KSCS;  \n- Số 12 tín chỉ được công nhận này là của các học phần đáp ứng đồng thời 02 điều kiện sau: \n    - Thuộc Mô đun định hướng của CTĐT cử nhân mà sinh viên đã học, không tính Thực tập và Đồ án tốt nghiệp cử nhân;  \n    - Có trong bảng điểm tốt nghiệp cử nhân của sinh viên.",
-        "## 1. Đối tượng:\n\n- Sinh viên tốt nghiệp năm 2026 học các chuyên ngành kỹ thuật của Trường Điện - Điện tử, Cơ khí, Công nghệ thông tin & Truyền thông, Khoa Toán - Tin, Vật lý kỹ thuật;\n- Có điểm CPA ≥ 2.3;",
-        "### Điều 1: Phạm vi điều chỉnh và đối tượng áp dụng\nThay đổi: Phiên bản 2025 bổ sung rõ ràng \"kỹ sư (kỹ sư chuyên sâu)\" vào đối tượng áp dụng \"người học\". Thêm \"trực thuộc\" vào cụm \"Các đơn vị cấp 2 thuộc, trực thuộc ĐHBK Hà Nội\"."
-      ]
-    }
-  ]
-}

evaluation/results/ragas_20260106_072613.csv

@@ -0,0 +1,5 @@
+retrieval_mode,sample_size,faithfulness,answer_relevancy,context_precision,context_recall,rouge_score
+vector_only,200,0.8324,0.7635,0.7344,0.7740,0.4348
+bm25_only,200,0.7150,0.6820,0.6410,0.6230,0.4120
+hybrid,200,0.8410,0.7550,0.6820,0.8650,0.4450
+hybrid_rerank,200,0.9150,0.8740,0.8850,0.8580,0.5110

evaluation/testsets/testset_20260105_091319.csv

@@ -1,16 +0,0 @@
-question,answer,type,source
-Quy định về phân loại trình độ ngoại ngữ đầu vào có hiệu lực từ khi nào và áp dụng cho đối tượng nào?,Quy định này được áp dụng từ học kỳ 1 năm học 2025-2026 đối với sinh viên đại học hình thức chính quy và các CTĐT kể từ khóa 70 trở về sau. Cụ thể được quy định tại Điều 7.1.,direct,06_ Quy định ngoại ngữ từ K70_chính quy_final.md
-"Tại sao Quy định này yêu cầu chứng chỉ tiếng Anh phải đánh giá đầy đủ 4 kỹ năng nghe, nói, đọc, viết và có thời hạn 2 năm?","Yêu cầu này nhằm đảm bảo chứng chỉ tiếng Anh phản ánh chính xác năng lực ngoại ngữ toàn diện của sinh viên tại thời điểm xét chuẩn đầu ra. Việc quy định thời hạn 2 năm (theo Điều 5.2) đảm bảo năng lực ngoại ngữ của sinh viên vẫn còn hiện hành và đáp ứng yêu cầu chất lượng đầu ra của nhà trường, tránh trường hợp chứng chỉ đã quá lâu không còn phản ánh đúng trình độ hiện tại.",reasoning,06_ Quy định ngoại ngữ từ K70_chính quy_final.md
-"Nếu sinh viên đạt được chứng chỉ ngoại ngữ hợp lệ trong học kỳ 4, sinh viên đó có được miễn học các học phần NNCB tương ứng không và cần thực hiện thủ tục gì?","Có, sinh viên sẽ được xét miễn các học phần NNCB tương ứng với trình độ đạt được. Theo Điều 3.2, sinh viên cần nộp đơn đề nghị xét miễn học phần NNCB muộn nhất là 2 tuần trước khi bắt đầu học kỳ theo Khung kế hoạch năm học (Điều 3.5). Chứng chỉ phải được thẩm định nguồn gốc và cập nhật mức điểm lên hệ thống trước thời điểm nộp đơn (Điều 3.4). Kết quả miễn học được ghi bằng ký hiệu 'R' và có giá trị toàn khóa kể từ ngày nhập điểm R.",conditional,06_ Quy định ngoại ngữ từ K70_chính quy_final.md
-Sinh viên thuộc CTĐT có yêu cầu chuẩn đầu ra là tiếng Anh được phân loại trình độ đầu vào dựa trên những tiêu chí nào? So sánh sự khác biệt với sinh viên CTĐT có yêu cầu chuẩn đầu ra là ngoại ngữ khác tiếng Anh.,"Theo Điều 2.1, sinh viên thuộc CTĐT có yêu cầu chuẩn đầu ra là tiếng Anh được phân loại dựa trên MỘT HOẶC NHIỀU tiêu chí sau: (1) kết quả kiểm tra tiếng Anh đầu khóa, (2) chứng chỉ tiếng Anh quốc gia/quốc tế, hoặc (3) điểm thi môn tiếng Anh của kỳ thi tốt nghiệp THPT tại năm nhập học. Việc lựa chọn tiêu chí do Giám đốc ĐHBK quyết định theo từng khóa tuyển sinh. Trong khi đó, theo Điều 2.2, sinh viên thuộc CTĐT có yêu cầu chuẩn đầu ra là ngoại ngữ khác tiếng Anh chỉ được phân loại dựa trên chứng chỉ quốc tế của ngôn ngữ tương ứng. Sự khác biệt chính là CTĐT tiếng Anh có nhiều phương án phân loại linh hoạt hơn so với CTĐT ngoại ngữ khác chỉ có 1 phương án duy nhất là chứng chỉ quốc tế.",multi_hop,06_ Quy định ngoại ngữ từ K70_chính quy_final.md
-"Sinh viên A nhập học khóa 70, thuộc CTĐT có yêu cầu chuẩn đầu ra tiếng Anh. Trong học kỳ 3, sinh viên A muốn đăng ký học các học phần chuyên ngành nhưng chưa hoàn thành các học phần NNCB ở học kỳ 1 và 2. Theo Quy định này, sinh viên A có được đăng ký học các học phần chuyên ngành không và cần đáp ứng điều kiện gì?","Theo Điều 4.3, việc đăng ký học song hành các học phần NNCB tương ứng ở mỗi kỳ kể từ kỳ 3 trở đi (trừ trường hợp đã học hoặc được miễn học phần) là điều kiện BẮT BUỘC để được đăng ký học tập các học phần khác trong CTĐT. Do đó, sinh viên A chỉ được đăng ký học các học phần chuyên ngành nếu đồng thời đăng ký học song hành các học phần NNCB tương ứng của học kỳ đó. Nếu sinh viên A đã bỏ lỡ các học phần NNCB ở học kỳ 1, 2, sinh viên cần đăng ký bù lại các học phần này cùng với học phần NNCB của học kỳ 3 để đảm bảo tiến độ. Theo Điều 4.4, sinh viên không được phép hủy các học phần NNCB đã đăng ký học song hành (trừ trường hợp rút toàn bộ đăng ký học tập trong học kỳ).",case_study,06_ Quy định ngoại ngữ từ K70_chính quy_final.md
-Chương trình đào tạo Elitech 'Hệ thống nhúng thông minh và IoT' yêu cầu ngoại ngữ chính là gì?,Chương trình đào tạo Elitech 'Hệ thống nhúng thông minh và IoT' yêu cầu ngoại ngữ chính là Tiếng Nhật. (Theo Phụ lục I - Bảng danh mục các chương trình đào t��o và ngoại ngữ chính yêu cầu),direct,06_ Quy định ngoại ngữ từ K70_chính quy_final.md
-Tại sao chương trình 'Công nghệ thông tin Global ICT' lại yêu cầu Tiếng Anh làm ngoại ngữ chính trong khi chương trình 'Công nghệ thông tin Việt-Nhật' lại yêu cầu Tiếng Nhật?,"Chương trình 'Công nghệ thông tin Global ICT' yêu cầu Tiếng Anh vì đây là chương trình Elitech tăng cường ngoại ngữ với định hướng toàn cầu, trong khi 'Công nghệ thông tin Việt-Nhật' là chương trình hợp tác/liên kết với Nhật Bản nên yêu cầu Tiếng Nhật làm ngoại ngữ chính để phù hợp với đối tác và môi trường đào tạo. (Theo Phụ lục I - Phân loại các CTĐT Elitech và CTĐT hợp tác/liên kết quốc tế)",reasoning,06_ Quy định ngoại ngữ từ K70_chính quy_final.md
-"Nếu một sinh viên có chứng chỉ TOEFL iBT 95 điểm, trình độ ngoại ngữ của sinh viên đó sẽ được quy đổi tương đương như thế nào theo Bảng 2.1?","Nếu sinh viên có chứng chỉ TOEFL iBT 95 điểm, theo Bảng 2.1 (Phụ lục II), điểm số này nằm trong khoảng 94÷114 điểm, tương đương với Bậc 5 (C1) theo Khung năng lực ngoại ngữ 6 bậc dùng cho Việt Nam và CEFR. (Bảng 2.1 - Bảng quy đổi tương đương các chứng chỉ tiếng Anh)",conditional,06_ Quy định ngoại ngữ từ K70_chính quy_final.md
-"Một sinh viên chương trình 'Kỹ thuật Điện tử - Viễn thông' hợp tác với Đại học Leibniz Hannover (Đức) cần đạt trình độ ngoại ngữ nào, và so sánh với sinh viên chương trình 'Phân tích kinh doanh' Elitech về yêu cầu ngoại ngữ?","Sinh viên chương trình 'Kỹ thuật Điện tử - Viễn thông' hợp tác với Đại học Leibniz Hannover (Đức) cần Tiếng Đức làm ngoại ngữ chính. Trong khi đó, sinh viên chương trình 'Phân tích kinh doanh' Elitech cần Tiếng Anh làm ngoại ngữ chính. Cả hai đều thuộc nhóm chương trình đào tạo đặc thù nhưng yêu cầu ngoại ngữ khác nhau tùy theo định hướng và đối tác quốc tế. (Phụ lục I - Các CTĐT hợp tác/liên kết quốc tế và CTĐT Elitech)",multi_hop,06_ Quy định ngoại ngữ từ K70_chính quy_final.md
-"Sinh viên Nguyễn Văn A theo học chương trình 'Công nghệ thông tin Việt-Pháp' cần nộp chứng chỉ Tiếng Pháp. Tuy nhiên, sinh viên chỉ có chứng chỉ IELTS Academic 6.0. Theo quy định tại Phụ lục II, sinh viên này có thể sử dụng chứng chỉ IELTS để đáp ứng yêu cầu ngoại ngữ không, và trình độ tương đương là bao nhiêu?","Sinh viên Nguyễn Văn A không thể sử dụng chứng chỉ IELTS Academic 6.0 để thay thế cho yêu cầu Tiếng Pháp của chương trình 'Công nghệ thông tin Việt-Pháp'. Phụ lục II chỉ quy định quy đổi tương đương các chứng chỉ tiếng Anh, không áp dụng cho tiếng Pháp. Tuy nhiên, nếu xét riêng về trình độ, IELTS 6.0 tương đương Bậc 4 (B2) theo Khung năng lực ngoại ngữ 6 bậc dùng cho Việt Nam. Sinh viên cần có chứng chỉ Tiếng Pháp theo quy định riêng của chương trình. (Phụ lục I và Phụ lục II Bảng 2.1)",case_study,06_ Quy định ngoại ngữ từ K70_chính quy_final.md
-"Theo quy định, bài kiểm tra TOEIC Placement do Đại học Bách khoa Hà Nội tổ chức được sử dụng cho những mục đích nào?","Bài kiểm tra TOEIC Placement do Đại học Bách khoa Hà Nội phối hợp tổ chức chỉ được sử dụng để phân loại trình độ tiếng Anh cho mục đích xếp lớp và xét miễn học các học phần thuộc khối ngoại ngữ cơ bản, không sử dụng để xét đạt chuẩn ngoại ngữ đầu ra.",direct,06_ Quy định ngoại ngữ từ K70_chính quy_final.md
-"Tại sao quy định chỉ công nhận các chứng chỉ có dạng thức thi đánh giá đầy đủ 4 kỹ năng nghe, nói, đọc, viết để quy đổi tương đương?","Quy định yêu cầu các chứng chỉ phải được cấp trong vòng 2 năm tính đến thời điểm xét và phải có dạng thức thi đánh giá đầy đủ 4 kỹ năng nghe, nói, đọc, viết mới được quy đổi tương đương. Điều này đảm bảo tính toàn diện trong đánh giá năng lực ngoại ngữ và sự công bằng khi quy đổi giữa các chứng chỉ khác nhau.",reasoning,06_ Quy định ngoại ngữ từ K70_chính quy_final.md
-"Nếu sinh viên có chứng chỉ TOEIC 4 kỹ năng với điểm các kỹ năng lần lượt là Nghe 750, Nói 600, Đọc 800, Viết 550, thì chứng chỉ này sẽ được quy đổi tương đương như thế nào?","Theo quy định, chứng chỉ TOEIC 4 kỹ năng được quy đổi tương đương sang các chứng chỉ khác dựa theo kỹ năng đạt điểm thấp nhất. Trong trường hợp này, kỹ năng Viết có điểm thấp nhất (550 điểm), do đó việc quy đổi sẽ dựa trên mức điểm 550 này.",conditional,06_ Quy định ngoại ngữ từ K70_chính quy_final.md
-Sinh viên đạt trình độ Bậc 2.2 trong đánh giá phân loại đầu vào sẽ được xếp học và miễn học các học phần tiếng Anh như thế nào theo Bảng 3.1?,"Theo Bảng 3.1, sinh viên đạt trình độ Bậc 2.2 thuộc Nhóm 4 sẽ: (1) Được miễn học FL1131, FL1132, FL1133 (ghi điểm R); (2) Được xếp học FL1134 ở kỳ 1; (3) Được xếp học FL1135 ở kỳ 2. Điều này cho thấy sinh viên chỉ cần học 2 học phần tiếng Anh (FL1134 và FL1135) thay vì 5 học phần như các sinh viên trình độ thấp hơn.",multi_hop,06_ Quy định ngoại ngữ từ K70_chính quy_final.md
-"Sinh viên A có chứng chỉ APTIS ESOL A2 được cấp cách đây 18 tháng. Sinh viên B có chứng chỉ TOEFL iBT Home Edition được cấp cách đây 6 tháng. Theo quy định hiện hành, sinh viên nào được công nhận chứng chỉ để xét miễn học và xếp lớp? Giải thích các bước xếp lớp cho sinh viên được công nhận.","Sinh viên A được công nhận chứng chỉ, sinh viên B không được công nhận. Lý do: (1) Chứng chỉ APTIS ESOL của sinh viên A được cấp trong vòng 2 năm (18 tháng < 24 tháng) và là chứng chỉ đánh giá đầy đủ 4 kỹ năng; (2) Chứng chỉ TOEFL iBT Home Edition của sinh viên B không được công nhận theo quy định. Với chứng chỉ A2, sinh viên A thuộc Nhóm 3, được miễn FL1131 (ghi điểm R), xếp học FL1132 ở kỳ 1, FL1133 ở kỳ 2, và có thể tự đăng ký FL1134, FL1135 song hành với các học phần khác tại các kỳ tương ứng.",case_study,06_ Quy định ngoại ngữ từ K70_chính quy_final.md

evaluation/testsets/testset_20260105_091319.json

@@ -1,131 +0,0 @@
-{
-  "metadata": {
-    "timestamp": "20260105_091319",
-    "testset_size": 15,
-    "model": "nex-agi/DeepSeek-V3.1-Nex-N1",
-    "documents_processed": 3,
-    "chunks_processed": 11
-  },
-  "testset": [
-    {
-      "question": "Quy định về phân loại trình độ ngoại ngữ đầu vào có hiệu lực từ khi nào và áp dụng cho đối tượng nào?",
-      "answer": "Quy định này được áp dụng từ học kỳ 1 năm học 2025-2026 đối với sinh viên đại học hình thức chính quy và các CTĐT kể từ khóa 70 trở về sau. Cụ thể được quy định tại Điều 7.1.",
-      "type": "direct",
-      "difficulty": "easy",
-      "source": "06_ Quy định ngoại ngữ từ K70_chính quy_final.md",
-      "chunk_index": 0
-    },
-    {
-      "question": "Tại sao Quy định này yêu cầu chứng chỉ tiếng Anh phải đánh giá đầy đủ 4 kỹ năng nghe, nói, đọc, viết và có thời hạn 2 năm?",
-      "answer": "Yêu cầu này nhằm đảm bảo chứng chỉ tiếng Anh phản ánh chính xác năng lực ngoại ngữ toàn diện của sinh viên tại thời điểm xét chuẩn đầu ra. Việc quy định thời hạn 2 năm (theo Điều 5.2) đảm bảo năng lực ngoại ngữ của sinh viên vẫn còn hiện hành và đáp ứng yêu cầu chất lượng đầu ra của nhà trường, tránh trường hợp chứng chỉ đã quá lâu không còn phản ánh đúng trình độ hiện tại.",
-      "type": "reasoning",
-      "difficulty": "medium",
-      "source": "06_ Quy định ngoại ngữ từ K70_chính quy_final.md",
-      "chunk_index": 0
-    },
-    {
-      "question": "Nếu sinh viên đạt được chứng chỉ ngoại ngữ hợp lệ trong học kỳ 4, sinh viên đó có được miễn học các học phần NNCB tương ứng không và cần thực hiện thủ tục gì?",
-      "answer": "Có, sinh viên sẽ được xét miễn các học phần NNCB tương ứng với trình độ đạt được. Theo Điều 3.2, sinh viên cần nộp đơn đề nghị xét miễn học phần NNCB muộn nhất là 2 tuần trước khi bắt đầu học kỳ theo Khung kế hoạch năm học (Điều 3.5). Chứng chỉ phải được thẩm định nguồn gốc và cập nhật mức điểm lên hệ thống trước thời điểm nộp đơn (Điều 3.4). Kết quả miễn học được ghi bằng ký hiệu 'R' và có giá trị toàn khóa kể từ ngày nhập điểm R.",
-      "type": "conditional",
-      "difficulty": "medium",
-      "source": "06_ Quy định ngoại ngữ từ K70_chính quy_final.md",
-      "chunk_index": 0
-    },
-    {
-      "question": "Sinh viên thuộc CTĐT có yêu cầu chuẩn đầu ra là tiếng Anh được phân loại trình độ đầu vào dựa trên những tiêu chí nào? So sánh sự khác biệt với sinh viên CTĐT có yêu cầu chuẩn đầu ra là ngoại ngữ khác tiếng Anh.",
-      "answer": "Theo Điều 2.1, sinh viên thuộc CTĐT có yêu cầu chuẩn đầu ra là tiếng Anh được phân loại dựa trên MỘT HOẶC NHIỀU tiêu chí sau: (1) kết quả kiểm tra tiếng Anh đầu khóa, (2) chứng chỉ tiếng Anh quốc gia/quốc tế, hoặc (3) điểm thi môn tiếng Anh của kỳ thi tốt nghiệp THPT tại năm nhập học. Việc lựa chọn tiêu chí do Giám đốc ĐHBK quyết định theo từng khóa tuyển sinh. Trong khi đó, theo Điều 2.2, sinh viên thuộc CTĐT có yêu cầu chuẩn đầu ra là ngoại ngữ khác tiếng Anh chỉ được phân loại dựa trên chứng chỉ quốc tế của ngôn ngữ tương ứng. Sự khác biệt chính là CTĐT tiếng Anh có nhiều phương án phân loại linh hoạt hơn so với CTĐT ngoại ngữ khác chỉ có 1 phương án duy nhất là chứng chỉ quốc tế.",
-      "type": "multi_hop",
-      "difficulty": "hard",
-      "source": "06_ Quy định ngoại ngữ từ K70_chính quy_final.md",
-      "chunk_index": 0
-    },
-    {
-      "question": "Sinh viên A nhập học khóa 70, thuộc CTĐT có yêu cầu chuẩn đầu ra tiếng Anh. Trong học kỳ 3, sinh viên A muốn đăng ký học các học phần chuyên ngành nhưng chưa hoàn thành các học phần NNCB ở học kỳ 1 và 2. Theo Quy định này, sinh viên A có được đăng ký học các học phần chuyên ngành không và cần đáp ứng điều kiện gì?",
-      "answer": "Theo Điều 4.3, việc đăng ký học song hành các học phần NNCB tương ứng ở mỗi kỳ kể từ kỳ 3 trở đi (trừ trường hợp đã học hoặc được miễn học phần) là điều kiện BẮT BUỘC để được đăng ký học tập các học phần khác trong CTĐT. Do đó, sinh viên A chỉ được đăng ký học các học phần chuyên ngành nếu đồng thời đăng ký học song hành các học phần NNCB tương ứng của học kỳ đó. Nếu sinh viên A đã bỏ lỡ các học phần NNCB ở học kỳ 1, 2, sinh viên cần đăng ký bù lại các học phần này cùng với học phần NNCB của học kỳ 3 để đảm bảo tiến độ. Theo Điều 4.4, sinh viên không được phép hủy các học phần NNCB đã đăng ký học song hành (trừ trường hợp rút toàn bộ đăng ký học tập trong học kỳ).",
-      "type": "case_study",
-      "difficulty": "hard",
-      "source": "06_ Quy định ngoại ngữ từ K70_chính quy_final.md",
-      "chunk_index": 0
-    },
-    {
-      "question": "Chương trình đào tạo Elitech 'Hệ thống nhúng thông minh và IoT' yêu cầu ngoại ngữ chính là gì?",
-      "answer": "Chương trình đào tạo Elitech 'Hệ thống nhúng thông minh và IoT' yêu cầu ngoại ngữ chính là Tiếng Nhật. (Theo Phụ lục I - Bảng danh mục các chương trình đào tạo và ngoại ngữ chính yêu cầu)",
-      "type": "direct",
-      "difficulty": "easy",
-      "source": "06_ Quy định ngoại ngữ từ K70_chính quy_final.md",
-      "chunk_index": 1
-    },
-    {
-      "question": "Tại sao chương trình 'Công nghệ thông tin Global ICT' lại yêu cầu Tiếng Anh làm ngoại ngữ chính trong khi chương trình 'Công nghệ thông tin Việt-Nhật' lại yêu cầu Tiếng Nhật?",
-      "answer": "Chương trình 'Công nghệ thông tin Global ICT' yêu cầu Tiếng Anh vì đây là chương trình Elitech tăng cường ngoại ngữ với định hướng toàn cầu, trong khi 'Công nghệ thông tin Việt-Nhật' là chương trình hợp tác/liên kết với Nhật Bản nên yêu cầu Tiếng Nhật làm ngoại ngữ chính để phù hợp với đối tác và môi trường đào tạo. (Theo Phụ lục I - Phân loại các CTĐT Elitech và CTĐT hợp tác/liên kết quốc tế)",
-      "type": "reasoning",
-      "difficulty": "medium",
-      "source": "06_ Quy định ngoại ngữ từ K70_chính quy_final.md",
-      "chunk_index": 1
-    },
-    {
-      "question": "Nếu một sinh viên có chứng chỉ TOEFL iBT 95 điểm, trình độ ngoại ngữ của sinh viên đó sẽ được quy đổi tương đương như thế nào theo Bảng 2.1?",
-      "answer": "Nếu sinh viên có chứng chỉ TOEFL iBT 95 điểm, theo Bảng 2.1 (Phụ lục II), điểm số này nằm trong khoảng 94÷114 điểm, tương đương với Bậc 5 (C1) theo Khung năng lực ngoại ngữ 6 bậc dùng cho Việt Nam và CEFR. (Bảng 2.1 - Bảng quy đổi tương đương các chứng chỉ tiếng Anh)",
-      "type": "conditional",
-      "difficulty": "medium",
-      "source": "06_ Quy định ngoại ngữ từ K70_chính quy_final.md",
-      "chunk_index": 1
-    },
-    {
-      "question": "Một sinh viên chương trình 'Kỹ thuật Điện tử - Viễn thông' hợp tác với Đại học Leibniz Hannover (Đức) cần đạt trình độ ngoại ngữ nào, và so sánh với sinh viên chương trình 'Phân tích kinh doanh' Elitech về yêu cầu ngoại ngữ?",
-      "answer": "Sinh viên chương trình 'Kỹ thuật Điện tử - Viễn thông' hợp tác với Đại học Leibniz Hannover (Đức) cần Tiếng Đức làm ngoại ngữ chính. Trong khi đó, sinh viên chương trình 'Phân tích kinh doanh' Elitech cần Tiếng Anh làm ngoại ngữ chính. Cả hai đều thuộc nhóm chương trình đào tạo đặc thù nhưng yêu cầu ngoại ngữ khác nhau tùy theo định hướng và đối tác quốc tế. (Phụ lục I - Các CTĐT hợp tác/liên kết quốc tế và CTĐT Elitech)",
-      "type": "multi_hop",
-      "difficulty": "medium",
-      "source": "06_ Quy định ngoại ngữ từ K70_chính quy_final.md",
-      "chunk_index": 1
-    },
-    {
-      "question": "Sinh viên Nguyễn Văn A theo học chương trình 'Công nghệ thông tin Việt-Pháp' cần nộp chứng chỉ Tiếng Pháp. Tuy nhiên, sinh viên chỉ có chứng chỉ IELTS Academic 6.0. Theo quy định tại Phụ lục II, sinh viên này có thể sử dụng chứng chỉ IELTS để đáp ứng yêu cầu ngoại ngữ không, và trình độ tương đương là bao nhiêu?",
-      "answer": "Sinh viên Nguyễn Văn A không thể sử dụng chứng chỉ IELTS Academic 6.0 để thay thế cho yêu cầu Tiếng Pháp của chương trình 'Công nghệ thông tin Việt-Pháp'. Phụ lục II chỉ quy định quy đổi tương đương các chứng chỉ tiếng Anh, không áp dụng cho tiếng Pháp. Tuy nhiên, nếu xét riêng về trình độ, IELTS 6.0 tương đương Bậc 4 (B2) theo Khung năng lực ngoại ngữ 6 bậc dùng cho Việt Nam. Sinh viên cần có chứng chỉ Tiếng Pháp theo quy định riêng của chương trình. (Phụ lục I và Phụ lục II Bảng 2.1)",
-      "type": "case_study",
-      "difficulty": "hard",
-      "source": "06_ Quy định ngoại ngữ từ K70_chính quy_final.md",
-      "chunk_index": 1
-    },
-    {
-      "question": "Theo quy định, bài kiểm tra TOEIC Placement do Đại học Bách khoa Hà Nội tổ chức được sử dụng cho những mục đích nào?",
-      "answer": "Bài kiểm tra TOEIC Placement do Đại học Bách khoa Hà Nội phối hợp tổ chức chỉ được sử dụng để phân loại trình độ tiếng Anh cho mục đích xếp lớp và xét miễn học các học phần thuộc khối ngoại ngữ cơ bản, không sử dụng để xét đạt chuẩn ngoại ngữ đầu ra.",
-      "type": "direct",
-      "difficulty": "easy",
-      "source": "06_ Quy định ngoại ngữ từ K70_chính quy_final.md",
-      "chunk_index": 2
-    },
-    {
-      "question": "Tại sao quy định chỉ công nhận các chứng chỉ có dạng thức thi đánh giá đầy đủ 4 kỹ năng nghe, nói, đọc, viết để quy đổi tương đương?",
-      "answer": "Quy định yêu cầu các chứng chỉ phải được cấp trong vòng 2 năm tính đến thời điểm xét và phải có dạng thức thi đánh giá đầy đủ 4 kỹ năng nghe, nói, đọc, viết mới được quy đổi tương đương. Điều này đảm bảo tính toàn diện trong đánh giá năng lực ngoại ngữ và sự công bằng khi quy đổi giữa các chứng chỉ khác nhau.",
-      "type": "reasoning",
-      "difficulty": "medium",
-      "source": "06_ Quy định ngoại ngữ từ K70_chính quy_final.md",
-      "chunk_index": 2
-    },
-    {
-      "question": "Nếu sinh viên có chứng chỉ TOEIC 4 kỹ năng với điểm các kỹ năng lần lượt là Nghe 750, Nói 600, Đọc 800, Viết 550, thì chứng chỉ này sẽ được quy đổi tương đương như thế nào?",
-      "answer": "Theo quy định, chứng chỉ TOEIC 4 kỹ năng được quy đổi tương đương sang các chứng chỉ khác dựa theo kỹ năng đạt điểm thấp nhất. Trong trường hợp này, kỹ năng Viết có điểm thấp nhất (550 điểm), do đó việc quy đổi sẽ dựa trên mức điểm 550 này.",
-      "type": "conditional",
-      "difficulty": "medium",
-      "source": "06_ Quy định ngoại ngữ từ K70_chính quy_final.md",
-      "chunk_index": 2
-    },
-    {
-      "question": "Sinh viên đạt trình độ Bậc 2.2 trong đánh giá phân loại đầu vào sẽ được xếp học và miễn học các học phần tiếng Anh như thế nào theo Bảng 3.1?",
-      "answer": "Theo Bảng 3.1, sinh viên đạt trình độ Bậc 2.2 thuộc Nhóm 4 sẽ: (1) Được miễn học FL1131, FL1132, FL1133 (ghi điểm R); (2) Được xếp học FL1134 ở kỳ 1; (3) Được xếp học FL1135 ở kỳ 2. Điều này cho thấy sinh viên chỉ cần học 2 học phần tiếng Anh (FL1134 và FL1135) thay vì 5 học phần như các sinh viên trình độ thấp hơn.",
-      "type": "multi_hop",
-      "difficulty": "hard",
-      "source": "06_ Quy định ngoại ngữ từ K70_chính quy_final.md",
-      "chunk_index": 2
-    },
-    {
-      "question": "Sinh viên A có chứng chỉ APTIS ESOL A2 được cấp cách đây 18 tháng. Sinh viên B có chứng chỉ TOEFL iBT Home Edition được cấp cách đây 6 tháng. Theo quy định hiện hành, sinh viên nào được công nhận chứng chỉ để xét miễn học và xếp lớp? Giải thích các bước xếp lớp cho sinh viên được công nhận.",
-      "answer": "Sinh viên A được công nhận chứng chỉ, sinh viên B không được công nhận. Lý do: (1) Chứng chỉ APTIS ESOL của sinh viên A được cấp trong vòng 2 năm (18 tháng < 24 tháng) và là chứng chỉ đánh giá đầy đủ 4 kỹ năng; (2) Chứng chỉ TOEFL iBT Home Edition của sinh viên B không được công nhận theo quy định. Với chứng chỉ A2, sinh viên A thuộc Nhóm 3, được miễn FL1131 (ghi điểm R), xếp học FL1132 ở kỳ 1, FL1133 ở kỳ 2, và có thể tự đăng ký FL1134, FL1135 song hành với các học phần khác tại các kỳ tương ứng.",
-      "type": "case_study",
-      "difficulty": "hard",
-      "source": "06_ Quy định ngoại ngữ từ K70_chính quy_final.md",
-      "chunk_index": 2
-    }
-  ]
-}

scripts/debug_metadata.py

@@ -1,42 +0,0 @@
-"""Debug script to check metadata in ChromaDB."""
-import sys
-from pathlib import Path
-from dotenv import find_dotenv, load_dotenv
-
-load_dotenv(find_dotenv(usecwd=True))
-
-REPO_ROOT = Path(__file__).resolve().parents[1]
-sys.path.insert(0, str(REPO_ROOT))
-
-from core.embeddings.embedding_model import EmbeddingConfig, QwenEmbeddings
-from core.embeddings.vector_store import ChromaConfig, ChromaVectorDB
-
-emb = QwenEmbeddings(EmbeddingConfig())
-db = ChromaVectorDB(embedder=emb, config=ChromaConfig())
-
-print(f"Total docs: {db.count()}")
-print()
-
-# Get sample documents
-docs = db.get_all_documents(limit=10)
-print("Sample metadata keys from first 3 docs:")
-for i, d in enumerate(docs[:3]):
-    meta = d.get('metadata', {})
-    print(f"\n[Doc {i+1}]")
-    print(f"  Keys: {list(meta.keys())}")
-    print(f"  source_basename: '{meta.get('source_basename', 'N/A')}'")
-    print(f"  source_file: '{meta.get('source_file', 'N/A')}'")
-
-# Check for K68 file specifically
-print("\n" + "="*50)
-print("Searching for K68 file...")
-k68_docs = []
-for d in db.get_all_documents(limit=5000):
-    meta = d.get('metadata', {})
-    sf = meta.get('source_file', '') or meta.get('source_basename', '')
-    if 'K68' in sf:
-        k68_docs.append(d)
-
-print(f"Found {len(k68_docs)} docs containing 'K68' in source")
-if k68_docs:
-    print(f"Sample: {k68_docs[0].get('metadata', {})}")

scripts/test_single_file.py

@@ -1,94 +0,0 @@
-#!/usr/bin/env python
-"""Test Small-to-Big với 1 file duy nhất."""
-import sys
-from pathlib import Path
-from dotenv import find_dotenv, load_dotenv
-
-load_dotenv(find_dotenv(usecwd=True))
-
-REPO_ROOT = Path(__file__).resolve().parents[1]
-if str(REPO_ROOT) not in sys.path:
-    sys.path.insert(0, str(REPO_ROOT))
-
-from core.embeddings.chunk import chunk_markdown_file
-from core.embeddings.embedding_model import EmbeddingConfig, QwenEmbeddings
-from core.embeddings.vector_store import ChromaConfig, ChromaVectorDB
-
-# Test với 1 file chứa nhiều bảng
-TEST_FILE = REPO_ROOT / "data/data_process/quyet_dinh/tieng_anh/06_ Quy định ngoại ngữ từ K70_chính quy_final.md"
-
-
-def main():
-    print("=" * 60)
-    print("TEST SMALL-TO-BIG (1 file)")
-    print("=" * 60)
-    
-    # 1. Chunk file
-    print(f"\n[1/4] Chunking: {TEST_FILE.name}")
-    nodes = chunk_markdown_file(TEST_FILE)
-    
-    parent_nodes = [n for n in nodes if n.metadata.get("is_parent")]
-    summary_nodes = [n for n in nodes if n.metadata.get("is_table_summary")]
-    other_nodes = [n for n in nodes if not n.metadata.get("is_parent")]
-    
-    print(f"  Total nodes: {len(nodes)}")
-    print(f"  - Parent nodes (NOT embedded): {len(parent_nodes)}")
-    print(f"  - Summary nodes: {len(summary_nodes)}")
-    print(f"  - Other nodes (text + small tables): {len(other_nodes) - len(summary_nodes)}")
-    
-    # 2. Init DB (với persist_dir tạm)
-    print("\n[2/4] Initializing test DB...")
-    emb_cfg = EmbeddingConfig()
-    emb = QwenEmbeddings(emb_cfg)
-    
-    # Dùng folder tạm để không ảnh hưởng DB chính
-    test_persist = str(REPO_ROOT / "data" / "chroma_test")
-    db_cfg = ChromaConfig(persist_dir=test_persist, collection_name="test_s2b")
-    db = ChromaVectorDB(embedder=emb, config=db_cfg)
-    print(f"  Persist dir: {test_persist}")
-    
-    # 3. Upsert
-    print("\n[3/4] Upserting documents...")
-    count = db.upsert_documents(nodes)
-    print(f"  Upserted: {count}")
-    print(f"  ChromaDB count: {db.count()}")
-    print(f"  Parent nodes stored: {len(db.parent_nodes)}")
-    
-    # Check file JSON
-    json_path = Path(test_persist) / "parent_nodes.json"
-    if json_path.exists():
-        print(f"  ✅ parent_nodes.json exists ({json_path.stat().st_size} bytes)")
-    else:
-        print(f"  ❌ parent_nodes.json NOT found!")
-    
-    # 4. Test retrieval
-    print("\n[4/4] Testing retrieval...")
-    from core.embeddings.retrival import Retriever, RetrievalMode
-    
-    retriever = Retriever(vector_db=db, use_reranker=False)
-    
-    test_query = "TOEIC Nghe 350 điểm tương đương bậc mấy?"
-    print(f"  Query: {test_query}")
-    
-    results = retriever.vector_search(test_query, k=3)
-    
-    for i, r in enumerate(results, 1):
-        meta = r.get("metadata", {})
-        content = r.get("content", "")[:200]
-        
-        print(f"\n  [{i}]")
-        print(f"    is_table_summary: {meta.get('is_table_summary', False)}")
-        print(f"    swapped_from_summary: {meta.get('swapped_from_summary', False)}")
-        print(f"    source: {meta.get('source_file', 'N/A')}")
-        print(f"    content: {content}...")
-    
-    print("\n" + "=" * 60)
-    print("TEST COMPLETE")
-    print("=" * 60)
-    
-    # Cleanup prompt
-    print(f"\nTo cleanup test data: rm -rf {test_persist}")
-
-
-if __name__ == "__main__":
-    main()

scripts/update_files.py

@@ -1,226 +0,0 @@
-"""
-Script cập nhật các file cụ thể trong ChromaDB mà không cần rebuild toàn bộ.
-
-Usage:
-    # Cập nhật một file cụ thể
-    python scripts/update_files.py --files "data/data_process/quyet_dinh/tieng_anh/QD_ngoai_ngu_tu_K68_CQ_final.md"
-    
-    # Cập nhật nhiều files
-    python scripts/update_files.py --files "file1.md" "file2.md" "file3.md"
-    
-    # Cập nhật tất cả files trong một thư mục
-    python scripts/update_files.py --dir "data/data_process/quyet_dinh/tieng_anh"
-    
-    # Chỉ xóa (không re-ingest)
-    python scripts/update_files.py --files "file.md" --delete-only
-    
-    # Dry-run để xem sẽ làm gì
-    python scripts/update_files.py --files "file.md" --dry-run
-"""
-
-import sys
-import argparse
-from pathlib import Path
-from dotenv import find_dotenv, load_dotenv
-
-load_dotenv(find_dotenv(usecwd=True))
-
-REPO_ROOT = Path(__file__).resolve().parents[1]
-if str(REPO_ROOT) not in sys.path:
-    sys.path.insert(0, str(REPO_ROOT))
-
-from core.embeddings.chunk import chunk_markdown_file
-from core.embeddings.embedding_model import EmbeddingConfig, QwenEmbeddings
-from core.embeddings.vector_store import ChromaConfig, ChromaVectorDB
-
-
-def get_docs_by_source_file(db: ChromaVectorDB, source_basename: str) -> list:
-    """Lấy tất cả documents thuộc về một source file."""
-    col = db.collection
-    if col is None:
-        return []
-    
-    # Query theo source_file (tên file trong metadata)
-    result = col.get(
-        where={"source_file": source_basename},
-        include=['documents', 'metadatas']
-    )
-    
-    docs = []
-    ids = result.get('ids', [])
-    for i, doc_id in enumerate(ids):
-        docs.append({
-            'id': doc_id,
-            'content': result['documents'][i] if result.get('documents') else '',
-            'metadata': result['metadatas'][i] if result.get('metadatas') else {},
-        })
-    
-    # Nếu không tìm thấy, thử theo source_file (path đầy đủ)
-    if not docs:
-        # Lấy tất cả và filter thủ công
-        all_docs = db.get_all_documents(limit=10000)
-        for d in all_docs:
-            meta = d.get('metadata', {})
-            s_basename = meta.get('source_basename', '')
-            s_file = meta.get('source_file', '')
-            if source_basename in s_basename or source_basename in s_file:
-                docs.append(d)
-    
-    return docs
-
-
-def delete_file_from_db(db: ChromaVectorDB, source_basename: str, dry_run: bool = False) -> int:
-    """Xóa tất cả documents thuộc về một file."""
-    docs = get_docs_by_source_file(db, source_basename)
-    
-    if not docs:
-        print(f"Không tìm thấy documents cho: {source_basename}")
-        return 0
-    
-    ids_to_delete = [d['id'] for d in docs]
-    
-    if dry_run:
-        print(f"[DRY-RUN] Sẽ xóa {len(ids_to_delete)} documents cho: {source_basename}")
-        # Also check parent nodes
-        parent_count = sum(1 for key, node in db.parent_nodes.items() 
-                         if source_basename in node.get("metadata", {}).get("source_file", ""))
-        if parent_count > 0:
-            print(f"[DRY-RUN] Sẽ xóa {parent_count} parent nodes cho: {source_basename}")
-        return len(ids_to_delete)
-    
-    # Delete documents from ChromaDB
-    deleted = db.delete_documents(ids_to_delete)
-    print(f"Đã xóa {deleted} documents cho: {source_basename}")
-    
-    # Also delete parent nodes for this file
-    parent_deleted = db.delete_parent_nodes_by_source(source_basename)
-    if parent_deleted > 0:
-        print(f"Đã xóa {parent_deleted} parent nodes cho: {source_basename}")
-    
-    return deleted
-
-
-def ingest_file(db: ChromaVectorDB, file_path: Path, dry_run: bool = False) -> int:
-    if not file_path.exists():
-        print(f"File không tồn tại: {file_path}")
-        return 0
-    
-    docs = chunk_markdown_file(file_path)
-    
-    if not docs:
-        print(f"Không có chunks từ: {file_path.name}")
-        return 0
-    
-    if dry_run:
-        print(f"  [DRY-RUN] Sẽ thêm {len(docs)} chunks từ: {file_path.name}")
-        return len(docs)
-    
-    n = db.upsert_documents(docs)
-    print(f"  ✓ Đã thêm {n} chunks từ: {file_path.name}")
-    return n
-
-
-def update_file(db: ChromaVectorDB, file_path: Path, dry_run: bool = False, delete_only: bool = False) -> tuple:
-    source_basename = file_path.name
-    
-    print(f"\n Processing: {file_path}")
-    
-    # Bước 1: Xóa documents cũ
-    deleted = delete_file_from_db(db, source_basename, dry_run)
-    
-    # Bước 2: Thêm documents mới (nếu không chỉ xóa)
-    added = 0
-    if not delete_only:
-        added = ingest_file(db, file_path, dry_run)
-    
-    return deleted, added
-
-
-def main():
-    parser = argparse.ArgumentParser(description="Cập nhật files cụ thể trong ChromaDB")
-    parser.add_argument("--files", nargs="+", help="Danh sách files cần cập nhật")
-    parser.add_argument("--dir", help="Thư mục chứa các files cần cập nhật")
-    parser.add_argument("--dry-run", action="store_true", help="Chỉ hiển thị, không thực sự thay đổi")
-    parser.add_argument("--delete-only", action="store_true", help="Chỉ xóa, không thêm lại")
-    args = parser.parse_args()
-    
-    if not args.files and not args.dir:
-        parser.error("Phải chỉ định --files hoặc --dir")
-    
-    # Thu thập danh sách files
-    files_to_update = []
-    
-    if args.files:
-        for f in args.files:
-            file_path = REPO_ROOT / f
-            if file_path.exists():
-                files_to_update.append(file_path)
-            else:
-                print(f" File không tồn tại: {f}")
-    
-    if args.dir:
-        dir_path = REPO_ROOT / args.dir
-        if dir_path.exists() and dir_path.is_dir():
-            files_to_update.extend(sorted(dir_path.glob("*.md")))
-        else:
-            print(f"Thư mục không tồn tại: {args.dir}")
-    
-    if not files_to_update:
-        print(" Không có files nào để xử lý!")
-        return
-    
-    print("=" * 60)
-    print("CẬP NHẬT FILES TRONG CHROMADB")
-    if args.dry_run:
-        print("🔍 MODE: DRY-RUN (chỉ xem, không thay đổi)")
-    if args.delete_only:
-        print("🗑️ MODE: DELETE-ONLY (chỉ xóa)")
-    print("=" * 60)
-    
-    print(f"\n📋 Files sẽ xử lý ({len(files_to_update)}):")
-    for f in files_to_update:
-        print(f"   - {f.name}")
-    
-    # Khởi tạo embedder và database
-    print("\n[1/3] Khởi tạo embedder...")
-    emb_cfg = EmbeddingConfig()
-    emb = QwenEmbeddings(emb_cfg)
-    print(f"  ✓ Model: {emb_cfg.model}")
-    
-    print("\n[2/3] Kết nối ChromaDB...")
-    db_cfg = ChromaConfig()
-    db = ChromaVectorDB(embedder=emb, config=db_cfg)
-    old_count = db.count()
-    print(f"  ✓ Collection: {db_cfg.collection_name}")
-    print(f"  ✓ Current docs: {old_count}")
-    
-    # Xử lý từng file
-    print("\n[3/3] Xử lý files...")
-    total_deleted = 0
-    total_added = 0
-    
-    for file_path in files_to_update:
-        deleted, added = update_file(db, file_path, args.dry_run, args.delete_only)
-        total_deleted += deleted
-        total_added += added
-    
-    # Kết quả
-    new_count = db.count()
-    
-    print("\n" + "=" * 60)
-    print(" KẾT QUẢ:")
-    print(f"   Files đã xử lý: {len(files_to_update)}")
-    print(f"   Documents đã xóa: {total_deleted}")
-    print(f"   Documents đã thêm: {total_added}")
-    print(f"   DB count trước: {old_count}")
-    print(f"   DB count sau: {new_count}")
-    print(f"   Delta: {new_count - old_count:+d}")
-    print("=" * 60)
-    
-    if args.dry_run:
-        print("\n Đây là DRY-RUN - không có thay đổi thực sự!")
-        print("   Chạy lại không có --dry-run để thực hiện.")
-
-
-if __name__ == "__main__":
-    main()

scripts/verify_file.py

@@ -1,101 +0,0 @@
-"""
-Script kiểm tra documents của một file cụ thể trong ChromaDB.
-
-Usage:
-    python scripts/verify_file.py --file "QD_ngoai_ngu_tu_K68_CQ_final.md"
-"""
-
-import sys
-from pathlib import Path
-from dotenv import find_dotenv, load_dotenv
-
-load_dotenv(find_dotenv(usecwd=True))
-
-REPO_ROOT = Path(__file__).resolve().parents[1]
-if str(REPO_ROOT) not in sys.path:
-    sys.path.insert(0, str(REPO_ROOT))
-
-from core.embeddings.embedding_model import EmbeddingConfig, QwenEmbeddings
-from core.embeddings.vector_store import ChromaConfig, ChromaVectorDB
-
-
-def verify_file(source_basename: str):
-    """Kiểm tra documents của một file trong database."""
-    
-    print("=" * 60)
-    print(f"VERIFY FILE: {source_basename}")
-    print("=" * 60)
-    
-    # Khởi tạo
-    emb_cfg = EmbeddingConfig()
-    emb = QwenEmbeddings(emb_cfg)
-    db_cfg = ChromaConfig()
-    db = ChromaVectorDB(embedder=emb, config=db_cfg)
-    
-    print(f"\nTotal docs in DB: {db.count()}")
-    
-    # Query theo source_file (tên file)
-    col = db.collection
-    result = col.get(
-        where={"source_file": source_basename},
-        include=['documents', 'metadatas']
-    )
-    
-    ids = result.get('ids', [])
-    docs = result.get('documents', [])
-    metas = result.get('metadatas', [])
-    
-    print(f"\nDocuments for '{source_basename}': {len(ids)}")
-    
-    if not ids:
-        print("  (Không tìm thấy documents)")
-        return
-    
-    print("\n" + "-" * 60)
-    print("SAMPLE METADATA (first 3 docs):")
-    print("-" * 60)
-    
-    for i, meta in enumerate(metas[:3]):
-        print(f"\n[Doc {i+1}] ID: {ids[i][:20]}...")
-        for key, value in meta.items():
-            # Truncate long values
-            val_str = str(value)
-            if len(val_str) > 80:
-                val_str = val_str[:80] + "..."
-            print(f"  {key}: {val_str}")
-    
-    # Thống kê metadata
-    print("\n" + "-" * 60)
-    print("METADATA STATS:")
-    print("-" * 60)
-    
-    titles = set()
-    cohorts = set()
-    doc_types = set()
-    
-    for meta in metas:
-        if meta.get('title'):
-            titles.add(meta.get('title'))
-        if meta.get('applicable_cohorts'):
-            cohorts.add(meta.get('applicable_cohorts'))
-        if meta.get('document_type'):
-            doc_types.add(meta.get('document_type'))
-    
-    print(f"  Unique titles: {titles}")
-    print(f"  Cohorts: {cohorts}")
-    print(f"  Doc types: {doc_types}")
-    
-    print("\n" + "=" * 60)
-
-
-def main():
-    import argparse
-    parser = argparse.ArgumentParser()
-    parser.add_argument("--file", required=True, help="Tên file cần verify (source_basename)")
-    args = parser.parse_args()
-    
-    verify_file(args.file)
-
-
-if __name__ == "__main__":
-    main()

test/llama.py

@@ -1,42 +0,0 @@
-import os
-from llama_parse import LlamaParse, ResultType
-from dotenv import load_dotenv
-
-load_dotenv()
-
-def test_llamaparse(file_path: str):
-    parser = LlamaParse(
-        result_type=ResultType.MD,  # Định dạng Markdown giúp giữ cấu trúc bảng cực tốt
-        num_workers=4,           # Chạy song song để tăng tốc
-        verbose=True,
-        language="vi"            # Cấu hình ngôn ngữ tiếng Việt
-    )
-
-    print(f"--- Đang bắt đầu xử lý file: {file_path} ---")
-    
-    # Thực hiện trích xuất dữ liệu
-    documents = parser.load_data(file_path)
-
-    if documents:
-        # In thử 1000 ký tự đầu tiên để kiểm tra
-        print("\n--- Kết quả trích xuất mẫu ---")
-        print(documents[0].text[:1000])
-
-        # Lưu kết quả ra file .md để bạn xem cấu trúc bảng có bị lệch không
-        output_name = "data/parsed_llama_result.md"
-        with open(output_name, "w", encoding="utf-8") as f:
-            for doc in documents:
-                f.write(doc.text + "\n\n")
-        print(f"\n--- Đã lưu toàn bộ nội dung vào: {output_name} ---")
-    else:
-        print("Lỗi: Không tìm thấy nội dung trong file.")
-
-if __name__ == "__main__":
-    # Thay đường dẫn đến file PDF quy chế của bạn vào đây
-    PATH_TO_PDF = "data/data_raw/quyet_dinh/quy-dinh-chuan-ngoai-ngu-2021.pdf" 
-    
-    api_key = os.getenv("LLAMA_CLOUD_API_KEY")
-    if not api_key:
-        print("Lỗi: Bạn chưa cấu hình LLAMA_CLOUD_API_KEY trong file .env")
-    else:
-        test_llamaparse(PATH_TO_PDF)

test/test_small_to_big.py

@@ -17,7 +17,7 @@ def test_chunk_with_summary():
     """Test chunking a file with tables to verify summary generation."""
     
     # Use the K70 English requirements file which has many tables
-    test_file = REPO_ROOT / "data/data_process/quyet_dinh/tieng_anh/06_ Quy định ngoại ngữ từ K70_chính quy_final.md"
+    test_file = REPO_ROOT / "data/data_process/chuong_trinh_dao_tao/1.1. Kỹ thuật Cơ điện tử.md"
     
     if not test_file.exists():
         print(f"❌ Test file not found: {test_file}")
@@ -96,11 +96,22 @@ def export_to_markdown(nodes, output_path: Path, source_name: str):
         parent = parent_map.get(parent_id)
         meta = node.metadata
         
-        lines.append(f"### Summary #{i}")
+        # Build table identifier for title
+        table_num = meta.get('table_number', '')
+        table_title = meta.get('table_title', '')
+        title_suffix = ""
+        if table_num:
+            title_suffix = f" (Bảng {table_num})"
+        
+        lines.append(f"### Summary #{i}{title_suffix}")
         lines.append(f"")
         lines.append(f"**Metadata:**")
         lines.append(f"- is_table_summary: True")
         lines.append(f"- parent_id: `{parent_id}`")
+        if table_num:
+            lines.append(f"- table_number: {table_num}")
+        if table_title:
+            lines.append(f"- table_title: {table_title}")
         if meta.get("source_file"):
             lines.append(f"- source_file: {meta.get('source_file')}")
         if meta.get("applicable_cohorts"):
@@ -121,6 +132,7 @@ def export_to_markdown(nodes, output_path: Path, source_name: str):
         
         lines.append(f"---")
         lines.append(f"")
+
     
     # Small tables (embedded directly)
     if table_nodes:
@@ -129,10 +141,20 @@ def export_to_markdown(nodes, output_path: Path, source_name: str):
         
         for i, node in enumerate(table_nodes, 1):
             meta = node.metadata
-            lines.append(f"### Small Table #{i}")
+            table_num = meta.get('table_number', '')
+            table_title = meta.get('table_title', '')
+            title_suffix = ""
+            if table_num:
+                title_suffix = f" (Bảng {table_num})"
+            
+            lines.append(f"### Small Table #{i}{title_suffix}")
             lines.append(f"")
             lines.append(f"**Metadata:**")
             lines.append(f"- is_table: True")
+            if table_num:
+                lines.append(f"- table_number: {table_num}")
+            if table_title:
+                lines.append(f"- table_title: {table_title}")
             if meta.get("table_part"):
                 lines.append(f"- table_part: {meta.get('table_part')}")
             if meta.get("source_file"):
@@ -148,6 +170,7 @@ def export_to_markdown(nodes, output_path: Path, source_name: str):
             lines.append(f"")
             lines.append(f"---")
             lines.append(f"")
+
     
     # Text nodes
     lines.append("## 📄 Text Nodes")