| { |
| "note": "Manual golden-set draft for strict retrieval evaluation. Review expected_chunks before treating this as canonical ground truth.", |
| "cases": [ |
| { |
| "id": "gt_current_price_volume_hpg_001", |
| "category": "giá hiện tại / khối lượng", |
| "question": "Giá hiện tại và khối lượng giao dịch mới nhất của HPG là bao nhiêu?", |
| "ticker": "HPG", |
| "expected_chunks": [ |
| { |
| "ticker": "HPG", |
| "modality": "table", |
| "source_path_contains": "stock_overview_timeseries.csv", |
| "text_contains_any": ["price", "volume", "HPG", "KL:"] |
| } |
| ], |
| "expected_answer_keywords": ["giá", "khối lượng", "HPG"], |
| "expected_source_keywords": ["stock_overview_timeseries.csv"] |
| }, |
| { |
| "id": "gt_quick_summary_fpt_001", |
| "category": "tóm tắt nhanh cổ phiếu", |
| "question": "Tóm tắt nhanh cổ phiếu FPT hiện tại, gồm giá, thanh khoản và điểm nổi bật.", |
| "ticker": "FPT", |
| "expected_chunks": [ |
| { |
| "ticker": "FPT", |
| "modality": "table", |
| "source_path_contains": "stock_overview_timeseries.csv", |
| "text_contains_any": ["FPT", "price", "volume"] |
| }, |
| { |
| "ticker": "FPT", |
| "source_path_contains": "analysis_report", |
| "text_contains_any": ["FPT", "KHUYẾN NGHỊ", "Giá mục tiêu", "LUẬN ĐIỂM ĐẦU TƯ"] |
| } |
| ], |
| "expected_answer_keywords": ["giá", "thanh khoản", "FPT"], |
| "expected_source_keywords": ["stock_overview_timeseries.csv", "analysis_report"] |
| }, |
| { |
| "id": "gt_investment_thesis_fpt_001", |
| "category": "luận điểm đầu tư", |
| "question": "Các luận điểm đầu tư nổi bật của FPT trong báo cáo phân tích là gì?", |
| "ticker": "FPT", |
| "expected_chunks": [ |
| { |
| "ticker": "FPT", |
| "modality": "pdf", |
| "source_path_contains": "analysis_report_pdf", |
| "text_contains_any": ["LUẬN ĐIỂM ĐẦU TƯ", "MUA", "Giá mục tiêu", "hợp đồng ký mới"] |
| } |
| ], |
| "expected_answer_keywords": ["luận điểm", "MUA", "giá mục tiêu"], |
| "expected_source_keywords": ["analysis_report_pdf"] |
| }, |
| { |
| "id": "gt_risk_vcb_001", |
| "category": "rủi ro", |
| "question": "VCB đang có những rủi ro hoặc điểm cần theo dõi nào trong các báo cáo gần đây?", |
| "ticker": "VCB", |
| "expected_chunks": [ |
| { |
| "ticker": "VCB", |
| "modality": "pdf", |
| "source_path_contains": "analysis_report_pdf", |
| "text_contains_any": ["rủi ro", "nợ xấu", "NIM", "tín dụng", "chi phí dự phòng"] |
| } |
| ], |
| "expected_answer_keywords": ["rủi ro", "VCB"], |
| "expected_source_keywords": ["analysis_report_pdf"] |
| }, |
| { |
| "id": "gt_recent_news_hpg_001", |
| "category": "tin tức gần đây", |
| "question": "Tin tức gần đây của HPG có nội dung gì đáng chú ý?", |
| "ticker": "HPG", |
| "expected_chunks": [ |
| { |
| "ticker": "HPG", |
| "modality": "text", |
| "source_path_contains": "ticker_news", |
| "text_contains_any": ["HPG", "tin", "ngày", "cổ phiếu"] |
| }, |
| { |
| "ticker": "HPG", |
| "modality": "text", |
| "source_path_contains": "ticker_news_events", |
| "text_contains_any": ["HPG", "Tin tức", "Sự kiện"] |
| } |
| ], |
| "expected_answer_keywords": ["tin tức", "HPG"], |
| "expected_source_keywords": ["ticker_news"] |
| }, |
| { |
| "id": "gt_analysis_report_hpg_001", |
| "category": "báo cáo phân tích", |
| "question": "Báo cáo phân tích gần đây đang khuyến nghị gì cho HPG và giá mục tiêu là bao nhiêu?", |
| "ticker": "HPG", |
| "expected_chunks": [ |
| { |
| "ticker": "HPG", |
| "source_path_contains": "analysis_report", |
| "text_contains_any": ["HPG", "Khuyến nghị", "giá mục tiêu"] |
| }, |
| { |
| "ticker": "HPG", |
| "modality": "pdf", |
| "source_path_contains": "analysis_report_pdf", |
| "text_contains_any": ["HPG", "giá mục tiêu", "khuyến nghị"] |
| } |
| ], |
| "expected_answer_keywords": ["khuyến nghị", "giá mục tiêu", "HPG"], |
| "expected_source_keywords": ["analysis_report"] |
| }, |
| { |
| "id": "gt_world_market_001", |
| "category": "world market", |
| "question": "Thị trường thế giới hiện có diễn biến gì đáng chú ý về Dow Jones, Nasdaq, Bitcoin và vàng?", |
| "ticker": null, |
| "expected_chunks": [ |
| { |
| "scope": "market", |
| "modality": "text", |
| "source_path_contains": "world_market", |
| "text_contains_any": ["Dow Jones", "Nasdaq", "Bitcoin", "Gold", "Chứng khoán thế giới"] |
| } |
| ], |
| "expected_answer_keywords": ["Dow Jones", "Nasdaq", "Bitcoin", "vàng"], |
| "expected_source_keywords": ["world_market"] |
| }, |
| { |
| "id": "gt_compare_hpg_fpt_vcb_001", |
| "category": "so sánh HPG/FPT/VCB", |
| "question": "So sánh nhanh HPG, FPT và VCB về giá hiện tại, thanh khoản và điểm nổi bật.", |
| "ticker": null, |
| "expected_chunks": [ |
| { |
| "ticker": "HPG", |
| "modality": "table", |
| "source_path_contains": "stock_overview_timeseries.csv", |
| "text_contains_any": ["HPG", "price", "volume"] |
| }, |
| { |
| "ticker": "FPT", |
| "modality": "table", |
| "source_path_contains": "stock_overview_timeseries.csv", |
| "text_contains_any": ["FPT", "price", "volume"] |
| }, |
| { |
| "ticker": "VCB", |
| "modality": "table", |
| "source_path_contains": "stock_overview_timeseries.csv", |
| "text_contains_any": ["VCB", "price", "volume"] |
| } |
| ], |
| "expected_answer_keywords": ["HPG", "FPT", "VCB", "giá", "thanh khoản"], |
| "expected_source_keywords": ["stock_overview_timeseries.csv"] |
| }, |
| { |
| "id": "gt_specific_number_fpt_001", |
| "category": "câu hỏi số liệu cụ thể", |
| "question": "Theo báo cáo phân tích FPT, giá mục tiêu và upside được nêu là bao nhiêu?", |
| "ticker": "FPT", |
| "expected_chunks": [ |
| { |
| "ticker": "FPT", |
| "modality": "pdf", |
| "source_path_contains": "analysis_report_pdf", |
| "text_contains_any": ["Giá mục tiêu: 90,600", "Upside:+24%", "KHUYẾN NGHỊ: MUA"] |
| } |
| ], |
| "expected_answer_keywords": ["90,600", "+24%", "MUA"], |
| "expected_source_keywords": ["analysis_report_pdf"], |
| "expected_numbers": [90600, 24] |
| } |
| ] |
| } |
|
|
