File size: 6,813 Bytes
34b531b | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 | {
"note": "Manual golden-set draft for strict retrieval evaluation. Review expected_chunks before treating this as canonical ground truth.",
"cases": [
{
"id": "gt_current_price_volume_hpg_001",
"category": "giá hiện tại / khối lượng",
"question": "Giá hiện tại và khối lượng giao dịch mới nhất của HPG là bao nhiêu?",
"ticker": "HPG",
"expected_chunks": [
{
"ticker": "HPG",
"modality": "table",
"source_path_contains": "stock_overview_timeseries.csv",
"text_contains_any": ["price", "volume", "HPG", "KL:"]
}
],
"expected_answer_keywords": ["giá", "khối lượng", "HPG"],
"expected_source_keywords": ["stock_overview_timeseries.csv"]
},
{
"id": "gt_quick_summary_fpt_001",
"category": "tóm tắt nhanh cổ phiếu",
"question": "Tóm tắt nhanh cổ phiếu FPT hiện tại, gồm giá, thanh khoản và điểm nổi bật.",
"ticker": "FPT",
"expected_chunks": [
{
"ticker": "FPT",
"modality": "table",
"source_path_contains": "stock_overview_timeseries.csv",
"text_contains_any": ["FPT", "price", "volume"]
},
{
"ticker": "FPT",
"source_path_contains": "analysis_report",
"text_contains_any": ["FPT", "KHUYẾN NGHỊ", "Giá mục tiêu", "LUẬN ĐIỂM ĐẦU TƯ"]
}
],
"expected_answer_keywords": ["giá", "thanh khoản", "FPT"],
"expected_source_keywords": ["stock_overview_timeseries.csv", "analysis_report"]
},
{
"id": "gt_investment_thesis_fpt_001",
"category": "luận điểm đầu tư",
"question": "Các luận điểm đầu tư nổi bật của FPT trong báo cáo phân tích là gì?",
"ticker": "FPT",
"expected_chunks": [
{
"ticker": "FPT",
"modality": "pdf",
"source_path_contains": "analysis_report_pdf",
"text_contains_any": ["LUẬN ĐIỂM ĐẦU TƯ", "MUA", "Giá mục tiêu", "hợp đồng ký mới"]
}
],
"expected_answer_keywords": ["luận điểm", "MUA", "giá mục tiêu"],
"expected_source_keywords": ["analysis_report_pdf"]
},
{
"id": "gt_risk_vcb_001",
"category": "rủi ro",
"question": "VCB đang có những rủi ro hoặc điểm cần theo dõi nào trong các báo cáo gần đây?",
"ticker": "VCB",
"expected_chunks": [
{
"ticker": "VCB",
"modality": "pdf",
"source_path_contains": "analysis_report_pdf",
"text_contains_any": ["rủi ro", "nợ xấu", "NIM", "tín dụng", "chi phí dự phòng"]
}
],
"expected_answer_keywords": ["rủi ro", "VCB"],
"expected_source_keywords": ["analysis_report_pdf"]
},
{
"id": "gt_recent_news_hpg_001",
"category": "tin tức gần đây",
"question": "Tin tức gần đây của HPG có nội dung gì đáng chú ý?",
"ticker": "HPG",
"expected_chunks": [
{
"ticker": "HPG",
"modality": "text",
"source_path_contains": "ticker_news",
"text_contains_any": ["HPG", "tin", "ngày", "cổ phiếu"]
},
{
"ticker": "HPG",
"modality": "text",
"source_path_contains": "ticker_news_events",
"text_contains_any": ["HPG", "Tin tức", "Sự kiện"]
}
],
"expected_answer_keywords": ["tin tức", "HPG"],
"expected_source_keywords": ["ticker_news"]
},
{
"id": "gt_analysis_report_hpg_001",
"category": "báo cáo phân tích",
"question": "Báo cáo phân tích gần đây đang khuyến nghị gì cho HPG và giá mục tiêu là bao nhiêu?",
"ticker": "HPG",
"expected_chunks": [
{
"ticker": "HPG",
"source_path_contains": "analysis_report",
"text_contains_any": ["HPG", "Khuyến nghị", "giá mục tiêu"]
},
{
"ticker": "HPG",
"modality": "pdf",
"source_path_contains": "analysis_report_pdf",
"text_contains_any": ["HPG", "giá mục tiêu", "khuyến nghị"]
}
],
"expected_answer_keywords": ["khuyến nghị", "giá mục tiêu", "HPG"],
"expected_source_keywords": ["analysis_report"]
},
{
"id": "gt_world_market_001",
"category": "world market",
"question": "Thị trường thế giới hiện có diễn biến gì đáng chú ý về Dow Jones, Nasdaq, Bitcoin và vàng?",
"ticker": null,
"expected_chunks": [
{
"scope": "market",
"modality": "text",
"source_path_contains": "world_market",
"text_contains_any": ["Dow Jones", "Nasdaq", "Bitcoin", "Gold", "Chứng khoán thế giới"]
}
],
"expected_answer_keywords": ["Dow Jones", "Nasdaq", "Bitcoin", "vàng"],
"expected_source_keywords": ["world_market"]
},
{
"id": "gt_compare_hpg_fpt_vcb_001",
"category": "so sánh HPG/FPT/VCB",
"question": "So sánh nhanh HPG, FPT và VCB về giá hiện tại, thanh khoản và điểm nổi bật.",
"ticker": null,
"expected_chunks": [
{
"ticker": "HPG",
"modality": "table",
"source_path_contains": "stock_overview_timeseries.csv",
"text_contains_any": ["HPG", "price", "volume"]
},
{
"ticker": "FPT",
"modality": "table",
"source_path_contains": "stock_overview_timeseries.csv",
"text_contains_any": ["FPT", "price", "volume"]
},
{
"ticker": "VCB",
"modality": "table",
"source_path_contains": "stock_overview_timeseries.csv",
"text_contains_any": ["VCB", "price", "volume"]
}
],
"expected_answer_keywords": ["HPG", "FPT", "VCB", "giá", "thanh khoản"],
"expected_source_keywords": ["stock_overview_timeseries.csv"]
},
{
"id": "gt_specific_number_fpt_001",
"category": "câu hỏi số liệu cụ thể",
"question": "Theo báo cáo phân tích FPT, giá mục tiêu và upside được nêu là bao nhiêu?",
"ticker": "FPT",
"expected_chunks": [
{
"ticker": "FPT",
"modality": "pdf",
"source_path_contains": "analysis_report_pdf",
"text_contains_any": ["Giá mục tiêu: 90,600", "Upside:+24%", "KHUYẾN NGHỊ: MUA"]
}
],
"expected_answer_keywords": ["90,600", "+24%", "MUA"],
"expected_source_keywords": ["analysis_report_pdf"],
"expected_numbers": [90600, 24]
}
]
}
|