tests/react_comparison_report.md

LocalMate Agent Comprehensive Test Report

Generated: 2025-12-20 06:39:19
Provider: Google
Model: gemini-2.5-flash

---

Summary

Metric	Single Mode	ReAct Mode
Success Rate	5/5	5/5
Avg Duration	11740ms	3264ms
Unique Tools	3	3

Tools Covered

Tool	Single Mode	ReAct Mode
retrieve_context_text	✅	✅
find_nearby_places	✅	✅
search_social_media	✅	❌
No tools (greeting)	✅	✅

---

Test Results

ID	Description	Single Tools	ReAct Tools	Match
1	Greeting - No tools expected	∅ (none)	∅ (none)	✅ Match/✅ Match
2	Text search - Semantic search	retrieve_context_text	retrieve_context_text	✅ Match/✅ Match
3	Location search - Neo4j spatia	find_nearby_places	get_location_coordinates, find_nearby_places	✅ Match/⚠️ Extra tools
4	Social search - Brave API news	search_social_media	∅ (none)	✅ Match/❌ Mismatch
5	Complex query - Multiple tools	find_nearby_places, retrieve_context_text	∅ (none)	✅ Match/❌ Mismatch

---

Detailed Results

Test 1: Greeting - No tools expected

Query: xin chào
Expected Tools: No tools (greeting detection)

Mode	Status	Duration	Tools Used	Places
Single	✅	2855ms	None	0
ReAct	✅	1598ms	None	0

Single Response: Chào bạn! Mình là LocalMate, rất vui được hỗ trợ bạn khám phá Đà Nẵng. 😊...

ReAct Response: Chào bạn! Mình là trợ lý du lịch thông minh của Đà Nẵng, rất vui được hỗ trợ bạn. Bạn đang muốn tìm kiếm thông tin gì về Đà Nẵng ạ? Hãy cho mình biết ...

---

Test 2: Text search - Semantic search in reviews

Query: Quán cafe view đẹp ở Đà Nẵng
Expected Tools: retrieve_context_text

Mode	Status	Duration	Tools Used	Places
Single	✅	14155ms	retrieve_context_text	3
ReAct	✅	5694ms	retrieve_context_text	2

Single Response: Chào bạn! Với yêu cầu tìm quán cà phê view đẹp ở Đà Nẵng, mình có một vài gợi ý tuyệt vời dành cho bạn đây:

1. Nhớ Một Người: Quán này có rating...

ReAct Response: Chào bạn! Mình đã tìm thấy một vài quán cà phê có thể có "view đẹp" ở Đà Nẵng để bạn tham khảo đây:

1. FIRGUN CORNER COFFEE: Với rating 4.5/5, ...

---

Test 3: Location search - Neo4j spatial query

Query: Nhà hàng gần Cầu Rồng
Expected Tools: find_nearby_places

Mode	Status	Duration	Tools Used	Places
Single	✅	19588ms	find_nearby_places	3
ReAct	✅	7989ms	get_location_coordinates, find_nearby_places	3

Single Response: Chào bạn! Mình đã tìm thấy một vài nhà hàng ngon gần Cầu Rồng cho bạn đây:

1. Cơm Gà Lan: Nổi tiếng với các món cơm gà, quán này có rating khá c...

ReAct Response: Chào bạn! Gần Cầu Rồng có khá nhiều nhà hàng ngon để bạn lựa chọn đây:

1. Pizza 4P's Hoang Van Thu: Quán pizza nổi tiếng này chỉ cách Cầu Rồng k...

---

Test 4: Social search - Brave API news/trends

Query: Review quán ăn hot trên tiktok Đà Nẵng
Expected Tools: search_social_media

Mode	Status	Duration	Tools Used	Places
Single	✅	7301ms	search_social_media	0
ReAct	✅	507ms	None	0

Single Response: Chào bạn! Hiện tại mình chưa có thông tin cụ thể về các quán ăn đang hot trên TikTok ở Đà Nẵng ngay lúc này. Bạn có muốn mình thử tìm kiếm các quán ăn...

ReAct Response: Xin lỗi, đã xảy ra lỗi: 429 RESOURCE_EXHAUSTED. {'error': {'code': 429, 'message': 'You exceeded your current quota, please check your plan and billin...

---

Test 5: Complex query - Multiple tools (ReAct advantage)

Query: Quán cafe không gian đẹp gần biển Mỹ Khê có review tốt
Expected Tools: Multiple tools

Mode	Status	Duration	Tools Used	Places
Single	✅	14802ms	find_nearby_places, retrieve_context_text	3
ReAct	✅	531ms	None	0

Single Response: Chào bạn! Mình đã tìm thấy một vài quán cà phê có không gian đẹp và được đánh giá tốt, lại còn gần biển Mỹ Khê nữa đây:

1. VUN: Quán này chỉ các...

ReAct Response: Xin lỗi, đã xảy ra lỗi: 429 RESOURCE_EXHAUSTED. {'error': {'code': 429, 'message': 'You exceeded your current quota, please check your plan and billin...

---

Verdict

Criteria	Single Mode	ReAct Mode
All tests passed	✅	✅
All 3 search tools covered	✅	❌
Greeting detection works	✅	✅

Overall: 🎉 ALL TESTS PASSED!