tests/react_comparison_report.md

# LocalMate Agent Comprehensive Test Report

**Generated:** 2025-12-20 06:39:19  
**Provider:** Google  
**Model:** gemini-2.5-flash

---

## Summary

| Metric | Single Mode | ReAct Mode |
|--------|:-----------:|:----------:|
| Success Rate | 5/5 | 5/5 |
| Avg Duration | 11740ms | 3264ms |
| Unique Tools | 3 | 3 |

### Tools Covered

| Tool | Single Mode | ReAct Mode |
|------|:-----------:|:----------:|
| `retrieve_context_text` | ✅ | ✅ |
| `find_nearby_places` | ✅ | ✅ |
| `search_social_media` | ✅ | ❌ |
| No tools (greeting) | ✅ | ✅ |

---

## Test Results

| ID | Description | Single Tools | ReAct Tools | Match |
|----|-------------|--------------|-------------|-------|
| 1 | Greeting - No tools expected | ∅ (none) | ∅ (none) | ✅ Match/✅ Match |
| 2 | Text search - Semantic search  | retrieve_context_text | retrieve_context_text | ✅ Match/✅ Match |
| 3 | Location search - Neo4j spatia | find_nearby_places | get_location_coordinates, find_nearby_places | ✅ Match/⚠️ Extra tools |
| 4 | Social search - Brave API news | search_social_media | ∅ (none) | ✅ Match/❌ Mismatch |
| 5 | Complex query - Multiple tools | find_nearby_places, retrieve_context_text | ∅ (none) | ✅ Match/❌ Mismatch |

---

## Detailed Results

### Test 1: Greeting - No tools expected

**Query:** `xin chào`  
**Expected Tools:** No tools (greeting detection)

| Mode | Status | Duration | Tools Used | Places |
|------|--------|----------|------------|--------|
| Single | ✅ | 2855ms | None | 0 |
| ReAct | ✅ | 1598ms | None | 0 |

**Single Response:** Chào bạn! Mình là LocalMate, rất vui được hỗ trợ bạn khám phá Đà Nẵng. 😊...

**ReAct Response:** Chào bạn! Mình là trợ lý du lịch thông minh của Đà Nẵng, rất vui được hỗ trợ bạn. Bạn đang muốn tìm kiếm thông tin gì về Đà Nẵng ạ? Hãy cho mình biết ...

---

### Test 2: Text search - Semantic search in reviews

**Query:** `Quán cafe view đẹp ở Đà Nẵng`  
**Expected Tools:** retrieve_context_text

| Mode | Status | Duration | Tools Used | Places |
|------|--------|----------|------------|--------|
| Single | ✅ | 14155ms | retrieve_context_text | 3 |
| ReAct | ✅ | 5694ms | retrieve_context_text | 2 |

**Single Response:** Chào bạn! Với yêu cầu tìm quán cà phê view đẹp ở Đà Nẵng, mình có một vài gợi ý tuyệt vời dành cho bạn đây:

1.  **Nhớ Một Người**: Quán này có rating...

**ReAct Response:** Chào bạn! Mình đã tìm thấy một vài quán cà phê có thể có "view đẹp" ở Đà Nẵng để bạn tham khảo đây: 

1.  **FIRGUN CORNER COFFEE**: Với rating 4.5/5, ...

---

### Test 3: Location search - Neo4j spatial query

**Query:** `Nhà hàng gần Cầu Rồng`  
**Expected Tools:** find_nearby_places

| Mode | Status | Duration | Tools Used | Places |
|------|--------|----------|------------|--------|
| Single | ✅ | 19588ms | find_nearby_places | 3 |
| ReAct | ✅ | 7989ms | get_location_coordinates, find_nearby_places | 3 |

**Single Response:** Chào bạn! Mình đã tìm thấy một vài nhà hàng ngon gần Cầu Rồng cho bạn đây:

1.  **Cơm Gà Lan**: Nổi tiếng với các món cơm gà, quán này có rating khá c...

**ReAct Response:** Chào bạn! Gần Cầu Rồng có khá nhiều nhà hàng ngon để bạn lựa chọn đây:

1.  **Pizza 4P's Hoang Van Thu**: Quán pizza nổi tiếng này chỉ cách Cầu Rồng k...

---

### Test 4: Social search - Brave API news/trends

**Query:** `Review quán ăn hot trên tiktok Đà Nẵng`  
**Expected Tools:** search_social_media

| Mode | Status | Duration | Tools Used | Places |
|------|--------|----------|------------|--------|
| Single | ✅ | 7301ms | search_social_media | 0 |
| ReAct | ✅ | 507ms | None | 0 |

**Single Response:** Chào bạn! Hiện tại mình chưa có thông tin cụ thể về các quán ăn đang hot trên TikTok ở Đà Nẵng ngay lúc này. Bạn có muốn mình thử tìm kiếm các quán ăn...

**ReAct Response:** Xin lỗi, đã xảy ra lỗi: 429 RESOURCE_EXHAUSTED. {'error': {'code': 429, 'message': 'You exceeded your current quota, please check your plan and billin...

---

### Test 5: Complex query - Multiple tools (ReAct advantage)

**Query:** `Quán cafe không gian đẹp gần biển Mỹ Khê có review tốt`  
**Expected Tools:** Multiple tools

| Mode | Status | Duration | Tools Used | Places |
|------|--------|----------|------------|--------|
| Single | ✅ | 14802ms | find_nearby_places, retrieve_context_text | 3 |
| ReAct | ✅ | 531ms | None | 0 |

**Single Response:** Chào bạn! Mình đã tìm thấy một vài quán cà phê có không gian đẹp và được đánh giá tốt, lại còn gần biển Mỹ Khê nữa đây:

1.  **VUN**: Quán này chỉ các...

**ReAct Response:** Xin lỗi, đã xảy ra lỗi: 429 RESOURCE_EXHAUSTED. {'error': {'code': 429, 'message': 'You exceeded your current quota, please check your plan and billin...

---

## Verdict

| Criteria | Single Mode | ReAct Mode |
|----------|:-----------:|:----------:|
| All tests passed | ✅ | ✅ |
| All 3 search tools covered | ✅ | ❌ |
| Greeting detection works | ✅ | ✅ |

**Overall:** 🎉 ALL TESTS PASSED!