File size: 6,286 Bytes
bb37757
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
# DoorDash Delivery ETA — Relatório de Avaliação Final no Conjunto de Teste (Etapa 07)

**Data de execução:** `2026-11-17T16:25:07-03:00`  
**Notebook:** [07_final_test_evaluation.ipynb](../notebooks/07_final_test_evaluation.ipynb)  
**Métricas (JSON):** [final_test_metrics.json](final_test_metrics.json)  
**Pipeline salvo:** `models/final_hgb_eta_pipeline.joblib`

---

## 1. Configuração Congelada Avaliada

- **Modelo:** `HistGradientBoostingRegressor`
- **Parâmetros:** `loss="absolute_error"`, `learning_rate=0.08`, `max_iter=20`, `max_leaf_nodes=63`, `min_samples_leaf=30`, `l2_regularization=0.0`, `early_stopping=False`, `random_state=42`
- **Features:** `CONFIRMED_MODEL_FEATURES` (`21` variáveis confirmadas; `store_id` e variáveis experimentais excluídos)
- **Target:** `delivery_duration_minutes`
- **Divisão temporal (Etapa 05):**
  - Treino: `138.572` registros (`created_at < 2015-02-10 10:00:00`, `actual_delivery_time` máx: `2015-02-10 06:55:06`)
  - Validação: `28.808` registros (`2015-02-10 14:37:17` – `2015-02-14 07:00:55`)
  - Teste: `30.041` registros (`2015-02-14 14:37:07` – `2015-02-18 06:00:44`, todos mantidos)
- **Versões:** Python `3.12.3` | `pandas 2.3.1` | `numpy 2.3.2` | `scikit-learn 1.8.0` | `scipy 1.17.1` | `joblib 1.5.3` | `matplotlib 3.10.6` | `seaborn 0.13.2`
- **Tempo de treino:** `4,21 s` | **Inferência no teste (`30.041`):** `0,122 s`

---

## 2. Resultados no Conjunto de Teste (`n = 30.041`) e Comparação com Baseline

| Métrica | Baseline (Median) — Teste | HGB Congelado — Teste | Diferença Absoluta | Diferença % |
| :--- | ---: | ---: | ---: | ---: |
| **MAE (min)** | 14,1955 | **12,7797** | **-1,4158** | **-9,97%** |
| **RMSE (min)** | 38,1036 | **37,1903** | **-0,9133** | **-2,40%** |
| **MedAE (min)** | 10,4667 | **9,2282** | **-1,2385** | **-11,83%** |
| **P90_AE (min)** | 29,0833 | **25,9125** | **-3,1708** | **-10,90%** |
| **R²** | -0,0195 | **+0,0288** | +0,0483 | — |
| **Mean Bias (min)** | -5,2643 | -4,6494 | — | — |
| **Median Bias (min)** | -1,4500 | -1,1213 | — | — |

- O modelo congelado superou o baseline em **todas** as métricas de erro no teste, reduzindo o MAE em `9,97%` (`1,42 min`), a MedAE em `11,83%` e o P90_AE em `10,90%`.

---

## 3. Comparação Validação vs Teste (Generalização Temporal)

| Conjunto | Modelo | MAE | RMSE | MedAE | P90_AE | R² | Mean Bias |
| :--- | :--- | ---: | ---: | ---: | ---: | ---: | ---: |
| **Validação** (`n=28.808`) | Baseline | 12,8201 | 18,6790 | 9,9000 | 25,6667 | -0,0341 | -3,3927 |
| **Validação** (`n=28.808`) | HGB Congelado | 12,1142 | 17,9219 | 9,2317 | 24,7196 | +0,0480 | -2,8943 |
| **Teste** (`n=30.041`) | Baseline | 14,1955 | 38,1036 | 10,4667 | 29,0833 | -0,0195 | -5,2643 |
| **Teste** (`n=30.041`) | HGB Congelado | 12,7797 | 37,1903 | 9,2282 | 25,9125 | +0,0288 | -4,6494 |

- **Análise de generalização:** A `MedAE` do modelo congelado manteve-se praticamente idêntica entre validação (`9,23 min`) e teste (`9,23 min`), e o ganho relativo sobre o baseline ampliou-se (`-1,42 min` no teste vs `-0,71 min` na validação).
- **Por que MAE e RMSE absolutos subiram no teste?** O próprio baseline constante piorou fortemente no teste (`MAE 12,82 → 14,20`; `RMSE 18,68 → 38,10`), refletindo uma mudança na distribuição do alvo no período de teste (`2015-02-14` a `2015-02-18`), que inclui maior proporção de entregas `> 120 min` (`191` no teste vs `116` na validação) e um outlier extremo `> 24h` (`5.541,37 min`).

![Comparação Validação vs Teste](figures/test_vs_val_comparison.png)

---

## 4. Diagnóstico de Erros no Conjunto de Teste (`n = 30.041`)

- **Previsões negativas (`< 0`):** `0`
- **Erros absolutos por limite:**
  - `> 30 min`: `2.232` (`7,43%`)
  - `> 60 min`: `351` (`1,17%`)
  - `> 90 min`: `76` (`0,25%`)
  - `> 120 min`: `25` (`0,08%`)

### 4.1 Erros por Faixa de Duração Real

| Faixa de Duração Real | `n` | MAE (min) | MedAE (min) | P90_AE (min) | Mean Bias (min) |
| :--- | ---: | ---: | ---: | ---: | ---: |
| `<= 30 min` | 3.453 | 15,62 | 15,05 | 21,86 | +15,62 |
| `30-45 min` | 11.214 | **6,10** | **5,35** | 12,25 | +5,21 |
| `45-60 min` | 8.574 | 7,35 | 6,64 | 14,49 | -6,23 |
| `60-90 min` | 5.794 | 22,65 | 21,85 | 35,48 | -22,65 |
| `90-120 min` | 815 | 50,96 | 50,28 | 64,97 | -50,96 |
| **`> 120 min`** | **191** | **135,20** | **87,00** | **135,46** | **-135,20** |

### 4.2 Registros Extremos no Teste (Top 5 Maiores Erros Absolutos)

| Índice | `created_at` | `actual_delivery_time` | Real (min) | Previsto (min) | Erro Abs. (min) |
| ---: | :--- | :--- | ---: | ---: | ---: |
| `27187` | `2015-02-16 02:24:09` | `2015-02-19 22:45:31` | 5.541,37 (~92,4h) | 58,84 | 5.482,53 |
| `190853` | `2015-02-16 02:31:05` | `2015-02-16 17:38:32` | 907,45 (~15,1h) | 59,49 | 847,96 |
| `76741` | `2015-02-15 04:17:35` | `2015-02-15 16:59:00` | 761,42 (~12,7h) | 46,37 | 715,04 |
| `31183` | `2015-02-14 22:23:13` | `2015-02-15 07:19:12` | 535,98 (~8,9h) | 38,24 | 497,74 |
| `29713` | `2015-02-14 21:08:06` | `2015-02-15 04:14:44` | 426,63 (~7,1h) | 36,74 | 389,90 |

*(Os `20` maiores erros absolutos no teste correspondem a entregas reais entre `177,10` e `5.541,37 min`, para as quais o modelo previu entre `36,74` e `59,49 min`.)*

![Reais vs Previstos no Teste](figures/test_actual_vs_predicted.png)
![Resíduos no Teste](figures/test_residuals_distribution.png)
![Erro por Faixa no Teste](figures/test_error_by_band.png)

---

## 5. Limitações e Avaliação Honesta de Prontidão

- **O modelo NÃO está pronto para produção real.** Embora supere consistentemente o baseline com rigor metodológico e zero vazamento, o `R² = +0,0288` no teste indica que metadados estáticos do pedido e atributos temporais explicam apenas uma fração pequena da variância do tempo de entrega.
- **Principais lacunas:** (1) ausência de sinais em tempo real confirmados de congestionamento operacional e distância/tempo de rota (`driving_duration`), que nas ablações de validação elevaram o R² para `+0,1538`; (2) ausência do efeito específico por restaurante (`store_id`) via *target encoding* temporal causal; e (3) incapacidade de antecipar atrasos extremos (`> 90 min` / `> 24h`) a partir apenas das 21 variáveis confirmadas.