File size: 6,898 Bytes
bb37757
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
---
language:
- pt
license: mit
library_name: scikit-learn
tags:
- tabular-regression
- delivery-eta
- histgradientboosting
- scikit-learn
metrics:
- mae
- rmse
- r2
---

# DoorDash Delivery ETA Prediction (`HistGradientBoostingRegressor`)

> **AVISO IMPORTANTE:** Este modelo é **experimental** e **não está pronto para uso em produção real**. Trata-se de um modelo conservador de referência treinado exclusivamente com atributos confirmados no momento da criação do pedido, apresentando `R² = +0,0288` no conjunto de teste.

## Descrição e Objetivo

Pipeline de Machine Learning (`ColumnTransformer` + `HistGradientBoostingRegressor`) desenvolvido para prever a duração total de entrega de pedidos de delivery (`delivery_duration_minutes`) a partir de informações disponíveis no momento do checkout.

- **Repositório de código e notebooks (GitHub):** https://github.com/CarvalhoAdryan/DeliveryETA
- **Artefato do modelo:** `final_hgb_eta_pipeline.joblib`

---

## Dataset e Origem

- **Origem:** `historical_data.csv` disponibilizado pela **StrataScratch** no exercício *DoorDash Delivery Duration Prediction* (`197.428` linhas × `16` colunas originais; `197.421` válidas após remoção de `7` registros sem `actual_delivery_time`).
- **Redistribuição:** O dataset bruto **não é redistribuído** neste repositório.
- **Variável-alvo:** `delivery_duration_minutes = (actual_delivery_time - created_at).dt.total_seconds() / 60.0`.

---

## Features Utilizadas (`21` variáveis confirmadas)

O modelo utiliza exclusivamente atributos com disponibilidade confirmada no instante de criação do pedido (`store_id` foi excluído do One-Hot Encoding por alta cardinalidade — `6.743` níveis — e variáveis operacionais/rota de disponibilidade incerta foram mantidas fora do modelo conservador):

- **Metadados (One-Hot Encoding):** `market_id`, `store_primary_category`, `order_protocol`, `created_time_block`
- **Carrinho e valores:** `total_items`, `subtotal`, `num_distinct_items`, `min_item_price`, `max_item_price`, `average_item_price`, `item_price_range`, `invalid_item_price_range`, `distinct_item_ratio`, `is_single_item`, `is_large_order`
- **Temporais (horário registrado, aparente UTC):** `created_hour`, `created_dayofweek`, `created_month`, `created_is_weekend`
- **Histórico causal e protocolo:** `estimated_order_place_duration`, `historical_store_order_count`

---

## Algoritmo, Hiperparâmetros e Validação Temporal

- **Algoritmo:** `sklearn.ensemble.HistGradientBoostingRegressor`
- **Hiperparâmetros congelados (Etapa 06.2):**
  - `loss="absolute_error"` (escolhida para robustez a outliers `> 24h` sem excluí-los do treino)
  - `learning_rate=0.08`
  - `max_iter=20` (definido via validação interna temporal 90/10 dentro do treino)
  - `max_leaf_nodes=63`
  - `min_samples_leaf=30`
  - `l2_regularization=0.0`
  - `early_stopping=False`
  - `random_state=42`
- **Divisão Temporal com Embargo (Etapa 05, cortes às `10:00:00` UTC):**
  - **Treino:** `138.572` registros (`created_at < 2015-02-10 10:00:00`, entregas concluídas antes do corte)
  - **Validação:** `28.808` registros (`2015-02-10 10:00:00` a `2015-02-14 10:00:00`)
  - **Teste (isolado até a Etapa 07):** `30.041` registros (`created_at >= 2015-02-14 10:00:00`)

---

## Resultados (Validação e Teste Final)

| Conjunto | Modelo | MAE (min) | RMSE (min) | MedAE (min) | P90_AE (min) | R² | Mean Bias |
| :--- | :--- | ---: | ---: | ---: | ---: | ---: | ---: |
| **Validação** (`n=28.808`) | Baseline (Median) | 12,8201 | 18,6790 | 9,9000 | 25,6667 | -0,0341 | -3,3927 |
| **Validação** (`n=28.808`) | **HGB Congelado** | **12,1142** | **17,9219** | **9,2317** | **24,7196** | **+0,0480** | -2,8943 |
| **Teste** (`n=30.041`) | Baseline (Median) | 14,1955 | 38,1036 | 10,4667 | 29,0833 | -0,0195 | -5,2643 |
| **Teste** (`n=30.041`) | **HGB Congelado** | **12,7797** | **37,1903** | **9,2282** | **25,9125** | **+0,0288** | -4,6494 |

- **Ganho sobre o baseline no teste:** `-9,97%` em MAE (`-1,4158 min`), `-11,83%` em MedAE (`-1,2385 min`), `-10,90%` em P90_AE (`-3,1708 min`) e `-2,40%` em RMSE (`-0,9133 min`).
- **Tempo de treino:** `4,12 s` | **Inferência no teste (`30.041`):** `0,124 s`.

![Comparação Validação vs Teste](reports/figures/test_vs_val_comparison.png)

---

## Interpretabilidade

Por *Permutation Importance* na validação (`neg_mean_absolute_error`, `n=28.808`), as variáveis mais relevantes para reduzir o MAE foram:
1. `created_hour` (`+0,77159 min`)
2. `subtotal` (`+0,41535 min`)
3. `market_id` (`+0,13144 min`)
4. `created_dayofweek` (`+0,09240 min`)
5. `estimated_order_place_duration` (`+0,08987 min`)

*(Importância preditiva não implica causalidade.)*

![Permutation Importance](reports/figures/interp_permutation_importance.png)

---

## Limitações e Possíveis Aplicações

- **Limitações:**
  - Baixo poder explicativo (`R² = +0,0288` no teste) por usar apenas atributos estáticos de checkout.
  - Superestimação em entregas rápidas (`<= 30 min`: Mean Bias `+15,62 min` no teste) e forte subestimação em atrasos (`> 120 min`: Mean Bias `-135,20 min` no teste).
  - Janela curta (~1 mês em 2015), timestamps em provável UTC sem fuso local por mercado e ausência de sinais em tempo real confirmados (congestionamento e distância de rota).
- **Aplicações adequadas:** Estudo de portfólio, referência de baseline conservador com validação temporal rigorosa e ponto de partida para uma v2 com variáveis operacionais validadas e *target encoding* causal por loja.

---

## Como Carregar e Prever

```python
import joblib
import pandas as pd

pipeline = joblib.load("final_hgb_eta_pipeline.joblib")

sample = pd.DataFrame([{
    "market_id": "1",
    "store_primary_category": "american",
    "order_protocol": "1",
    "total_items": 3,
    "subtotal": 2500,
    "num_distinct_items": 2,
    "min_item_price": 600.0,
    "max_item_price": 1200,
    "estimated_order_place_duration": 446,
    "created_hour": 2,
    "created_dayofweek": 5,
    "created_month": 2,
    "created_is_weekend": 1,
    "created_time_block": "00-05h_reg",
    "average_item_price": 833.33,
    "item_price_range": 600.0,
    "invalid_item_price_range": 0,
    "distinct_item_ratio": 0.6667,
    "is_single_item": 0,
    "is_large_order": 0,
    "historical_store_order_count": 25,
}])

eta_minutes = pipeline.predict(sample)[0]
print(f"ETA previsto: {eta_minutes:.2f} minutos")
```

---

## Uso de Ferramentas de IA

Ferramentas de inteligência artificial foram utilizadas como apoio ao longo do desenvolvimento deste projeto nas atividades de pesquisa técnica, auxílio na escrita/depuração de código, discussão de resultados exploratórios e organização da documentação. Todas as decisões metodológicas, verificações de integridade e resultados foram validados diretamente pela execução real dos experimentos.