File size: 3,918 Bytes
72a3423
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
import pandas as pd
from sklearn.model_selection import cross_val_score
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.ensemble import RandomForestClassifier, HistGradientBoostingClassifier
from sklearn.metrics import classification_report
import joblib

try:
    import xgboost as xgb
    HAS_XGBOOST = True
except ImportError:
    HAS_XGBOOST = False

print("--- INICIANDO PARTE 2: PRÉ-PROCESSAMENTO E MODELAGEM ---")

# 1. Carregando os dados
try:
    df_final = pd.read_csv('dados_preparados.csv')
except FileNotFoundError:
    print("ERRO: Arquivo 'dados_preparados.csv' não encontrado. Rode a Parte 1 (extract.py) primeiro.")
    raise SystemExit(1)

# 2. Pré-processamento
df_clean = df_final.dropna().copy()
df_clean = df_clean.sort_values('date').reset_index(drop=True)

print(f"Total de partidas antes da limpeza: {len(df_final)}")
print(f"Total de partidas após limpeza (sem nulos): {len(df_clean)}")

# Separar Features (X) e Target (y)
# NOTA: Selecionamos apenas as métricas de habilidade e histórico.
# As colunas 'season' e 'league_id' ficam de fora do treino.
features = ['home_overall_rating', 'away_overall_rating', 'hist_goal_diff']

# 3. Divisão Temporal de Treino e Teste (evita vazamento da temporada 2015/2016 usada na simulação)
TEMPORADA_SIMULACAO = '2015/2016'
df_train = df_clean[df_clean['season'] < TEMPORADA_SIMULACAO]
df_test = df_clean[df_clean['season'] >= TEMPORADA_SIMULACAO]

X_train, y_train = df_train[features], df_train['target']
X_test, y_test = df_test[features], df_test['target']

print(f"Partidas de treino (temporadas < {TEMPORADA_SIMULACAO}): {len(X_train)}")
print(f"Partidas de teste  (temporadas >= {TEMPORADA_SIMULACAO}): {len(X_test)}")

# Escalonamento ajustado APENAS no conjunto de treino (evita data leakage)
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)

# 4. Treinamento e Avaliação: Random Forest
print("\nTreinando Random Forest...")
rf_pipeline = Pipeline([
    ('scaler', StandardScaler()),
    ('clf', RandomForestClassifier(n_estimators=100, max_depth=5, random_state=42)),
])

# Validação Cruzada sem vazamento no conjunto de treino
cv_scores = cross_val_score(rf_pipeline, X_train, y_train, cv=5, scoring='accuracy')
print(f"Acurácia na Validação Cruzada (RF - Treino): {cv_scores.mean():.4f} (+/- {cv_scores.std() * 2:.4f})")

# Ajuste final e predição no conjunto de teste
rf_model = RandomForestClassifier(n_estimators=100, max_depth=5, random_state=42)
rf_model.fit(X_train_scaled, y_train)
y_pred_rf = rf_model.predict(X_test_scaled)

print("\nRelatório de Classificação (Random Forest - Teste):")
# zero_division=0 oculta os warnings caso o modelo não preveja alguma classe
print(classification_report(y_test, y_pred_rf, zero_division=0))

# 5. Treinamento e Avaliação: Boosting (XGBoost se disponível, senão HistGradientBoosting)
if HAS_XGBOOST:
    print("\nTreinando XGBoost...")
    boost_model = xgb.XGBClassifier(
        eval_metric='mlogloss',
        random_state=42,
    )
    boost_name = "XGBoost"
else:
    print("\nXGBoost não instalado; treinando HistGradientBoostingClassifier (scikit-learn)...")
    boost_model = HistGradientBoostingClassifier(random_state=42)
    boost_name = "HistGradientBoosting"

boost_model.fit(X_train_scaled, y_train)
y_pred_boost = boost_model.predict(X_test_scaled)

print(f"\nRelatório de Classificação ({boost_name} - Teste):")
print(classification_report(y_test, y_pred_boost, zero_division=0))

# 6. Salvando os artefatos para a Parte 3
print("\nSalvando o modelo e o escalonador para uso na Simulação...")
joblib.dump(rf_model, 'modelo_rf.pkl')
joblib.dump(scaler, 'scaler.pkl')
print("Arquivos 'modelo_rf.pkl' e 'scaler.pkl' gerados com sucesso!")