Football-Match-Prediction / src /preProcess.py
AdryanAzul's picture
Publish Football Match Prediction release
72a3423 verified
Raw History Blame Contribute Delete
3.92 kB
import pandas as pd
from sklearn.model_selection import cross_val_score
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.ensemble import RandomForestClassifier, HistGradientBoostingClassifier
from sklearn.metrics import classification_report
import joblib
try:
import xgboost as xgb
HAS_XGBOOST = True
except ImportError:
HAS_XGBOOST = False
print("--- INICIANDO PARTE 2: PRÉ-PROCESSAMENTO E MODELAGEM ---")
# 1. Carregando os dados
try:
df_final = pd.read_csv('dados_preparados.csv')
except FileNotFoundError:
print("ERRO: Arquivo 'dados_preparados.csv' não encontrado. Rode a Parte 1 (extract.py) primeiro.")
raise SystemExit(1)
# 2. Pré-processamento
df_clean = df_final.dropna().copy()
df_clean = df_clean.sort_values('date').reset_index(drop=True)
print(f"Total de partidas antes da limpeza: {len(df_final)}")
print(f"Total de partidas após limpeza (sem nulos): {len(df_clean)}")
# Separar Features (X) e Target (y)
# NOTA: Selecionamos apenas as métricas de habilidade e histórico.
# As colunas 'season' e 'league_id' ficam de fora do treino.
features = ['home_overall_rating', 'away_overall_rating', 'hist_goal_diff']
# 3. Divisão Temporal de Treino e Teste (evita vazamento da temporada 2015/2016 usada na simulação)
TEMPORADA_SIMULACAO = '2015/2016'
df_train = df_clean[df_clean['season'] < TEMPORADA_SIMULACAO]
df_test = df_clean[df_clean['season'] >= TEMPORADA_SIMULACAO]
X_train, y_train = df_train[features], df_train['target']
X_test, y_test = df_test[features], df_test['target']
print(f"Partidas de treino (temporadas < {TEMPORADA_SIMULACAO}): {len(X_train)}")
print(f"Partidas de teste (temporadas >= {TEMPORADA_SIMULACAO}): {len(X_test)}")
# Escalonamento ajustado APENAS no conjunto de treino (evita data leakage)
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)
# 4. Treinamento e Avaliação: Random Forest
print("\nTreinando Random Forest...")
rf_pipeline = Pipeline([
('scaler', StandardScaler()),
('clf', RandomForestClassifier(n_estimators=100, max_depth=5, random_state=42)),
])
# Validação Cruzada sem vazamento no conjunto de treino
cv_scores = cross_val_score(rf_pipeline, X_train, y_train, cv=5, scoring='accuracy')
print(f"Acurácia na Validação Cruzada (RF - Treino): {cv_scores.mean():.4f} (+/- {cv_scores.std() * 2:.4f})")
# Ajuste final e predição no conjunto de teste
rf_model = RandomForestClassifier(n_estimators=100, max_depth=5, random_state=42)
rf_model.fit(X_train_scaled, y_train)
y_pred_rf = rf_model.predict(X_test_scaled)
print("\nRelatório de Classificação (Random Forest - Teste):")
# zero_division=0 oculta os warnings caso o modelo não preveja alguma classe
print(classification_report(y_test, y_pred_rf, zero_division=0))
# 5. Treinamento e Avaliação: Boosting (XGBoost se disponível, senão HistGradientBoosting)
if HAS_XGBOOST:
print("\nTreinando XGBoost...")
boost_model = xgb.XGBClassifier(
eval_metric='mlogloss',
random_state=42,
)
boost_name = "XGBoost"
else:
print("\nXGBoost não instalado; treinando HistGradientBoostingClassifier (scikit-learn)...")
boost_model = HistGradientBoostingClassifier(random_state=42)
boost_name = "HistGradientBoosting"
boost_model.fit(X_train_scaled, y_train)
y_pred_boost = boost_model.predict(X_test_scaled)
print(f"\nRelatório de Classificação ({boost_name} - Teste):")
print(classification_report(y_test, y_pred_boost, zero_division=0))
# 6. Salvando os artefatos para a Parte 3
print("\nSalvando o modelo e o escalonador para uso na Simulação...")
joblib.dump(rf_model, 'modelo_rf.pkl')
joblib.dump(scaler, 'scaler.pkl')
print("Arquivos 'modelo_rf.pkl' e 'scaler.pkl' gerados com sucesso!")