import pandas as pd from sklearn.model_selection import cross_val_score from sklearn.pipeline import Pipeline from sklearn.preprocessing import StandardScaler from sklearn.ensemble import RandomForestClassifier, HistGradientBoostingClassifier from sklearn.metrics import classification_report import joblib try: import xgboost as xgb HAS_XGBOOST = True except ImportError: HAS_XGBOOST = False print("--- INICIANDO PARTE 2: PRÉ-PROCESSAMENTO E MODELAGEM ---") # 1. Carregando os dados try: df_final = pd.read_csv('dados_preparados.csv') except FileNotFoundError: print("ERRO: Arquivo 'dados_preparados.csv' não encontrado. Rode a Parte 1 (extract.py) primeiro.") raise SystemExit(1) # 2. Pré-processamento df_clean = df_final.dropna().copy() df_clean = df_clean.sort_values('date').reset_index(drop=True) print(f"Total de partidas antes da limpeza: {len(df_final)}") print(f"Total de partidas após limpeza (sem nulos): {len(df_clean)}") # Separar Features (X) e Target (y) # NOTA: Selecionamos apenas as métricas de habilidade e histórico. # As colunas 'season' e 'league_id' ficam de fora do treino. features = ['home_overall_rating', 'away_overall_rating', 'hist_goal_diff'] # 3. Divisão Temporal de Treino e Teste (evita vazamento da temporada 2015/2016 usada na simulação) TEMPORADA_SIMULACAO = '2015/2016' df_train = df_clean[df_clean['season'] < TEMPORADA_SIMULACAO] df_test = df_clean[df_clean['season'] >= TEMPORADA_SIMULACAO] X_train, y_train = df_train[features], df_train['target'] X_test, y_test = df_test[features], df_test['target'] print(f"Partidas de treino (temporadas < {TEMPORADA_SIMULACAO}): {len(X_train)}") print(f"Partidas de teste (temporadas >= {TEMPORADA_SIMULACAO}): {len(X_test)}") # Escalonamento ajustado APENAS no conjunto de treino (evita data leakage) scaler = StandardScaler() X_train_scaled = scaler.fit_transform(X_train) X_test_scaled = scaler.transform(X_test) # 4. Treinamento e Avaliação: Random Forest print("\nTreinando Random Forest...") rf_pipeline = Pipeline([ ('scaler', StandardScaler()), ('clf', RandomForestClassifier(n_estimators=100, max_depth=5, random_state=42)), ]) # Validação Cruzada sem vazamento no conjunto de treino cv_scores = cross_val_score(rf_pipeline, X_train, y_train, cv=5, scoring='accuracy') print(f"Acurácia na Validação Cruzada (RF - Treino): {cv_scores.mean():.4f} (+/- {cv_scores.std() * 2:.4f})") # Ajuste final e predição no conjunto de teste rf_model = RandomForestClassifier(n_estimators=100, max_depth=5, random_state=42) rf_model.fit(X_train_scaled, y_train) y_pred_rf = rf_model.predict(X_test_scaled) print("\nRelatório de Classificação (Random Forest - Teste):") # zero_division=0 oculta os warnings caso o modelo não preveja alguma classe print(classification_report(y_test, y_pred_rf, zero_division=0)) # 5. Treinamento e Avaliação: Boosting (XGBoost se disponível, senão HistGradientBoosting) if HAS_XGBOOST: print("\nTreinando XGBoost...") boost_model = xgb.XGBClassifier( eval_metric='mlogloss', random_state=42, ) boost_name = "XGBoost" else: print("\nXGBoost não instalado; treinando HistGradientBoostingClassifier (scikit-learn)...") boost_model = HistGradientBoostingClassifier(random_state=42) boost_name = "HistGradientBoosting" boost_model.fit(X_train_scaled, y_train) y_pred_boost = boost_model.predict(X_test_scaled) print(f"\nRelatório de Classificação ({boost_name} - Teste):") print(classification_report(y_test, y_pred_boost, zero_division=0)) # 6. Salvando os artefatos para a Parte 3 print("\nSalvando o modelo e o escalonador para uso na Simulação...") joblib.dump(rf_model, 'modelo_rf.pkl') joblib.dump(scaler, 'scaler.pkl') print("Arquivos 'modelo_rf.pkl' e 'scaler.pkl' gerados com sucesso!")