Add trained pipelines for orders 1~5 (개별 파라미터) + training script

models_by_order/order1/pipeline.pkl

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:fab13277dd54bccfc5d65419da333aa8999d70275fa8a2963e9dc892226aafa1
-size 178082
+oid sha256:041e9b5169234d467c3498975c5ba3448ade260c439ce76d32ac516c78b4a677
+size 180342

models_by_order/order2/pipeline.pkl

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:9245c5f2c2452e9568f551c42b6da759ec0dc59a8ca1f948ab1425624d08ae67
-size 271793
+oid sha256:e0c69aac43a89ac4f3fae7ef4dcde3828073fdca21ff27483d937f23b23cf6d6
+size 274597

models_by_order/order3/pipeline.pkl

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:04c66492081b1032b210c18849065f221af61495706f18cdcc3313aaad24fef8
-size 371671
+oid sha256:85bc231dd68e1371c39185517de6eb65d13e42fc9e72636b9b541f0ee9d8b8be
+size 382023

models_by_order/order4/pipeline.pkl

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:5b113a083518042de617cf76452f4e46368a64b91da2cdd230d4708e61458bbb
-size 580403
+oid sha256:df27cff94b39d0a360c32b1ba14ced6fc12ac833f7655db3195341b9d8659ead
+size 609739

models_by_order/order5/pipeline.pkl

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:6f590a9679bc247b716bc0e2dfb57799c6253c10e00fa7cebdc627ee9967d212
-size 1267904
+oid sha256:c97e664735d7c448609cd943837432879bae5a1afcb9ee977416b023e9a77c88
+size 1316200

onbid-map-etcp-train.py

@@ -5,18 +5,13 @@ import shutil
 import stat
 import pandas as pd
 import joblib
-
 from sklearn.preprocessing import OneHotEncoder
 from sklearn.compose import ColumnTransformer
 from sklearn.pipeline import Pipeline
 from xgboost import XGBRegressor
-
 from huggingface_hub import HfApi, Repository
 
-# -----------------------------
 # 차수별 하이퍼파라미터 설정
-# -----------------------------
-# ORDER_PARAMS[차수] = 해당 차수 XGBRegressor에 넘길 파라미터 딕셔너리
 ORDER_PARAMS = {
     1: {
         "objective": "reg:squarederror",
@@ -65,9 +60,7 @@ ORDER_PARAMS = {
     },
 }
 
-# -----------------------------
-# Hugging Face 환경 변수
-# -----------------------------
+# 환경 변수에서 Hugging Face 토큰 읽기
 HF_REPO_NAME = "asteroidddd/onbid-map-etcp"
 HF_TOKEN     = os.getenv("HF_TOKEN")
 if HF_TOKEN is None:
@@ -81,13 +74,9 @@ def rm_readonly(func, path, exc_info):
     func(path)
 
 def main():
-    # -----------------------------
-    # 데이터 로드 파트
-    # -----------------------------
-    # TODO: 실제 데이터 경로로 변경하고, '최초입찰시기' 컬럼을 datetime 타입으로 로드해주세요.
-    # 예시:
-    # df = pd.read_csv("data/onbid_data.csv", parse_dates=["최초입찰시기"])
-    df = pd.read_pickle(r'C:\Users\hwang\Desktop\OSSP\data.pkl')  # 실제 DataFrame으로 교체하세요.
+
+    # 데이터 불러오기
+    df = pd.read_pickle(r'C:\Users\hwang\Desktop\OSSP\data.pkl')
 
     # '자동차' 대분류 행 제거
     if "대분류" in df.columns:
@@ -96,19 +85,29 @@ def main():
     # '낙찰차수' 컬럼을 정수형으로 변환하고, 5 이상은 5로 통일
     df["낙찰차수"] = df["낙찰차수"].astype(int).apply(lambda x: x if x < 5 else 5)
 
-    # -----------------------------
     # 차수별 모델 학습 & 저장
-    # -----------------------------
     for order in [1, 2, 3, 4, 5]:
-        # 1) 해당 차수 데이터만 필터링
+
+        # 해당 차수 데이터만 필터링
         subset = df[df["낙찰차수"] == order].copy().reset_index(drop=True)
         if subset.empty:
             print(f"차수 {order} 데이터가 없습니다. 건너뜁니다.")
             continue
 
-        # 2) 사용할 피처 컬럼 결정
+        # 날짜 컬럼(datetime) 파생변수 생성
+        if "최초입찰시기" in subset.columns:
+            subset["최초입찰시기"] = pd.to_datetime(subset["최초입찰시기"])
+            subset["최초입찰_연도"] = subset["최초입찰시기"].dt.year
+            subset["최초입찰_월"] = subset["최초입찰시기"].dt.month
+            subset["최초입찰_일"] = subset["최초입찰시기"].dt.day
+            subset["최초입찰_요일"] = subset["최초입찰시기"].dt.weekday
+            subset = subset.drop(columns=["최초입찰시기"])
+        else:
+            raise KeyError("최초입찰시기 컬럼이 데이터프레임에 없습니다.")
+
+        # 사용할 피처 컬럼 결정
         base_cols = ["대분류", "중분류", "기관"]
-        date_col = ["최초입찰시기"]
+        date_cols = ["최초입찰_연도", "최초입찰_월", "최초입찰_일", "최초입찰_요일"]
         if order == 1:
             bid_cols = ["1차최저입찰가"]
         elif order == 2:
@@ -120,20 +119,17 @@ def main():
         else:  # order == 5
             bid_cols = ["1차최저입찰가", "2차최저입찰가", "3차최저입찰가", "4차최저입찰가", "5차최저입찰가"]
 
-        X = subset[base_cols + date_col + bid_cols].copy()
+        feature_cols = base_cols + date_cols + bid_cols
+        X = subset[feature_cols].copy()
         y = subset["낙찰가율_최초최저가기준"].copy()
 
-        # 3) 날짜형 컬럼을 정수형(UNIX 타임스탬프)으로 변환
-        if "최초입찰시기" in X.columns:
-            X["최초입찰시기"] = X["최초입찰시기"].astype("int64")
-
-        # 4) 전처리 + 모델 파이프라인 정의
+        # 전처리 + 모델 파이프라인 정의
         preprocessor = ColumnTransformer(
             transformers=[("ohe", OneHotEncoder(handle_unknown="ignore"), base_cols)],
             remainder="passthrough"
         )
 
-        # 5) 차수별 파라미터를 꺼내서 XGBRegressor 생성
+        # 차수별 파라미터를 꺼내서 XGBRegressor 생성
         params = ORDER_PARAMS.get(order)
         model = XGBRegressor(**params)
         pipeline = Pipeline([
@@ -141,40 +137,35 @@ def main():
             ("regressor", model)
         ])
 
-        # 6) 전체 데이터로 학습
+        # 전체 데이터로 학습
         pipeline.fit(X, y)
         print(f"차수 {order} 모델 학습 완료 (params: {params})")
 
-        # 7) 모델 저장
+        # 모델 저장
         output_dir = f"output/order{order}"
         os.makedirs(output_dir, exist_ok=True)
         joblib.dump(pipeline, os.path.join(output_dir, "pipeline.pkl"))
         print(f"  → pipeline.pkl 저장: {output_dir}/pipeline.pkl")
 
-    # -----------------------------
     # requirements.txt 작성
-    # -----------------------------
     deps = ["pandas", "scikit-learn", "xgboost", "joblib", "huggingface_hub"]
     with open("requirements.txt", "w", encoding="utf-8") as f:
         f.write("\n".join(deps))
 
-    # -----------------------------
-    # Hugging Face 업로드 파트
-    # -----------------------------
-    # 1) 레포 생성 시도
+    # 레포 생성 시도
     api = HfApi()
     try:
         api.create_repo(repo_id=HF_REPO_NAME, token=HF_TOKEN)
     except Exception:
         pass
 
-    # 2) 로컬에 레포 클론 (기존 디렉토리 삭제 포함)
+    # 로컬에 레포 클론 (기존 디렉토리 삭제 포함)
     local_dir = "hf_repo"
     if os.path.isdir(local_dir):
         shutil.rmtree(local_dir, onerror=rm_readonly)
     repo = Repository(local_dir=local_dir, clone_from=HF_REPO_NAME, use_auth_token=HF_TOKEN)
 
-    # 3) output/order{차수} 내 파일을 hf_repo/models_by_order/order{차수} 폴더로 복사
+    # output/order{차수} 내 파일을 hf_repo/models_by_order/order{차수} 폴더로 복사
     for order in [1, 2, 3, 4, 5]:
         src_dir = f"output/order{order}"
         if not os.path.isdir(src_dir):
@@ -187,12 +178,12 @@ def main():
         if os.path.isfile(src_file):
             shutil.copy(src_file, os.path.join(dst_dir, "pipeline.pkl"))
 
-    # 4) 스크립트 파일 및 requirements.txt도 함께 복사
+    # 스크립트 파일 및 requirements.txt도 함께 복사
     for src in [SCRIPT_PATH, "requirements.txt"]:
         dst = os.path.join(local_dir, os.path.basename(src))
         shutil.copy(src, dst)
 
-    # 5) 커밋 및 푸시
+    # 커밋 및 푸시
     repo.git_add(auto_lfs_track=True)
     repo.git_commit("Add trained pipelines for orders 1~5 (개별 파라미터) + training script")
     repo.git_push()