Upload 7 files

app.py

@@ -0,0 +1,964 @@
+#!/usr/bin/env python
+# -*- coding: utf-8 -*-
+
+# ============================================================
+# 편의점 수요예측 & 발주 추천 — Pro Suite (패치 버전, 멀티 CSV + 월별 그래프)
+#  - ① 여러 CSV 업로드/선택 → 자동 결합(옵션: source 열 추가)
+#  - ② 컬럼 매핑: "컬럼명"이 아니라 "예시 값" 기반 선택
+#  - ③ 예측·발주: 재고 컬럼 자동 인식 → 예측 기간/발주량 자동 계산
+#       · 리드타임 / 서비스레벨 / 안전재고 / MOQ / 팩단위 입력 제거
+#  - ④ 분석(그래프):
+#       · 우산: 월별 강수량 ↔ 우산 판매량 (산점도 + 회귀선 + 일별 선형 그래프)
+#       · 군고구마: 월별 기온 ↔ 군고구마 판매량 (산점도 + 회귀선 + 일별 선형 그래프)
+#       · 전체: 우산·군고구마 제외 전체 상품 일별 판매량 선형 그래프
+#  - 사이드바: 실행 파일 표시 + 캐시 초기화
+# ============================================================
+
+import os, io, pickle, time, subprocess, sys
+from datetime import timedelta
+from pathlib import Path
+
+import pandas as pd
+import numpy as np
+import streamlit as st
+import altair as alt
+
+from utils_io import read_csv_flexible, save_utf8sig, ensure_dirs, auto_map_columns
+from preprocess import make_matrix
+from train_core import train_and_score, save_artifacts
+
+# Altair 대용량 렌더링 안전장치 (행 수 제한 해제)
+alt.data_transformers.disable_max_rows()
+
+# ------------------------------------------------------------
+# 페이지/사이드바
+# ------------------------------------------------------------
+st.set_page_config(page_title="편의점 수요예측 & 발주 추천 — Pro Suite (패치)", layout="wide")
+
+# __file__ 이 없는 Colab 같은 환경 방어용
+try:
+    script_name = Path(__file__).resolve().name
+except NameError:
+    script_name = "app_streamlit_pro.py"
+
+st.sidebar.write("🧭 실행 파일:", script_name)
+if st.sidebar.button("캐시 초기화 후 다시 실행"):
+    try:
+        st.cache_data.clear()
+    except Exception:
+        pass
+    try:
+        st.cache_resource.clear()
+    except Exception:
+        pass
+    st.experimental_rerun()
+
+# ------------------------------------------------------------
+# 기본 환경/경로 설정
+# ------------------------------------------------------------
+PROJ = os.getcwd()                         # 현재 작업 디렉토리(앱 루트)
+DATA_DIR   = os.path.join(PROJ, "data")    # CSV 데이터 폴더
+ARTI_DIR   = os.path.join(PROJ, "artifacts")  # 학습 중간산출물(로그/성능 등) 보관
+MODELS_DIR = os.path.join(PROJ, "models")     # 학습된 모델 pkl 보관
+ensure_dirs(DATA_DIR, ARTI_DIR, MODELS_DIR)   # 폴더 없으면 생성
+
+# ------------------------------------------------------------
+# 유틸: data 폴더의 CSV 파일 리스트 캐시
+# ------------------------------------------------------------
+@st.cache_data(show_spinner=False)
+def list_data_files():
+    try:
+        return [f for f in os.listdir(DATA_DIR) if f.lower().endswith(".csv")]
+    except FileNotFoundError:
+        return []
+
+# ------------------------------------------------------------
+# 퍼블릭 URL: cloudflared 시작 함수
+# ------------------------------------------------------------
+def start_cloudflared(port=8501):
+    try:
+        proc = subprocess.Popen(
+            ["cloudflared", "tunnel", "--url", f"http://localhost:{port}"],
+            stdout=subprocess.PIPE, stderr=subprocess.STDOUT, text=True
+        )
+        st.session_state["_cfd_proc"] = proc  # 종료용 핸들 저장
+        with st.expander("cloudflared logs"):
+            for _ in range(120):  # 최초 120라인 정도만 읽어 표시
+                line = proc.stdout.readline()
+                if not line:
+                    break
+                st.text(line.strip())
+                if "trycloudflare.com" in line:
+                    st.success(line.strip())  # 퍼블릭 URL 포함 로그
+                    break
+    except FileNotFoundError:
+        st.error("cloudflared 바이너리가 없습니다. `pip install cloudflared` 또는 바이너리 설치 후 다시 시도하세요.")
+
+# ------------------------------------------------------------
+# 퍼블릭 URL: ngrok 시작 함수
+# ------------------------------------------------------------
+def start_ngrok(port=8501, token: str | None = None):
+    try:
+        from pyngrok import ngrok, conf
+    except Exception:
+        st.error("pyngrok가 설치되어 있지 않습니다. `pip install pyngrok` 후 다시 시도하세요.")
+        return
+
+    # 기존 ngrok 세션 정리(재실행 시 충돌 방지)
+    try:
+        ngrok.kill()
+        time.sleep(1.0)
+    except Exception:
+        pass
+
+    token = (token or os.environ.get("NGROK_AUTHTOKEN", "")).strip()
+    if token:
+        conf.get_default().auth_token = token
+    else:
+        st.warning("NGROK_AUTHTOKEN이 비어 있습니다. 인증 없이 열면 제한/에러(4018) 가능.")
+
+    for attempt in range(2):
+        try:
+            tunnel = ngrok.connect(addr=f"http://localhost:{port}", proto="http")
+            url = tunnel.public_url
+            st.session_state["_ngrok_tunnel"] = tunnel
+            st.success(f"🌐 Public URL: {url}")
+            st.caption("런타임/프로세스를 종료하면 터널도 닫힙니다.")
+            break
+        except Exception as e:
+            if attempt == 0:
+                time.sleep(1.5)
+            else:
+                msg = str(e)
+                if "4018" in msg:
+                    st.error("ngrok 인증 실패(4018). 토큰을 다시 확인하세요.")
+                elif "already online" in msg or "334" in msg:
+                    st.error("동일 엔드포인트가 이미 열려 있습니다. 세션 재시작 또는 기존 터널 종료 후 재시도.")
+                else:
+                    st.error(f"ngrok 연결 실패: {e}")
+
+# ------------------------------------------------------------
+# 앱 타이틀/탭 구성
+# ------------------------------------------------------------
+st.title("편의점 수요예측 & 발주 추천 — Pro Suite")
+tabs = st.tabs(["① 데이터", "② 학습/모델", "③ 예측·발주", "④ 분석(그래프)", "⑤ 진단/로그"])
+
+# ============================================================
+# ① 데이터: CSV 업로드/선택 + 자동 컬럼 매핑 저장 (멀티 CSV 지원)
+# ============================================================
+with tabs[0]:
+    st.subheader("CSV 업로드 또는 선택")
+    cols_top = st.columns([2,1])
+    with cols_top[0]:
+        add_source = st.checkbox("파일명(source) 열 추가", value=True, help="여러 CSV를 합칠 때 원본 파일명을 남깁니다.")
+    with cols_top[1]:
+        st.caption("※ 업로드/선택 후 아래에서 컬럼 매핑 저장")
+
+    cols = st.columns(2)
+
+    # --- 다중 파일 업로드 ---
+    with cols[0]:
+        up_multi = st.file_uploader("CSV 파일 업로드(여러 개 가능)", type=["csv"], accept_multiple_files=True, key="multi_up")
+        if up_multi:
+            dfs = []
+            for f in up_multi:
+                raw = f.read()
+                df_i = read_csv_flexible(io.BytesIO(raw))
+                if add_source:
+                    df_i["source"] = f.name
+                dfs.append(df_i)
+                # data/에 저장
+                save_path = os.path.join(DATA_DIR, f.name)
+                try:
+                    with open(save_path, "wb") as fp:
+                        fp.write(raw)
+                except Exception as e:
+                    st.warning(f"파일 저장 경고({f.name}): {e}")
+            try:
+                list_data_files.clear()  # 캐시 무효화
+            except Exception:
+                pass
+            df = pd.concat(dfs, axis=0, ignore_index=True, sort=True)
+            st.session_state["df"] = df
+            st.success(f"업로드/결합 완료: {df.shape} (파일 {len(dfs)}개)")
+            st.dataframe(df.head(20), use_container_width=True)
+
+    # --- data 폴더에서 다중 선택 ---
+    with cols[1]:
+        files = list_data_files()
+        picks = st.multiselect("data 폴더에서 선택(여러 개)", files)
+        if st.button("선택 파일 불러오기", disabled=(len(picks)==0)):
+            dfs = []
+            for name in picks:
+                path = os.path.join(DATA_DIR, name)
+                df_i = read_csv_flexible(path)
+                if add_source:
+                    df_i["source"] = name
+                dfs.append(df_i)
+            df = pd.concat(dfs, axis=0, ignore_index=True, sort=True)
+            st.session_state["df"] = df
+            st.success(f"불러오기/결합 완료: {df.shape} (파일 {len(dfs)}개)")
+            st.dataframe(df.head(20), use_container_width=True)
+
+    # --- 자동 컬럼 매핑 + 보정 ---
+    if "df" in st.session_state:
+        st.divider()
+        st.caption("자동 컬럼 매핑 — 선택 없이 자동 적용됩니다.")
+
+        df = st.session_state["df"]
+
+        # auto_map_columns 결과 사용
+        auto = auto_map_columns(df)
+        mapping = {
+            "date": auto.get("date"),
+            "target": auto.get("target"),
+            "region": auto.get("region"),
+            "brand": auto.get("brand"),
+            "item": auto.get("item"),
+        }
+        st.session_state["mapping"] = mapping
+
+        # ★ data 폴더용 보정:
+        #   seoul_gyeonggi_with_demand.csv / usan.csv / gungoguma.csv 는
+        #   auto_map_columns가 타깃을 '강수량'으로 잡는 케이스가 있어서,
+        #   '일일판매량' 컬럼이 있으면 그걸 target으로 강제 교체
+        if mapping.get("target") == "강수량" and "일일판매량" in df.columns:
+            mapping["target"] = "일일판매량"
+
+        # 확인용으로만 읽기 전용 테이블 표시
+        mapping_view = pd.DataFrame(
+            {
+                "역할": ["날짜(date)", "수요/판매량(target)", "지역/점포(region)", "브랜드(선택)", "상품/품목(선택)"],
+                "컬럼": [
+                    mapping.get("date"),
+                    mapping.get("target"),
+                    mapping.get("region"),
+                    mapping.get("brand"),
+                    mapping.get("item"),
+                ],
+            }
+        )
+
+        st.write("현재 자동 매핑 결과:")
+        st.dataframe(mapping_view, use_container_width=True)
+
+# ============================================================
+# ② 학습/모델
+# ============================================================
+with tabs[1]:
+    st.subheader("모델 학습")
+
+    use_optuna = st.checkbox("Optuna 하이퍼파라미터 튜닝 사용", value=False)
+    trials = st.slider("Optuna 시도 횟수", 5, 60, 15, 5)
+
+    if "df" not in st.session_state or "mapping" not in st.session_state:
+        st.info("먼저 ① 탭에서 데이터와 컬럼 매핑을 지정하세요.")
+    else:
+        v = st.slider("검증 비율(valid_ratio)", 0.05, 0.4, 0.2, 0.05)
+
+        if st.button("학습 시작"):
+            # ➜ 여기서 예외가 나도 앱이 죽지 않도록 방어
+            try:
+                df, X, y, feat_names = make_matrix(
+                    st.session_state["df"],
+                    st.session_state["mapping"],
+                )
+            except Exception as e:
+                st.error(f"학습용 데이터 구성 중 오류가 발생했습니다: {e}")
+            else:
+                try:
+                    best_model, lb = train_and_score(
+                        X,
+                        y,
+                        valid_ratio=v,
+                        use_optuna=use_optuna,
+                        optuna_trials=trials,
+                    )
+                    save_artifacts(
+                        [ARTI_DIR, MODELS_DIR],
+                        best_model,
+                        feat_names,
+                        st.session_state["mapping"],
+                        lb,
+                    )
+                except Exception as e:
+                    st.error(f"모델 학습/저장 중 오류가 발생했습니다: {e}")
+                else:
+                    st.session_state["leaderboard"] = lb
+                    st.session_state["feat_names"] = feat_names
+                    st.success("학습 완료")
+
+        if "leaderboard" in st.session_state:
+            st.dataframe(st.session_state["leaderboard"], use_container_width=True)
+
+# ============================================================
+# ③ 예측·발주: 반복(AR) 예측 + 재고 기반 자동 발주 계산
+# ============================================================
+with tabs[2]:
+    st.subheader("예측(반복 AR) & 발주량 추천")
+    st.caption("학습된 모델로 미래 피처를 생성하고, 재고를 고려해 자동으로 발주 기간과 수량을 계산합니다.")
+
+    if "df" not in st.session_state or "mapping" not in st.session_state:
+        st.info("먼저 ① 탭에서 데이터와 컬럼 매핑을 지정하고 ②에서 학습을 완료하세요.")
+    else:
+        horizon_days = 14  # 고정 기간
+
+        # 정확도(보정 계수)
+        accuracy = st.slider(
+            "정확도(예측 보정 계수)",
+            min_value=0.5,
+            max_value=2.0,
+            value=1.0,
+            step=0.05,
+        )
+
+        # ==============================
+        # 세그먼트 선택
+        # ==============================
+        seg_cols = [
+            c for c in [
+                st.session_state["mapping"].get("region"),
+                st.session_state["mapping"].get("brand"),
+                st.session_state["mapping"].get("item"),
+            ] if c
+        ]
+        seg_vals = {}
+        if seg_cols:
+            col_objs = st.columns(len(seg_cols))
+            for i, ccol in enumerate(seg_cols):
+                opts = ["<전체>"] + sorted(
+                    list(map(str, st.session_state["df"][ccol].dropna().astype(str).unique()))
+                )
+                seg_vals[ccol] = col_objs[i].selectbox(f"{ccol} 선택", opts, index=0)
+
+        # ==============================
+        # 반복 예측 함수
+        # ==============================
+        def iterative_forecast(df, mapping, model, feat_names, horizon, seg_vals):
+            df = df.copy()
+            dtc = mapping["date"]
+            tgt = mapping["target"]
+
+            if dtc not in df.columns or tgt not in df.columns:
+                st.error(f"예측에 필요한 컬럼이 없습니다. (date='{dtc}', target='{tgt}')")
+                return pd.DataFrame(columns=[dtc, "예측수량"])
+
+            df[dtc] = pd.to_datetime(df[dtc], errors="coerce")
+            df = df.dropna(subset=[dtc]).sort_values(dtc)
+
+            for k, v in seg_vals.items():
+                if v and v != "<전체>" and k in df.columns:
+                    df = df[df[k].astype(str) == str(v)]
+
+            if df.empty:
+                st.error("선택한 세그먼트에 해당하는 데이터가 없습니다.")
+                return pd.DataFrame(columns=[dtc, "예측수량"])
+
+            if len(df) < 30:
+                st.warning("해당 세그먼트 데이터가 적어 예측 품질이 낮을 수 있습니다.")
+
+            last_date = df[dtc].max()
+
+            hist = list(
+                pd.to_numeric(df[tgt], errors="coerce")
+                .fillna(0)
+                .astype(float)
+                .values
+            )
+
+            def build_row_features(current_date, hist_vals):
+                if pd.isna(current_date):
+                    current_date = df[dtc].max()
+
+                year = current_date.year
+                month = current_date.month
+                day = current_date.day
+                dow = current_date.weekday()
+                is_weekend = 1 if dow >= 5 else 0
+
+                try:
+                    week = int(pd.Timestamp(current_date).isocalendar().week)
+                except Exception:
+                    week = 0
+
+                def get_lag(k):
+                    if len(hist_vals) >= k:
+                        return float(hist_vals[-k])
+                    return float(np.mean(hist_vals[-min(len(hist_vals), 7):])) if hist_vals else 0.0
+
+                lag1 = get_lag(1)
+                lag7 = get_lag(7)
+                lag14 = get_lag(14)
+
+                def rmean(w):
+                    arr = np.array(hist_vals[-w:]) if len(hist_vals) >= 1 else np.array([0.0])
+                    if len(arr) < max(2, w // 2):
+                        arr = np.array(hist_vals[-max(2, w // 2):]) if len(hist_vals) else np.array([0.0])
+                    return float(np.mean(arr))
+
+                def rstd(w):
+                    arr = np.array(hist_vals[-w:]) if len(hist_vals) >= 2 else np.array([0.0, 0.0])
+                    return float(np.std(arr))
+
+                feats = {
+                    "year": year,
+                    "month": month,
+                    "day": day,
+                    "dow": dow,
+                    "week": week,
+                    "is_weekend": is_weekend,
+                    "lag1": lag1,
+                    "lag7": lag7,
+                    "lag14": lag14,
+                    "rmean7": rmean(7),
+                    "rmean14": rmean(14),
+                    "rstd7": rstd(7),
+                    "rstd14": rstd(14),
+                }
+
+                for fn in feat_names:
+                    if fn not in feats:
+                        feats[fn] = 0.0
+
+                x = [feats.get(fn, 0.0) for fn in feat_names]
+                return np.array(x, dtype=float)
+
+            preds, dates = [], []
+            cur = last_date
+            for _ in range(int(horizon)):
+                cur = cur + timedelta(days=1)
+                x = build_row_features(cur, hist)
+                val = float(model.predict([x])[0])
+                preds.append(val)
+                dates.append(cur)
+                hist.append(val)
+
+            return pd.DataFrame({dtc: dates, "예측수량": preds})
+
+        # ==============================
+        # 재고 자동 인식
+        # ==============================
+        def guess_inventory_onhand(df_seg: pd.DataFrame, mapping):
+            candidates = [
+                "재고", "재고수", "재고수량",
+                "현재재고", "onhand", "on_hand",
+                "stock", "inventory",
+            ]
+            inv_col = None
+            for col in df_seg.columns:
+                low = col.lower()
+                if any(key in low for key in candidates):
+                    inv_col = col
+                    break
+            if not inv_col:
+                return None, None
+
+            series = pd.to_numeric(df_seg[inv_col], errors="coerce").dropna()
+            if series.empty:
+                return None, None
+
+            return inv_col, float(series.iloc[-1])
+
+        # ==============================
+        # 가격 자동 인식
+        # ==============================
+        def guess_price_column(df_seg):
+            keys = ["price", "가격", "단가", "판매가", "amount", "금액"]
+            for col in df_seg.columns:
+                low = col.lower()
+                if any(k in low for k in keys):
+                    return col
+            return None
+
+        # ==============================
+        # 모델 로드
+        # ==============================
+        pkl_path = os.path.join(MODELS_DIR, "best_model.pkl")
+        if os.path.exists(pkl_path):
+            try:
+                with open(pkl_path, "rb") as f:
+                    payload = pickle.load(f)
+                model = payload["model"]
+                feat_names = payload["feature_names"]
+                mapping = payload["mapping"]
+            except Exception as e:
+                st.error(f"저장된 모델 로딩 중 오류: {e}")
+            else:
+                dtc = mapping["date"]
+
+                # ======================================
+                # 1) 예측 수행
+                # ======================================
+                fc_df = iterative_forecast(
+                    st.session_state["df"],
+                    mapping,
+                    model,
+                    feat_names,
+                    horizon_days,
+                    seg_vals,
+                )
+                if fc_df.empty:
+                    st.stop()
+
+                # ======================================
+                # 2) 가격 자동 인식 + 금액예측
+                # ======================================
+                df_seg_price = st.session_state["df"].copy()
+                for k, v in seg_vals.items():
+                    if v and v != "<전체>" and k in df_seg_price.columns:
+                        df_seg_price = df_seg_price[df_seg_price[k].astype(str) == str(v)]
+                df_seg_price = df_seg_price.sort_values(dtc)
+
+                price_col = guess_price_column(df_seg_price)
+
+                if price_col:
+                    price_val = float(
+                        pd.to_numeric(df_seg_price[price_col], errors="coerce").dropna().iloc[-1]
+                    )
+                    st.info(f"CSV '{price_col}' 컬럼에서 가격 {price_val:,.0f}원 자동 인식.")
+                else:
+                    price_val = st.number_input(
+                        "가격(원) – CSV에서 가격 컬럼을 찾지 못해 직접 입력",
+                        min_value=0,
+                        max_value=100000000,
+                        value=0,
+                    )
+
+                # **수량 총합**
+                total_qty_demand = float(fc_df["예측수량"].sum())
+
+                # **금액 총합**
+                fc_df["금액예측"] = (fc_df["예측수량"] * price_val * float(accuracy)).clip(lower=0.0)
+                total_amt_demand = float(fc_df["금액예측"].sum())
+
+                # ======================================
+                # 3) 재고 자동 인식
+                # ======================================
+                df_seg = st.session_state["df"].copy()
+                df_seg[dtc] = pd.to_datetime(df_seg[dtc], errors="coerce")
+                for k, v in seg_vals.items():
+                    if v and v != "<전체>" and k in df_seg.columns:
+                        df_seg = df_seg[df_seg[k].astype(str) == str(v)]
+                df_seg = df_seg.sort_values(dtc)
+
+                inv_col, onhand_auto = guess_inventory_onhand(df_seg, mapping)
+                if onhand_auto is None:
+                    onhand = st.number_input(
+                        "현재 재고(직접 입력)",
+                        min_value=0,
+                        max_value=100000,
+                        value=0,
+                    )
+                else:
+                    onhand = onhand_auto
+                    st.info(f"재고 '{inv_col}' 자동 인식 → {onhand:,.0f}개")
+
+                # ======================================
+                # 4) 발주량/소진일 계산 (수량 기준)
+                # ======================================
+                avg_daily_qty = total_qty_demand / horizon_days if horizon_days > 0 else 0.0
+                days_to_out = (onhand / avg_daily_qty) if avg_daily_qty > 0 else float("inf")
+                rec_qty = max(0.0, total_qty_demand - onhand)
+
+                c1, c2, c3 = st.columns(3)
+                c1.metric("예측 기간(일)", f"{horizon_days}")
+                c2.metric("재고 소진 예상일수", "∞" if np.isinf(days_to_out) else f"{days_to_out:,.1f}")
+                c3.metric("2주 총 예상 매출", f"{total_amt_demand:,.0f}원")
+
+                # ======================================
+                # 5) 표 출력
+                # ======================================
+                st.dataframe(fc_df.set_index(dtc), use_container_width=True)
+                st.caption("※ 예측수량 × 가격 × 정확도 보정 = 금액예측")
+
+        else:
+            st.warning("best_model.pkl 이 없습니다. ② 탭에서 학습을 먼저 수행하세요.")
+
+# ============================================================
+# ④ 분석(그래프):
+#   - 우산: 한 달 강수량 vs 우산 판매량 (산점도 + 회귀선 + 일별 선형 그래프)
+#   - 군고구마: 한 달 기온 vs 군고구마 판매량 (산점도 + 회귀선 + 일별 선형 그래프)
+#   - 전체: 우산·군고구마 제외 일별 판매량 선형 그래프
+# ============================================================
+with tabs[3]:
+    st.subheader("분석(그래프) — 한 달 단위 상관 분석")
+
+    if "df" not in st.session_state or "mapping" not in st.session_state or not st.session_state["mapping"].get("date"):
+        st.info("먼저 ① 탭에서 데이터와 컬럼 매핑(특히 '날짜'와 '타깃')을 지정하세요.")
+    else:
+        mapping = st.session_state["mapping"]
+        date_col = mapping["date"]
+        target_col = mapping.get("target")
+
+        def guess(colnames, cands):
+            low = [str(c).lower() for c in colnames]
+            for key in cands:
+                key_low = str(key).lower()
+                for i, l in enumerate(low):
+                    if key_low in l:
+                        return colnames[i]
+            return None
+
+        # 공통: 연-월 선택용 옵션 만드는 함수
+        def build_year_month_options(df, date_col):
+            df = df.copy()
+            df[date_col] = pd.to_datetime(df[date_col], errors="coerce")
+            df = df.dropna(subset=[date_col])
+            if df.empty:
+                return df, []
+            df["year_month"] = df[date_col].dt.to_period("M")
+            ym_unique = sorted(df["year_month"].unique())
+            ym_labels = [str(p) for p in ym_unique]  # '2024-10' 같은 형식
+            return df, list(zip(ym_labels, ym_unique))
+
+        tab_u, tab_g, tab_all = st.tabs([
+            "☔ 우산: 한 달 강수량 vs 판매량",
+            "🍠 군고구마: 한 달 기온 vs 판매량",
+            "📈 전체: 우산·군고구마 제외 일별 판매량(선형)"
+        ])
+
+        # ------------------------------
+        # 1) 우산: 선택한 한 달의 강수량 ↔ 우산 판매량
+        # ------------------------------
+        with tab_u:
+            st.caption("우산 판매량과 강수량의 관계를 '한 달' 단위로 봅니다.")
+
+            up_u = st.file_uploader("우산/날씨 데이터 CSV (선택)", type=["csv"], key="umbrella_month_up")
+            if up_u is not None:
+                df_u_raw = read_csv_flexible(io.BytesIO(up_u.read()))
+            else:
+                df_u_raw = st.session_state["df"].copy()
+
+            if date_col not in df_u_raw.columns:
+                st.warning(f"날짜 컬럼 '{date_col}' 을(를) 데이터에서 찾지 못했습니다.")
+            else:
+                # item에서 우산만 필터 (있으면)
+                item_col = mapping.get("item")
+                if item_col and item_col in df_u_raw.columns:
+                    mask = df_u_raw[item_col].astype(str).str.contains("우산|umbrella", case=False, na=False)
+                    if mask.any():
+                        df_u_raw = df_u_raw[mask]
+
+                cols_all = list(df_u_raw.columns)
+
+                # 판매량 컬럼: 매핑 target 우선, 없으면 추정
+                sales_col = target_col if target_col in cols_all else guess(
+                    cols_all,
+                    ["umbrella", "우산", "일일판매량", "판매량", "sales", "qty", "quantity", "target"],
+                )
+
+                # 강수량 컬럼 추정
+                rain_col = guess(
+                    cols_all,
+                    ["rain", "precip", "precipitation", "강수", "강수량", "일강수량", "강우", "강우량"],
+                )
+
+                if not sales_col or not rain_col:
+                    st.warning(
+                        "우산 판매량 또는 강수량 컬럼을 자동으로 찾지 못했습니다.\n"
+                        "판매량: '우산/umbrella/판매량/sales', 강수량: '강수량/rain' 등의 이름을 사용해 주세요."
+                    )
+                else:
+                    # 날짜/숫자 형식 정리 + 연-월 옵션 생성
+                    df_u_raw[sales_col] = pd.to_numeric(df_u_raw[sales_col], errors="coerce")
+                    df_u_raw[rain_col] = pd.to_numeric(df_u_raw[rain_col], errors="coerce")
+
+                    df_u_raw, ym_options = build_year_month_options(df_u_raw, date_col)
+
+                    if not ym_options:
+                        st.info("유효한 날짜 데이터가 없습니다.")
+                    else:
+                        # 연-월 선택 (YYYY-MM 형식만 보여줌)
+                        labels = [lab for lab, _ in ym_options]
+                        default_idx = len(labels) - 1  # 기본값: 가장 최근 월
+                        sel_label = st.selectbox("분석할 연월(YYYY-MM)", labels, index=default_idx, key="ym_umbrella")
+                        sel_period = dict(ym_options)[sel_label]
+
+                        # 선택한 한 달만 필터
+                        df_month = df_u_raw[df_u_raw["year_month"] == sel_period].copy()
+                        if df_month.empty:
+                            st.info(f"{sel_label} 에 해당하는 데이터가 없습니다.")
+                        else:
+                            # 일 단위 집계
+                            df_month["date_only"] = df_month[date_col].dt.date
+                            daily = (
+                                df_month.groupby("date_only", as_index=False)
+                                .agg({sales_col: "sum", rain_col: "mean"})
+                                .dropna(subset=[sales_col, rain_col])
+                            )
+                            daily = daily.rename(
+                                columns={"date_only": "date", sales_col: "sales", rain_col: "rain"}
+                            )
+
+                            if daily.empty:
+                                st.info("해당 연월에서 일별로 집계할 수 있는 데이터가 없습니다.")
+                            else:
+                                st.markdown(f"**{sel_label} 한 달 기준 · 강수량에 따른 우산 판매량**")
+
+                                base = alt.Chart(daily).encode(
+                                    x=alt.X("rain:Q", title="일 강수량"),
+                                    y=alt.Y("sales:Q", title="일 우산 판매량"),
+                                )
+
+                                # 붉은색 산점도 + 선형 회귀선
+                                points = base.mark_circle(size=70, color="#d62728").encode(
+                                    tooltip=[
+                                        alt.Tooltip("date:T", title="날짜"),
+                                        alt.Tooltip("rain:Q", title="강수량"),
+                                        alt.Tooltip("sales:Q", title="우산 판매량"),
+                                    ]
+                                )
+                                reg_line = base.transform_regression("rain", "sales").mark_line(color="#b22222")
+
+                                st.altair_chart((points + reg_line).interactive(), use_container_width=True)
+
+                                # ★ 추가: 일별 우산 판매량 선형 그래프
+                                st.markdown("**일별 우산 판매량 추세(선형 그래프)**")
+                                line_umbrella = (
+                                    alt.Chart(daily)
+                                    .mark_line()
+                                    .encode(
+                                        x=alt.X("date:T", title="날짜"),
+                                        y=alt.Y("sales:Q", title="일 우산 판매량"),
+                                        tooltip=[
+                                            alt.Tooltip("date:T", title="날짜"),
+                                            alt.Tooltip("sales:Q", title="우산 판매량"),
+                                            alt.Tooltip("rain:Q", title="강수량"),
+                                        ],
+                                    )
+                                )
+                                st.altair_chart(line_umbrella.interactive(), use_container_width=True)
+
+                                # 참고용 테이블
+                                st.dataframe(daily, use_container_width=True)
+
+        # ------------------------------
+        # 2) 군고구마: 선택한 한 달의 기온 ↔ 군고구마 판매량
+        # ------------------------------
+        with tab_g:
+            st.caption("군고구마 판매량과 기온(추위)의 관계를 '한 달' 단위로 봅니다.")
+
+            up_g = st.file_uploader("군고구마/날씨 데이터 CSV (선택)", type=["csv"], key="goguma_month_up")
+            if up_g is not None:
+                df_g_raw = read_csv_flexible(io.BytesIO(up_g.read()))
+            else:
+                df_g_raw = st.session_state["df"].copy()
+
+            if date_col not in df_g_raw.columns:
+                st.warning(f"날짜 컬럼 '{date_col}' 을(를) 데이터에서 찾지 못했습니다.")
+            else:
+                # item에서 군고구마만 필터 (있으면)
+                item_col_g = mapping.get("item")
+                if item_col_g and item_col_g in df_g_raw.columns:
+                    mask_g = df_g_raw[item_col_g].astype(str).str.contains(
+                        "고구마|군고구마|sweet|goguma", case=False, na=False
+                    )
+                    if mask_g.any():
+                        df_g_raw = df_g_raw[mask_g]
+
+                cols_all_g = list(df_g_raw.columns)
+
+                goguma_col = target_col if target_col in cols_all_g else guess(
+                    cols_all_g,
+                    ["고구마", "군고구마", "sweetpotato", "goguma", "판매량", "sales", "qty", "quantity", "target"],
+                )
+                temp_col = guess(
+                    cols_all_g,
+                    ["온도", "tmin", "temp_min", "min_temp", "최저", "최저기온", "일최저기온", "temperature", "temp"],
+                )
+
+                if not goguma_col or not temp_col:
+                    st.warning(
+                        "군고구마 판매량 또는 기온 컬럼을 자동으로 찾지 못했습니다.\n"
+                        "판매량: '군고구마/고구마/sales/target', 기온: 'tmin/최저기온/temperature' 등의 이름을 사용해 주세요."
+                    )
+                else:
+                    df_g_raw[goguma_col] = pd.to_numeric(df_g_raw[goguma_col], errors="coerce")
+                    df_g_raw[temp_col] = pd.to_numeric(df_g_raw[temp_col], errors="coerce")
+
+                    df_g_raw, ym_options_g = build_year_month_options(df_g_raw, date_col)
+
+                    if not ym_options_g:
+                        st.info("유효한 날짜 데이터가 없습니다.")
+                    else:
+                        labels_g = [lab for lab, _ in ym_options_g]
+                        default_idx_g = len(labels_g) - 1
+                        sel_label_g = st.selectbox("분석할 연월(YYYY-MM)", labels_g, index=default_idx_g, key="ym_goguma")
+                        sel_period_g = dict(ym_options_g)[sel_label_g]
+
+                        df_month_g = df_g_raw[df_g_raw["year_month"] == sel_period_g].copy()
+                        if df_month_g.empty:
+                            st.info(f"{sel_label_g} 에 해당하는 데이터가 없습니다.")
+                        else:
+                            df_month_g["date_only"] = df_month_g[date_col].dt.date
+                            daily_g = (
+                                df_month_g.groupby("date_only", as_index=False)
+                                .agg({goguma_col: "sum", temp_col: "mean"})
+                                .dropna(subset=[goguma_col, temp_col])
+                            )
+                            daily_g = daily_g.rename(
+                                columns={"date_only": "date", goguma_col: "sales", temp_col: "temp"}
+                            )
+
+                            if daily_g.empty:
+                                st.info("해당 연월에서 일별로 집계할 수 있는 데이터가 없습니다.")
+                            else:
+                                st.markdown(f"**{sel_label_g} 한 달 기준 · 기온에 따른 군고구마 판매량**")
+
+                                base_g = alt.Chart(daily_g).encode(
+                                    x=alt.X("temp:Q", title="일 평균 기온"),
+                                    y=alt.Y("sales:Q", title="일 군고구마 판매량"),
+                                )
+
+                                points_g = base_g.mark_circle(size=70, color="#ff7f0e").encode(
+                                    tooltip=[
+                                        alt.Tooltip("date:T", title="날짜"),
+                                        alt.Tooltip("temp:Q", title="기온"),
+                                        alt.Tooltip("sales:Q", title="군고구마 판매량"),
+                                    ]
+                                )
+                                reg_g = base_g.transform_regression("temp", "sales").mark_line(color="#d35400")
+
+                                st.altair_chart((points_g + reg_g).interactive(), use_container_width=True)
+
+                                # ★ 추가: 일별 군고구마 판매량 선형 그래프
+                                st.markdown("**일별 군고구마 판매량 추세(선형 그래프)**")
+                                line_goguma = (
+                                    alt.Chart(daily_g)
+                                    .mark_line()
+                                    .encode(
+                                        x=alt.X("date:T", title="날짜"),
+                                        y=alt.Y("sales:Q", title="일 군고구마 판매량"),
+                                        tooltip=[
+                                            alt.Tooltip("date:T", title="날짜"),
+                                            alt.Tooltip("temp:Q", title="기온"),
+                                            alt.Tooltip("sales:Q", title="군고구마 판매량"),
+                                        ],
+                                    )
+                                )
+                                st.altair_chart(line_goguma.interactive(), use_container_width=True)
+
+                                st.dataframe(daily_g, use_container_width=True)
+
+        # ------------------------------
+        # 3) 전체: 우산·군고구마 제외 전체 상품 일별 판매량 선형 그래프
+        # ------------------------------
+        with tab_all:
+            st.caption("우산·군고구마를 제외한 모든 상품의 일별 판매량 추세를 한 번에 봅니다.")
+
+            df_all = st.session_state["df"].copy()
+
+            if date_col not in df_all.columns or not target_col or target_col not in df_all.columns:
+                st.warning(f"날짜('{date_col}') 또는 타깃('{target_col}') 컬럼을 찾을 수 없습니다.")
+            else:
+                # item 컬럼이 있으면 우산/군고구마 관련 상품 제외
+                item_col_all = mapping.get("item")
+                if item_col_all and item_col_all in df_all.columns:
+                    ex_mask = df_all[item_col_all].astype(str).str.contains(
+                        "우산|umbrella|고구마|군고구마|sweet|goguma", case=False, na=False
+                    )
+                    df_all = df_all[~ex_mask]
+
+                df_all[target_col] = pd.to_numeric(df_all[target_col], errors="coerce")
+
+                df_all, ym_options_all = build_year_month_options(df_all, date_col)
+
+                if not ym_options_all:
+                    st.info("유효한 날짜 데이터가 없습니다.")
+                else:
+                    labels_all = [lab for lab, _ in ym_options_all]
+                    default_idx_all = len(labels_all) - 1
+                    sel_label_all = st.selectbox(
+                        "분석할 연월(YYYY-MM)",
+                        labels_all,
+                        index=default_idx_all,
+                        key="ym_all",
+                    )
+                    sel_period_all = dict(ym_options_all)[sel_label_all]
+
+                    df_month_all = df_all[df_all["year_month"] == sel_period_all].copy()
+                    if df_month_all.empty:
+                        st.info(f"{sel_label_all} 에 해당하는 데이터가 없습니다.")
+                    else:
+                        df_month_all["date_only"] = df_month_all[date_col].dt.date
+                        daily_all = (
+                            df_month_all.groupby("date_only", as_index=False)
+                            .agg({target_col: "sum"})
+                            .dropna(subset=[target_col])
+                        )
+                        daily_all = daily_all.rename(
+                            columns={"date_only": "date", target_col: "sales"}
+                        )
+
+                        if daily_all.empty:
+                            st.info("해당 연월에서 일별로 집계할 수 있는 데이터가 없습니다.")
+                        else:
+                            st.markdown(f"**{sel_label_all} 한 달 기준 · 우산·군고구마 제외 전체 상품 일별 판매량(선형)**")
+
+                            line_all = (
+                                alt.Chart(daily_all)
+                                .mark_line()
+                                .encode(
+                                    x=alt.X("date:T", title="날짜"),
+                                    y=alt.Y("sales:Q", title="일 판매량(전체 상품 합계)"),
+                                    tooltip=[
+                                        alt.Tooltip("date:T", title="날짜"),
+                                        alt.Tooltip("sales:Q", title="일 판매량 합계"),
+                                    ],
+                                )
+                            )
+                            st.altair_chart(line_all.interactive(), use_container_width=True)
+                            st.dataframe(daily_all, use_container_width=True)
+
+# ============================================================
+# ⑤ 진단/로그: 경로/파일 확인 + 퍼블릭 URL 열기/닫기
+# ============================================================
+with tabs[4]:
+    st.subheader("경로/파일 상태")
+
+    cols = st.columns(2)
+    with cols[0]:
+        st.write("**data**", DATA_DIR)
+        st.write(os.listdir(DATA_DIR) if os.path.exists(DATA_DIR) else [])
+        st.write("**artifacts**", ARTI_DIR)
+        st.write(os.listdir(ARTI_DIR) if os.path.exists(ARTI_DIR) else [])
+    with cols[1]:
+        st.write("**models**", MODELS_DIR)
+        st.write(os.listdir(MODELS_DIR) if os.path.exists(MODELS_DIR) else [])
+
+    st.caption("필요 시 퍼블릭 URL을 열어 외부에서 접속할 수 있습니다.")
+    mode = st.radio("퍼블릭 URL 터널러", ["ngrok", "cloudflared"], horizontal=True, index=0)
+
+    ngk = None
+    if mode == "ngrok":
+        ngk = st.text_input(
+            "NGROK_AUTHTOKEN",
+            value=os.environ.get("NGROK_AUTHTOKEN", ""),
+            type="password",
+            help="환경변수에 넣어두면 다음부터 자동 인식합니다.",
+        )
+
+    c_open, c_close = st.columns(2)
+    if c_open.button("퍼블릭 URL 열기", use_container_width=True):
+        if mode == "ngrok":
+            if ngk:
+                os.environ["NGROK_AUTHTOKEN"] = ngk
+            start_ngrok()
+        else:
+            start_cloudflared()
+
+    if c_close.button("퍼블릭 URL 닫기", use_container_width=True):
+        if mode == "ngrok":
+            try:
+                from pyngrok import ngrok
+                ngrok.kill()
+                st.info("ngrok 터널을 종료했습니다.")
+            except Exception as e:
+                st.warning(f"ngrok 종료 중 경고: {e}")
+        else:
+            proc = st.session_state.get("_cfd_proc")
+            if proc:
+                proc.terminate()
+                st.info("cloudflared 터널을 종료했습니다.")
+            else:
+                st.info("cloudflared 활성 프로세스가 없습니다.")

preprocess.py

@@ -0,0 +1,188 @@
+import pandas as pd, numpy as np
+
+def add_time_features(df, date_col):
+    """
+    [무엇을 하나요?]
+    - 날짜 열(date_col)에서 '연도/월/일/요일/몇 주차/주말 여부' 같은
+      쉬운 달력 정보를 뽑아 표에(데이터프레임에) 붙여줘요.
+
+    [왜 필요하죠?]
+    - 기계는 '2025-01-15' 같은 날짜 글자를 잘 못 이해해요.
+      대신 '2025년', '1월', '15일', '수요일', '3주차' 처럼 숫자 정보가 있으면
+      규칙(계절/요일 패턴)을 더 잘 배울 수 있어요.
+
+    [입력]
+    - df: 원래 데이터 표 (DataFrame)
+    - date_col: 날짜가 들어있는 열 이름 (예: 'date')
+
+    [출력]
+    - 달력 정보 열이 추가된 새 표 (원본은 건드리지 않아요)
+    """
+    df = df.copy()  # 원본을 망가뜨리지 않으려고 복사본을 만들어요.
+
+    # 날짜 글자를 진짜 '날짜'로 바꿔요. 이상한 값은 NaT(비어있음)로 처리.
+    df[date_col] = pd.to_datetime(df[date_col], errors="coerce")
+
+    # 날짜가 비어있는 행은 계산이 안 되니 빼고, 날짜순으로 정렬해요.
+    df = df.dropna(subset=[date_col]).sort_values(date_col)
+
+    # 달력에서 바로 꺼낼 수 있는 정보들을 새 열로 만들어요.
+    df["year"]  = df[date_col].dt.year        # 몇 년도인지
+    df["month"] = df[date_col].dt.month       # 몇 월인지(1~12)
+    df["day"]   = df[date_col].dt.day         # 며칠인지(1~31)
+    df["dow"]   = df[date_col].dt.dayofweek   # 요일(월=0 ... 일=6)
+    # '몇 주차'는 ISO 달력 기준이에요. 예: 1월의 첫 주가 1이 아니라 52일 수도 있어요.
+    df["week"]  = df[date_col].dt.isocalendar().week.astype(int)
+    # 토/일이면 주말(1), 아니면 0
+    df["is_weekend"] = (df["dow"]>=5).astype(int)
+
+    return df
+
+
+def add_lag_features(df, date_col, target_col, group_keys=None, lags=(1,7,14), rolls=(7,14)):
+    """
+    [무엇을 하나요?]
+    - '어제/일주일 전/보름 전' 같은 과거 값(=지연값, lag)을 만들어서 붙이고,
+      최근 7일/14일의 평균·표준편차(흔들림)도 같이 붙여줘요.
+
+    [왜 필요하죠?]
+    - 수요는 어제/지난주와 비슷하게 움직이는 경향이 있어요.
+      과거 값을 힌트로 주면 '내일'을 맞추기 쉬워져요.
+      - lag7: 7일 전 값 → '지난주 같은 요일'의 힌트
+      - rmean7: 최근 7일 평균 → 최근 흐름(평균)
+      - rstd7: 최근 7일 흔들림(표준편차) → 변동성 크기
+
+    [group_keys가 뭐죠?]
+    - 점포/브랜드/상품마다 따로 과거를 보라고 지정하는 열들이에요.
+      예) ["region", "item"]이면 지역+상품별로 각각 어제/지난주를 계산해요.
+      (그룹 없이 통으로 계산하면 서로 다른 점포/상품의 값이 섞여서 의미가 흐려질 수 있어요.)
+
+    [입력]
+    - df: 표
+    - date_col: 날짜 열 이름
+    - target_col: 맞추고 싶은 숫자(판매량 등) 열
+    - group_keys: 그룹핑할 열 목록(없어도 됨)
+    - lags: 만들 lag 목록(기본 1, 7, 14)
+    - rolls: 굴리는 창 크기(rolling window) 목록(기본 7, 14)
+
+    [출력]
+    - lag/rmean/rstd 열이 추가된 표(날짜순)
+    """
+    df = df.copy()
+
+    # group_keys 중 표에 실제로 존재하는 것만 남겨요.
+    group_keys = [c for c in (group_keys or []) if c in df.columns]
+
+    # 그룹이 있으면 그룹별로, 없으면 전체를 하나의 그룹처럼 처리해요.
+    if group_keys:
+        g = df.groupby(group_keys, group_keys=False)  # group_keys=False: 키를 인덱스로 올리지 말기
+    else:
+        g = [(None, df)]  # '그룹이 하나'라고 가정한 리스트. 아래 for문과 호환되게 만들어요.
+
+    out = []  # 그룹별로 처리한 결과를 모아둔 뒤, 마지막에 합쳐요.
+
+    # pandas의 groupby는 (키, 부분표) 형태로 반복됩니다.
+    # 위에서 g를 리스트로 맞춰줬기 때문에 둘 모두 같은 방식으로 순회 가능해요.
+    for _, part in (g if isinstance(g, list) else g):
+        part = part.sort_values(date_col).copy()  # 날짜순으로 정렬
+
+        # (1) lag 열들 만들기: 예) lag1(어제), lag7(지난주), lag14(보름 전)
+        for l in lags:
+            part[f"lag{l}"] = part[target_col].shift(l)
+            # shift(l)은 위에서 l칸 밀어요. 오늘 행에는 'l일 전 값'이 들어감.
+
+        # (2) rolling 평균/표준편차: 최근 w일 평균/흔들림
+        for w in rolls:
+            # min_periods를 w의 절반 이상(최소 2)으로 줘서
+            # 초반부 데이터가 너무 작을 때도 값이 조금이라도 나오도록 배려.
+            part[f"rmean{w}"] = part[target_col].rolling(w, min_periods=max(2, w//2)).mean()
+            part[f"rstd{w}"]  = part[target_col].rolling(w, min_periods=max(2, w//2)).std()
+
+        out.append(part)
+
+    # 그룹별로 만든 표들을 위아래로 이어붙이고, 다시 날짜순 정렬
+    return pd.concat(out, axis=0).sort_values(date_col)
+
+
+def make_matrix(df, mapping):
+    """
+    [무엇을 하나요?]
+    - 모델 학습용 '입력 X'와 '정답 y'를 만드는 공장입니다.
+      1) 날짜/타깃 열 이름을 mapping에서 읽고,
+      2) add_time_features / add_lag_features로 숫자 힌트를 추가하고,
+      3) (있다면) region/brand/item을 '원-핫 인코딩(가짜 열)'으로 바꿔서 X에 붙여요.
+      4) y는 타깃 값(판매량 등)으로 설정해요.
+
+    [입력]
+    - df: 원본 표
+    - mapping: {'date':..., 'target':..., 'region':..., 'brand':..., 'item':...}
+               (region/brand/item은 없어도 됨)
+
+    [출력]
+    - df: 피처가 붙은 표(초기 lag로 NaN인 맨 앞부분은 제거됨)
+    - X: 모델에 들어갈 숫자 배열(2차원)
+    - y: 정답 벡터(1차원)
+    - feat_names: X의 열 이름 목록(모델 해석/재현에 필요)
+    """
+    df = df.copy()
+
+    # 매핑에서 열 이름 꺼내오기
+    date_col   = mapping.get("date")
+    target_col = mapping.get("target")
+    region_col = mapping.get("region")
+    brand_col  = mapping.get("brand")
+    item_col   = mapping.get("item")
+
+    # 날짜/타깃은 필수! 없으면 진행 못 해요.
+    if not date_col or not target_col:
+        raise ValueError("date/target 컬럼 매핑이 필요합니다.")
+
+    # --- (1) 숫자형 정리 ---
+    # 타깃은 반드시 숫자여야 해요. 글자가 섞여 있으면 NaN으로 바뀜 → 0으로 채움.
+    df[target_col] = pd.to_numeric(df[target_col], errors="coerce").fillna(0)
+
+    # (선택) 분류형 열들은 글자(문자열)로 통일해요.
+    # 이렇게 해야 '원-핫 인코딩'이 잘 됩니다.
+    if region_col and region_col in df: df[region_col] = df[region_col].astype(str)
+    if brand_col  and brand_col  in df: df[brand_col]  = df[brand_col].astype(str)
+    if item_col   and item_col   in df: df[item_col]   = df[item_col].astype(str)
+
+    # --- (2) 달력 피처 붙이기 ---
+    df = add_time_features(df, date_col)
+
+    # --- (3) 과거/최근 통계 피처 붙이기 ---
+    # 그룹키: 존재하는 것만 사용 (예: ['region','brand','item'] 중 실제 있는 열만)
+    df = add_lag_features(
+        df, date_col, target_col,
+        [c for c in [region_col, brand_col, item_col] if c]
+    )
+
+    # --- (4) lag/rolling 때문에 앞부분에 생긴 비어있는 행 제거 ---
+    # 첫 몇 행은 lag1/lag7 같은 게 채울 수 없어서 NaN이 돼요 → 학습에 못 쓰니 제거.
+    drop_cols = [c for c in df.columns if c.startswith("lag") or c.startswith("rmean") or c.startswith("rstd")]
+    df = df.dropna(subset=drop_cols)
+
+    # --- (5) 숫자 피처 목록 만들기 ---
+    # 달력 숫자 + lag/rolling 숫자들을 모아서 X의 기본 뼈대를 만들어요.
+    num_cols = ["year","month","day","dow","week","is_weekend"] + drop_cols
+    num_cols = [c for c in num_cols if c in df.columns]  # 혹시 빠진 게 있으면 걸러줌
+
+    # 숫자 피처를 먼저 행렬로 변환
+    X_num = df[num_cols].values
+    feat_names = list(num_cols)  # 나중에 해석/재현할 때 필요
+
+    # --- (6) 분류형(문자) → 원-핫 인코딩 ---
+    # 예: region이 '서울','경기'면 'region_서울','region_경기' 같은 가짜 열을 만들어요(0/1)
+    cat_cols = [c for c in [region_col, brand_col, item_col] if c and c in df.columns]
+    if cat_cols:
+        dummies = pd.get_dummies(df[cat_cols].astype(str), dummy_na=False)
+        # 숫자 피처(X_num) 오른쪽에 원-핫 피처를 붙여요.
+        X = np.hstack([X_num, dummies.values])
+        feat_names += list(dummies.columns)  # 새로 생긴 열 이름도 기록
+    else:
+        X = X_num  # 분류형이 없으면 숫자만 사용
+
+    # --- (7) 정답 y 만들기 ---
+    y = df[target_col].values  # 우리가 맞추고 싶은 값(예: 판매량)
+
+    return df, X, y, feat_names

quick_train_runner.py

@@ -0,0 +1,116 @@
+#!/usr/bin/env python
+# -*- coding: utf-8 -*-
+"""
+============================================================
+자동 학습 런처 (train_cli.py 예시)
+------------------------------------------------------------
+이 스크립트는 CSV를 읽어 자동으로 컬럼 매핑 → 피처 생성 →
+모델 후보 학습(옵션: Optuna 튜닝) → 아티팩트/모델 저장을
+한 번에 수행합니다.
+
+[사용 예]
+python train_cli.py --data ./data/sample_sales.csv \
+                    --project . \
+                    --valid_ratio 0.2 \
+                    --use_optuna --optuna_trials 20
+
+필수:
+  --data         학습에 사용할 CSV 파일 경로
+
+선택:
+  --project      작업 루트 폴더(기본: 현재 폴더 ".")
+  --valid_ratio  검증 비율(0.05~0.4 권장, 기본 0.2)
+  --use_optuna   Optuna 튜닝 사용 플래그(지정 시 on)
+  --optuna_trials Optuna 시도 횟수(기본 15)
+
+출력:
+  프로젝트 폴더 아래에
+    artifacts/   (로그/리더보드 등 중간 산출물)
+    models/      (best_model.pkl 등 모델 파일)
+이 생성됩니다.
+============================================================
+"""
+
+import os
+import argparse
+import pandas as pd  # (필요하면 추후 사용, 지금은 임포트만)
+
+from utils_io import read_csv_flexible, save_utf8sig, ensure_dirs, auto_map_columns
+from preprocess import make_matrix
+from train_core import train_and_score, save_artifacts
+
+
+def main():
+    """
+    커맨드라인 인자를 파싱해서:
+      1) CSV 로드
+      2) 자동 컬럼 매핑
+      3) 학습용 데이터셋(X, y) 구성
+      4) 모델 학습(+옵션: Optuna 튜닝)
+      5) 결과 저장(artifacts/, models/)
+    를 순차 실행합니다.
+    """
+    # --------------------------------------------------------
+    # 1) 커맨드라인 옵션 정의/파싱
+    # --------------------------------------------------------
+    ap = argparse.ArgumentParser()
+    ap.add_argument("--data", required=True, help="학습에 사용할 CSV 경로 (예: ./data/sales.csv)")
+    ap.add_argument("--project", default=".", help="작업 루트 폴더(artifacts/models 생성 위치). 기본값='.'")
+    ap.add_argument("--valid_ratio", type=float, default=0.2, help="검증 데이터 비율(기본 0.2)")
+    ap.add_argument("--use_optuna", action="store_true", help="Optuna 튜닝 사용 여부(플래그 지정 시 사용)")
+    ap.add_argument("--optuna_trials", type=int, default=15, help="Optuna 시도 횟수(기본 15)")
+    args = ap.parse_args()
+
+    # --------------------------------------------------------
+    # 2) 작업 루트 이동 (상대 경로 혼동 방지)
+    # --------------------------------------------------------
+    proj = os.path.abspath(args.project)  # 절대경로로 변환
+    os.chdir(proj)                        # 여길 기준으로 파일 읽고/저장
+
+    # --------------------------------------------------------
+    # 3) CSV 로드 + 컬럼 자동 매핑
+    # --------------------------------------------------------
+    data = read_csv_flexible(args.data)
+    mapping = auto_map_columns(data)
+
+    # --------------------------------------------------------
+    # 4) 피처 구성(X, y, feat_names 생성)
+    # --------------------------------------------------------
+    df, X, y, feat_names = make_matrix(data, mapping)
+
+    # --------------------------------------------------------
+    # 5) 출력 폴더 준비 (없으면 생성)
+    # --------------------------------------------------------
+    artifacts = os.path.join(proj, "artifacts")  # 리더보드/로그 등
+    models_dir = os.path.join(proj, "models")    # best_model.pkl 저장 위치
+    ensure_dirs(artifacts, models_dir)
+
+    # --------------------------------------------------------
+    # 6) 모델 학습(+옵션: Optuna) & 리더보드 획득
+    # --------------------------------------------------------
+    best_model, lb = train_and_score(
+        X, y,
+        valid_ratio=args.valid_ratio,
+        use_optuna=args.use_optuna,
+        optuna_trials=args.optuna_trials
+    )
+
+    # --------------------------------------------------------
+    # 7) 산출물 저장 (모델/메타데이터/리더보드)
+    # --------------------------------------------------------
+    save_artifacts([artifacts, models_dir], best_model, feat_names, mapping, lb)
+
+    # --------------------------------------------------------
+    # 8) 콘솔 로그(요약)
+    # --------------------------------------------------------
+    print("✅ training done.")
+    print(" - artifacts:", artifacts)
+    print(" - models   :", models_dir)
+    try:
+        print(lb.head())
+    except Exception:
+        print(lb)
+
+
+if __name__ == "__main__":
+    main()

requirements.txt

@@ -1,3 +1,10 @@
-altair
-pandas
-streamlit
+pandas==2.2.2
+numpy==1.26.4
+streamlit==1.39.0
+altair>=5,<6
+scikit-learn
+pyngrok
+cloudflared
+xgboost
+lightgbm
+optuna

starter.ipynb

@@ -0,0 +1 @@
+{"cells":[{"cell_type":"markdown","id":"GTG-zSlVYDJg","metadata":{"id":"GTG-zSlVYDJg"},"source":["# cstore_suite Colab 런처\n","\n","이 노트북은 `cstore_suite` 프로젝트를 Colab에서 한 번에 실행하기 위한 런처입니다.\n","\n","순서대로 위에서 아래로 셀만 실행하면 됩니다.\n"]},{"cell_type":"code","execution_count":null,"id":"DBPgdiZp0aP0","metadata":{"colab":{"background_save":true},"executionInfo":{"elapsed":4,"status":"aborted","timestamp":1763530193256,"user":{"displayName":"이혜지","userId":"11960777193249666496"},"user_tz":-540},"id":"DBPgdiZp0aP0"},"outputs":[{"name":"stderr","output_type":"stream","text":["ERROR:root:Internal Python error in the inspect module.\n","Below is the traceback from this internal error.\n","\n","ERROR:root:Internal Python error in the inspect module.\n","Below is the traceback from this internal error.\n","\n","ERROR:root:Internal Python error in the inspect module.\n","Below is the traceback from this internal error.\n","\n"]},{"name":"stdout","output_type":"stream","text":["Traceback (most recent call last):\n","  File \"/usr/local/lib/python3.12/dist-packages/IPython/core/interactiveshell.py\", line 3553, in run_code\n","    exec(code_obj, self.user_global_ns, self.user_ns)\n","  File \"/tmp/ipython-input-693870770.py\", line 1, in \u003ccell line: 0\u003e\n","    get_ipython().run_line_magic('cd', '/content/cstore_suite')\n","  File \"/usr/local/lib/python3.12/dist-packages/IPython/core/interactiveshell.py\", line 2418, in run_line_magic\n","    result = fn(*args, **kwargs)\n","             ^^^^^^^^^^^^^^^^^^^\n","  File \"\u003cdecorator-gen-85\u003e\", line 2, in cd\n","  File \"/usr/local/lib/python3.12/dist-packages/IPython/core/magic.py\", line 187, in \u003clambda\u003e\n","    call = lambda f, *a, **k: f(*a, **k)\n","                              ^^^^^^^^^^\n","  File \"/usr/local/lib/python3.12/dist-packages/IPython/core/magics/osm.py\", line 342, in cd\n","    oldcwd = os.getcwd()\n","             ^^^^^^^^^^^\n","OSError: [Errno 107] Transport endpoint is not connected\n","\n","During handling of the above exception, another exception occurred:\n","\n","Traceback (most recent call last):\n","  File \"/usr/local/lib/python3.12/dist-packages/IPython/core/interactiveshell.py\", line 2099, in showtraceback\n","    stb = value._render_traceback_()\n","          ^^^^^^^^^^^^^^^^^^^^^^^^\n","AttributeError: 'OSError' object has no attribute '_render_traceback_'\n","\n","During handling of the above exception, another exception occurred:\n","\n","Traceback (most recent call last):\n","  File \"/usr/local/lib/python3.12/dist-packages/IPython/core/ultratb.py\", line 1101, in get_records\n","    return _fixed_getinnerframes(etb, number_of_lines_of_context, tb_offset)\n","           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^\n","  File \"/usr/local/lib/python3.12/dist-packages/IPython/core/ultratb.py\", line 248, in wrapped\n","    return f(*args, **kwargs)\n","           ^^^^^^^^^^^^^^^^^^\n","  File \"/usr/local/lib/python3.12/dist-packages/IPython/core/ultratb.py\", line 281, in _fixed_getinnerframes\n","    records = fix_frame_records_filenames(inspect.getinnerframes(etb, context))\n","                                          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^\n","  File \"/usr/lib/python3.12/inspect.py\", line 1769, in getinnerframes\n","    traceback_info = getframeinfo(tb, context)\n","                     ^^^^^^^^^^^^^^^^^^^^^^^^^\n","  File \"/usr/lib/python3.12/inspect.py\", line 1714, in getframeinfo\n","    filename = getsourcefile(frame) or getfile(frame)\n","               ^^^^^^^^^^^^^^^^^^^^\n","  File \"/usr/lib/python3.12/inspect.py\", line 970, in getsourcefile\n","    module = getmodule(object, filename)\n","             ^^^^^^^^^^^^^^^^^^^^^^^^^^^\n","  File \"/usr/lib/python3.12/inspect.py\", line 999, in getmodule\n","    file = getabsfile(object, _filename)\n","           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^\n","  File \"/usr/lib/python3.12/inspect.py\", line 983, in getabsfile\n","    return os.path.normcase(os.path.abspath(_filename))\n","                            ^^^^^^^^^^^^^^^^^^^^^^^^^^\n","  File \"\u003cfrozen posixpath\u003e\", line 415, in abspath\n","OSError: [Errno 107] Transport endpoint is not connected\n","Traceback (most recent call last):\n","  File \"/usr/local/lib/python3.12/dist-packages/IPython/core/interactiveshell.py\", line 3553, in run_code\n","    exec(code_obj, self.user_global_ns, self.user_ns)\n","  File \"/tmp/ipython-input-693870770.py\", line 1, in \u003ccell line: 0\u003e\n","    get_ipython().run_line_magic('cd', '/content/cstore_suite')\n","  File \"/usr/local/lib/python3.12/dist-packages/IPython/core/interactiveshell.py\", line 2418, in run_line_magic\n","    result = fn(*args, **kwargs)\n","             ^^^^^^^^^^^^^^^^^^^\n","  File \"\u003cdecorator-gen-85\u003e\", line 2, in cd\n","  File \"/usr/local/lib/python3.12/dist-packages/IPython/core/magic.py\", line 187, in \u003clambda\u003e\n","    call = lambda f, *a, **k: f(*a, **k)\n","                              ^^^^^^^^^^\n","  File \"/usr/local/lib/python3.12/dist-packages/IPython/core/magics/osm.py\", line 342, in cd\n","    oldcwd = os.getcwd()\n","             ^^^^^^^^^^^\n","OSError: [Errno 107] Transport endpoint is not connected\n","\n","During handling of the above exception, another exception occurred:\n","\n","Traceback (most recent call last):\n","  File \"/usr/local/lib/python3.12/dist-packages/IPython/core/interactiveshell.py\", line 2099, in showtraceback\n","    stb = value._render_traceback_()\n","          ^^^^^^^^^^^^^^^^^^^^^^^^\n","AttributeError: 'OSError' object has no attribute '_render_traceback_'\n","\n","During handling of the above exception, another exception occurred:\n","\n","Traceback (most recent call last):\n","  File \"/usr/local/lib/python3.12/dist-packages/IPython/core/interactiveshell.py\", line 3473, in run_ast_nodes\n","    if (await self.run_code(code, result,  async_=asy)):\n","        ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^\n","  File \"/usr/local/lib/python3.12/dist-packages/IPython/core/interactiveshell.py\", line 3575, in run_code\n","    self.showtraceback(running_compiled_code=True)\n","  File \"/usr/local/lib/python3.12/dist-packages/IPython/core/interactiveshell.py\", line 2101, in showtraceback\n","    stb = self.InteractiveTB.structured_traceback(etype,\n","          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^\n","  File \"/usr/local/lib/python3.12/dist-packages/IPython/core/ultratb.py\", line 1367, in structured_traceback\n","    return FormattedTB.structured_traceback(\n","           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^\n","  File \"/usr/local/lib/python3.12/dist-packages/IPython/core/ultratb.py\", line 1267, in structured_traceback\n","    return VerboseTB.structured_traceback(\n","           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^\n","  File \"/usr/local/lib/python3.12/dist-packages/IPython/core/ultratb.py\", line 1124, in structured_traceback\n","    formatted_exception = self.format_exception_as_a_whole(etype, evalue, etb, number_of_lines_of_context,\n","                          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^\n","  File \"/usr/local/lib/python3.12/dist-packages/IPython/core/ultratb.py\", line 1082, in format_exception_as_a_whole\n","    last_unique, recursion_repeat = find_recursion(orig_etype, evalue, records)\n","                                    ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^\n","  File \"/usr/local/lib/python3.12/dist-packages/IPython/core/ultratb.py\", line 382, in find_recursion\n","    return len(records), 0\n","           ^^^^^^^^^^^^\n","TypeError: object of type 'NoneType' has no len()\n","\n","During handling of the above exception, another exception occurred:\n","\n","Traceback (most recent call last):\n","  File \"/usr/local/lib/python3.12/dist-packages/IPython/core/interactiveshell.py\", line 2099, in showtraceback\n","    stb = value._render_traceback_()\n","          ^^^^^^^^^^^^^^^^^^^^^^^^\n","AttributeError: 'TypeError' object has no attribute '_render_traceback_'\n","\n","During handling of the above exception, another exception occurred:\n","\n","Traceback (most recent call last):\n","  File \"/usr/local/lib/python3.12/dist-packages/IPython/core/ultratb.py\", line 1101, in get_records\n","    return _fixed_getinnerframes(etb, number_of_lines_of_context, tb_offset)\n","           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^\n","  File \"/usr/local/lib/python3.12/dist-packages/IPython/core/ultratb.py\", line 248, in wrapped\n","    return f(*args, **kwargs)\n","           ^^^^^^^^^^^^^^^^^^\n","  File \"/usr/local/lib/python3.12/dist-packages/IPython/core/ultratb.py\", line 281, in _fixed_getinnerframes\n","    records = fix_frame_records_filenames(inspect.getinnerframes(etb, context))\n","                                          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^\n","  File \"/usr/lib/python3.12/inspect.py\", line 1769, in getinnerframes\n","    traceback_info = getframeinfo(tb, context)\n","                     ^^^^^^^^^^^^^^^^^^^^^^^^^\n","  File \"/usr/lib/python3.12/inspect.py\", line 1714, in getframeinfo\n","    filename = getsourcefile(frame) or getfile(frame)\n","               ^^^^^^^^^^^^^^^^^^^^\n","  File \"/usr/lib/python3.12/inspect.py\", line 970, in getsourcefile\n","    module = getmodule(object, filename)\n","             ^^^^^^^^^^^^^^^^^^^^^^^^^^^\n","  File \"/usr/lib/python3.12/inspect.py\", line 999, in getmodule\n","    file = getabsfile(object, _filename)\n","           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^\n","  File \"/usr/lib/python3.12/inspect.py\", line 983, in getabsfile\n","    return os.path.normcase(os.path.abspath(_filename))\n","                            ^^^^^^^^^^^^^^^^^^^^^^^^^^\n","  File \"\u003cfrozen posixpath\u003e\", line 415, in abspath\n","OSError: [Errno 107] Transport endpoint is not connected\n","Traceback (most recent call last):\n","  File \"/usr/local/lib/python3.12/dist-packages/IPython/core/interactiveshell.py\", line 3553, in run_code\n","    exec(code_obj, self.user_global_ns, self.user_ns)\n","  File \"/tmp/ipython-input-693870770.py\", line 1, in \u003ccell line: 0\u003e\n","    get_ipython().run_line_magic('cd', '/content/cstore_suite')\n","  File \"/usr/local/lib/python3.12/dist-packages/IPython/core/interactiveshell.py\", line 2418, in run_line_magic\n","    result = fn(*args, **kwargs)\n","             ^^^^^^^^^^^^^^^^^^^\n","  File \"\u003cdecorator-gen-85\u003e\", line 2, in cd\n","  File \"/usr/local/lib/python3.12/dist-packages/IPython/core/magic.py\", line 187, in \u003clambda\u003e\n","    call = lambda f, *a, **k: f(*a, **k)\n","                              ^^^^^^^^^^\n","  File \"/usr/local/lib/python3.12/dist-packages/IPython/core/magics/osm.py\", line 342, in cd\n","    oldcwd = os.getcwd()\n","             ^^^^^^^^^^^\n","OSError: [Errno 107] Transport endpoint is not connected\n","\n","During handling of the above exception, another exception occurred:\n","\n","Traceback (most recent call last):\n","  File \"/usr/local/lib/python3.12/dist-packages/IPython/core/interactiveshell.py\", line 2099, in showtraceback\n","    stb = value._render_traceback_()\n","          ^^^^^^^^^^^^^^^^^^^^^^^^\n","AttributeError: 'OSError' object has no attribute '_render_traceback_'\n","\n","During handling of the above exception, another exception occurred:\n","\n","Traceback (most recent call last):\n","  File \"/usr/local/lib/python3.12/dist-packages/IPython/core/interactiveshell.py\", line 3473, in run_ast_nodes\n","    if (await self.run_code(code, result,  async_=asy)):\n","        ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^\n","  File \"/usr/local/lib/python3.12/dist-packages/IPython/core/interactiveshell.py\", line 3575, in run_code\n","    self.showtraceback(running_compiled_code=True)\n","  File \"/usr/local/lib/python3.12/dist-packages/IPython/core/interactiveshell.py\", line 2101, in showtraceback\n","    stb = self.InteractiveTB.structured_traceback(etype,\n","          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^\n","  File \"/usr/local/lib/python3.12/dist-packages/IPython/core/ultratb.py\", line 1367, in structured_traceback\n","    return FormattedTB.structured_traceback(\n","           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^\n","  File \"/usr/local/lib/python3.12/dist-packages/IPython/core/ultratb.py\", line 1267, in structured_traceback\n","    return VerboseTB.structured_traceback(\n","           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^\n","  File \"/usr/local/lib/python3.12/dist-packages/IPython/core/ultratb.py\", line 1124, in structured_traceback\n","    formatted_exception = self.format_exception_as_a_whole(etype, evalue, etb, number_of_lines_of_context,\n","                          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^\n","  File \"/usr/local/lib/python3.12/dist-packages/IPython/core/ultratb.py\", line 1082, in format_exception_as_a_whole\n","    last_unique, recursion_repeat = find_recursion(orig_etype, evalue, records)\n","                                    ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^\n","  File \"/usr/local/lib/python3.12/dist-packages/IPython/core/ultratb.py\", line 382, in find_recursion\n","    return len(records), 0\n","           ^^^^^^^^^^^^\n","TypeError: object of type 'NoneType' has no len()\n","\n","During handling of the above exception, another exception occurred:\n","\n","Traceback (most recent call last):\n","  File \"/usr/local/lib/python3.12/dist-packages/IPython/core/interactiveshell.py\", line 2099, in showtraceback\n","    stb = value._render_traceback_()\n","          ^^^^^^^^^^^^^^^^^^^^^^^^\n","AttributeError: 'TypeError' object has no attribute '_render_traceback_'\n","\n","During handling of the above exception, another exception occurred:\n","\n","Traceback (most recent call last):\n","  File \"/usr/local/lib/python3.12/dist-packages/IPython/core/interactiveshell.py\", line 3030, in _run_cell\n","    return runner(coro)\n","           ^^^^^^^^^^^^\n","  File \"/usr/local/lib/python3.12/dist-packages/IPython/core/async_helpers.py\", line 78, in _pseudo_sync_runner\n","    coro.send(None)\n","  File \"/usr/local/lib/python3.12/dist-packages/IPython/core/interactiveshell.py\", line 3257, in run_cell_async\n","    has_raised = await self.run_ast_nodes(code_ast.body, cell_name,\n","                 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^\n","  File \"/usr/local/lib/python3.12/dist-packages/IPython/core/interactiveshell.py\", line 3492, in run_ast_nodes\n","    self.showtraceback()\n","  File \"/usr/local/lib/python3.12/dist-packages/IPython/core/interactiveshell.py\", line 2101, in showtraceback\n","    stb = self.InteractiveTB.structured_traceback(etype,\n","          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^\n","  File \"/usr/local/lib/python3.12/dist-packages/IPython/core/ultratb.py\", line 1367, in structured_traceback\n","    return FormattedTB.structured_traceback(\n","           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^\n","  File \"/usr/local/lib/python3.12/dist-packages/IPython/core/ultratb.py\", line 1267, in structured_traceback\n","    return VerboseTB.structured_traceback(\n","           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^\n","  File \"/usr/local/lib/python3.12/dist-packages/IPython/core/ultratb.py\", line 1142, in structured_traceback\n","    formatted_exceptions += self.format_exception_as_a_whole(etype, evalue, etb, lines_of_context,\n","                            ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^\n","  File \"/usr/local/lib/python3.12/dist-packages/IPython/core/ultratb.py\", line 1082, in format_exception_as_a_whole\n","    last_unique, recursion_repeat = find_recursion(orig_etype, evalue, records)\n","                                    ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^\n","  File \"/usr/local/lib/python3.12/dist-packages/IPython/core/ultratb.py\", line 382, in find_recursion\n","    return len(records), 0\n","           ^^^^^^^^^^^^\n","TypeError: object of type 'NoneType' has no len()\n","\n","During handling of the above exception, another exception occurred:\n","\n","Traceback (most recent call last):\n","  File \"/usr/local/lib/python3.12/dist-packages/IPython/core/interactiveshell.py\", line 2099, in showtraceback\n","    stb = value._render_traceback_()\n","          ^^^^^^^^^^^^^^^^^^^^^^^^\n","AttributeError: 'TypeError' object has no attribute '_render_traceback_'\n","\n","During handling of the above exception, another exception occurred:\n","\n","Traceback (most recent call last):\n","  File \"/usr/local/lib/python3.12/dist-packages/IPython/core/ultratb.py\", line 1101, in get_records\n","    return _fixed_getinnerframes(etb, number_of_lines_of_context, tb_offset)\n","           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^\n","  File \"/usr/local/lib/python3.12/dist-packages/IPython/core/ultratb.py\", line 248, in wrapped\n","    return f(*args, **kwargs)\n","           ^^^^^^^^^^^^^^^^^^\n","  File \"/usr/local/lib/python3.12/dist-packages/IPython/core/ultratb.py\", line 281, in _fixed_getinnerframes\n","    records = fix_frame_records_filenames(inspect.getinnerframes(etb, context))\n","                                          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^\n","  File \"/usr/lib/python3.12/inspect.py\", line 1769, in getinnerframes\n","    traceback_info = getframeinfo(tb, context)\n","                     ^^^^^^^^^^^^^^^^^^^^^^^^^\n","  File \"/usr/lib/python3.12/inspect.py\", line 1714, in getframeinfo\n","    filename = getsourcefile(frame) or getfile(frame)\n","               ^^^^^^^^^^^^^^^^^^^^\n","  File \"/usr/lib/python3.12/inspect.py\", line 970, in getsourcefile\n","    module = getmodule(object, filename)\n","             ^^^^^^^^^^^^^^^^^^^^^^^^^^^\n","  File \"/usr/lib/python3.12/inspect.py\", line 999, in getmodule\n","    file = getabsfile(object, _filename)\n","           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^\n","  File \"/usr/lib/python3.12/inspect.py\", line 983, in getabsfile\n","    return os.path.normcase(os.path.abspath(_filename))\n","                            ^^^^^^^^^^^^^^^^^^^^^^^^^^\n","  File \"\u003cfrozen posixpath\u003e\", line 415, in abspath\n","OSError: [Errno 107] Transport endpoint is not connected\n"]}],"source":["%cd /content/cstore_suite"]},{"cell_type":"code","execution_count":7,"id":"setup_project","metadata":{"colab":{"base_uri":"https://localhost:8080/","height":256},"executionInfo":{"elapsed":2520,"status":"error","timestamp":1763530504418,"user":{"displayName":"이혜지","userId":"11960777193249666496"},"user_tz":-540},"id":"setup_project","outputId":"a33dfd95-9a46-477e-f6e3-c0121bd4a9e7"},"outputs":[{"name":"stdout","output_type":"stream","text":["✅ Python version: 3.12.12 (main, Oct 10 2025, 08:52:57) [GCC 11.4.0]\n","Drive already mounted at /content/drive; to attempt to forcibly remount, call drive.mount(\"/content/drive\", force_remount=True).\n"]},{"ename":"OSError","evalue":"[Errno 107] Transport endpoint is not connected","output_type":"error","traceback":["\u001b[0;31m---------------------------------------------------------------------------\u001b[0m","\u001b[0;31mOSError\u001b[0m                                   Traceback (most recent call last)","\u001b[0;32m/tmp/ipython-input-1340184868.py\u001b[0m in \u001b[0;36m\u003ccell line: 0\u003e\u001b[0;34m()\u001b[0m\n\u001b[1;32m     22\u001b[0m \u001b[0mcandidates\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mappend\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m\"/content/cstore_suite\"\u001b[0m\u001b[0;34m)\u001b[0m  \u001b[0;31m# Colab에서 ZIP 풀어서 쓴 경우\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m     23\u001b[0m \u001b[0mcandidates\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mappend\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m\"/content/drive/MyDrive/cstore_suite\"\u001b[0m\u001b[0;34m)\u001b[0m  \u001b[0;31m# Drive에 폴더가 있는 경우\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m---\u003e 24\u001b[0;31m \u001b[0mcandidates\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mappend\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mos\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mgetcwd\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m)\u001b[0m  \u001b[0;31m# 현재 폴더\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m     25\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m     26\u001b[0m \u001b[0mproj\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0;32mNone\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n","\u001b[0;31mOSError\u001b[0m: [Errno 107] Transport endpoint is not connected"]}],"source":["# 1️⃣ Colab / Jupyter 환경에서 cstore_suite 프로젝트 폴더 자동 설정\n","import os, sys\n","\n","print(\"✅ Python version:\", sys.version)\n","\n","# (선택) Google Colab 에서 실행 중이면 Drive 마운트 시도\n","IN_COLAB = False\n","try:\n","    from google.colab import drive  # type: ignore\n","    IN_COLAB = True\n","except Exception:\n","    IN_COLAB = False\n","\n","if IN_COLAB:\n","    try:\n","        drive.mount(\"/content/drive\")\n","    except Exception as e:\n","        print(\"⚠ Drive 마운트 중 경고:\", e)\n","\n","# 프로젝트 위치 후보들\n","candidates = []\n","candidates.append(\"/content/cstore_suite\")  # Colab에서 ZIP 풀어서 쓴 경우\n","candidates.append(\"/content/drive/MyDrive/cstore_suite\")  # Drive에 폴더가 있는 경우\n","candidates.append(os.getcwd())  # 현재 폴더\n","\n","proj = None\n","for p in candidates:\n","    if os.path.isdir(p):\n","        proj = p\n","        break\n","\n","if proj is None:\n","    raise FileNotFoundError(\n","        \"cstore_suite 프로젝트 폴더를 찾지 못했습니다.\\n\"\n","        \"- /content/cstore_suite 또는 /content/drive/MyDrive/cstore_suite 위치를 확인하세요.\"\n","    )\n","\n","os.chdir(proj)\n","print(\"📁 작업 폴더:\", os.getcwd())\n","print(\"📂 포함 파일:\", os.listdir())\n"]},{"cell_type":"code","execution_count":null,"id":"install_requirements","metadata":{"colab":{"base_uri":"https://localhost:8080/","height":220},"executionInfo":{"elapsed":46,"status":"error","timestamp":1763530163826,"user":{"displayName":"이혜지","userId":"11960777193249666496"},"user_tz":-540},"id":"install_requirements","outputId":"f007b1e7-b1aa-4c08-cdc6-b65584b90950"},"outputs":[{"ename":"OSError","evalue":"[Errno 107] Transport endpoint is not connected","output_type":"error","traceback":["\u001b[0;31m---------------------------------------------------------------------------\u001b[0m","\u001b[0;31mOSError\u001b[0m                                   Traceback (most recent call last)","\u001b[0;32m/tmp/ipython-input-3246530550.py\u001b[0m in \u001b[0;36m\u003ccell line: 0\u003e\u001b[0;34m()\u001b[0m\n\u001b[1;32m      2\u001b[0m \u001b[0;32mimport\u001b[0m \u001b[0mos\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0msubprocess\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0msys\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m      3\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m----\u003e 4\u001b[0;31m \u001b[0mreq_path\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mos\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mpath\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mjoin\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mos\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mgetcwd\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0;34m\"requirements.txt\"\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m      5\u001b[0m \u001b[0;32mif\u001b[0m \u001b[0;32mnot\u001b[0m \u001b[0mos\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mpath\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mexists\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mreq_path\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m      6\u001b[0m     \u001b[0mprint\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34mf\"⚠ requirements.txt 가 없어 기본 템플릿을 생성합니다: {req_path}\"\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n","\u001b[0;31mOSError\u001b[0m: [Errno 107] Transport endpoint is not connected"]}],"source":["# 2️⃣ requirements.txt 기반 의존성 설치\n","import os, subprocess, sys\n","\n","req_path = os.path.join(os.getcwd(), \"requirements.txt\")\n","if not os.path.exists(req_path):\n","    print(f\"⚠ requirements.txt 가 없어 기본 템플릿을 생성합니다: {req_path}\")\n","    with open(req_path, \"w\", encoding=\"utf-8\") as f:\n","        f.write(\"pandas==2.2.2\\n\")\n","        f.write(\"numpy==1.26.4\\n\")\n","        f.write(\"streamlit==1.39.0\\n\")\n","        f.write(\"altair\u003e=5,\u003c6\\n\")\n","        f.write(\"scikit-learn\\n\")\n","        f.write(\"pyngrok\\n\")\n","        f.write(\"cloudflared\\n\")\n","        f.write(\"xgboost\\n\")\n","        f.write(\"lightgbm\\n\")\n","        f.write(\"optuna\\n\")\n","else:\n","    print(\"📑 requirements.txt 위치:\", req_path)\n","\n","print(\"📦 의존성 설치 중... (다소 시간이 걸릴 수 있습니다)\")\n","subprocess.run([sys.executable, \"-m\", \"pip\", \"install\", \"-r\", req_path], check=True)\n","print(\"✅ 의존성 설치 완료\")\n"]},{"cell_type":"code","execution_count":null,"id":"auto_train","metadata":{"colab":{"base_uri":"https://localhost:8080/"},"executionInfo":{"elapsed":16,"status":"ok","timestamp":1763097971961,"user":{"displayName":"박종훈","userId":"17966453500002937995"},"user_tz":-540},"id":"auto_train","outputId":"c104b1cb-1aff-4ef8-99eb-e55d8477e50b"},"outputs":[{"name":"stdout","output_type":"stream","text":["✅ 이미 학습된 모델이 있습니다: /content/drive/MyDrive/cstore_suite/models/best_model.pkl\n"]}],"source":["# 3️⃣ 모델 자동 학습 (models/best_model.pkl 이 없을 때만 수행)\n","import os, sys, glob, subprocess\n","\n","proj = os.getcwd()\n","models_dir = os.path.join(proj, \"models\")\n","os.makedirs(models_dir, exist_ok=True)\n","best_model_path = os.path.join(models_dir, \"best_model.pkl\")\n","\n","if os.path.exists(best_model_path):\n","    print(\"✅ 이미 학습된 모델이 있습니다:\", best_model_path)\n","else:\n","    data_dir = os.path.join(proj, \"data\")\n","    if not os.path.isdir(data_dir):\n","        raise FileNotFoundError(f\"data 폴더를 찾지 못했습니다: {data_dir}\")\n","\n","    candidates = [p for p in glob.glob(os.path.join(data_dir, \"*.csv\")) if os.path.isfile(p)]\n","    if not candidates:\n","        raise FileNotFoundError(f\"data 폴더에서 CSV 파일을 찾지 못했습니다: {data_dir}\")\n","\n","    data_path = None\n","    # 우선순위: sample_sales.csv → seoul_gyeonggi_with_demand.csv → 그 외 첫 번째\n","    for name in [\"sample_sales.csv\", \"seoul_gyeonggi_with_demand.csv\"]:\n","        cand = os.path.join(data_dir, name)\n","        if os.path.exists(cand):\n","            data_path = cand\n","            break\n","    if data_path is None:\n","        data_path = candidates[0]\n","\n","    print(\"📊 학습에 사용할 데이터:\", data_path)\n","\n","    cmd = [\n","        sys.executable,\n","        \"quick_train_runner.py\",\n","        \"--data\", data_path,\n","        \"--project\", proj,\n","        \"--valid_ratio\", \"0.2\",\n","        \"--use_optuna\",\n","        \"--optuna_trials\", \"10\",\n","    ]\n","    print(\"🚀 학습 명령:\", \" \".join(cmd))\n","    subprocess.run(cmd, check=True)\n","    if os.path.exists(best_model_path):\n","        print(\"✅ 학습 및 모델 저장 완료:\", best_model_path)\n","    else:\n","        print(\"⚠ quick_train_runner.py 실행은 끝났지만 best_model.pkl 을 찾지 못했습니다.\")\n"]},{"cell_type":"code","execution_count":null,"id":"run_streamlit","metadata":{"colab":{"base_uri":"https://localhost:8080/"},"id":"run_streamlit","outputId":"f98365b7-2f7a-4847-f8c3-5b2ae49a7ef7"},"outputs":[{"name":"stdout","output_type":"stream","text":["NGROK_AUTHTOKEN 을 입력하세요(없으면 엔터): 34Ug4uB0dodqJJVE41prai7dVdp_48R3SS6GGeSabkZFP89Xw\n","🌐 ngrok 터널을 여는 중...\n","🌐 Public URL: https://debra-didactic-preculturally.ngrok-free.dev\n","➡ 위 URL 을 새 탭에서 열면 Streamlit 앱에 접속할 수 있습니다.\n","(셀을 멈추면 터널도 종료됩니다.)\n","🚀 Streamlit 실행: /usr/bin/python3 -m streamlit run app_streamlit_pro.py --server.port 8501 --server.address 0.0.0.0\n"]}],"source":["# 4️⃣ Streamlit 앱 + ngrok 터널 실행\n","#  - 셀 실행 후 출력되는 Public URL 로 접속하면 앱 화면이 보입니다.\n","\n","import os, sys, subprocess, time\n","\n","from pyngrok import ngrok, conf\n","\n","# 기존 터널 정리\n","try:\n","    ngrok.kill()\n","except Exception:\n","    pass\n","\n","port = 8501\n","\n","# 토큰 읽기 (환경변수 우선, 없으면 입력 받기)\n","token = os.environ.get(\"NGROK_AUTHTOKEN\", \"\").strip()\n","if not token:\n","    try:\n","        token = input(\"NGROK_AUTHTOKEN 을 입력하세요(없으면 엔터): \").strip()\n","    except EOFError:\n","        token = \"\"\n","\n","if token:\n","    conf.get_default().auth_token = token\n","else:\n","    print(\"⚠ NGROK_AUTHTOKEN 이 비어 있습니다. 비인증 모드는 제한/에러가 날 수 있습니다.\")\n","\n","# ngrok 터널 오픈\n","print(\"🌐 ngrok 터널을 여는 중...\")\n","tunnel = ngrok.connect(addr=f\"http://localhost:{port}\", proto=\"http\")\n","public_url = tunnel.public_url\n","print(\"🌐 Public URL:\", public_url)\n","print(\"➡ 위 URL 을 새 탭에서 열면 Streamlit 앱에 접속할 수 있습니다.\")\n","print(\"(셀을 멈추면 터널도 종료됩니다.)\")\n","\n","# Streamlit 앱 실행 (로그는 아래에 출력)\n","cmd = [\n","    sys.executable,\n","    \"-m\", \"streamlit\",\n","    \"run\", \"app_streamlit_pro.py\",\n","    \"--server.port\", str(port),\n","    \"--server.address\", \"0.0.0.0\",\n","]\n","print(\"🚀 Streamlit 실행:\", \" \".join(cmd))\n","subprocess.run(cmd, check=True)\n"]}],"metadata":{"colab":{"name":"","version":""},"kernelspec":{"display_name":"Python 3","language":"python","name":"python3"},"language_info":{"name":"python","version":"3.11.8"}},"nbformat":4,"nbformat_minor":5}

train_core.py

@@ -0,0 +1,438 @@
+#!/usr/bin/env python
+# -*- coding: utf-8 -*-
+"""
+============================================================
+train_core.py — 학습 핵심 로직(주석 아주 자세히)
+------------------------------------------------------------
+이 파일은 다음 일을 해요:
+1) 평가 지표 함수 정의(RMSE/MAE/MAPE)
+2) 사용할 모델 후보들을 모아주는 함수(get_candidates)
+3) 시계열 분할(학습/검증 나누기)
+4) 간단한 앙상블(SimpleEnsemble)
+5) (옵션) Optuna 로 하이퍼파라미터 튜닝
+6) train_and_score: 모델들 학습 → 검증 성능 비교 → 베스트 선택
+7) save_artifacts: 베스트 모델/리더보드 저장
+
+※ XGBoost/LightGBM/Optuna 는 설치되어 있지 않으면
+   자동으로 건너뛰도록 만들어졌습니다.
+============================================================
+"""
+
+import os
+import pickle
+import numpy as np
+import pandas as pd
+
+# 평가 지표 계산을 위해 scikit-learn 함수 사용
+from sklearn.metrics import mean_squared_error, mean_absolute_error
+
+# 기본 선형회귀/랜덤포레스트
+from sklearn.linear_model import LinearRegression
+from sklearn.ensemble import RandomForestRegressor
+
+# XGBoost / LightGBM 은 있을 수도, 없을 수도 있어요. (try/except)
+try:
+    from xgboost import XGBRegressor
+except Exception:
+    XGBRegressor = None
+
+try:
+    from lightgbm import LGBMRegressor
+except Exception:
+    LGBMRegressor = None
+
+# Optuna(하이퍼파라미터 자동 탐색기)도 선택사항
+try:
+    import optuna
+except Exception:
+    optuna = None
+
+
+# ------------------------------------------------------------
+# 1) 평가 지표: RMSE / MAE / MAPE
+# ------------------------------------------------------------
+def rmse(a, b):
+    """
+    RMSE (Root Mean Squared Error)
+    - 예측이 실제와 얼마나 다른지, '제곱 평균 오차의 제곱근'
+    - 값이 작을수록 좋아요.
+    """
+    a = np.array(a); b = np.array(b)
+    return float(np.sqrt(mean_squared_error(a, b))) if len(a) else float("nan")
+
+
+def mae(a, b):
+    """
+    MAE (Mean Absolute Error)
+    - 예측과 실제의 차이의 '절대값'을 평균낸 값
+    - 쉬운 직관: 평균적으로 몇 개(또는 몇 단위) 만큼 틀렸나?
+    """
+    a = np.array(a); b = np.array(b)
+    return float(mean_absolute_error(a, b)) if len(a) else float("nan")
+
+
+def mape(a, b):
+    """
+    MAPE (Mean Absolute Percentage Error)
+    - 퍼센트(%) 기준 오차. 10%면 '평균적으로 10% 틀렸다'는 뜻.
+    - 실제값이 0이면 나눗셈이 안 되므로 1로 바꿔서 안전 처리해요.
+    """
+    a = np.array(a); b = np.array(b)
+    if len(a) == 0:
+        return float("nan")
+    denom = np.where(a == 0, 1, a)  # 0인 곳은 1로 치환(분모 안전장치)
+    return float(np.mean(np.abs((a - b) / denom)) * 100.0)
+
+
+# ------------------------------------------------------------
+# 2) 모델 후보를 만들어 주는 함수
+# ------------------------------------------------------------
+def get_candidates():
+    """
+    사용할 수 있는 모델 목록을 튜플로 모아 반환해요.
+    각 원소: (이름, 모델객체, fit(학습)할 때 넣을 추가 파라미터 딕셔너리)
+
+    - LinearRegression: 가장 기본적인 선형 모델
+    - RandomForest: 비선형 패턴도 잘 잡는 나무 앙상블
+    - XGBoost / LightGBM: 빠르고 강력한 부스팅 모델(설치된 경우만 사용)
+    """
+    models = []
+
+    # 1) 선형회귀 (설정할 게 거의 없음)
+    models.append(("LinearRegression", LinearRegression(), {}))
+
+    # 2) 랜덤포레스트 (나무 300그루, 멀티코어 사용)
+    models.append(("RandomForest", RandomForestRegressor(
+        n_estimators=300,      # 나무 개수
+        max_depth=None,        # 깊이 제한 없음(과적합 시 줄이기)
+        random_state=42,
+        n_jobs=-1              # CPU 코어 모두 사용
+    ), {}))
+
+    # 3) XGBoost (있을 때만)
+    if XGBRegressor is not None:
+        models.append(("XGBoost", XGBRegressor(
+            n_estimators=400,
+            max_depth=6,
+            learning_rate=0.05,
+            subsample=0.9,
+            colsample_bytree=0.9,
+            reg_lambda=1.0,
+            random_state=42,
+            tree_method="hist",  # 빠른 히스토그램 분할
+            n_jobs=-1
+        ), {"verbose": False}))  # fit에 넣을 추가 인자 예시
+
+    # 4) LightGBM (있을 때만)
+    if LGBMRegressor is not None:
+        models.append(("LightGBM", LGBMRegressor(
+            n_estimators=600,
+            max_depth=-1,         # 자동
+            learning_rate=0.05,
+            subsample=0.9,
+            colsample_bytree=0.9,
+            reg_lambda=1.0,
+            random_state=42,
+            n_jobs=-1
+        ), {}))
+
+    return models
+
+
+# ------------------------------------------------------------
+# 3) 시계열 분할: 앞부분(학습) / 뒷부분(검증)
+# ------------------------------------------------------------
+def time_split(X, y, valid_ratio=0.2):
+    """
+    시간 순서를 지키기 위해, 앞쪽은 '학습', 뒤쪽은 '검증'으로 나눠요.
+    (시계열은 랜덤 섞기를 안 하는 게 일반적)
+
+    valid_ratio=0.2 이면 데이터의 20%를 검증용으로 사용.
+    """
+    n = len(X)
+    v = max(1, int(n * valid_ratio))  # 검증 샘플 개수(최소 1)
+    t = n - v                         # 학습 샘플 개수
+    return (X[:t], y[:t], X[t:], y[t:])
+
+
+# ------------------------------------------------------------
+# 4) 간단한 앙상블: 여러 모델 예측을 '가중 평균'
+# ------------------------------------------------------------
+class SimpleEnsemble:
+    """
+    여러 모델의 예측을 섞어서 하나로 만드는 간단한 앙상블.
+    - weights: 가중치(값이 크면 그 모델을 더 신뢰한다는 뜻)
+    - 여기서는 모델별 검증 RMSE 의 역수를 가중치로 사용(좋을수록 큰 가중)
+    """
+    def __init__(self, models, weights):
+        self.models = models
+        # 가중치 합이 1이 되도록 정규화(합이 0이면 분모를 아주 작은 값으로)
+        self.weights = np.array(weights, dtype=float) / max(np.sum(weights), 1e-9)
+
+    def predict(self, X):
+        # 각 모델의 예측을 모아서(열방향) 가중 평균
+        preds = [m.predict(X) for m in self.models]              # 리스트 길이 = 모델 수
+        return np.sum(np.array(preds).T * self.weights, axis=1)  # (샘플, 모델) · (모델,) → (샘플,)
+
+
+# ------------------------------------------------------------
+# 5) Optuna 로 하이퍼파라미터 튜닝(선택)
+# ------------------------------------------------------------
+def _tune_with_optuna(name, base_model, X_tr, y_tr, X_va, y_va, n_trials=20):
+    """
+    특정 모델에 대해 Optuna 로 '좋은 하이퍼파라미터'를 찾아요.
+    - name: 모델명 문자열 (RandomForest/XGBoost/LightGBM)
+    - base_model: 원래 모델(대체로 무시하고 새로 만듦)
+    - X_tr, y_tr: 학습 세트
+    - X_va, y_va: 검증 세트
+    - n_trials: 시도 횟수(많을수록 더 꼼꼼하지만 시간이 오래 걸림)
+
+    반환:
+      - 튜닝이 가능하면 '최적 모델' 객체를 반환
+      - Optuna가 없거나 모델이 매칭되지 않으면 None
+    """
+    if optuna is None:
+        return None  # Optuna 설치 안 되어 있으면 스킵
+
+    # 탐색 목표 함수: 검증 RMSE 를 최소화
+    def objective(trial):
+        if name == "RandomForest":
+            # 탐색 범위 정의(대략적인 합리적 구간)
+            n_estimators = trial.suggest_int("n_estimators", 200, 800, step=100)
+            max_depth    = trial.suggest_int("max_depth", 6, 24, step=2)
+            m = RandomForestRegressor(
+                n_estimators=n_estimators,
+                max_depth=max_depth,
+                random_state=42,
+                n_jobs=-1
+            )
+
+        elif name == "XGBoost" and XGBRegressor is not None:
+            n_estimators = trial.suggest_int("n_estimators", 300, 900, step=100)
+            max_depth    = trial.suggest_int("max_depth", 4, 10)
+            lr           = trial.suggest_float("learning_rate", 0.02, 0.2, log=True)
+            subsample    = trial.suggest_float("subsample", 0.7, 1.0)
+            colsample    = trial.suggest_float("colsample_bytree", 0.7, 1.0)
+            lam          = trial.suggest_float("reg_lambda", 1e-3, 10.0, log=True)
+            m = XGBRegressor(
+                n_estimators=n_estimators,
+                max_depth=max_depth,
+                learning_rate=lr,
+                subsample=subsample,
+                colsample_bytree=colsample,
+                reg_lambda=lam,
+                random_state=42,
+                tree_method="hist",
+                n_jobs=-1
+            )
+
+        elif name == "LightGBM" and LGBMRegressor is not None:
+            n_estimators = trial.suggest_int("n_estimators", 400, 1400, step=200)
+            lr           = trial.suggest_float("learning_rate", 0.02, 0.2, log=True)
+            num_leaves   = trial.suggest_int("num_leaves", 31, 255, step=16)
+            subsample    = trial.suggest_float("subsample", 0.7, 1.0)
+            colsample    = trial.suggest_float("colsample_bytree", 0.7, 1.0)
+            m = LGBMRegressor(
+                n_estimators=n_estimators,
+                learning_rate=lr,
+                num_leaves=num_leaves,
+                subsample=subsample,
+                colsample_bytree=colsample,
+                random_state=42,
+                n_jobs=-1
+            )
+        else:
+            # 이 함수가 지원하지 않는 모델이면 큰 숫자(나쁜 점수) 반환
+            return 1e9
+
+        # 학습 후 검증세트 예측 → RMSE 반환
+        m.fit(X_tr, y_tr)
+        p = m.predict(X_va)
+        return rmse(y_va, p)
+
+    # Optuna 실행(최소화)
+    study = optuna.create_study(direction="minimize")
+    study.optimize(objective, n_trials=n_trials, show_progress_bar=False)
+
+    # 최적 파라미터로 '다시' 모델을 만들어 학습해 반환
+    best_params = study.best_params
+    if name == "RandomForest":
+        m = RandomForestRegressor(
+            n_estimators=best_params["n_estimators"],
+            max_depth=best_params["max_depth"],
+            random_state=42,
+            n_jobs=-1
+        )
+    elif name == "XGBoost" and XGBRegressor is not None:
+        m = XGBRegressor(
+            n_estimators=best_params["n_estimators"],
+            max_depth=best_params["max_depth"],
+            learning_rate=best_params["learning_rate"],
+            subsample=best_params["subsample"],
+            colsample_bytree=best_params["colsample_bytree"],
+            reg_lambda=best_params["reg_lambda"],
+            random_state=42,
+            tree_method="hist",
+            n_jobs=-1
+        )
+    elif name == "LightGBM" and LGBMRegressor is not None:
+        m = LGBMRegressor(
+            n_estimators=best_params["n_estimators"],
+            learning_rate=best_params["learning_rate"],
+            num_leaves=best_params["num_leaves"],
+            subsample=best_params["subsample"],
+            colsample_bytree=best_params["colsample_bytree"],
+            random_state=42,
+            n_jobs=-1
+        )
+    else:
+        return None
+
+    # 최적 모델은 다시 전체 학습세트에 맞춰서 반환
+    m.fit(X_tr, y_tr)
+    return m
+
+
+# ------------------------------------------------------------
+# 6) 학습 & 성능 비교 → 베스트 모델 선택
+# ------------------------------------------------------------
+def train_and_score(X, y, valid_ratio=0.2, use_optuna=False, optuna_trials=15, build_ensemble=True):
+    """
+    여러 모델을 학습시키고, 검증 성능(RMSE/MAE/MAPE)을 비교해
+    '가장 좋은 모델'을 찾아 반환해요.
+
+    입력:
+      - X, y: 학습 데이터(배열/넘파이)
+      - valid_ratio: 검증 비율(0.2 = 20%)
+      - use_optuna: True면 모델별 튜닝 시도
+      - optuna_trials: 튜닝 시도 횟수
+      - build_ensemble: True면 간단 앙상블도 후보로 추가
+
+    반환:
+      - best_model: 가장 성능 좋은 모델(단일 또는 Ensemble)
+      - lb: 성능 리더보드(DataFrame, rmse 오름차순 정렬)
+    """
+    # 시간 순서 기반 분할(앞: 학습, 뒤: 검증)
+    X_tr, y_tr, X_va, y_va = time_split(X, y, valid_ratio=valid_ratio)
+
+    rows = []            # 각 모델의 성적표를 담을 리스트(나중에 DataFrame으로)
+    best = (None, None, float("inf"))  # (이름, 모델, 현재까지의 최소 RMSE)
+    fitted = []          # 학습 완료된 (이름, 모델) 저장
+    va_preds = []        # 검증 예측 결과(앙상블 만들 때 사용)
+
+    # 모델 후보들을 하나씩 학습/평가
+    for name, mdl, fit_params in get_candidates():
+        try:
+            # Optuna 튜닝을 켜면 먼저 튜닝을 시도
+            if use_optuna:
+                tuned = _tune_with_optuna(name, mdl, X_tr, y_tr, X_va, y_va, n_trials=optuna_trials)
+                if tuned is not None:
+                    mdl = tuned  # 튜닝 성공 시 그 모델로 교체
+
+            # 모델 학습
+            mdl.fit(X_tr, y_tr, **fit_params)
+
+            # 검증 예측
+            pred = mdl.predict(X_va)
+
+            # 성적표 한 줄 작성
+            row = {
+                "model": name,
+                "rmse": rmse(y_va, pred),
+                "mae":  mae(y_va, pred),
+                "mape": mape(y_va, pred)
+            }
+            rows.append(row)
+
+            # 앙상블 후보를 위해 저장
+            fitted.append((name, mdl))
+            va_preds.append(pred)
+
+            # 베스트 갱신(더 작은 RMSE가 나오면 교체)
+            if row["rmse"] < best[2]:
+                best = (name, mdl, row["rmse"])
+
+        except Exception:
+            # 어떤 모델이 실패하더라도 전체 파이프라인은 계속 가요.
+            rows.append({"model": name, "rmse": np.nan, "mae": np.nan, "mape": np.nan})
+
+    # ---- 간단 앙상블 후보 추가 (원하면) ----
+    # 2개 이상 모델이 성공했을 때만 앙상블 시도
+    if build_ensemble and len(va_preds) >= 2:
+        # 모델별 RMSE의 역수를 가중치로 사용(좋을수록 큰 가중)
+        rmses = [rmse(y_va, p) for p in va_preds]
+        weights = [1.0 / max(r, 1e-6) for r in rmses]  # 0 나눔 방지
+
+        ens = SimpleEnsemble([m for _, m in fitted], weights)
+        ens_pred = ens.predict(X_va)
+
+        row = {
+            "model": "Ensemble",
+            "rmse": rmse(y_va, ens_pred),
+            "mae":  mae(y_va, ens_pred),
+            "mape": mape(y_va, ens_pred)
+        }
+        rows.append(row)
+
+        # 앙상블이 제일 좋으면 베스트로 교체
+        if row["rmse"] < best[2]:
+            best = ("Ensemble", ens, row["rmse"])
+
+    # 리더보드 테이블 만들기(작은 rmse 순)
+    lb = pd.DataFrame(rows).sort_values("rmse", na_position="last").reset_index(drop=True)
+
+    # best[1] = 베스트 모델 객체
+    return best[1], lb
+
+
+# ------------------------------------------------------------
+# 7) 산출물 저장(베스트 모델/피처명/매핑/리더보드)
+# ------------------------------------------------------------
+def save_artifacts(out_dirs, best_model, feature_names, mapping, leaderboard_df):
+    """
+    학습 결과를 디스크에 저장해요.
+
+    - out_dirs: 저장할 폴더 목록(예: ['artifacts', 'models'])
+      두 폴더 모두에 동일한 파일을 만들어 둡니다(복구/공유 편의).
+    - best_model: train_and_score 에서 뽑힌 최고 모델(또는 앙상블)
+    - feature_names: 모델 입력 컬럼 이름 리스트
+    - mapping: 날짜/타깃/카테고리 매핑 딕셔너리 (재현/예측 시 필요)
+    - leaderboard_df: 성능 표(DataFrame)
+
+    생성 파일:
+      - best_model.pkl: {model, feature_names, mapping} 를 pickle 로 저장
+      - leaderboard.csv: 성능 표 (UTF-8-SIG, 엑셀 호환)
+      - leaderboard.parquet: 파케이(있으면)
+    """
+    payload = {
+        "model": best_model,
+        "feature_names": feature_names,
+        "mapping": mapping
+    }
+
+    for d in out_dirs:
+        os.makedirs(d, exist_ok=True)
+
+        # 1) 베스트 모델 패키지 저장
+        with open(os.path.join(d, "best_model.pkl"), "wb"):
+            # pickle.dump: 파이썬 객체를 파일로 직렬화해서 저장
+            pass
+        with open(os.path.join(d, "best_model.pkl"), "wb") as f:
+            pickle.dump(payload, f)
+
+        # 2) 리더보드 저장 (CSV)
+        leaderboard_df.to_csv(
+            os.path.join(d, "leaderboard.csv"),
+            index=False,
+            encoding="utf-8-sig"  # 엑셀에서 한글 안깨지도록
+        )
+
+        # 3) 리더보드 저장 (Parquet, 선택사항)
+        try:
+            leaderboard_df.to_parquet(
+                os.path.join(d, "leaderboard.parquet"),
+                index=False
+            )
+        except Exception:
+            # pyarrow 같은 의존성이 없을 수 있으니 실패해도 그냥 넘어감
+            pass

utils_io.py

@@ -0,0 +1,203 @@
+#!/usr/bin/env python
+# -*- coding: utf-8 -*-
+"""
+utils_io.py — 입출력/컬럼 자동 매핑 유틸 모음 (상세 주석)
+
+이 파일은 다음 기능을 제공합니다.
+1) read_csv_flexible: 여러 인코딩 후보로 CSV를 '안전하게' 읽기
+2) save_utf8sig     : UTF-8-SIG(엑셀 호환)로 CSV 저장
+3) ensure_dirs      : 폴더가 없으면 만들어 주기
+4) auto_map_columns : 날짜/타깃/지역/브랜드/상품 컬럼 자동 추정
+
+※ 주의: 아래 auto_map_columns()는 원본 코드의 locals() 기반 충돌 해결을
+   '안전한 딕셔너리 기반'으로 고쳤습니다. (Python에서 locals() 수정은
+   함수 스코프에서 보장이 되지 않습니다.)
+"""
+
+import os
+import re
+import glob
+import pandas as pd
+from typing import Optional, Dict, List, Union, IO
+
+# 1) CSV 읽기 시도할 인코딩 후보들
+# - utf-8-sig: 엑셀에서 잘 열리는 UTF-8 with BOM
+# - utf-8    : 범용
+# - cp949/euc-kr: 윈도우/국내 환경에서 자주 쓰는 한글 인코딩
+# - latin1   : 마지막 안전망(손실 없이 읽히나 글자가 깨질 수 있음)
+ENCODINGS: List[str] = ["utf-8-sig", "utf-8", "cp949", "euc-kr", "latin1"]
+
+
+def read_csv_flexible(path_or_buf: Union[str, os.PathLike, IO[bytes], IO[str]]) -> pd.DataFrame:
+    """
+    여러 인코딩을 순차적으로 시도하여 CSV를 안전하게 읽습니다.
+    - 첫 번째로 성공하는 인코딩 결과를 반환합니다.
+    - 모두 실패하면 마지막 예외를 다시 던집니다.
+    - 문자열 경로뿐 아니라 BytesIO/파일 객체도 지원합니다.
+
+    Parameters
+    ----------
+    path_or_buf : str 또는 파일 객체
+        CSV 파일 경로 또는 파일 객체/버퍼(예: BytesIO, UploadedFile 등)
+
+    Returns
+    -------
+    pd.DataFrame
+        읽어들인 데이터프레임
+    """
+    last_e: Optional[Exception] = None
+    for enc in ENCODINGS:
+        try:
+            # 파일 객체일 경우 매번 처음부터 다시 읽도록 커서 이동
+            if hasattr(path_or_buf, "seek"):
+                try:
+                    path_or_buf.seek(0)
+                except Exception:
+                    # seek을 지원하지 않으면 그냥 진행
+                    pass
+            return pd.read_csv(path_or_buf, encoding=enc)
+        except Exception as e:
+            # 실패하면 다음 인코딩으로 넘어가고, 마지막 예외를 저장
+            last_e = e
+    if last_e is not None:
+        # 모든 인코딩이 실패 → 마지막 에러를 그대로 올림(디버깅에 유용)
+        raise last_e
+    # 이론상 도달하지 않지만, 안전망으로 한 번 더 시도
+    return pd.read_csv(path_or_buf)
+
+
+def save_utf8sig(df: pd.DataFrame, path: str) -> None:
+    """
+    DataFrame을 UTF-8-SIG로 저장합니다.
+    - 디렉토리가 없으면 먼저 만들어 줍니다.
+    - 엑셀에서 한글 깨짐을 방지하는 인코딩입니다.
+
+    Parameters
+    ----------
+    df : pd.DataFrame
+        저장할 데이터프레임
+    path : str
+        저장 경로(파일명 포함)
+    """
+    os.makedirs(os.path.dirname(path), exist_ok=True)
+    df.to_csv(path, index=False, encoding="utf-8-sig")
+
+
+def ensure_dirs(*dirs: str) -> None:
+    """
+    전달된 모든 경로에 대해 폴더가 없으면 생성합니다.
+    - 여러 경로를 한 번에 처리할 수 있습니다.
+
+    Example
+    -------
+    ensure_dirs("data", "artifacts", "models")
+    """
+    for d in dirs:
+        os.makedirs(d, exist_ok=True)
+
+
+# --- Column auto-mapping helpers --------------------------------------------
+# 한국어/영어로 자주 쓰이는 열 이름 후보 리스트
+_CAND_DATE   = ["date", "일자", "날짜", "dt", "기준일"]
+_CAND_TARGET = ["qty", "sales_qty", "sales", "판매수량", "수량", "demand", "target", "y"]
+_CAND_REGION = ["region", "지점", "점포", "매장", "지역", "시도", "광역", "구분"]
+_CAND_BRAND  = ["brand", "브랜드", "회사", "제조사"]
+_CAND_ITEM   = ["item", "상품", "품목", "sku", "상품명", "제품명"]
+
+
+def _guess_col(cols: List[str], candidates: List[str]) -> Optional[str]:
+    """
+    컬럼 이름 목록(cols)에서 후보(candidates)와 '가장 잘 맞는' 컬럼을 추정합니다.
+    1) 전부 소문자로 바꾼 뒤 '정확히 같은 이름' 우선 매칭
+    2) 없으면 '포함(contains)' 매칭으로 완화 탐색
+
+    Parameters
+    ----------
+    cols : List[str]
+        실제 데이터프레임의 컬럼명 리스트
+    candidates : List[str]
+        우리가 찾고 싶은 의미의 후보명들
+
+    Returns
+    -------
+    Optional[str]
+        매칭된 컬럼명(없으면 None)
+    """
+    lower = {c.lower(): c for c in cols}  # 소문자 → 원래 컬럼명 매핑
+
+    # (1) 정확 일치 우선
+    for c in candidates:
+        if c in lower:
+            return lower[c]
+
+    # (2) 부분 포함(완화 매칭)
+    for c in candidates:
+        for col in cols:
+            if c in col.lower():
+                return col
+
+    return None
+
+
+def auto_map_columns(df: pd.DataFrame) -> Dict[str, Optional[str]]:
+    """
+    날짜/타깃/지역/브랜드/상품 컬럼명을 자동으로 추정합니다.
+    - 정/부분일치로 각각 한 개씩 찾습니다.
+    - 중복(같은 컬럼이 두 역할로 선택) 발생 시, 날짜/타깃을 우선 보존하고
+      나머지(region/brand/item)는 '아직 사용되지 않은' 다른 컬럼으로
+      대체 시도합니다. (원본 로직의 locals() 수정 버그를 제거)
+
+    Parameters
+    ----------
+    df : pd.DataFrame
+        입력 데이터프레임
+
+    Returns
+    -------
+    Dict[str, Optional[str]]
+        {'date': ..., 'target': ..., 'region': ..., 'brand': ..., 'item': ...}
+        값이 None일 수 있습니다.
+    """
+    cols = list(df.columns)
+
+    # 1) 1차 자동 추정
+    date   = _guess_col(cols, _CAND_DATE)
+    target = _guess_col(cols, _CAND_TARGET)
+    region = _guess_col(cols, _CAND_REGION)
+    brand  = _guess_col(cols, _CAND_BRAND)
+    item   = _guess_col(cols, _CAND_ITEM)
+
+    # 2) 충돌(중복) 처리 — 안전한 딕셔너리 방식
+    picks = {
+        "date": date,
+        "target": target,
+        "region": region,
+        "brand": brand,
+        "item": item,
+    }
+
+    # None이 아닌 값들만 뽑아 중복 여부 확인
+    chosen_non_null = [p for p in picks.values() if p]
+    has_dup = len(set(chosen_non_null)) != len(chosen_non_null)
+
+    if has_dup:
+        # 날짜/타깃 최우선 보호
+        used = set([p for p in (date, target) if p])
+        # 충돌 가능성이 있는 키들(우선순위 낮음)
+        for key in ["region", "brand", "item"]:
+            val = picks.get(key)
+            # 이미 사용된 컬럼과 겹치면 다른 후보를 찾아봄
+            if val and val in used:
+                # 아직 쓰지 않은 임의의 컬럼을 순회하며 대체
+                replace = None
+                for c in cols:
+                    if c not in used and c != val:
+                        replace = c
+                        break
+                picks[key] = replace  # 못 찾으면 None이 들어갑니다.
+                if replace:
+                    used.add(replace)
+            elif val:
+                used.add(val)
+
+    return picks