Update app.py

app.py

@@ -639,52 +639,67 @@ def load_default_files(force=False):
 
 # ============================================================
 # 6) FAKTOR WILAYAH — PER JENIS (PATCH UTAMA)
-#    faktor_jenis = min(n_jenis / target68_jenis, 1.0)
-#    target/pop sekolah & umum diambil dari POP_KAB/POP_PROV jika tersedia
-#    target/pop khusus diambil dari POP_KHUSUS (gabungan)
 # ============================================================
 
 def _read_target_pop_per_jenis_from_pop(pop_df: pd.DataFrame, mode: str):
     """
     Mengambil mapping target/pop PER JENIS untuk sekolah & umum dari POP_KAB/POP_PROV
-    jika file populasi kamu memang punya kolom per jenis.
+    sesuai nama kolom REAL di file Excel user.
 
     Return:
-      dict: {
-        "sekolah": (target_col, pop_col),
-        "umum":    (target_col, pop_col),
-      }
-    Kalau tidak ketemu, return None untuk kolom tersebut -> nanti dianggap 0.
+      dict: {"sekolah": (target_col, pop_col), "umum": (target_col, pop_col)}
     """
     if pop_df is None or pop_df.empty:
         return {"sekolah": (None, None), "umum": (None, None)}
 
-    # Kandidat kolom target/pop per jenis (buat fleksibel)
-    # Silakan tambahkan alias kolom kamu di sini bila beda penamaan
+    # =========================
+    # POP KAB (Data_populasi_Kab_kota_fixed.xlsx)
+    # - umum: jumlah_populasi_umum, Sampel_umum_68%
+    # - sekolah: jumlah_populasi_sekolah, Sampel_sekolah_68%
+    # =========================
     sekolah_target = pick_col(pop_df, [
+        "Sampel_sekolah_68%", "Sampel_sekolah_68", "SAMPEL_SEKOLAH_68%", "SAMPEL_SEKOLAH_68",
         "TARGET_SEKOLAH_68", "Target_Sekolah_68", "target_sekolah_68",
-        "SAMPEL_SEKOLAH_68", "Sampel_Sekolah_68", "sampel_sekolah_68",
-        "target68_sekolah", "Target68_Sekolah"
+        "SAMPEL_SEKOLAH_68", "Sampel_Sekolah_68"
     ])
     sekolah_pop = pick_col(pop_df, [
+        "jumlah_populasi_sekolah", "Jumlah_populasi_sekolah", "JUMLAH_POPULASI_SEKOLAH",
         "POP_SEKOLAH", "Pop_Sekolah", "pop_sekolah",
         "POPULASI_SEKOLAH", "Populasi_Sekolah"
     ])
 
     umum_target = pick_col(pop_df, [
+        "Sampel_umum_68%", "Sampel_umum_68", "SAMPEL_UMUM_68%", "SAMPEL_UMUM_68",
         "TARGET_UMUM_68", "Target_Umum_68", "target_umum_68",
-        "SAMPEL_UMUM_68", "Sampel_Umum_68", "sampel_umum_68",
-        "target68_umum", "Target68_Umum"
+        "SAMPEL_UMUM_68", "Sampel_Umum_68"
     ])
     umum_pop = pick_col(pop_df, [
+        "jumlah_populasi_umum", "Jumlah_populasi_umum", "JUMLAH_POPULASI_UMUM",
         "POP_UMUM", "Pop_Umum", "pop_umum",
-        "POPULASI_UMUM", "Populasi_Umum"
+        "POPULASI_UMUM", "Populasi_Umum",
+        # POP PROV umum:
+        "perpus_umum_prop", "Perpus_umum_prop", "PERPUS_UMUM_PROP"
     ])
 
-    return {
-        "sekolah": (sekolah_target, sekolah_pop),
-        "umum": (umum_target, umum_pop),
-    }
+    # =========================
+    # POP PROV (Data_populasi_propinsi.xlsx)
+    # - sekolah: total_pend, total _sampel
+    # - umum: perpus_umum_prop, target dihitung jika tidak ada
+    # =========================
+    if str(mode).upper() == "PROV":
+        # override sekolah kalau ada kolom prov yang lebih spesifik
+        sekolah_pop2 = pick_col(pop_df, ["total_pend", "TOTAL_PEND", "total_penduduk", "Total Pend"])
+        sekolah_target2 = pick_col(pop_df, ["total _sampel", "total_sampel", "TOTAL_SAMPEL", "Total Sampel"])
+
+        if sekolah_pop2 is not None:
+            sekolah_pop = sekolah_pop2
+        if sekolah_target2 is not None:
+            sekolah_target = sekolah_target2
+
+        # umum target prov kadang tidak ada -> akan dihitung dari pop (0.68 * pop) di bawah
+        # (jadi umum_target boleh None)
+
+    return {"sekolah": (sekolah_target, sekolah_pop), "umum": (umum_target, umum_pop)}
 
 
 def build_faktor_wilayah_jenis(
@@ -696,7 +711,7 @@ def build_faktor_wilayah_jenis(
 ):
     """
     Output: faktor per (wilayah x jenis)
-    Kolom minimal:
+    Kolom:
       group_key, [Kab/Kota|Provinsi], Jenis,
       n_jenis, target_total_68_jenis, pop_total_jenis,
       coverage_jenis_%, faktor_penyesuaian_jenis, gap_target68_jenis
@@ -727,38 +742,41 @@ def build_faktor_wilayah_jenis(
     )
     base_n["Jenis"] = base_n["Jenis"].astype(str).str.lower().str.strip()
 
-    # mapping target/pop sekolah & umum dari POP_KAB/POP_PROV (jika ada)
+    # mapping kolom target/pop sesuai Excel user
     tp_map = _read_target_pop_per_jenis_from_pop(pop_base.reset_index(), mode=mode)
 
-    # siapkan kolom target/pop default
+    # default 0 (biar tidak NaN)
     base_n["target_total_68_jenis"] = 0.0
     base_n["pop_total_jenis"] = 0.0
 
-    # isi sekolah & umum dari POP_KAB/POP_PROV bila kolomnya tersedia
+    # =========================
+    # sekolah & umum dari POP_KAB / POP_PROV
+    # =========================
     for j in ["sekolah", "umum"]:
         tcol, pcol = tp_map.get(j, (None, None))
-        if tcol is None and pcol is None:
+        if pop_base.empty:
             continue
 
-        # ambil series target/pop per wilayah
-        # (pop_base masih set_index group_key)
-        if not pop_base.empty:
-            if tcol is not None and tcol in pop_base.columns:
-                tser = pd.to_numeric(pop_base[tcol], errors="coerce").fillna(0.0)
-            else:
-                tser = pd.Series(0.0, index=pop_base.index)
+        # pop
+        if pcol is not None and pcol in pop_base.columns:
+            pser = pd.to_numeric(pop_base[pcol], errors="coerce").fillna(0.0)
+        else:
+            pser = pd.Series(0.0, index=pop_base.index)
 
-            if pcol is not None and pcol in pop_base.columns:
-                pser = pd.to_numeric(pop_base[pcol], errors="coerce").fillna(0.0)
-            else:
-                pser = pd.Series(0.0, index=pop_base.index)
+        # target (kalau tidak ada kolom target khusus—khususnya PROV untuk umum—hitung dari pop)
+        if tcol is not None and tcol in pop_base.columns:
+            tser = pd.to_numeric(pop_base[tcol], errors="coerce").fillna(0.0)
+        else:
+            # fallback: target = 0.68 * pop (khusus PROV untuk umum biasanya)
+            tser = (pser.astype(float) * float(FALLBACK_TARGET_RATIO)).fillna(0.0)
 
-            mask = base_n["Jenis"].eq(j)
-            # map by index
-            base_n.loc[mask, "target_total_68_jenis"] = base_n.loc[mask, "group_key"].map(tser).fillna(0.0).values
-            base_n.loc[mask, "pop_total_jenis"] = base_n.loc[mask, "group_key"].map(pser).fillna(0.0).values
+        mask = base_n["Jenis"].eq(j)
+        base_n.loc[mask, "pop_total_jenis"] = base_n.loc[mask, "group_key"].map(pser).fillna(0.0).values
+        base_n.loc[mask, "target_total_68_jenis"] = base_n.loc[mask, "group_key"].map(tser).fillna(0.0).values
 
-    # isi KHUSUS dari POP_KHUSUS (sum per wilayah)
+    # =========================
+    # KHUSUS dari POP_KHUSUS (sum per wilayah)
+    # =========================
     if pop_khusus is not None and not pop_khusus.empty:
         pk = pop_khusus.copy()
         pk["Target68_Total_Jenis"] = pd.to_numeric(pk.get("Target68_Total_Jenis", np.nan), errors="coerce").fillna(0.0)
@@ -783,14 +801,16 @@ def build_faktor_wilayah_jenis(
             base_n.loc[mask_khusus, "target_total_68_jenis"] = pd.to_numeric(tmp["target_total_68_jenis"], errors="coerce").fillna(0.0).values
             base_n.loc[mask_khusus, "pop_total_jenis"] = pd.to_numeric(tmp["pop_total_jenis"], errors="coerce").fillna(0.0).values
 
-    # fallback pop dari target
+    # =========================
+    # fallback pop dari target (kalau pop masih 0 tapi target ada)
+    # =========================
     base_n["target_total_68_jenis"] = pd.to_numeric(base_n["target_total_68_jenis"], errors="coerce").fillna(0.0)
     base_n["pop_total_jenis"] = pd.to_numeric(base_n["pop_total_jenis"], errors="coerce").fillna(0.0)
 
     m_need_pop = (base_n["pop_total_jenis"] <= 0) & (base_n["target_total_68_jenis"] > 0)
     base_n.loc[m_need_pop, "pop_total_jenis"] = base_n.loc[m_need_pop, "target_total_68_jenis"] / float(FALLBACK_TARGET_RATIO)
 
-    # faktor per jenis
+    # faktor
     base_n["faktor_penyesuaian_jenis"] = [
         faktor_penyesuaian_total(n, t)
         for n, t in zip(