Update app.py

app.py

@@ -1,14 +1,66 @@
 # app.py
+# HF Spacesで:
+# 1) japan_ver85.shp (ZIP) を読み込み
+# 2) Excelの住所列をNominatimで緯度経度化（キャッシュあり/オフライン可）
+# 3) 日本地図（境界線）にポイントを重ねて描画（静的PNG & folium HTML）
+#
+# 使い方:
+# - Shapefile ZIP と Excel をアップロード
+# - シート名/ヘッダー行/列指定を入力して「描画」
+# - 注意: Nominatimは利用規約順守。user_agentに連絡先の設定推奨（スペースのシークレット等）。
+
 import os
 import io
+import time
+import pandas as pd
+import numpy as np
 import geopandas as gpd
 import matplotlib.pyplot as plt
+from shapely.geometry import Point
+from geopy.geocoders import Nominatim
+from geopy.extra.rate_limiter import RateLimiter
+import folium
 import gradio as gr
-from PIL import Image  # ★ 追加
+from PIL import Image
+
+# ----------------------------
+# 設定
+# ----------------------------
+USER_AGENT = os.environ.get(
+    "NOMINATIM_USER_AGENT",
+    "jp-geocoding-demo (contact: your_email@example.com)"  # ← 必ず連絡先付きに変更推奨
+)
+GEOCODE_DELAY_SEC = 1.0  # Nominatimへの配慮: 1秒間隔
+CACHE_DIR = "data/cache"
+os.makedirs(CACHE_DIR, exist_ok=True)
+CACHE_PATH = os.path.join(CACHE_DIR, "geocode_cache.csv")
+
+DEFAULT_ZIP = "data/japan_ver85.zip"  # リポジトリに置いた場合に使う
 
-DEFAULT_ZIP = "data/japan_ver85.zip"
+# ----------------------------
+# キャッシュ読み書き
+# ----------------------------
+def load_cache():
+    if os.path.exists(CACHE_PATH):
+        try:
+            df = pd.read_csv(CACHE_PATH)
+            if set(["address_input", "lat", "lon", "CF"]).issubset(df.columns):
+                return df
+        except Exception:
+            pass
+    return pd.DataFrame(columns=["address_input", "lat", "lon", "CF"])
+
+def save_cache(df_cache):
+    try:
+        df_cache.to_csv(CACHE_PATH, index=False)
+    except Exception:
+        pass  # 読み取り専用環境などではスキップ
 
+# ----------------------------
+# Shapefile ZIP → GeoDataFrame
+# ----------------------------
 def load_gdf_from_zip(zip_path: str) -> gpd.GeoDataFrame:
+    # pyogrioが入っていれば engine="pyogrio" を付けると高速
     gdf = gpd.read_file(f"zip://{zip_path}")  # , engine="pyogrio"
     try:
         if gdf.crs:
@@ -17,63 +69,247 @@ def load_gdf_from_zip(zip_path: str) -> gpd.GeoDataFrame:
         pass
     return gdf
 
-def plot_boundary(gdf: gpd.GeoDataFrame, linewidth: float = 0.6, figsize=(7,7)):
-    """
-    GeoDataFrame の境界線のみを静的にプロットし、PIL.Image を返す
-    """
+# ----------------------------
+# ジオコーダ
+# ----------------------------
+def make_geocoder():
+    geolocator = Nominatim(user_agent=USER_AGENT, timeout=10)
+    geocode = RateLimiter(geolocator.geocode, min_delay_seconds=GEOCODE_DELAY_SEC)
+    return geocode
+
+def geocode_with_cache(addresses, CFs, use_internet=True):
+    cache = load_cache()
+    cache_map = {row["address_input"]: (row["lat"], row["lon"], row["CF"]) for _, row in cache.iterrows()}
+    results = []
+
+    geocode = make_geocoder() if use_internet else None
+
+    for a, cf in zip(addresses, CFs):
+        a = str(a)
+        cf = str(cf) if (cf is not None and not (isinstance(cf, float) and np.isnan(cf))) else ""
+        # キャッシュヒット
+        if a in cache_map:
+            lat, lon, _cached_cf = cache_map[a]
+            if pd.notna(lat) and pd.notna(lon):
+                results.append({"address_input": a, "CF": cf, "lat": lat, "lon": lon})
+                continue
+
+        if not use_internet:
+            results.append({"address_input": a, "CF": cf, "lat": np.nan, "lon": np.nan})
+            continue
+
+        # API呼び出し（RateLimiterで待機）
+        try:
+            loc = geocode(a, country_codes="jp", addressdetails=True)
+            if loc:
+                lat, lon = loc.latitude, loc.longitude
+            else:
+                lat, lon = np.nan, np.nan
+        except Exception:
+            lat, lon = np.nan, np.nan
+
+        # キャッシュ更新
+        cache = cache[cache["address_input"] != a]
+        cache = pd.concat(
+            [cache, pd.DataFrame([{"address_input": a, "lat": lat, "lon": lon, "CF": cf}])],
+            ignore_index=True
+        )
+        save_cache(cache)
+
+        results.append({"address_input": a, "CF": cf, "lat": lat, "lon": lon})
+
+    return pd.DataFrame(results)
+
+# ----------------------------
+# 可視化（matplotlib）
+# ----------------------------
+def plot_map_png(gdf_pref: gpd.GeoDataFrame, gdf_pts: gpd.GeoDataFrame,
+                 line_width: float = 0.6, figsize=(7, 7)) -> Image.Image:
     fig, ax = plt.subplots(figsize=figsize)
-    gdf.boundary.plot(ax=ax, linewidth=linewidth)
+    gdf_pref.boundary.plot(ax=ax, linewidth=line_width, color="black")
+    # 有効な点のみ
+    gdf_pts_valid = gdf_pts[gdf_pts.geometry.notnull()]
+    if not gdf_pts_valid.empty:
+        # CF列（任意）を数値化してカラーマップに使用。無ければ等色。
+        cf_num = pd.to_numeric(gdf_pts_valid.get("CF", pd.Series([np.nan]*len(gdf_pts_valid))), errors="coerce")
+        # markersizeは見やすいよう固定（必要ならスライダで可変化も可）
+        gdf_pts_valid.assign(CF_num=cf_num).plot(
+            ax=ax, column="CF_num", cmap="OrRd", markersize=12, alpha=0.85, legend=True
+        )
     ax.set_axis_off()
     plt.tight_layout()
-
     buf = io.BytesIO()
     fig.savefig(buf, format="png", dpi=200)
     plt.close(fig)
     buf.seek(0)
-    img = Image.open(buf)  # ★ BytesIO → PIL.Image に変換
-    return img
+    return Image.open(buf)
+
+# ----------------------------
+# 可視化（folium）
+# ----------------------------
+def make_folium_html(gdf_pref: gpd.GeoDataFrame, gdf_pts: gpd.GeoDataFrame):
+    # 中心位置（ポイントがあれば中央値、なければ東京駅付近）
+    gdf_pts_valid = gdf_pts[gdf_pts.geometry.notnull()]
+    if not gdf_pts_valid.empty:
+        center_lat = gdf_pts_valid.geometry.y.median()
+        center_lon = gdf_pts_valid.geometry.x.median()
+        zoom = 6
+    else:
+        center_lat, center_lon, zoom = 35.6812, 139.7671, 5
+
+    m = folium.Map(location=[center_lat, center_lon], zoom_start=zoom)
+
+    # 境界線（軽量化のため boundary のみ簡易表示）
+    try:
+        folium.GeoJson(gdf_pref.to_json(), name="prefecture").add_to(m)
+    except Exception:
+        pass
 
-def run(zip_file, line_width, width_px):
+    for _, r in gdf_pts_valid.iterrows():
+        lat, lon = r.geometry.y, r.geometry.x
+        popup = f"{r.get('address_input','(no addr)')}<br>CF:{r.get('CF','')}"
+        folium.CircleMarker(
+            location=(float(lat), float(lon)),
+            radius=4,
+            fill=True,
+            fill_opacity=0.9,
+            popup=popup,
+        ).add_to(m)
+
+    return m._repr_html_()
+
+# ----------------------------
+# パイプライン
+# ----------------------------
+def _coerce_indexer(x):
+    # 列名/数字の両対応
+    try:
+        return int(x)
+    except Exception:
+        return x
+
+def run(zip_file, excel_file, sheet_name, header_row, address_col, power_col,
+        use_inet, line_width):
+    # 1) Shapefile ZIP の決定
     if zip_file is not None and hasattr(zip_file, "name") and os.path.exists(zip_file.name):
         zip_path = zip_file.name
     elif os.path.exists(DEFAULT_ZIP):
         zip_path = DEFAULT_ZIP
     else:
-        return None, "Shapefile の ZIP をアップロードするか、data/japan_ver85.zip を配置してください。"
+        return None, None, "Shapefile の ZIP をアップロードするか、data/japan_ver85.zip を配置してください。"
 
+    # 2) 行政界読み込み
     try:
-        gdf = load_gdf_from_zip(zip_path)
+        gdf_pref = load_gdf_from_zip(zip_path)
     except Exception as e:
-        return None, f"読み込みに失敗しました: {e}"
+        return None, None, f"行政界の読み込みに失敗しました: {e}"
+
+    # 3) Excel 読み込み & 列抽出
+    if excel_file is None or not hasattr(excel_file, "name"):
+        # 住所点なしでも地図だけ返せるようにする（要件に合わせてここでエラーにしてもOK）
+        gdf_pts = gpd.GeoDataFrame(columns=["address_input", "CF", "lat", "lon"], geometry=[], crs="EPSG:4326")
+    else:
+        try:
+            df = pd.read_excel(excel_file.name, sheet_name=sheet_name, header=int(header_row))
+        except Exception as e:
+            return None, None, f"Excel の読み込みに失敗しました: {e}"
+
+        addr_series = df.iloc[:, address_col] if isinstance(address_col, int) else df[address_col]
+        cf_series = df.iloc[:, power_col] if isinstance(power_col, int) else df[power_col]
+
+        addresses = addr_series.astype(str).tolist()
+        cfs = cf_series.tolist()
 
+        # 4) ジオコーディング（キャッシュ活用）
+        geo_df = geocode_with_cache(addresses, cfs, use_internet=bool(use_inet))
+
+        # 5) GeoDataFrame 化
+        geometry = [
+            Point(lon, lat) if (pd.notna(lat) and pd.notna(lon)) else None
+            for lat, lon in zip(geo_df["lat"], geo_df["lon"])
+        ]
+        gdf_pts = gpd.GeoDataFrame(geo_df, geometry=geometry, crs="EPSG:4326")
+
+    # 6) 可視化（matplotlib）
     try:
-        # width_px は PNG の実寸に直接効かないので、必要なら figsize/dpi を調整してください
-        img = plot_boundary(gdf, linewidth=line_width)
+        img = plot_map_png(gdf_pref, gdf_pts, line_width=line_width)
     except Exception as e:
-        return None, f"描画に失敗しました: {e}"
+        return None, None, f"静的描画に失敗しました: {e}"
 
+    # 7) 可視化（folium）
+    try:
+        html = make_folium_html(gdf_pref, gdf_pts)
+    except Exception as e:
+        html = f"<p>folium描画に失敗しました: {e}</p>"
+
+    # 8) 情報メモ
     info = []
-    info.append(f"レコード数: {len(gdf)}")
-    if gdf.crs:
-        info.append(f"CRS: {gdf.crs}")
-    cols = list(map(str, gdf.columns))
-    info.append("列名(先頭10): " + ", ".join(cols[:10]))
-    return img, "\n".join(info)
+    info.append(f"都道府県レコード数: {len(gdf_pref)}")
+    if gdf_pref.crs:
+        info.append(f"PREF CRS: {gdf_pref.crs}")
+    info.append(f"ポイント数（有効座標）: {int(gdf_pts.geometry.notnull().sum())} / {len(gdf_pts)}")
+    if not gdf_pts.empty and gdf_pts.crs:
+        info.append(f"PTS CRS: {gdf_pts.crs}")
+
+    return img, html, "\n".join(info)
 
-with gr.Blocks(title="Japan Shapefile Plotter") as demo:
-    gr.Markdown("## japan_ver85.shp（ZIP）を単純にプロット")
+# ----------------------------
+# Gradio UI
+# ----------------------------
+with gr.Blocks(title="Japan Shapefile + Excel Geocoding Plotter") as demo:
+    gr.Markdown("## japan_ver85.shp（ZIP） + Excel住所 → 日本地図にプロット")
+    gr.Markdown(
+        "- **Shapefile ZIP**（`.shp/.shx/.dbf/.prj` など同梱）をアップロードしてください。\n"
+        "- **Excel** は住所列と数値列（任意: CF/出力など）を指定してください。\n"
+        "- Nominatim への問い合わせはレート制限済み。通信が難しい環境では「通信オフ（キャッシュのみ）」で実行できます。"
+    )
 
     with gr.Row():
         zip_in = gr.File(label="Shapefile (ZIP)", file_count="single", file_types=[".zip"])
+        xlsx_in = gr.File(label="Excelファイル（住所付き）", file_count="single", file_types=[".xlsx", ".xls"])
+
+    with gr.Row():
+        sheet = gr.Textbox(label="シート名", value="認定設備")
+        header_row = gr.Number(label="ヘッダー行番号（0始まり）", value=2, precision=0)
+
     with gr.Row():
-        line_width = gr.Slider(0.2, 2.0, value=0.6, step=0.1, label="線の太さ")
-        width_px = gr.Slider(400, 1600, value=900, step=50, label="画像幅(px)（注: PNGは実質dpi依存）")
+        address_col = gr.Textbox(label="住所列（列名 or 0始まり列番号）", value="発電設備の所在地")
+        power_col = gr.Textbox(label="数値列（任意：列名 or 0始まり列番号）", value="発電出力（kW）")
+
+    with gr.Row():
+        use_inet = gr.Checkbox(label="Nominatimに問い合わせ（オフでキャッシュのみ使用）", value=True)
+        line_width = gr.Slider(0.2, 2.0, value=0.6, step=0.1, label="境界線の太さ")
 
     run_btn = gr.Button("描画")
-    out_img = gr.Image(label="静的プロット（境界線）", type="pil")  # ★ PIL を受け取る
+
+    out_img = gr.Image(label="静的地図（matplotlib）", type="pil")
+    out_html = gr.HTML(label="インタラクティブ地図（folium）")
     out_txt = gr.Textbox(label="メタ情報", lines=4)
 
-    run_btn.click(fn=run, inputs=[zip_in, line_width, width_px], outputs=[out_img, out_txt])
+    def _parse_indexer(x):
+        # 前端UIの入力を列名/番号に解釈
+        try:
+            return int(x)
+        except Exception:
+            return x
+
+    def app_run(zipf, xls, s, h, a, p, inet, lw):
+        return run(
+            zipf,
+            xls,
+            s,
+            int(h),
+            _parse_indexer(a),
+            _parse_indexer(p),
+            inet,
+            lw
+        )
+
+    run_btn.click(
+        fn=app_run,
+        inputs=[zip_in, xlsx_in, sheet, header_row, address_col, power_col, use_inet, line_width],
+        outputs=[out_img, out_html, out_txt],
+    )
 
 if __name__ == "__main__":
     demo.launch()