multi-source price ladder + diagnostics

app/fetch.py

@@ -0,0 +1,124 @@
+# -*- coding: utf-8 -*-
+"""시세 수집 — 소스 하나에 기대지 않는다.
+
+🔴 HF Space에서 yfinance 가 **빈 데이터**를 돌려준다. 예외도 아니고 0건이라
+   조용히 실패한다. Yahoo가 데이터센터 IP를 막기 때문이다.
+   ORACLE 때 바이낸스가 같은 이유로 막혔고, 그때 재시도 3회에 5.2초를 버렸다.
+   이번엔 처음부터 사다리로 만든다.
+
+순서
+  1) Yahoo chart API 직접 호출  — yfinance 의 쿠키/크럼 절차를 건너뛴다
+  2) Stooq CSV                  — 미국 주식·ETF. 키가 필요 없다
+  3) CoinGecko                  — 코인 전용
+
+🔑 "성공"의 판정은 예외 없음이 아니라 **막대 개수**다.
+   0건을 성공으로 세면 사다리가 첫 칸에서 멈춘다.
+"""
+import io, time
+import pandas as pd
+
+UA = {"User-Agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 "
+                    "(KHTML, like Gecko) Chrome/122.0 Safari/537.36"}
+MIN_BARS = 30           # 이보다 적으면 실패로 본다
+
+# 종목코드 → 소스별 심볼
+MAP = {
+    "NVDA": {"yahoo": "NVDA", "yfin": "NVDA", "stooq": "nvda.us"},
+    "GOLD": {"yahoo": "GLD",  "yfin": "GLD",  "stooq": "gld.us"},
+    "OIL":  {"yahoo": "USO",  "yfin": "USO",  "stooq": "uso.us"},
+    "BTC":  {"yahoo": "BTC-USD", "yfin": "BTC-USD", "stooq": "btcusd",
+             "gecko": "bitcoin"},
+}
+
+
+def _yahoo(sym, days):
+    import requests
+    u = ("https://query1.finance.yahoo.com/v8/finance/chart/%s"
+         "?range=%s&interval=1d" % (sym, "10y" if days > 1200 else "5y"))
+    r = requests.get(u, headers=UA, timeout=25)
+    j = r.json()["chart"]["result"][0]
+    ts = j["timestamp"]
+    cl = j["indicators"]["quote"][0]["close"]
+    # 수정주가가 있으면 그쪽을 쓴다. 분할·배당이 수익률에 섞이면 안 된다.
+    adj = j.get("indicators", {}).get("adjclose")
+    if adj and adj[0].get("adjclose"):
+        cl = adj[0]["adjclose"]
+    s = pd.Series(cl, index=pd.to_datetime(ts, unit="s")).dropna()
+    s.index = s.index.normalize().tz_localize(None)
+    return s[~s.index.duplicated(keep="last")]
+
+
+def _yfin(sym, days):
+    """yfinance 자체 경로. 쿠키·크럼을 얻어 오는 절차가 따로 있어 결과가 다르다."""
+    import yfinance as yf
+    d = yf.download(sym, period="5y", interval="1d", progress=False,
+                    auto_adjust=True, threads=False)
+    if isinstance(d.columns, pd.MultiIndex):
+        d.columns = d.columns.droplevel(1)
+    s = d["Close"].dropna()
+    s.index = pd.to_datetime(s.index).tz_localize(None)
+    return s
+
+
+def _stooq(sym, days):
+    import requests
+    r = requests.get("https://stooq.com/q/d/l/?s=%s&i=d" % sym,
+                     headers=UA, timeout=25)
+    if not r.text.lstrip().lower().startswith("date"):
+        # 봇 차단 페이지가 200으로 온다. 200을 성공으로 세면 안 된다.
+        raise ValueError("stooq 차단(HTML 응답)")
+    d = pd.read_csv(io.StringIO(r.text))
+    if "Close" not in d.columns:
+        raise ValueError("stooq 응답에 Close 없음")
+    s = pd.Series(d["Close"].values,
+                  index=pd.to_datetime(d["Date"])).dropna()
+    return s
+
+
+def _gecko(cid, days):
+    import requests
+    r = requests.get("https://api.coingecko.com/api/v3/coins/%s/market_chart"
+                     "?vs_currency=usd&days=%d&interval=daily" % (cid, min(days, 3650)),
+                     headers=UA, timeout=25)
+    j = r.json()
+    if "prices" not in j:
+        raise ValueError("coingecko: %s" % str(j)[:120])
+    p = j["prices"]
+    s = pd.Series([v for _, v in p],
+                  index=pd.to_datetime([t for t, _ in p], unit="ms"))
+    s.index = s.index.normalize().tz_localize(None)
+    return s[~s.index.duplicated(keep="last")]
+
+
+LADDER = [("yahoo", _yahoo), ("yfin", _yfin), ("stooq", _stooq), ("gecko", _gecko)]
+
+
+def daily(asset, days=1800):
+    """일봉 종가. 어느 소스에서 왔는지도 함께 돌려준다.
+
+    반환: (시리즈, 소스명, 시도기록)
+    """
+    m = MAP.get(asset, {})
+    trail = []
+    for name, fn in LADDER:
+        sym = m.get(name)
+        if not sym:
+            continue
+        t0 = time.time()
+        try:
+            s = fn(sym, days)
+            n = len(s)
+            trail.append("%s:%d봉/%.1fs" % (name, n, time.time() - t0))
+            if n >= MIN_BARS:                      # 0건은 성공이 아니다
+                return s.sort_index().iloc[-days:], name, trail
+        except Exception as e:
+            trail.append("%s:%s" % (name, type(e).__name__))
+    return None, None, trail
+
+
+if __name__ == "__main__":
+    for a in MAP:
+        s, src, tr = daily(a, 400)
+        print("%-5s %-7s %s  %s" % (
+            a, src or "실패", ("%d봉 마지막 %.2f" % (len(s), s.iloc[-1])) if s is not None else "-",
+            " · ".join(tr)))

app/main.py

@@ -17,6 +17,7 @@ import scoring as SC
 import reference as RF
 import ledger as L
 import mcp as MCP
+import fetch as FE
 
 CEIL = json.load(open(os.path.join(os.path.dirname(HERE), "announce_ceiling.json"),
                      encoding="utf-8"))["ceiling"]
@@ -33,21 +34,22 @@ _PX = {"at": 0.0, "d": {}}
 TTL = 900
 
 
+_SRC = {}
+
+
 def prices(asset, interval="1d", bars=800):
-    """가격 캐시. 종목마다 소스가 다르지만 이 함수 밖에서는 신경 쓰지 않는다."""
+    """가격 캐시. 어느 소스가 살아 있든 이 함수 밖에서는 신경 쓰지 않는다."""
     k = "%s|%s" % (asset, interval)
     if time.time() - _PX["at"] > TTL:
         _PX["d"].clear(); _PX["at"] = time.time()
     if k not in _PX["d"]:
-        src = ASSETS[asset]["src"]
-        import yfinance as yf
-        per = "5y" if interval == "1d" else "60d"
-        d = yf.download(src, period=per, interval=interval,
-                        progress=False, auto_adjust=True, threads=False)
-        if isinstance(d.columns, pd.MultiIndex):
-            d.columns = d.columns.droplevel(1)
-        s = d["Close"].dropna()
-        s.index = pd.to_datetime(s.index).tz_localize(None)
+        s, src, trail = FE.daily(asset, 2200)
+        _SRC[asset] = {"source": src, "trail": trail,
+                       "bars": 0 if s is None else len(s)}
+        if s is None:
+            # 🔴 빈 시리즈를 캐시에 넣으면 TTL 동안 계속 빈 값을 준다.
+            #    소스가 잠깐 막힌 것과 영영 막힌 것을 구분해야 한다.
+            return pd.Series(dtype=float)
         _PX["d"][k] = s
     return _PX["d"][k].iloc[-bars:]
 
@@ -371,6 +373,21 @@ def _startup():
     threading.Thread(target=_anchor_loop, daemon=True).start()
 
 
+@app.get("/api/diag")
+def api_diag():
+    """어느 소스에서 시세가 오는지 실측한다.
+
+    🔑 로컬에서 되는지는 아무 의미가 없다. 막히는 곳은 서버다.
+    """
+    out = {}
+    for a in ASSETS:
+        s = prices(a, "1d", 5)
+        out[a] = {**_SRC.get(a, {}),
+                  "last": None if not len(s) else round(float(s.iloc[-1]), 4),
+                  "at": None if not len(s) else s.index[-1].date().isoformat()}
+    return {"ok": all(v.get("bars") for v in out.values()), "assets": out}
+
+
 @app.get("/health")
 def health():
     return {"ok": True, "season": S1["name"], "assets": list(ASSETS),