chore: 앱 로직 변경 및 의존성 목록을 업데이트합니다.

app.py

@@ -17,6 +17,7 @@ import time
 import io
 import logging
 import traceback
+import requests
 
 # 로깅 설정
 logging.basicConfig(level=logging.INFO)
@@ -26,32 +27,96 @@ logger = logging.getLogger(__name__)
 HF_TOKEN = os.environ.get("HF_TOKEN", "")
 
 
-def get_nasdaq_tickers():
-    """나스닥 상장 종목 티커 목록 가져오기"""
+def get_all_us_tickers():
+    """
+    나스닥 공식 FTP에서 나스닥 + 뉴욕증권거래소 전체 티커 목록을 가져옴.
+    - 소스: ftp.nasdaqtrader.com (나스닥이 공식 제공하는 상장 종목 데이터)
+    - Exchange 컬럼으로 나스닥(Q) / 뉴욕(N) / AMEX(A) 구분 가능
+    - 우선주, 클래스주 등도 정확하게 하나의 티커로 관리됨
+    반환: (nasdaq_tickers, nyse_tickers, all_tickers)
+    """
+    nasdaq_tickers = []
+    nyse_tickers = []
+
     try:
-        url = "https://raw.githubusercontent.com/rreichel3/US-Stock-Symbols/main/nasdaq/nasdaq_tickers.txt"
-        # 첫 번째 열만 사용하고 중복 제거
-        df = pd.read_csv(url, header=None)
-        tickers = df[0].dropna().astype(str).str.strip().unique().tolist()
-        logger.info(f"나스닥 티커 {len(tickers)}개 로드 완료")
-        return tickers
+        # 나스닥 공식 상장 종목 파일 (나스닥 + NYSE + AMEX 전부 포함)
+        url = "https://api.nasdaq.com/api/screener/stocks?tableType=traded&isNasdaq100=false&limit=25000&offset=0"
+        headers = {
+            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36",
+            "Accept": "application/json"
+        }
+        response = requests.get(url, headers=headers, timeout=30)
+        data = response.json()
+
+        rows = data.get("data", {}).get("table", {}).get("rows", [])
+        if not rows:
+            raise ValueError("나스닥 API에서 데이터를 가져오지 못했습니다.")
+
+        for row in rows:
+            symbol = row.get("symbol", "").strip()
+            exchange = row.get("exchange", "").strip().upper()
+
+            if not symbol:
+                continue
+
+            # 야후 파이낸스 호환 형식으로 변환 (특수문자 제거)
+            # 나스닥 API에서는 이미 깔끔한 티커를 제공함
+            if "/" in symbol or "^" in symbol:
+                continue  # 워런트, 유닛 등 특수 종목 제외
+
+            if exchange == "NASDAQ":
+                nasdaq_tickers.append(symbol)
+            elif exchange == "NYSE":
+                nyse_tickers.append(symbol)
+            # AMEX 등 기타 거래소도 필요하면 추가 가능
+
+        nasdaq_tickers = sorted(list(set(nasdaq_tickers)))
+        nyse_tickers = sorted(list(set(nyse_tickers)))
+        all_tickers = sorted(list(set(nasdaq_tickers + nyse_tickers)))
+
+        logger.info(f"나스닥: {len(nasdaq_tickers)}개, 뉴욕: {len(nyse_tickers)}개, 전체: {len(all_tickers)}개 로드 완료")
+        return nasdaq_tickers, nyse_tickers, all_tickers
+
     except Exception as e:
-        logger.error(f"나스닥 티커 로드 실패: {e}")
-        return []
+        logger.error(f"나스닥 API 티커 로드 실패: {e}, 백업 소스로 시도합니다.")
 
+        # 백업: 나스닥 FTP 직접 접근
+        try:
+            ftp_url = "https://www.nasdaqtrader.com/dynamic/SymDir/nasdaqtraded.txt"
+            df = pd.read_csv(ftp_url, sep="|")
 
-def get_nyse_tickers():
-    """뉴욕증권거래소(NYSE) 상장 종목 티커 목록 가져오기"""
-    try:
-        url = "https://raw.githubusercontent.com/rreichel3/US-Stock-Symbols/main/nyse/nyse_tickers.txt"
-        # 첫 번째 열만 사용하고 중복 제거
-        df = pd.read_csv(url, header=None)
-        tickers = df[0].dropna().astype(str).str.strip().unique().tolist()
-        logger.info(f"뉴욕증권거래소 티커 {len(tickers)}개 로드 완료")
-        return tickers
-    except Exception as e:
-        logger.error(f"뉴욕증권거래소 티커 로드 실패: {e}")
-        return []
+            # 마지막 행은 메타데이터이므로 제거
+            df = df[:-1]
+
+            # 'Listing Exchange' 컬럼: Q=나스닥, N=뉴욕, A=AMEX 등
+            # 'Symbol' 컬럼: 실제 티커
+            if "Symbol" in df.columns and "Listing Exchange" in df.columns:
+                # Test Issue 컬럼이 'Y'인 테스트 종목 제외
+                if "Test Issue" in df.columns:
+                    df = df[df["Test Issue"] == "N"]
+
+                for _, row in df.iterrows():
+                    symbol = str(row["Symbol"]).strip()
+                    exchange = str(row["Listing Exchange"]).strip()
+
+                    if not symbol or symbol == "nan":
+                        continue
+
+                    if exchange == "Q":
+                        nasdaq_tickers.append(symbol)
+                    elif exchange == "N":
+                        nyse_tickers.append(symbol)
+
+            nasdaq_tickers = sorted(list(set(nasdaq_tickers)))
+            nyse_tickers = sorted(list(set(nyse_tickers)))
+            all_tickers = sorted(list(set(nasdaq_tickers + nyse_tickers)))
+
+            logger.info(f"[백업] 나스닥: {len(nasdaq_tickers)}개, 뉴욕: {len(nyse_tickers)}개, 전체: {len(all_tickers)}개 로드 완료")
+            return nasdaq_tickers, nyse_tickers, all_tickers
+
+        except Exception as e2:
+            logger.error(f"백업 소스도 실패: {e2}")
+            return [], [], []
 
 
 def fetch_ticker_data(ticker, max_retries=3):
@@ -195,16 +260,11 @@ def run_pipeline(
     progress(0, desc="나스닥 & 뉴욕 티커 목록 수집 중...")
     logs.append("\n🔍 [1단계] 나스닥 & 뉴욕증권거래소 티커 목록 수집 중...")
 
-    nasdaq_tickers = get_nasdaq_tickers()
-    nyse_tickers = get_nyse_tickers()
-
-    # 중복 제거 후 합치기
-    all_tickers = list(set(nasdaq_tickers + nyse_tickers))
-    all_tickers.sort()  # 정렬
+    nasdaq_tickers, nyse_tickers, all_tickers = get_all_us_tickers()
 
     logs.append(f"  - 나스닥: {len(nasdaq_tickers)}개")
     logs.append(f"  - 뉴욕증권거래소: {len(nyse_tickers)}개")
-    logs.append(f"  - 중복 제거 후 전체: {len(all_tickers)}개")
+    logs.append(f"  - 전체: {len(all_tickers)}개")
 
     if not all_tickers:
         return "\n".join(logs) + "\n\n❌ 티커 목록을 가져올 수 없습니다."
@@ -285,16 +345,13 @@ def run_pipeline(
 
 def preview_tickers():
     """티커 목록 미리보기 (수집 전 확인용)"""
-    nasdaq = get_nasdaq_tickers()
-    nyse = get_nyse_tickers()
-    combined = list(set(nasdaq + nyse))
-    combined.sort()
+    nasdaq, nyse, combined = get_all_us_tickers()
 
     info = f"""📊 티커 목록 미리보기
 ━━━━━━━━━━━━━━━━━━━━━
 나스닥: {len(nasdaq)}개
 뉴욕증권거래소: {len(nyse)}개
-중복 제거 후: {len(combined)}개
+전체: {len(combined)}개
 
 나스닥 앞 20개: {', '.join(nasdaq[:20])}...
 뉴욕 앞 20개: {', '.join(nyse[:20])}...

requirements.txt

@@ -3,3 +3,4 @@ yfinance>=0.2.36
 pandas>=2.0.0
 datasets>=2.16.0
 huggingface_hub>=0.20.0
+requests