feat: 데이터셋 생성 로직을 추가하고 관련 의존성을 업데이트했습니다.

app.py

@@ -7,17 +7,13 @@
 import gradio as gr
 import yfinance as yf
 import pandas as pd
-import numpy as np
 from datetime import datetime, timedelta
 from zoneinfo import ZoneInfo
 from datasets import Dataset
 from huggingface_hub import HfApi
 import os
 import time
-import io
 import logging
-import traceback
-import requests
 
 # 로깅 설정
 logging.basicConfig(level=logging.INFO)
@@ -29,51 +25,59 @@ HF_TOKEN = os.environ.get("HF_TOKEN", "")
 
 def get_all_us_tickers():
     """
-    나스닥 공식 FTP에서 나스닥(Q) + 뉴욕증권거래소(N) 보통주 티커 목록을 가져옴.
-    - 소스: nasdaqtrader.com/dynamic/SymDir/nasdaqtraded.txt
-    - 파이프(|) 구분 CSV, 'Listing Exchange' 컬럼으로 거래소 구분
-      Q = 나스닥, N = 뉴욕증권거래소(NYSE)
-    - 필터링: 테스트 종목, ETF, 우선주, 워런트, 유닛 등 제외
-    - 보통주(Common Stock)만 추출
+    야후 파이낸스 스크리너(yf.screen)를 사용하여 나스닥 + 뉴욕증권거래소 티커 목록을 가져옴.
+    - 나스닥은 3개 마켓으로 구성: NMS(글로벌셀렉트), NGM(글로벌마켓), NCM(캐피털마켓)
+    - 뉴욕증권거래소: NYQ
+    - yfinance 내장 기능이라 별도 데이터 소스 불필요, HF Spaces에서도 동작
     반환: (nasdaq_tickers, nyse_tickers, all_tickers)
     """
-    try:
-        ftp_url = "https://www.nasdaqtrader.com/dynamic/SymDir/nasdaqtraded.txt"
-        df = pd.read_csv(ftp_url, sep="|")
-
-        # 1. 마지막 행은 메타데이터("File Creation Time: ...")이므로 제거
-        df = df[:-1]
-
-        # 2. 테스트 종목 제외
-        if "Test Issue" in df.columns:
-            df = df[df["Test Issue"] == "N"]
 
-        # 3. ETF 제외
-        if "ETF" in df.columns:
-            df = df[df["ETF"] == "N"]
+    def _fetch_exchange_tickers(exchange_code):
+        """야후 스크리너에서 특정 거래소의 전체 티커를 페이징으로 가져오기"""
+        query = yf.EquityQuery("eq", ["exchange", exchange_code])
+        symbols = []
+        offset = 0
+
+        while True:
+            result = yf.screen(query, size=250, offset=offset)
+            quotes = result.get("quotes", [])
+            if not quotes:
+                break
+            for quote in quotes:
+                sym = quote.get("symbol", "")
+                # [필터] '-', '.', '$'가 포함된 티커는 우선주, 유닛, 워런트 등 파생 종목이므로 제외
+                if sym and not any(c in sym for c in ["-", ".", "$"]):
+                    symbols.append(sym)
+            offset += len(quotes)
+            total = result.get("total", 0)
+            if offset >= total:
+                break
+
+        return sorted(list(set(symbols)))
 
-        # 4. [핵심] 보통주만 추출 - Security Name에 보통주 키워드가 포함된 것만
-        #    Common Stock, Common Shares, Ordinary Shares 등
-        common_stock_filter = df["Security Name"].str.contains(
-            "Common Stock|Common Shares|Ordinary Shares",
-            case=False, na=False
-        )
-        df = df[common_stock_filter]
-
-        # 5. [핵심] 티커에 특수문자($, ., -)가 포함된 파생 종목 제외
-        #    보통주 티커는 순수 알파벳으로만 구성됨
-        df = df[~df["Symbol"].str.contains(r'[\$\.\-]', na=False)]
+    try:
+        # 나스닥: 3개 마켓 합산
+        # NMS = NASDAQ Global Select Market
+        # NGM = NASDAQ Global Market
+        # NCM = NASDAQ Capital Market
+        nasdaq_tickers = []
+        for market_code in ["NMS", "NGM", "NCM"]:
+            tickers = _fetch_exchange_tickers(market_code)
+            logger.info(f"  나스닥 {market_code}: {len(tickers)}개 로드")
+            nasdaq_tickers.extend(tickers)
+        nasdaq_tickers = sorted(list(set(nasdaq_tickers)))
+
+        # 뉴욕증권거래소(NYSE): NYQ
+        nyse_tickers = _fetch_exchange_tickers("NYQ")
+        logger.info(f"  뉴욕 NYQ: {len(nyse_tickers)}개 로드")
 
-        # 6. 거래소별 분류
-        nasdaq_tickers = sorted(df[df["Listing Exchange"] == "Q"]["Symbol"].unique().tolist())
-        nyse_tickers = sorted(df[df["Listing Exchange"] == "N"]["Symbol"].unique().tolist())
         all_tickers = sorted(list(set(nasdaq_tickers + nyse_tickers)))
 
         logger.info(f"나스닥: {len(nasdaq_tickers)}개, 뉴욕: {len(nyse_tickers)}개, 전체: {len(all_tickers)}개 로드 완료")
         return nasdaq_tickers, nyse_tickers, all_tickers
 
     except Exception as e:
-        logger.error(f"나스닥 FTP 티커 로드 실패: {e}")
+        logger.error(f"야후 스크리너 티커 로드 실패: {e}")
         return [], [], []
 
 

requirements.txt

@@ -1,6 +1,6 @@
 gradio==6.6.0
-yfinance>=0.2.36
+yfinance>=1.0
 pandas>=2.0.0
 datasets>=2.16.0
 huggingface_hub>=0.20.0
-requests
+