upload dataset

Dockerfile

@@ -6,6 +6,7 @@ WORKDIR /app
 # 시스템 패키지 업데이트 및 필요한 패키지 설치
 RUN apt-get update && apt-get install -y \
     build-essential \
+    cron \
     && rm -rf /var/lib/apt/lists/*
 
 # requirements 복사 및 설치
@@ -15,9 +16,22 @@ RUN pip install --no-cache-dir -r requirements.txt
 # 애플리케이션 코드 복사
 COPY . .
 
+# cron 설정 파일 복사
+COPY crontab /etc/cron.d/batch-push-cron
+
+# cron 권한 설정
+RUN chmod 0644 /etc/cron.d/batch-push-cron
+RUN crontab /etc/cron.d/batch-push-cron
+
+# 로그 디렉토리 생성
+RUN mkdir -p /var/log
+
 # Hugging Face Space는 포트 7860을 사용합니다
 EXPOSE 7860
 
-# start.py로 서버 실행 (Wallet 자동 디코딩)
-CMD ["python", "start.py"]
+# 시작 스크립트 복사 및 실행
+COPY start_with_cron.sh /start_with_cron.sh
+RUN chmod +x /start_with_cron.sh
+
+CMD ["/start_with_cron.sh"]
 

app.py

@@ -1,11 +1,17 @@
 import os
 import json
 from typing import List, Optional
-from fastapi import FastAPI, HTTPException
+from fastapi import FastAPI, HTTPException, Request
 from pydantic import BaseModel, Field, ConfigDict
 from typing import List
 import oracledb
 from dotenv import load_dotenv
+import json
+import os
+import requests
+import pandas as pd
+from datetime import datetime
+from datasets import Dataset, DatasetDict, load_dataset
 
 # 로컬 개발: .env 파일 로드 (있으면)
 load_dotenv()
@@ -19,6 +25,10 @@ WALLET_PASSWORD = os.environ["WALLET_PASSWORD"]
 # tnsnames.ora 안의 alias 확인 (보통 *_high)
 TNS_ALIAS = os.environ.get("DB_TNS_ALIAS", "musclecare_high")
 
+# Hugging Face 설정
+HF_DATA_REPO_ID = os.getenv("HF_DATA_REPO_ID")
+HF_DATA_TOKEN = os.getenv("HF_DATA_TOKEN")
+
 # ----- 연결 풀: Thin + mTLS (지갑) -----
 # 절대 호출하지 마세요: oracledb.init_oracle_client()  # (Thick로 빠져서 실패 가능)
 pool: oracledb.ConnectionPool = oracledb.create_pool(
@@ -46,18 +56,6 @@ class StatePayload(BaseModel):
     user_emb: Optional[List[float]] = Field(default=None, description="length=12")
     model_version: Optional[str] = None
 
-class LogItem(BaseModel):
-    user_id: str
-    session_id: Optional[str] = None
-    measure_date: str  # 'YYYY-MM-DD'
-    rms: Optional[float] = None
-    freq: Optional[float] = None
-    fatigue: Optional[float] = None
-    mode: Optional[str] = Field(default="EMA", description="EMA/Hybrid/E2E")
-    window_count: Optional[int] = None
-
-class LogsPayload(BaseModel):
-    items: List[LogItem] = Field(..., min_length=1)
 
 # ----- 유틸 -----
 def clob_json(obj) -> str:
@@ -72,23 +70,39 @@ def root():
         "message": "MuscleCare API Server",
         "version": "1.0.0",
         "endpoints": {
-            "health": "/health",
+            "health": "/health (빠른 체크)",
+            "health_db": "/health/db (DB 연결 체크)",
             "docs": "/docs",
             "upload_state": "/upload_state",
-            "upload_logs": "/upload_logs"
+            "upload_dataset": "/upload_dataset",
+            "user_dataset": "/user_dataset/{user_id}"
         }
     }
 
 @app.get("/health")
 def health():
+    try:
+        # 간단한 health 체크 - DB 연결 없이 서버 상태만 확인
+        return {
+            "ok": True, 
+            "server": "running",
+            "timestamp": datetime.now().isoformat(),
+            "status": "healthy"
+        }
+    except Exception as e:
+        return {"ok": False, "error": str(e)}
+
+@app.get("/health/db")
+def health_db():
+    """DB 연결을 포함한 상세 health 체크"""
     try:
         with pool.acquire() as conn:
             with conn.cursor() as cur:
                 cur.execute("SELECT 1 FROM DUAL")
                 v = cur.fetchone()[0]
-        return {"ok": True, "db": v}
+        return {"ok": True, "db": v, "server": "running"}
     except Exception as e:
-        raise HTTPException(500, f"DB health check failed: {e}")
+        return {"ok": False, "db": "error", "error": str(e)}
 
 @app.post("/upload_state")
 def upload_state(p: StatePayload):
@@ -132,23 +146,91 @@ def upload_state(p: StatePayload):
     except Exception as e:
         raise HTTPException(500, f"upload_state failed: {e}")
 
-@app.post("/upload_logs")
-def upload_logs(body: LogsPayload):
+
+@app.post("/upload_dataset")
+async def upload_to_dataset(request: Request):
+    """로컬 파일에 사용자별 데이터 저장"""
     try:
-        rows = [(
-            it.user_id, it.session_id, it.measure_date,
-            it.rms, it.freq, it.fatigue, it.mode, it.window_count
-        ) for it in body.items]
+        data = await request.json()
+        user_id = data.get("user_id")
+
+        if not user_id:
+            raise HTTPException(status_code=400, detail="user_id가 필요합니다")
+
+        # 데이터에 타임스탬프 추가
+        data["timestamp"] = datetime.now().isoformat()
+        
+        # 로컬 데이터 디렉토리 생성
+        data_dir = "user_data"
+        os.makedirs(data_dir, exist_ok=True)
+        
+        # 사용자별 JSON 파일 경로
+        user_file = os.path.join(data_dir, f"{user_id}.json")
+        
+        # 기존 데이터 로드
+        existing_data = []
+        if os.path.exists(user_file):
+            try:
+                with open(user_file, 'r', encoding='utf-8') as f:
+                    existing_data = json.load(f)
+                print(f"📊 기존 데이터 로드: {user_id} ({len(existing_data)}개 레코드)")
+            except:
+                existing_data = []
+        
+        # 새 데이터 추가
+        existing_data.append(data)
+        
+        # 파일 저장
+        with open(user_file, 'w', encoding='utf-8') as f:
+            json.dump(existing_data, f, ensure_ascii=False, indent=2)
+        
+        print(f"✅ 로컬 파일 저장 완료: {user_id} ({len(existing_data)}개 레코드)")
+        return {
+            "user_id": user_id,
+            "rows": len(existing_data),
+            "status": "success",
+            "filename": f"{user_id}.json",
+            "file_path": user_file,
+            "message": f"Data saved to local file: {user_file}"
+        }
 
-        with pool.acquire() as conn:
-            with conn.cursor() as cur:
-                cur.executemany("""
-                    INSERT INTO MuscleCare.fatigue_logs
-                        (user_id, session_id, measure_date, rms, freq, fatigue, mode, window_count, created_at)
-                    VALUES
-                        (:1, :2, TO_DATE(:3,'YYYY-MM-DD'), :4, :5, :6, :7, :8, CURRENT_TIMESTAMP)
-                """, rows)
-                conn.commit()
-        return {"ok": True, "inserted": len(rows)}
     except Exception as e:
-        raise HTTPException(500, f"upload_logs failed: {e}")
+        print(f"❌ 로컬 저장 실패: {e}")
+        raise HTTPException(status_code=500, detail=f"로컬 저장 실패: {str(e)}")
+
+@app.get("/user_dataset/{user_id}")
+async def read_user_dataset(user_id: str):
+    """로컬 파일에서 사용자 데이터 조회"""
+    try:
+        # 사용자별 JSON 파일 경로
+        data_dir = "user_data"
+        user_file = os.path.join(data_dir, f"{user_id}.json")
+        
+        if not os.path.exists(user_file):
+            return {
+                "user_id": user_id, 
+                "count": 0, 
+                "recent_data": [],
+                "source": "local_file",
+                "message": "No data found"
+            }
+        
+        # 데이터 로드
+        with open(user_file, 'r', encoding='utf-8') as f:
+            data = json.load(f)
+        
+        # 최근 5개 레코드 반환
+        recent_data = data[-5:] if len(data) > 5 else data
+        
+        return {
+            "user_id": user_id, 
+            "count": len(data), 
+            "recent_data": recent_data,
+            "filename": f"{user_id}.json",
+            "source": "local_file"
+        }
+        
+    except Exception as e:
+        print(f"❌ 로컬 조회 실패: {e}")
+        raise HTTPException(status_code=500, detail=f"로컬 조회 실패: {str(e)}")
+

backup/2025-10-23/new_user.json

@@ -0,0 +1 @@
+[{"user_id": "new_user", "rms": 0.95, "freq": 60.1, "fatigue": 0.88, "timestamp": "2025-10-23T15:02:00.000000"}]

backup/2025-10-23/test_user_1.json

@@ -0,0 +1 @@
+[{"user_id": "test_user_1", "rms": 0.85, "freq": 52.3, "fatigue": 0.72, "timestamp": "2025-10-23T14:55:00.000000"}]

backup/2025-10-23/test_user_2.json

@@ -0,0 +1 @@
+[{"user_id": "test_user_2", "rms": 0.91, "freq": 58.7, "fatigue": 0.81, "timestamp": "2025-10-23T14:55:30.000000"}]

crontab

@@ -0,0 +1,4 @@
+# 매일 자정에 배치 푸시 실행
+0 0 * * * cd /app && python upload_hF_dataset.py >> /var/log/batch_push.log 2>&1
+
+# 빈 줄 필요 (cron 요구사항)

last_push_date.txt

@@ -0,0 +1 @@
+2025-10-23

requirements.txt

@@ -4,3 +4,6 @@ python-multipart
 oracledb>=2.3
 pydantic
 python-dotenv
+datasets
+pandas
+requests

start.py

@@ -5,6 +5,50 @@ from dotenv import load_dotenv
 # .env 파일 로드 (로컬 개발용)
 load_dotenv()
 
+def setup_environment():
+    """
+    환경변수 자동 설정:
+    - 로컬: .env 파일에서 로드
+    - Hugging Face Space: 환경변수에서 자동 설정
+    """
+    print("🔧 환경변수 설정 중...")
+    
+    # Hugging Face Dataset 설정 (기본값 설정)
+    if not os.getenv("HF_DATA_REPO_ID"):
+        os.environ["HF_DATA_REPO_ID"] = "Merry99/musclecare-data"
+        print("📝 HF_DATA_REPO_ID 기본값 설정: Merry99/musclecare-data")
+    
+    if not os.getenv("HF_DATA_TOKEN"):
+        os.environ["HF_DATA_TOKEN"] = "hf_dummy_token_for_testing"
+        print("📝 HF_DATA_TOKEN 기본값 설정: hf_dummy_token_for_testing")
+    
+    # Oracle DB 설정 확인
+    required_vars = ["DB_USER", "DB_PASSWORD", "WALLET_DIR", "WALLET_PASSWORD"]
+    missing_vars = []
+    
+    for var in required_vars:
+        if not os.getenv(var):
+            missing_vars.append(var)
+    
+    if missing_vars:
+        print(f"⚠️  누락된 환경변수: {', '.join(missing_vars)}")
+        print("💡 .env 파일을 확인하거나 환경변수를 설정해주세요.")
+        
+        # 로컬 개발을 위한 기본값 설정 (경고와 함께)
+        if not os.getenv("DB_USER"):
+            os.environ["DB_USER"] = "ADMIN"
+            print("📝 DB_USER 기본값 설정: ADMIN")
+        if not os.getenv("DB_PASSWORD"):
+            os.environ["DB_PASSWORD"] = "YourDBPassword123!"
+            print("📝 DB_PASSWORD 기본값 설정: YourDBPassword123!")
+        if not os.getenv("WALLET_PASSWORD"):
+            os.environ["WALLET_PASSWORD"] = "YourWalletPassword123!"
+            print("📝 WALLET_PASSWORD 기본값 설정: YourWalletPassword123!")
+    else:
+        print("✅ 모든 필수 환경변수가 설정되었습니다")
+    
+    print("🔧 환경변수 설정 완료")
+
 def prepare_wallet_dir():
     """
     Wallet 준비:
@@ -56,6 +100,9 @@ if __name__ == "__main__":
     print("🚀 MuscleCare FastAPI 서버 시작")
     print("=" * 60)
     
+    # 환경변수 자동 설정
+    setup_environment()
+    
     # Wallet 준비
     try:
         prepare_wallet_dir()

start_server.sh

@@ -0,0 +1,60 @@
+#!/bin/bash
+
+# MuscleCare FastAPI 서버 시작 스크립트
+
+echo "======================================"
+echo "🚀 MuscleCare FastAPI 서버 시작"
+echo "======================================"
+
+# .env 파일 로드 (선택사항)
+if [ -f .env ]; then
+    echo "📄 .env 파일 로드 중..."
+    export $(cat .env | grep -v '^#' | xargs)
+    echo "✅ .env 파일 로드 완료"
+else
+    echo "📝 .env 파일이 없습니다. start.py에서 자동으로 환경변수를 설정합니다."
+fi
+
+echo "🔧 환경변수는 start.py에서 자동으로 설정됩니다."
+
+# Python 의존성 확인 및 설치
+echo "📦 Python 의존성 확인 중..."
+if ! python3 -c "import fastapi, uvicorn, oracledb" 2>/dev/null; then
+    echo "❌ 필수 Python 패키지가 설치되지 않았습니다."
+    echo "🔧 자동 설치를 시작합니다..."
+    
+    # pip3 사용 시도
+    if command -v pip3 &> /dev/null; then
+        echo "📥 pip3로 패키지 설치 중..."
+        pip3 install -r requirements.txt
+    # pip 사용 시도
+    elif command -v pip &> /dev/null; then
+        echo "📥 pip으로 패키지 설치 중..."
+        pip install -r requirements.txt
+    # python -m pip 사용 시도
+    else
+        echo "📥 python -m pip으로 패키지 설치 중..."
+        python3 -m pip install -r requirements.txt
+    fi
+    
+    # 설치 후 다시 확인
+    if ! python3 -c "import fastapi, uvicorn, oracledb" 2>/dev/null; then
+        echo "❌ 패키지 설치에 실패했습니다."
+        echo "💡 수동으로 설치해주세요:"
+        echo "   pip3 install -r requirements.txt"
+        exit 1
+    fi
+fi
+
+echo "✅ Python 의존성 확인 완료"
+
+# 서버 시작
+echo ""
+echo "🌐 FastAPI 서버 시작 중..."
+echo "📍 서버 주소: http://localhost:7860"
+echo "📖 API 문서: http://localhost:7860/docs"
+echo "🛑 종료하려면 Ctrl+C를 누르세요"
+echo ""
+
+# 서버 실행
+python3 start.py

start_with_cron.sh

@@ -0,0 +1,26 @@
+#!/bin/bash
+
+# 로그 디렉토리 생성
+mkdir -p /var/log
+
+# cron 서비스 시작
+service cron start
+
+# cron 상태 확인
+echo "📅 Cron 서비스 시작됨"
+crontab -l
+
+# FastAPI 서버 시작 (백그라운드)
+echo "🚀 FastAPI 서버 시작..."
+python start.py &
+
+# 서버가 시작될 때까지 대기
+sleep 5
+
+# 서버 상태 확인
+echo "🔍 서버 상태 확인..."
+curl -s http://localhost:7860/health || echo "⚠️ 서버 시작 중..."
+
+# 로그 모니터링 (선택사항)
+echo "📊 배치 푸시 로그 모니터링 시작..."
+tail -f /var/log/batch_push.log &

test_api.sh

@@ -1,4 +1,4 @@
-#!/bin/bash
+ㅔㅛ#!/bin/bash
 
 # MuscleCare API 테스트 스크립트
 
@@ -37,39 +37,30 @@ curl -X POST "$BASE_URL/upload_state" \
 echo ""
 echo ""
 
-# 3. 피로도 로그 업로드
-echo "3️⃣ 피로도 로그 업로드"
+# 3. Dataset 업로드
+echo "3️⃣ Dataset 업로드"
 echo "--------------------------------------"
-curl -X POST "$BASE_URL/upload_logs" \
+curl -X POST "$BASE_URL/upload_dataset" \
   -H "Content-Type: application/json" \
   -H "accept: application/json" \
   -d '{
-    "items": [
-      {
-        "user_id": "test_user_001",
-        "session_id": "session_001",
-        "measure_date": "2025-10-22",
-        "rms": 0.12,
-        "freq": 49.8,
-        "fatigue": 0.83,
-        "mode": "Hybrid",
-        "window_count": 100
-      },
-      {
-        "user_id": "test_user_001",
-        "session_id": "session_002",
-        "measure_date": "2025-10-22",
-        "rms": 0.15,
-        "freq": 48.5,
-        "fatigue": 0.91,
-        "mode": "E2E",
-        "window_count": 120
-      }
-    ]
+    "user_id": "test_user_001",
+    "rms": 0.42,
+    "freq": 45.3,
+    "fatigue": 0.25,
+    "timestamp": "2024-01-15T10:30:00Z"
   }' | jq .
 echo ""
 echo ""
 
+# 4. 사용자 Dataset 조회
+echo "4️⃣ 사용자 Dataset 조회"
+echo "--------------------------------------"
+curl -X GET "$BASE_URL/user_dataset/test_user_001" \
+  -H "accept: application/json" | jq .
+echo ""
+echo ""
+
 echo "======================================"
 echo "✅ 테스트 완료"
 echo "======================================"

upload_hf_dataset.py

@@ -0,0 +1,108 @@
+from datasets import Dataset, DatasetDict
+from datetime import datetime, date
+import pandas as pd, glob, json, os, shutil
+from dotenv import load_dotenv
+
+load_dotenv()
+
+HF_DATA_REPO_ID = os.getenv("HF_DATA_REPO_ID")
+HF_DATA_TOKEN = os.getenv("HF_DATA_TOKEN")
+CACHE_DIR = "./user_data"
+BACKUP_DIR = "./backup"
+LAST_PUSH_FILE = "./last_push_date.txt"
+
+def now_str():
+    return datetime.now().strftime("%Y-%m-%d %H:%M:%S")
+
+def get_last_push_date():
+    """마지막 푸시 날짜 반환"""
+    if os.path.exists(LAST_PUSH_FILE):
+        with open(LAST_PUSH_FILE, "r") as f:
+            return f.read().strip()
+    return None
+
+def update_last_push_date():
+    """마지막 푸시 날짜 기록"""
+    with open(LAST_PUSH_FILE, "w") as f:
+        f.write(str(date.today()))
+
+def should_push_today():
+    """오늘 푸시 여부 확인"""
+    last_push = get_last_push_date()
+    today = str(date.today())
+    return last_push != today
+
+def batch_push_to_huggingface():
+    """하루 1회 Hugging Face Dataset 업로드"""
+    # 필수 환경변수 확인
+    if not HF_DATA_REPO_ID or not HF_DATA_TOKEN:
+        print(f"❌ {now_str()} - 환경변수 HF_DATA_REPO_ID 또는 HF_DATA_TOKEN이 설정되지 않았습니다.")
+        return
+
+    # 푸시 여부 체크
+    if not should_push_today():
+        print(f"📅 {now_str()} - 이미 오늘 푸시 완료됨. 종료.")
+        return
+
+    files = glob.glob(os.path.join(CACHE_DIR, "*.json"))
+    if not files:
+        print(f"📁 {now_str()} - 캐시된 파일이 없습니다. 종료.")
+        return
+
+    print(f"🚀 {now_str()} - 배치 푸시 시작 ({len(files)}개 파일)")
+
+    user_splits = {}
+    for path in files:
+        user_id = os.path.basename(path).split(".")[0]
+        try:
+            with open(path, "r", encoding="utf-8") as f:
+                records = json.load(f)
+            if not records:
+                print(f"⚠️ {user_id}: 비어있는 파일, 건너뜀")
+                continue
+
+            df = pd.DataFrame(records)
+            user_splits[user_id] = Dataset.from_pandas(df)
+            print(f"📊 {user_id}: {len(records)}개 레코드 변환 완료")
+
+        except Exception as e:
+            print(f"❌ {user_id}: 파일 로드 실패 → {e}")
+            continue
+
+    if not user_splits:
+        print(f"❌ {now_str()} - 처리할 데이터가 없습니다. 종료.")
+        return
+
+    # 백업 디렉토리 생성
+    os.makedirs(BACKUP_DIR, exist_ok=True)
+    backup_path = os.path.join(BACKUP_DIR, date.today().isoformat())
+    shutil.copytree(CACHE_DIR, backup_path, dirs_exist_ok=True)
+    print(f"🗂️ {now_str()} - 데이터 백업 완료 → {backup_path}")
+
+    try:
+        dataset_dict = DatasetDict(user_splits)
+        dataset_dict.push_to_hub(HF_DATA_REPO_ID, token=HF_DATA_TOKEN, private=True)
+        print(f"✅ {now_str()} - Hugging Face Hub 푸시 성공 ({len(user_splits)}명) → {HF_DATA_REPO_ID}")
+
+        # 푸시 성공 시 캐시 정리
+        shutil.rmtree(CACHE_DIR, ignore_errors=True)
+        print(f"🗑️ {now_str()} - user_data 디렉토리 삭제 완료")
+
+        update_last_push_date()
+        print(f"📅 {now_str()} - 마지막 푸시 날짜 업데이트 완료")
+
+    except Exception as e:
+        print(f"❌ {now_str()} - 푸시 실패: {e}")
+        print(f"⚠️ {now_str()} - 캐시 유지 (데이터 유실 방지)")
+        # 실패 시 캐시 유지
+        return
+
+def main():
+    """CLI/cron 진입점"""
+    try:
+        batch_push_to_huggingface()
+    except Exception as e:
+        print(f"💥 {now_str()} - 예기치 못한 오류 발생: {e}")
+
+if __name__ == "__main__":
+    main()