update_batch_dataset: rm window list

app.py

@@ -64,7 +64,6 @@ class BatchDataItem(BaseModel):
     fatigue: float
     mode: str
     window_count: int
-    windows: List[dict] = Field(default_factory=list)
     measurement_count: int
 
 class BatchUploadPayload(BaseModel):
@@ -235,7 +234,6 @@ async def upload_batch_dataset(payload: BatchUploadPayload):
                 "fatigue": item.fatigue,
                 "mode": item.mode,
                 "window_count": item.window_count,
-                "windows": item.windows,
                 "measurement_count": item.measurement_count,
                 "batch_date": payload.batch_date,
                 "batch_size": payload.batch_size,
@@ -255,10 +253,6 @@ async def upload_batch_dataset(payload: BatchUploadPayload):
             new_existing = DatasetDict()
             for user_id in existing.keys():
                 df = existing[user_id].to_pandas()
-                # windows 필드를 문자열 리스트로 강제 변환
-                df["windows"] = df["windows"].apply(
-                    lambda w: [str(v) for v in w] if isinstance(w, list) and len(w) > 0 else []
-                )
                 # 모든 데이터를 새로 생성하여 스키마 통일
                 new_existing[user_id] = df_to_dataset(df)
                 print(f"🔧 {user_id}: 기존 데이터 재생성 완료")
@@ -268,35 +262,16 @@ async def upload_batch_dataset(payload: BatchUploadPayload):
             existing = DatasetDict()
             print("📂 기존 repo 없음 → 새로 생성")
 
-        def normalize_windows(record):
-            """windows 데이터를 문자열 리스트로 정규화"""
-            w = record.get("windows")
-            if isinstance(w, list):
-                if len(w) > 0 and isinstance(w[0], dict):
-                    record["windows"] = [str(v) for d in w for v in d.values()]
-                else:
-                    record["windows"] = [str(x) for x in w]
-            elif isinstance(w, dict):
-                record["windows"] = [str(v) for v in w.values()]
-            else:
-                record["windows"] = []
-            return record
-
         # 현재 사용자만 업데이트
         for user_id, records in user_data_groups.items():
             try:
-                # 새 데이터 정규화
-                normalized = [normalize_windows(r) for r in records]
-                new_df = pd.DataFrame(normalized)
+                # 새 데이터 처리
+                new_df = pd.DataFrame(records)
                 new_dataset = df_to_dataset(new_df)
 
                 if user_id in existing:
-                    # 기존 데이터 정규화 및 병합
+                    # 기존 데이터와 병합
                     old_df = existing[user_id].to_pandas()
-                    # 기존 windows 데이터를 문자열 리스트로 정규화
-                    old_df["windows"] = old_df["windows"].apply(
-                        lambda w: [str(v) for v in w] if isinstance(w, list) and len(w) > 0 else []
-                    )
                     merged_df = pd.concat([old_df, new_df], ignore_index=True)
                     existing[user_id] = df_to_dataset(merged_df)
                     print(f"📊 {user_id}: 기존 데이터와 병합 ({len(old_df)} + {len(new_df)} = {len(merged_df)}개 레코드)")
@@ -340,37 +315,7 @@ async def upload_batch_dataset(payload: BatchUploadPayload):
         print(f"❌ 배치 푸시 실패: {e}")
         raise HTTPException(status_code=500, detail=f"배치 푸시 실패: {str(e)}")
 
-def normalize_windows(record):
-    w = record.get("windows", [])
-    result = []
-
-    if isinstance(w, list):
-        for item in w:
-            if isinstance(item, dict):
-                # 딕셔너리의 모든 값들을 문자열로 변환
-                for v in item.values():
-                    if v is not None and str(v).strip():
-                        result.append(str(v))
-            elif item is not None and str(item).strip():
-                result.append(str(item))
-    elif isinstance(w, dict):
-        # 딕셔너리의 모든 값들을 문자열로 변환
-        for v in w.values():
-            if v is not None and str(v).strip():
-                result.append(str(v))
-    else:
-        # windows가 없거나 다른 타입인 경우 빈 리스트
-        result = []
-
-    record["windows"] = result
-    print(f"🔍 Windows 정규화: {w} → {result}")
-    return record
 
 def df_to_dataset(df):
-    """DataFrame을 Dataset으로 변환 (windows 필드 정규화)"""
-    # windows 필드가 리스트인지 확인하고 정규화
-    if 'windows' in df.columns:
-        df['windows'] = df['windows'].apply(
-            lambda x: x if isinstance(x, list) else []
-        )
+    """DataFrame을 Dataset으로 변환"""
     return Dataset.from_pandas(df)