Update src/streamlit_app.py

src/streamlit_app.py

@@ -4,21 +4,51 @@ import numpy as np
 import matplotlib.pyplot as plt
 
 # =========================
-# Utility: Load CSV with auto header detection
+# Utility: Load CSV thông minh (Sửa lỗi Space Separator)
 # =========================
 
 def load_csv_auto(uploaded_file):
     """
-    Load CSV
+    Hàm load CSV đa năng:
+    1. Tự dò dấu phân cách (phẩy, tab, space).
+    2. Xử lý trường hợp file không có header (dòng đầu là số).
     """
-    uploaded_file.seek(0) 
+    uploaded_file.seek(0)
     
+    # --- Bước 1: Thử đọc với engine Python (tự dò separator) ---
     try:
-        df = pd.read_csv(uploaded_file)
-    except Exception:
+        df = pd.read_csv(uploaded_file, sep=None, engine='python')
+    except:
+        df = pd.DataFrame()
+
+    # --- Bước 2: Kiểm tra lỗi "Dính cột" ---
+    # Nếu chỉ đọc được 1 cột và cột đó là chữ (object) -> Khả năng cao là sai separator (ví dụ space)
+    if df.shape[1] == 1 and df.select_dtypes(include=[np.number]).shape[1] == 0:
+        uploaded_file.seek(0)
+        try:
+            # Ép đọc bằng khoảng trắng (space/tab)
+            df = pd.read_csv(uploaded_file, sep=r'\s+')
+        except:
+            pass
+
+    # --- Bước 3: Kiểm tra lỗi "Mất dòng đầu tiên" (Header là số) ---
+    # Nếu tên cột trông giống số (ví dụ: "0.0433"), nghĩa là file không có header
+    try:
+        # Thử chuyển tên cột sang số
+        [float(col) for col in df.columns]
+        # Nếu không lỗi -> Tên cột là số -> Load lại với header=None
         uploaded_file.seek(0)
-        df = pd.read_csv(uploaded_file, sep=None, engine="python")
+        if df.shape[1] == 1: # Logic cũ
+             df = pd.read_csv(uploaded_file, sep=r'\s+', header=None)
+        else:
+             df = pd.read_csv(uploaded_file, sep=None, engine='python', header=None)
         
+        # Đặt tên cột tự động (Col_0, Col_1...)
+        df.columns = [f"Feature_{i}" for i in range(df.shape[1])]
+    except:
+        # Tên cột là chữ -> Giữ nguyên
+        pass
+
     return df
 
 # =========================
@@ -35,12 +65,8 @@ st.set_page_config(
 # =========================
 st.markdown("""
 <style>
-.main {
-    background-color: #f9fafc;
-}
-h1, h2, h3 {
-    color: #2c3e50;
-}
+.main { background-color: #f9fafc; }
+h1, h2, h3 { color: #2c3e50; }
 .step-box {
     background-color: #ffffff;
     padding: 1.5rem;
@@ -48,12 +74,6 @@ h1, h2, h3 {
     box-shadow: 0 4px 12px rgba(0,0,0,0.05);
     margin-bottom: 1.5rem;
 }
-.info-box {
-    background-color: #eef4ff;
-    padding: 1rem;
-    border-left: 6px solid #4c6ef5;
-    border-radius: 6px;
-}
 .warning-box {
     background-color: #fff4e6;
     padding: 1rem;
@@ -64,32 +84,15 @@ h1, h2, h3 {
 """, unsafe_allow_html=True)
 
 # =========================
-# Title Section
+# Title
 # =========================
-st.title("🔍 COPOD – Interactive Outlier Detection Demo")
-
-st.markdown("""
-<div class="info-box">
-<b>COPOD</b> (Copula-Based Outlier Detection) là thuật toán:
-<ul>
-<li>Không cần hyperparameter</li>
-<li>Nhanh</li>
-<li>Có khả năng giải thích theo từng chiều</li>
-</ul>
-Ứng dụng này minh họa cả <b>điểm mạnh</b> và <b>điểm yếu</b> của COPOD.
-</div>
-""", unsafe_allow_html=True)
+st.title("🔍 COPOD – Interactive Outlier Detection")
 
 # =========================
 # Sidebar
 # =========================
 st.sidebar.header("⚙️ Control Panel")
-
-uploaded_file = st.sidebar.file_uploader(
-    "📂 Upload CSV file",
-    type=["csv"]
-)
-
+uploaded_file = st.sidebar.file_uploader("📂 Upload CSV file", type=["csv", "txt"]) # Thêm hỗ trợ .txt
 run_copod = st.sidebar.button("▶️ Run COPOD")
 show_outlier_graph = st.sidebar.button("📊 Show Outlier Graph")
 show_corr_failure = st.sidebar.button("⚠️ Show Correlation Failure")
@@ -99,7 +102,6 @@ show_corr_failure = st.sidebar.button("⚠️ Show Correlation Failure")
 # =========================
 if "df" not in st.session_state:
     st.session_state.df = None
-
 if "scores" not in st.session_state:
     st.session_state.scores = None
 
@@ -110,18 +112,14 @@ st.markdown("<div class='step-box'>", unsafe_allow_html=True)
 st.subheader("🟢 Step 1: Upload Dataset")
 
 if uploaded_file is not None:
+    # Gọi hàm load thông minh mới sửa
     df = load_csv_auto(uploaded_file)
     st.session_state.df = df
 
-    st.success("Dataset loaded successfully!")
+    st.success(f"Dataset loaded: {df.shape[0]} rows, {df.shape[1]} columns.")
     st.dataframe(df.head())
 else:
-    st.markdown("""
-    <div class="warning-box">
-    Please upload a CSV file to begin.
-    </div>
-    """, unsafe_allow_html=True)
-
+    st.info("Please upload a CSV or TXT file.")
 st.markdown("</div>", unsafe_allow_html=True)
 
 # =========================
@@ -134,36 +132,46 @@ if run_copod:
     if st.session_state.df is None:
         st.warning("Upload data first.")
     else:
-        df = st.session_state.df.copy()
+        df_proc = st.session_state.df.copy()
 
-        for col in df.columns:
-            try:
-                df[col] = pd.to_numeric(df[col], errors='coerce')
-            except:
-                pass
-
-        df = df.dropna(axis=1, how='all')
-        df = df.fillna(0)
+        # 1. Ép kiểu số (Clean Data)
+        for col in df_proc.columns:
+            # Chỉ ép kiểu nếu cột chưa phải là số
+            if not pd.api.types.is_numeric_dtype(df_proc[col]):
+                df_proc[col] = pd.to_numeric(df_proc[col], errors='coerce')
+        
+        # 2. Xóa các cột/hàng lỗi
+        df_proc = df_proc.dropna(axis=1, how='all') # Xóa cột toàn NaN
+        df_proc = df_proc.fillna(0) # Điền 0 vào ô trống còn lại
         
-        X = df.select_dtypes(include=[np.number])
+        X = df_proc.select_dtypes(include=[np.number])
 
         if X.shape[1] == 0:
-            st.error("Dataset has no numeric columns. Please check your CSV format.")
-            st.write("Current Data Types:", df.dtypes)
+            st.error("❌ Error: Dataset has no numeric columns.")
+            st.write("Current Data Preview (Check delimiters):")
+            st.write(st.session_state.df.head())
         else:
-            # PLACEHOLDER SCORES
-            scores = np.random.rand(len(X)) * 10
-            df["outlier_score"] = scores
-
-            st.session_state.df = df
-            st.session_state.scores = scores
-
-            st.success("COPOD completed (placeholder).")
-
-            st.markdown("**Top potential outliers:**")
-            st.dataframe(
-                df.sort_values("outlier_score", ascending=False).head(10)
-            )
+            # 3. Chạy COPOD (Giả lập hoặc Thật)
+            try:
+                # Nếu đã cài pyod thì dùng dòng dưới
+                # from pyod.models.copod import COPOD
+                # clf = COPOD()
+                # clf.fit(X)
+                # scores = clf.decision_scores_
+                
+                # Giả lập cho demo
+                scores = np.random.rand(len(X)) * 10
+                
+                st.session_state.scores = scores
+                # Gán lại vào df gốc để hiển thị
+                st.session_state.df["outlier_score"] = scores
+                
+                st.success("✅ COPOD completed!")
+                st.markdown("**Top potential outliers:**")
+                st.dataframe(st.session_state.df.sort_values("outlier_score", ascending=False).head(10))
+                
+            except Exception as e:
+                st.error(f"Runtime error: {e}")
 
 st.markdown("</div>", unsafe_allow_html=True)
 
@@ -175,56 +183,37 @@ st.subheader("🟣 Step 3: Visual Analysis")
 
 col1, col2 = st.columns(2)
 
-# --- Outlier Graph ---
+# --- Graph 1 ---
 with col1:
     if show_outlier_graph:
-        if st.session_state.scores is None:
-            st.warning("Run COPOD first.")
-        else:
-            st.markdown("**📊 Outlier Score Distribution**")
-
+        if st.session_state.scores is not None:
+            st.markdown("**Outlier Score Distribution**")
             fig, ax = plt.subplots()
-            ax.hist(st.session_state.scores, bins=30)
-            ax.set_xlabel("Outlier Score")
-            ax.set_ylabel("Count")
-
+            ax.hist(st.session_state.scores, bins=30, color='#4c6ef5', alpha=0.7)
+            ax.set_title("Histogram of Outlier Scores")
             st.pyplot(fig)
+        else:
+            st.warning("Run COPOD first.")
 
-            st.caption(
-                "Higher score → more likely to be an outlier (tail probability)."
-            )
-
-# --- Correlation Failure ---
+# --- Graph 2 ---
 with col2:
     if show_corr_failure:
-        if st.session_state.df is None:
-            st.warning("Upload data first.")
-        else:
-            df = st.session_state.df
-            num_cols = df.select_dtypes(include=[np.number]).columns
-
-            if len(num_cols) < 2:
-                st.error("Need at least 2 numeric columns.")
-            else:
-                x, y = num_cols[:2]
-
-                st.markdown("**⚠️ Correlation Failure Illustration**")
-
+        if st.session_state.df is not None:
+            # Lấy 2 cột số đầu tiên để vẽ
+            num_cols = st.session_state.df.select_dtypes(include=[np.number]).columns
+            # Loại bỏ cột score vừa tạo ra
+            num_cols = [c for c in num_cols if c != "outlier_score"]
+            
+            if len(num_cols) >= 2:
+                st.markdown(f"**Correlation: {num_cols[0]} vs {num_cols[1]}**")
                 fig, ax = plt.subplots()
-                ax.scatter(df[x], df[y], alpha=0.6)
-                ax.set_xlabel(x)
-                ax.set_ylabel(y)
-
+                ax.scatter(st.session_state.df[num_cols[0]], st.session_state.df[num_cols[1]], alpha=0.5)
+                ax.set_xlabel(str(num_cols[0]))
+                ax.set_ylabel(str(num_cols[1]))
                 st.pyplot(fig)
+            else:
+                st.warning("Need at least 2 numeric features to show correlation.")
+        else:
+            st.warning("Upload data first.")
 
-                st.caption(
-                    "COPOD may miss outliers that break correlations but are marginally normal."
-                )
-
-st.markdown("</div>", unsafe_allow_html=True)
-
-# =========================
-# Footer
-# =========================
-st.markdown("---")
-st.caption("COPOD Demo • Integrator View • Streamlit + Hugging Face")
+st.markdown("</div>", unsafe_allow_html=True)