Upload 11 files

.gitattributes

@@ -33,3 +33,4 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
 *.zip filter=lfs diff=lfs merge=lfs -text
 *.zst filter=lfs diff=lfs merge=lfs -text
 *tfevents* filter=lfs diff=lfs merge=lfs -text
+models/optuna_amazon_pro.db filter=lfs diff=lfs merge=lfs -text

README.md

@@ -0,0 +1,116 @@
+---
+title: Amazon Product Classifier
+sdk: gradio
+sdk_version: 4.44.0
+app_file: src/app.py
+---
+
+# Amazon Product Classifier
+
+**Dự đoán danh mục sản phẩm Amazon bằng NLP & Học Máy – từ dữ liệu chưa có nhãn**
+
+[![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/drive/1vQbgzVixv8uaIGvLJACGdlxaM2jeR4vL?usp=sharing)
+
+---
+
+##  Giới thiệu
+
+Hệ thống học máy pipeline hoàn chỉnh, giải quyết bài toán **gán nhãn tự động và phân loại sản phẩm** khi dữ liệu gốc **không có cột danh mục (category)**. Toàn bộ quá trình từ xử lý thô, tạo nhãn thông minh, trích xuất đặc trưng đa chiều cho đến huấn luyện & triển khai đều được xây dựng từ đầu.
+
+- **Bài toán:** Phân loại đa lớp (Multi-class Classification)
+- **Nguồn dữ liệu:** [Amazon Products Sales Dataset 42k Items (2025)](https://www.kaggle.com/datasets/ikramshah512/amazon-products-sales-dataset-42k-items-2025?select=amazon_products_sales_data_uncleaned.csv) từ Kaggle.  
+   **Đặc điểm cốt lõi:** Dữ liệu chỉ bao gồm tên sản phẩm, giá, đánh giá,... **hoàn toàn không có nhãn danh mục**. Điều này biến bài toán trở thành tự động tạo ra “ground truth” trước khi có thể huấn luyện mô hình phân loại.
+
+- ** 10 danh mục mục tiêu do tôi định nghĩa** (dựa trên phân tích thị trường và đặc trưng sản phẩm):
+  1. `Laptops`
+  2. `Phones`
+  3. `Audio`
+  4. `Cameras`
+  5. `TV & Display`
+  6. `Computers & Accessories`
+  7. `Other Electronics`
+  8. `Wearables`
+  9. `Gaming`
+  10. `Home & Kitchen`
+
+- ** Phân tích chi tiết (code, biểu đồ, bản đồ phân cụm, ma trận nhầm lẫn, feature importance,...):** [Google Colab Notebook](https://colab.research.google.com/drive/1vQbgzVixv8uaIGvLJACGdlxaM2jeR4vL?usp=sharing)
+
+> **Điểm đặc biệt của bài toán**
+> - **Không có nhãn mục tiêu** – toàn bộ quá trình gán nhãn được thiết kế thủ công bằng luật và embedding AI, sau đó lan truyền nhãn bằng học máy.
+> - **Mất cân bằng lớp nghiêm trọng** – đồ điện tử áp đảo, các lớp như `Wearables`, `Home & Kitchen` vô cùng ít mẫu. Hệ thống dùng SMOTE, class weighting và cơ chế cảnh báo độ tin cậy để đảm bảo công bằng và an toàn cho người dùng.
+
+---
+
+##  Pipeline tổng thể
+
+| Giai đoạn | Nội dung chính | Kỹ thuật / Công nghệ |
+|---|---|---|
+| **1. Gán nhãn tự động** | Tạo nhãn từ dữ liệu không có target | Keyword Matching, Sentence-BERT (`all-MiniLM-L6-v2`) + Cosine Similarity, Ensemble, Label Propagation (Logistic Regression) |
+| **2. Làm sạch & lọc bẫy** | Loại bỏ sản phẩm “gây nhiễu” | `trap_word_filter` (bảo hành, ốp lưng, sticker…), `price_sanity_check` |
+| **3. Trích xuất đặc trưng** | Số hóa mọi tín hiệu từ sản phẩm | TF‑IDF, TruncatedSVD (LSA), PCA, Social Proof, Brand Tier, Word Count, Discount %, Log Transform |
+| **4. Tiền xử lý & chọn lọc** | Giảm chiều, loại bỏ đa cộng tuyến | `StandardScaler`, VIF, `np.hstack` |
+| **5. Huấn luyện & tối ưu** | Xây dựng mô hình phân loại cuối cùng | LightGBM, Optuna (TPE, SQLite), `StratifiedKFold`, SMOTE, `class_weight='balanced'`, Early Stopping |
+| **6. Triển khai** | Ứng dụng thực tế | Gradio, `ClassificationModel`, ngưỡng tin cậy linh hoạt |
+
+---
+
+##  Công nghệ sử dụng – Chi tiết
+
+###  Xử lý ngôn ngữ & Gán nhãn
+- **Sentence-BERT** (`all-MiniLM-L6-v2`): embedding 384 chiều cho tên sản phẩm, so khớp với tập nhãn ứng viên qua **Cosine Similarity**.
+- **Keyword Matching (Expert Rules):** bộ từ khóa chuyên biệt cho 10 ngành hàng, hỗ trợ regex linh hoạt (`flexible_kw_match`) bắt cả số nhiều, viết liền hay cách.
+- **Ensemble Keyword + AI:** kết hợp có trọng số (alpha/beta) giữa độ tin cậy từ khóa và similarity score.
+- **Label Propagation:** dùng Logistic Regression huấn luyện trên các mẫu tự tin (≥60%), lan truyền nhãn cho phần còn lại với ngưỡng xác suất ≥45%.
+
+###  Làm sạch & Logic nghiệp vụ
+- **`trap_word_filter`:** phát hiện các cụm như *protection plan, warranty, case for, guide, sticker* → đưa về nhóm `Other Electronics` hoặc `Other Category`.
+- **`price_sanity_check`:** dùng logic giá để sửa nhãn (VD: Laptop giá dưới $80 → không thể là laptop).
+
+###  Trích xuất đặc trưng (Feature Engineering)
+- **TF‑IDF** (5000 features, 1‑2 grams) → **TruncatedSVD (256 chiều)**: nắm bắt ngữ nghĩa ẩn từ văn bản.
+- **PCA** trên embedding (giữ 90% variance): giảm chiều, chống overfitting.
+- **Social Proof:** `log(rating × number_of_reviews)` – đại diện cho độ uy tín.
+- **Brand Tier:** mã hóa thương hiệu 3 mức (0‑thường, 1‑top brand, 2‑premium) dựa trên danh sách thương hiệu được định nghĩa sẵn.
+- **Word Count, Discount %, Log Transform:** các đặc trưng thống kê giúp mô hình nhận diện kiểu sản phẩm.
+
+### Cân bằng dữ liệu & Chọn biến
+- **SMOTE** (Synthetic Minority Over-sampling): sinh mẫu tổng hợp trong mỗi fold khi cross‑validation.
+- **Class Weight = 'balanced'** trong LightGBM.
+- **VIF (Variance Inflation Factor):** loại bỏ tuần tự biến có VIF > 5 để giảm đa cộng tuyến, giữ lại tập đặc trưng ổn định.
+
+###  Mô hình & Tối ưu
+- **LightGBM Classifier** (Gradient Boosting): mô hình chính, hỗ trợ GPU, huấn luyện trên dữ liệu lớn.
+- **Optuna** (TPE Sampler, SQLite storage): tối ưu `learning_rate`, `num_leaves`, `max_depth`, `reg_alpha`, `reg_lambda`, `subsample`, `colsample_bytree` với 50 trials trong 4 giờ.
+- **Stratified K‑Fold (k=5) + Early Stopping:** đảm bảo đánh giá khách quan và dừng đúng lúc.
+
+### Triển khai
+- **Gradio:** giao diện web trực quan.
+- **Cảnh báo độ tin cậy:** tự động hiển thị cảnh báo nếu xác suất cao nhất < ngưỡng (50%) để cảnh báo người dùng khỏi các dự đoán kém chắc chắn.
+
+---
+
+## Kết quả huấn luyện
+
+| Chỉ số | Giá trị |
+|---|---|
+| **Overall Accuracy** | ~96% |
+| **Balanced Accuracy** | ~0.94 |
+| **Macro F1‑Score** | ~0.956 |
+
+> Mặc dù điểm số tổng rất cao, các lớp thiểu số vẫn là thách thức. Cơ chế cảnh báo khi độ tin cậy thấp giúp sản phẩm trở nên đáng tin cậy hơn.
+
+---
+
+##  Hướng dẫn cài đặt & Chạy Demo
+
+1. **Yêu cầu:** Python 3.9+
+2. **Clone repository:**
+   ```bash
+   git clone https://github.com/PhTee2412/Amazon_Classifier
+
+   cd Amazon_Classifier
+
+---
+
+- **Tên**: Phương Thảo
+- **Email**: phtee2412@gmail.com

models/amazon_classifier.pkl

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:5be582c6634b52711b0a9a1da4f675daf0c72a79851a7913109c196afe978d45
+size 27612484

models/label_encoder.pkl

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:86832bfa98eff76fdfec076cf266b70b8a2e99672e0f3fa526e1e9560e32eda7
+size 1029

models/numeric_cols.pkl

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:a575dfd1794e0f856cfbce9cfc626623ffc67e3c8b400c79f09b827f3839d919
+size 152

models/optuna_amazon_pro.db

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:2fd750ea5b08f6bf14a482c7553a415bf86253e415992446bfec70e1e1f9b946
+size 122880

models/pca_pro.pkl

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:98ec0a42b4d9012f8d687ad6de208f3bf2ec4484495c6fef5701f545d7e80ba1
+size 168195

models/scaler_pro.pkl

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:d67e2b82211bcdfe5bc7edbc16c54184100813c8fcfadb48aca076e904bfcdb5
+size 1255

models/svd_pro.pkl

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:f293891f0bce6443f855a6a51f7460de7d47a485ddfdbf0d2c47acc54e38214e
+size 10246887

models/tfidf_pro.pkl

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:0b8858376bd6d026b28fbe3604fcecf65a27b3265d97e9551ed11fa4f1745128
+size 197296

requirements.txt

@@ -0,0 +1,9 @@
+gradio
+pandas
+numpy
+scikit-learn
+sentence-transformers
+lightgbm
+joblib
+matplotlib
+seaborn

src/app.py

@@ -0,0 +1,197 @@
+import os
+import re
+import joblib
+import numpy as np
+import pandas as pd
+from sentence_transformers import SentenceTransformer
+import lightgbm as lgb
+import gradio as gr
+
+stop_words = set([
+    'the', 'a', 'an', 'and', 'or', 'but', 'is', 'are', 'am', 'to', 'for',
+    'in', 'on', 'at', 'by', 'with', 'this', 'that', 'of', 'from', 'it',
+    'its', 'they', 'them', 'their', 'was', 'were', 'be', 'been', 'being',
+    'have', 'has', 'had', 'do', 'does', 'did', 'which', 'who', 'whom',
+    'whose', 'where', 'when', 'how', 'all', 'any', 'both', 'each',
+    'few', 'more', 'most', 'other', 'some', 'such', 'no', 'nor', 'not',
+    'only', 'own', 'same', 'so', 'than', 'too', 'very', 's', 't', 'can',
+    'will', 'just', 'don', 'should', 'now', 'i', 'me', 'my', 'myself',
+    'we', 'our', 'ours', 'ourselves', 'you', 'your', 'yours', 'yourself',
+    'yourselves', 'he', 'him', 'his', 'himself', 'she', 'her', 'hers',
+    'herself', 'it', 'its', 'itself', 'they', 'them', 'their', 'theirs',
+    'themselves'
+])
+
+top_brands_list = [
+    'western digital', 'apple', 'samsung', 'dell', 'hp', 'lenovo', 'asus',
+    'acer', 'sony', 'logitech', 'jbl', 'bose', 'tp-link', 'sandisk',
+    'xiaomi', 'oppo', 'vivo', 'oneplus', 'google', 'amazon', 'nintendo',
+    'playstation', 'xbox', 'msi', 'gigabyte'
+]
+
+premium_brands = [
+    'apple', 'samsung', 'sony', 'dell', 'hp', 'bose', 'playstation',
+    'xbox', 'nintendo'
+]
+
+# ============================ HELPER FUNCTIONS ============================
+def clean_text_pro(text):
+    """Làm sạch tên sản phẩm: lowercase, xoá ký tự đặc biệt, loại bỏ stopwords."""
+    if not isinstance(text, str):
+        return ""
+    text = text.lower()
+    text = re.sub(r'[^a-z0-9\s\.]', ' ', text)
+    words = [w for w in text.split() if w not in stop_words and len(w) > 1]
+    return " ".join(words)
+
+def get_brand_tier(name):
+    """Phân hạng thương hiệu: 2 = cao cấp, 1 = phổ biến, 0 = khác."""
+    name_lower = str(name).lower()
+    for brand in premium_brands:
+        if re.search(r'\b' + re.escape(brand) + r'\b', name_lower):
+            return 2
+    for brand in top_brands_list:
+        if re.search(r'\b' + re.escape(brand) + r'\b', name_lower):
+            return 1
+    return 0
+
+BASE_DIR = os.path.dirname(os.path.abspath(__file__))
+MODEL_DIR = os.path.join(BASE_DIR, '..', 'models')
+
+model = joblib.load(os.path.join(MODEL_DIR, 'amazon_classifier.pkl'))
+le = joblib.load(os.path.join(MODEL_DIR, 'label_encoder.pkl'))
+pca = joblib.load(os.path.join(MODEL_DIR, 'pca_pro.pkl'))
+svd = joblib.load(os.path.join(MODEL_DIR, 'svd_pro.pkl'))
+tfidf = joblib.load(os.path.join(MODEL_DIR, 'tfidf_pro.pkl'))
+scaler = joblib.load(os.path.join(MODEL_DIR, 'scaler_pro.pkl'))
+numeric_cols = joblib.load(os.path.join(MODEL_DIR, 'numeric_cols.pkl'))
+
+sent_model = SentenceTransformer('all-MiniLM-L6-v2')
+
+
+
+def preprocess_and_predict(name, price, rating, reviews_count, bought_count, actual_price):
+    """
+    Nhận dữ liệu từ UI, biến đổi thành vector đặc trưng và dự đoán.
+    Trả về dictionary {tên_lớp: xác_suất} cho Gradio hiển thị.
+    """
+    # 1. Văn bản (Text Features)
+    text = clean_text_pro(str(name))
+    emb = pca.transform(sent_model.encode([text]))         
+    tfidf_vec = svd.transform(tfidf.transform([text]))      
+
+    # 2. Biến số (Numerical Features)
+    feat = {
+        'price_log': np.log1p(price),
+        'rating_clean': float(rating) if rating else 4.2,
+        'reviews_log': np.log1p(float(reviews_count)) if reviews_count else 0,
+        'bought_count_log': np.log1p(bought_count),
+        'discount_pct': (actual_price - price) / actual_price if actual_price > price else 0,
+        'social_proof': np.log1p(float(rating) * float(reviews_count)) if rating and reviews_count else 0,
+        'word_count': len(str(name).split()),
+        'brand_tier': get_brand_tier(name),
+        'is_best_seller_flag': 0, 
+        'has_coupon': 0           
+    }
+
+    # 3. Scale các đặc trưng liên tục (Numerical scaling)
+    scaler_input_cols = [
+        'price_log', 'rating_clean', 'reviews_log', 'bought_count_log',
+        'discount_pct', 'social_proof', 'word_count', 'brand_tier',
+        'is_best_seller_flag', 'has_coupon'
+    ]
+    df_input = pd.DataFrame([[feat.get(c, 0) for c in scaler_input_cols]], columns=scaler_input_cols)
+    scaled_input = pd.DataFrame(scaler.transform(df_input), columns=scaler_input_cols)
+    final_num = scaled_input[numeric_cols].values # Chỉ giữ cột có sau VIF
+
+    X = np.hstack([final_num, emb, tfidf_vec])
+
+    # 5. Dự đoán
+    proba = model.predict_proba(X)[0]
+    result = {le.classes_[i]: float(proba[i]) for i in range(len(le.classes_))}
+    sorted_result = dict(sorted(result.items(), key=lambda item: item[1], reverse=True))
+    max_conf = max(proba)
+
+    if max_conf < 0.5:
+        top_result = dict(list(sorted_result.items())[:1])
+        warning_msg = f"**Cảnh báo**: Mức độ tin cậy cao nhất chỉ đạt **{max_conf*100:.1f}%**. Sản phẩm này có thông tin không rõ ràng hoặc có thể thuộc danh mục khác."
+    else:
+        top_result = dict(list(sorted_result.items())[:3])
+        warning_msg = f"Dự đoán thành công với mức độ tin cậy (**{max_conf*100:.1f}%**)."
+
+    return top_result, warning_msg
+
+
+custom_theme = gr.themes.Soft(
+    primary_hue="blue",
+    secondary_hue="indigo",
+    neutral_hue="slate",
+    font=[gr.themes.GoogleFont("Inter"), "ui-sans-serif", "system-ui", "sans-serif"]
+)
+
+with gr.Blocks(theme=custom_theme, title="Amazon Product Classifier", css="footer {visibility: hidden}") as demo:
+    gr.Markdown(
+        """
+        # Ứng dụng Phân loại Sản phẩm Amazon (Amazon Product Classifier)
+        **Mô hình phân loại Machine Learning** dự đoán danh mục sản phẩm trên Amazon thông qua **LightGBM** và **Sentence-BERT**.
+        Mô hình đạt độ chính xác **~96%**, phân loại thành 1 trong 10 danh mục khác nhau.
+        """
+    )
+    
+    with gr.Row():
+        # Cột Input
+        with gr.Column(scale=2):
+            gr.Markdown("###  Nhập thông tin Sản phẩm")
+            name = gr.Textbox(
+                label="Tên sản phẩm",
+                placeholder="VD: Apple iPhone 15 Pro Max 256GB Titanium, Blue",
+                lines=2
+            )
+            
+            with gr.Row():
+                price = gr.Number(label="Giá khuyến mãi ($)", value=0.0, precision=2)
+                actual_price = gr.Number(label="Giá gốc ($)", value=0.0, precision=2)
+            
+            with gr.Row():
+                rating = gr.Slider(label="Điểm đánh giá (Rating)", minimum=1.0, maximum=5.0, step=0.1, value=4.5)
+                reviews_count = gr.Number(label="Số lượt đánh giá (Reviews)", value=100, precision=0)
+                bought_count = gr.Number(label="Lượt mua tháng trước", value=0, precision=0)
+            
+            predict_btn = gr.Button(" Dự đoán Danh mục", variant="primary", size="lg")
+            
+        # Cột Output
+        with gr.Column(scale=1):
+            gr.Markdown("###  Kết quả Dự đoán")
+            output_label = gr.Label(label="Top 3 danh mục phù hợp nhất", num_top_classes=3)
+            warning_text = gr.Markdown(value="", visible=True)
+            
+    # Sự kiện khi bấm nút Predict
+    predict_btn.click(
+        fn=preprocess_and_predict,
+        inputs=[name, price, rating, reviews_count, bought_count, actual_price],
+        outputs=[output_label, warning_text]
+    )
+    
+    # Bảng Ví dụ để test nhanh
+    gr.Markdown("###  Ví dụ (Click để điền tự động)")
+    gr.Examples(
+        examples=[
+            ["Apple iPhone 15 Pro Max 256GB Titanium", 1199, 4.8, 5000, 1000, 1299],
+            ["Samsung 32-inch Odyssey G5 Gaming Monitor", 300, 4.5, 1200, 500, 350],
+            ["Logitech MX Master 3S Wireless Mouse", 99, 4.9, 3000, 800, 99],
+            ["PlayStation 5 Console (PS5)", 499, 4.9, 55000, 5000, 499],
+            ["Premium Yoga Mat for Exercise", 20, 4.0, 150, 50, 30]
+        ],
+        inputs=[name, price, rating, reviews_count, bought_count, actual_price],
+        label="Dữ liệu mẫu"
+    )
+
+    gr.Markdown(
+        """
+        ---
+        **Tác giả**: Phương Thảo | **Email**: phtee2412@gmail.com
+        """
+    )
+
+if __name__ == "__main__":
+    demo.launch(share=False)