Upload 7 files

README.md

@@ -1,13 +1,83 @@
----
-title: Data Pipeline Ai Agent
-emoji: 📊
-colorFrom: indigo
-colorTo: red
-sdk: gradio
-sdk_version: 5.31.0
-app_file: app.py
-pinned: false
-license: openrail
----
-
-Check out the configuration reference at https://huggingface.co/docs/hub/spaces-config-reference
+# 🚀 Data Pipeline với AI Agent (Gradio + Python)
+
+## 🧠 Giới thiệu
+
+Dự án này mô phông một hệ thống **Data Pipeline** tự động:
+
+* **Thu thập dữ liệu** từ API công khai (Public APIs)
+* **Làm sạch dữ liệu** bằng bộ lọc logic (chỉ giữ các API hỗ trợ HTTPS)
+* **Tự động hóa xử lý** thông qua một **AI Agent đơn giản** phát hiện dữ liệu mới
+* **Thông báo kết quả** xử lý qua **email Gmail**
+* **Hiển thị giao diện tương tác** qua Gradio trên Hugging Face Spaces
+
+---
+
+## 📦 Chức năng chính
+
+| Chức năng                      | Mô tả                                                 |
+| ------------------------------ | ----------------------------------------------------- |
+| 🛠 **Chạy pipeline thủ công**  | Bấm nút để thu thập & xử lý dữ liệu từ API            |
+| 🤖 **Agent phát hiện tự động** | Agent kiểm tra xem có dữ liệu mới → chạy pipeline     |
+| 📄 **Xem dữ liệu đã xử lý**    | Hiển thị dữ liệu sạch gần nhất trong bảng             |
+| ✉️ **Gửi email thông báo**     | Khi Agent xử lý thành công → gửi Gmail đến người dùng |
+
+---
+
+## 🥪 Demo trực tiếp (Hugging Face Space)
+
+👉 Truy cập giao diện tại:
+`https://huggingface.co/spaces/<username>/data-pipeline-ai-agent`
+
+---
+
+## 🧠 Công nghệ sử dụng
+
+* [x] **Python 3.10**
+* [x] [Gradio](https://www.gradio.app/)
+* [x] [Pandas](https://pandas.pydata.org/)
+* [x] `smtplib` & `email.mime` – Gửi Gmail
+* [x] API nguồn: [https://api.publicapis.org/entries](https://api.publicapis.org/entries)
+
+---
+
+## 🗂 Cấu trúc thư mục
+
+```
+data-pipeline-ai-agent/
+├── app.py                 # Giao diện Gradio chính
+├── pipeline.py            # Thu thập & làm sạch dữ liệu
+├── agent.py               # Agent tự động trigger & gửi email
+├── requirements.txt       # Thư viện cần cài đặt
+├── README.md              # Mô tả chi tiết dự án
+└── data/                  # Lưu file CSV tạm thời
+    ├── raw_data.csv
+    └── clean_data.csv
+```
+
+---
+
+## 🔐 Cấu hình Gmail để gửi email
+
+1. Bật 2 bước xác minh tại: [https://myaccount.google.com/security](https://myaccount.google.com/security)
+2. Tạo App Password tại: [https://myaccount.google.com/apppasswords](https://myaccount.google.com/apppasswords)
+3. Cập nhật email và mật khẩu app vào `agent.py`:
+
+```python
+SENDER_EMAIL = "youremail@gmail.com"
+SENDER_PASSWORD = "your-16-char-app-password"
+```
+
+---
+
+##Hướng dẫn sử dụng (cục bộ)
+
+```bash
+# Cài thư viện
+pip install -r requirements.txt
+
+# Chạy Gradio
+python app.py
+```
+
+---
+**Dự án thực hiện trong khóa học**: MLOps – Buổi 4: "Xây dựng Data Pipeline và Feature Store với AI Agent"

agent.py

@@ -0,0 +1,41 @@
+from datetime import datetime
+from pipeline import fetch_data, clean_data
+import smtplib
+from email.mime.text import MIMEText
+
+# Cấu hình email
+SENDER_EMAIL = "dulichviet2406@gmail.com"
+SENDER_PASSWORD = "ppedsoakefjyrbym"  
+RECEIVER_EMAIL = "vanhai123@gmail.com"  
+
+def send_email_report(content):
+    msg = MIMEText(content)
+    msg["Subject"] = "Kết quả từ AI Agent Pipeline"
+    msg["From"] = SENDER_EMAIL
+    msg["To"] = RECEIVER_EMAIL
+
+    try:
+        with smtplib.SMTP_SSL("smtp.gmail.com", 465) as server:
+            server.login(SENDER_EMAIL, SENDER_PASSWORD)
+            server.send_message(msg)
+        print("Email đã được gửi thành công.")
+    except Exception as e:
+        print("Gửi email thất bại:", e)
+
+def has_new_data():
+    return datetime.now().second % 2 == 0
+
+def run_pipeline():
+    fetch_data()
+    df_clean = clean_data()
+    return df_clean
+
+def run_agent_once():
+    if has_new_data():
+        print("Có dữ liệu mới! Đang chạy pipeline...")
+        df = run_pipeline()
+        message = f"Agent đã xử lý {len(df)} dòng dữ liệu mới."
+        send_email_report(message)
+        return message
+    else:
+        return "Chưa phát hiện dữ liệu mới."

app.py

@@ -0,0 +1,36 @@
+import gradio as gr
+from pipeline import fetch_data, clean_data
+from agent import run_agent_once
+import pandas as pd
+import os
+
+def run_manual_pipeline():
+    fetch_data()
+    df = clean_data()
+    return f"Đã xử lý {len(df)} dòng dữ liệu", df.head()
+
+def auto_agent_run():
+    return run_agent_once()
+
+def view_data():
+    if os.path.exists("data/clean_data.csv"):
+        df = pd.read_csv("data/clean_data.csv")
+        return df.head()
+    return "Chưa có dữ liệu nào"
+
+with gr.Blocks() as demo:
+    gr.Markdown("##Data Pipeline với AI Agent")
+
+    with gr.Row():
+        run_btn = gr.Button("Chạy Pipeline Thủ Công")
+        agent_btn = gr.Button("Agent Tự Động Phát Hiện Dữ Liệu")
+        view_btn = gr.Button("Xem Dữ Liệu Gần Nhất")
+
+    output = gr.Textbox(label="Thông báo")
+    data_table = gr.Dataframe(label="Dữ liệu đã xử lý")
+
+    run_btn.click(run_manual_pipeline, outputs=[output, data_table])
+    agent_btn.click(auto_agent_run, outputs=output)
+    view_btn.click(view_data, outputs=data_table)
+
+demo.launch()

pipeline.py

@@ -0,0 +1,18 @@
+import pandas as pd
+import requests
+import os
+
+def fetch_data():
+    print("Đang lấy dữ liệu từ API...")
+    url = "https://api.publicapis.org/entries"
+    df = pd.read_json(url)
+    os.makedirs("data", exist_ok=True)
+    df.to_csv("data/raw_data.csv", index=False)
+    return df
+
+def clean_data():
+    print("Đang làm sạch dữ liệu...")
+    df = pd.read_csv("data/raw_data.csv")
+    df_clean = df[df["HTTPS"] == True]  
+    df_clean.to_csv("data/clean_data.csv", index=False)
+    return df_clean

requirements.txt

@@ -0,0 +1,3 @@
+gradio
+pandas
+requests