Update app.py

app.py

@@ -2,7 +2,7 @@ import os
 import re
 import tempfile
 from functools import lru_cache
-
+import spaces
 import gradio as gr
 import pandas as pd
 import torch
@@ -307,6 +307,127 @@ with gr.Blocks(title="Vietnamese Sentiment Analyzer", theme=gr.themes.Soft()) as
         outputs=[summary_output, file_output, preview_output],
     )
 
+
+
+@spaces.GPU
+def process_dataframe(
+    df,
+    model_path,
+    batch_size,
+    max_length,
+    skip_keyword_check,
+    main_keywords,
+    progress=gr.Progress(),
+):
+    missing = [
+        column for column in REQUIRED_COLUMNS
+        if column not in df.columns
+    ]
+    if missing:
+        raise gr.Error(
+            "File thiếu cột bắt buộc: " + ", ".join(missing)
+        )
+
+    # Reset index để bảo đảm vị trí kết quả khớp với dữ liệu đầu vào.
+    df = df.copy().reset_index(drop=True)
+
+    tokenizer, model, device, label_map = load_sentiment_model(
+        model_path
+    )
+
+    keywords = [
+        item.strip()
+        for item in (main_keywords or "").split(",")
+        if item.strip()
+    ]
+
+    sentiments = [""] * len(df)
+    pending_indices = []
+    pending_texts = []
+    unknown_types = 0
+    empty_content = 0
+
+    # Chuẩn bị nội dung cần phân loại.
+    for position in range(len(df)):
+        row = df.iloc[position]
+        doc_type = get_doc_type(row.get("Type"))
+
+        if doc_type == "unknown":
+            unknown_types += 1
+            continue
+
+        text = build_text(row, doc_type)
+
+        if not text:
+            empty_content += 1
+            continue
+
+        pending_indices.append(position)
+        pending_texts.append(text)
+
+    total = len(pending_texts)
+
+    progress(0, desc="Đang chuẩn bị dữ liệu...")
+
+    # Phân loại theo batch.
+    for start in range(0, total, batch_size):
+        batch_texts = pending_texts[start:start + batch_size]
+        batch_indices = pending_indices[start:start + batch_size]
+
+        results = predict_batch(
+            batch_texts,
+            tokenizer,
+            model,
+            device,
+            label_map,
+            max_length,
+        )
+
+        for index, text, result in zip(
+            batch_indices, batch_texts, results
+        ):
+            label, confidence = result
+
+            if not skip_keyword_check:
+                label, confidence = apply_keyword_fallback(
+                    label,
+                    confidence,
+                    text,
+                    keywords,
+                )
+
+            sentiments[index] = label
+
+        completed = min(start + len(batch_texts), total)
+
+        progress(
+            completed / max(total, 1),
+            desc=f"Đang phân tích: {completed:,}/{total:,} dòng",
+        )
+
+    # Thêm hoặc cập nhật cột Sentiment.
+    df["Sentiment"] = sentiments
+
+    counts = df["Sentiment"].value_counts()
+
+    summary = [
+        f"**Thiết bị:** `{device}`",
+        f"**Model:** `{model_path}`",
+        f"**Tổng số dòng:** {len(df):,}",
+        f"**Đã phân tích:** {total:,}",
+        f"**Bỏ trống do Type không hợp lệ:** {unknown_types:,}",
+        f"**Bỏ trống do không có nội dung:** {empty_content:,}",
+        "",
+        "**Thống kê sentiment:**",
+    ]
+
+    for label in ("positive", "neutral", "negative"):
+        summary.append(
+            f"- `{label}`: {int(counts.get(label, 0)):,}"
+        )
+
+    return df, "\n".join(summary)
+
 if __name__ == "__main__":
     demo.launch(
     server_name="0.0.0.0",