Upload 10 files

README.md

@@ -1,12 +1,31 @@
 ---
 title: Vietnamese Text Summarizer
-emoji: 👁
+emoji: 🤖
 colorFrom: blue
-colorTo: indigo
+colorTo: purple
 sdk: gradio
 sdk_version: 6.1.0
 app_file: app.py
 pinned: false
+license: mit
 ---
 
-Check out the configuration reference at https://huggingface.co/docs/hub/spaces-config-reference
+# 🇻🇳 Vietnamese Text Summarizer
+
+Hệ thống tóm tắt văn bản tiếng Việt sử dụng hai phương pháp: **Extractive** và **Abstractive**.
+
+## 🚀 Tính năng
+
+- **Extractive Summarization**: Trích xuất các câu quan trọng từ văn bản gốc
+- **Abstractive Summarization**: Tạo tóm tắt mới bằng mô hình Transformer với PhoBERT
+- **Đánh giá tự động**: Tính toán BLEU và ROUGE scores
+- **So sánh trực quan**: Biểu đồ so sánh chất lượng giữa hai phương pháp
+
+## 🎯 Cách sử dụng
+
+1. **Nhập văn bản** tiếng Việt cần tóm tắt
+2. **Chọn phương pháp**
+3. **So sánh kết quả** với tóm tắt gốc (nếu có)
+4. **Xem biểu đồ** đánh giá tự động
+
+## 📁 Cấu trúc project

app.py

@@ -0,0 +1,436 @@
+# app.py
+# Improved Gradio UI for Vietnamese Text Summarization (Extractive + Abstractive)
+# Designed for deployment on Hugging Face Spaces (or similar).
+# Keeps the original technologies: PhoBERT + custom TF decoder, TextRank extractive.
+import os
+import sys
+import shutil
+import tempfile
+import importlib
+from io import BytesIO
+from typing import List, Optional
+
+import gradio as gr
+import numpy as np
+import matplotlib.pyplot as plt
+from PIL import Image
+from rouge_score import rouge_scorer
+from nltk.translate.bleu_score import sentence_bleu, SmoothingFunction
+
+# Ensure repo root on path so py package is importable
+ROOT_DIR = os.path.dirname(os.path.abspath(__file__))
+if ROOT_DIR not in sys.path:
+    sys.path.insert(0, ROOT_DIR)
+
+# Add py/ to path for summarizer modules
+PY_DIR = os.path.join(ROOT_DIR, "py")
+if PY_DIR not in sys.path:
+    sys.path.insert(0, PY_DIR)
+
+
+smooth = SmoothingFunction().method1
+
+# Lazy singletons for summarizers
+ext_summarizer = None
+abs_summarizer = None
+
+DEFAULT_MODEL_DIR = os.path.join(ROOT_DIR, "models")
+os.makedirs(DEFAULT_MODEL_DIR, exist_ok=True)
+
+
+# Utilities to import summarizer modules (robust to py/ package or root)
+def import_summarizer_module(base_name: str):
+    candidates = [f"py.{base_name}", base_name]
+    last_err = None
+    for mod_name in candidates:
+        try:
+            module = importlib.import_module(mod_name)
+            return module
+        except Exception as e:
+            last_err = e
+    raise ImportError(f"No module named '{base_name}' (tried {candidates}). Last error: {last_err}")
+
+
+def get_ext_summarizer():
+    global ext_summarizer
+    if ext_summarizer is None:
+        mod = import_summarizer_module("extractive")
+        ExtractiveSummarizer = getattr(mod, "ExtractiveSummarizer")
+        ext_summarizer = ExtractiveSummarizer()
+    return ext_summarizer
+
+
+def get_abs_summarizer(model_dir: Optional[str] = None):
+    global abs_summarizer
+    if abs_summarizer is None:
+        mod = import_summarizer_module("abstractive")
+        AbstractiveSummarizer = getattr(mod, "AbstractiveSummarizer")
+        model_dir = model_dir or DEFAULT_MODEL_DIR
+        abs_summarizer = AbstractiveSummarizer(model_dir=model_dir)
+    return abs_summarizer
+
+
+# Summarization functions used by the UI
+def generate_extractive(article: str, top_n: int, state):
+    """
+    Generate extractive summary.
+    Returns (summary_text, new_state)
+    """
+    if not article or not article.strip():
+        return "Vui lòng nhập văn bản để tóm tắt.", state
+
+    try:
+        summarizer = get_ext_summarizer()
+        summary = summarizer.summarize(article, top_n=top_n)
+        if not summary or len(summary.strip()) < 10:
+            summary = "Không thể tạo tóm tắt từ văn bản này. Vui lòng thử văn bản dài hơn."
+    except Exception as e:
+        summary = f"Lỗi khi chạy Extractive: {e}"
+    return summary, summary
+
+
+def generate_abstractive(article: str, beam_k: int, state, model_dir=DEFAULT_MODEL_DIR):
+    """
+    Generate abstractive summary.
+    Returns (summary_text, new_state)
+    """
+    if not article or not article.strip():
+        return "Vui lòng nhập văn bản để tóm tắt.", state
+
+    try:
+        # Try to lazily load abstractive summarizer
+        summarizer = get_abs_summarizer(model_dir=model_dir)
+        summary = summarizer.summarize(article, k=int(beam_k))
+        if not summary or len(summary.strip()) < 10:
+            summary = "Không thể tạo tóm tắt từ văn bản này. Vui lòng thử văn bản dài hơn."
+    except FileNotFoundError as e:
+        summary = f"Abstractive model chưa sẵn sàng: {e}"
+    except Exception as e:
+        summary = f"Lỗi khi chạy Abstractive: {e}"
+    return summary, summary
+
+
+# Evaluation function produces a bar chart comparing metrics
+def evaluate_and_plot(reference: str, ext_summary: str, abs_summary: str):
+    ref = reference or ""
+    ext = ext_summary or ""
+    abs_ = abs_summary or ""
+
+    def safe_tokens(text):
+        return [t for t in text.split() if t.strip()]
+
+    # BLEU
+    try:
+        ref_tokens = safe_tokens(ref)
+        if ref_tokens and ext:
+            bleu1_ext = sentence_bleu([ref_tokens], safe_tokens(ext), weights=(1, 0, 0, 0), smoothing_function=smooth)
+            bleu4_ext = sentence_bleu([ref_tokens], safe_tokens(ext), weights=(0.25, 0.25, 0.25, 0.25), smoothing_function=smooth)
+        else:
+            bleu1_ext = bleu4_ext = 0.0
+
+        if ref_tokens and abs_:
+            bleu1_abs = sentence_bleu([ref_tokens], safe_tokens(abs_), weights=(1, 0, 0, 0), smoothing_function=smooth)
+            bleu4_abs = sentence_bleu([ref_tokens], safe_tokens(abs_), weights=(0.25, 0.25, 0.25, 0.25), smoothing_function=smooth)
+        else:
+            bleu1_abs = bleu4_abs = 0.0
+    except Exception:
+        bleu1_ext = bleu4_ext = bleu1_abs = bleu4_abs = 0.0
+
+    # ROUGE
+    rouge = rouge_scorer.RougeScorer(['rouge1', 'rouge2', 'rougeL'], use_stemmer=True)
+    try:
+        if ref and ext:
+            ext_r = rouge.score(ref, ext)
+        else:
+            ext_r = {'rouge1': None, 'rouge2': None, 'rougeL': None}
+        if ref and abs_:
+            abs_r = rouge.score(ref, abs_)
+        else:
+            abs_r = {'rouge1': None, 'rouge2': None, 'rougeL': None}
+    except Exception:
+        ext_r = abs_r = {'rouge1': None, 'rouge2': None, 'rougeL': None}
+
+    metrics = ["BLEU-1", "BLEU-4", "ROUGE-1", "ROUGE-2", "ROUGE-L"]
+    ext_vals = [
+        float(bleu1_ext or 0.0),
+        float(bleu4_ext or 0.0),
+        float(ext_r['rouge1'].fmeasure) if ext_r['rouge1'] is not None else 0.0,
+        float(ext_r['rouge2'].fmeasure) if ext_r['rouge2'] is not None else 0.0,
+        float(ext_r['rougeL'].fmeasure) if ext_r['rougeL'] is not None else 0.0,
+    ]
+    abs_vals = [
+        float(bleu1_abs or 0.0),
+        float(bleu4_abs or 0.0),
+        float(abs_r['rouge1'].fmeasure) if abs_r['rouge1'] is not None else 0.0,
+        float(abs_r['rouge2'].fmeasure) if abs_r['rouge2'] is not None else 0.0,
+        float(abs_r['rougeL'].fmeasure) if abs_r['rougeL'] is not None else 0.0,
+    ]
+
+    # Plot
+    x = np.arange(len(metrics))
+    width = 0.35
+    fig, ax = plt.subplots(figsize=(9, 4))
+    ax.bar(x - width / 2, ext_vals, width, label='Extractive', color="#66B2FF")
+    ax.bar(x + width / 2, abs_vals, width, label='Abstractive', color="#FF9999")
+    ax.set_ylabel("Score")
+    ax.set_title("Comparison: Extractive vs Abstractive")
+    ax.set_xticks(x)
+    ax.set_xticklabels(metrics)
+    ax.set_ylim(0, 1)
+    ax.legend(loc='upper right')
+    for i, v in enumerate(ext_vals):
+        ax.text(i - width / 2, v + 0.02, f"{v:.3f}", ha='center', fontsize=9)
+    for i, v in enumerate(abs_vals):
+        ax.text(i + width / 2, v + 0.02, f"{v:.3f}", ha='center', fontsize=9)
+    plt.tight_layout()
+
+    buf = BytesIO()
+    fig.savefig(buf, format="png", dpi=100)
+    plt.close(fig)
+    buf.seek(0)
+    img = Image.open(buf).convert("RGB")
+    return img
+
+
+# Utility: save uploaded model files to models/ directory
+def save_model_files(uploaded_files: List[gr.File], model_dir: str = DEFAULT_MODEL_DIR):
+    """
+    uploaded_files: list of gradio uploaded file objects
+    Returns status message.
+    """
+    if not uploaded_files:
+        return "Không có tệp được tải lên."
+
+    os.makedirs(model_dir, exist_ok=True)
+    saved = []
+    errors = []
+    for f in uploaded_files:
+        try:
+            # Different Gradio versions expose different attributes; try common ones
+            src_path = None
+            if hasattr(f, "name") and os.path.exists(f.name):
+                src_path = f.name
+            elif hasattr(f, "tmp_path") and os.path.exists(f.tmp_path):
+                src_path = f.tmp_path
+            elif isinstance(f, dict) and "name" in f and "tmp_path" in f and os.path.exists(f["tmp_path"]):
+                src_path = f["tmp_path"]
+            else:
+                # attempt to read file-like object
+                if hasattr(f, "file"):
+                    # f.file is a SpooledTemporaryFile or similar
+                    dest = os.path.join(model_dir, getattr(f, "name", "uploaded.bin"))
+                    with open(dest, "wb") as out_f:
+                        f.file.seek(0)
+                        shutil.copyfileobj(f.file, out_f)
+                    saved.append(dest)
+                    continue
+                # last resort: write bytes attribute if present
+                if hasattr(f, "read"):
+                    dest = os.path.join(model_dir, getattr(f, "name", "uploaded.bin"))
+                    with open(dest, "wb") as out_f:
+                        out_f.write(f.read())
+                    saved.append(dest)
+                    continue
+                raise RuntimeError("Unsupported file object from Gradio upload.")
+            if src_path:
+                dest = os.path.join(model_dir, os.path.basename(src_path))
+                shutil.copy(src_path, dest)
+                saved.append(dest)
+        except Exception as e:
+            errors.append(f"{getattr(f, 'name', str(f))}: {e}")
+
+    msg = ""
+    if saved:
+        msg += f"Lưu thành công {len(saved)} tệp: " + ", ".join(os.path.basename(s) for s in saved) + ". "
+    if errors:
+        msg += "Lỗi: " + "; ".join(errors)
+    return msg or "Không có tệp được lưu."
+
+
+# Reload abstractive summarizer (clear singleton and attempt to reload)
+def reload_abstractive(model_dir: str = DEFAULT_MODEL_DIR):
+    global abs_summarizer
+    abs_summarizer = None
+    try:
+        get_abs_summarizer(model_dir=model_dir)
+        return "✅ Abstractive model đã được tải thành công."
+    except Exception as e:
+        return f"❌ Không thể tải abstractive model: {e}"
+
+
+# Check model status (files exist and try light init)
+def get_model_status(model_dir: str = DEFAULT_MODEL_DIR):
+    tok = os.path.join(model_dir, "decoder_tokenizer_re.pkl")
+    w = os.path.join(model_dir, "best_model.weights.h5")
+    parts = []
+    parts.append(f"Model dir: {model_dir}")
+    parts.append(f"- Tokenizer: {'OK' if os.path.exists(tok) else 'MISSING'} ({os.path.basename(tok)})")
+    parts.append(f"- Weights: {'OK' if os.path.exists(w) else 'MISSING'} ({os.path.basename(w)})")
+    # quick attempt to import abstractive to report readiness
+    try:
+        import_summarizer_module("abstractive")
+        parts.append("- Abstractive module: available")
+    except Exception as e:
+        parts.append(f"- Abstractive module: error ({e})")
+    try:
+        import_summarizer_module("extractive")
+        parts.append("- Extractive module: available")
+    except Exception as e:
+        parts.append(f"- Extractive module: error ({e})")
+    return "\n".join(parts)
+
+
+# Download text to a temporary file and return path (for Gradio File component)
+def download_text_to_file(text: str, prefix="summary"):
+    if not text:
+        return None
+    fd, path = tempfile.mkstemp(suffix=".txt", prefix=prefix + "_")
+    os.close(fd)
+    with open(path, "w", encoding="utf-8") as f:
+        f.write(text)
+    return path
+
+
+# EXAMPLES (short list to populate example selector)
+EXAMPLES = [
+    (
+        "Trong bối cảnh công nghệ phát triển mạnh mẽ, trí tuệ nhân tạo (AI) đang dần thay đổi cách thức vận hành của nhiều ngành nghề. "
+        "Đặc biệt trong lĩnh vực giáo dục, việc ứng dụng AI giúp cá nhân hóa lộ trình học tập cho từng học sinh, đồng thời hỗ trợ giáo viên "
+        "trong việc soạn giảng và đánh giá năng lực. Tuy nhiên, các chuyên gia cũng cảnh báo về những thách thức liên quan đến đạo đức và quyền riêng tư."
+    ),
+    (
+        "Giá xăng dầu thế giới tăng mạnh trong tuần qua do căng thẳng địa chính trị. Các chuyên gia cho rằng nguồn cung bị ảnh hưởng bởi việc "
+        "giảm xuất khẩu từ một số quốc gia sản xuất lớn. Giá nhiên liệu tăng kéo theo chi phí vận chuyển và giá hàng hóa tăng ở nhiều nơi."
+    ),
+    (
+        "Kết luận của đoàn kiểm tra liên ngành (Chi cục An toàn vệ sinh thực phẩm Hà Nội và UBND xã Bình Minh), nêu rõ, bếp ăn đặt tại Trường Tiểu học Cự Khê, xã Bình Minh, Hà Nội, do công ty Nhật Anh phụ trách, vi phạm nghiêm trọng về điều kiện vệ sinh và quy trình triển khai suất ăn cho học sinh. Cụ thể, khu vực nấu ăn, chia thức ăn được bố trí chung với khu vực rửa, có nguy cơ cao gây nhiễm chéo giữa thực phẩm sống và thực phẩm chín. Vệ sinh môi trường kém, hệ thống cống thoát nước trong khu vực chế biến không được che kín, bị ứ đọng, bốc mùi hôi. Một lớp học của Trường Tiểu học Cự Khê trưa 20/10 có lác đác cặp học sinh . Nơi sơ chế, chế biến thức ăn còn có côn trùng. Mặc dù toàn trường có 1.450 suất ăn nhưng chỉ có 2 bàn inox để chia thức ăn, không đáp ứng đủ yêu cầu. Đặc biệt theo kết luận của đoàn kiểm tra, bếp ăn của Công ty Nhật Anh đặt ở Trường Tiểu học Cự khê còn vi phạm quy trình kiểm thực. Cụ thể, nhân viên không thực hiện ghi chép sổ kiểm thực 3 bước trong ngày kiểm tra (16/10). Với những vi phạm trên, đoàn kiểm tra lập biên bản, xử phạt hành chính công ty Nhật Anh 40 triệu đồng. UBND xã Bình Minh sẽ tiếp tục kiểm tra, giám sát chặt chẽ công tác quản lý an toàn thực phẩm của Trường Tiểu học Cự Khê nhằm đảm bảo an toàn tuyệt đối cho học sinh. Học sinh tự mang cơm ăn tại lớp trưa 20/10 . Bên cạnh những vi phạm trên, đơn vị này có một số mặt đạt được như: Có dùng nước sạch, có hợp đồng và phiếu kết quả kiểm nghiệm đạt chuẩn, trang bị dụng cụ thu gom rác thải, xuất trình được hồ sơ chứng minh nguồn gốc xuất xứ của các nguyên liệu thực phẩm. Cũng theo kết luận, tại thời điểm kiểm tra, công ty Nhật Anh đã xuất trình đầy đủ các hồ sơ pháp lý liên quan gồm: Giấy chứng nhận đăng ký kinh doanh/giấy chứng nhận đăng ký doanh nghiệp; giấy chứng nhận cơ sở đủ điều kiện an toàn thực phẩm cho loại hình kinh doanh dịch vụ ăn uống - bếp ăn tập thể; giấy chứng nhận kinh doanh bếp ăn tập thể cho phạm vi chế biến và cung cấp suất ăn công nghiệp… Hiện, Trường Ti��u học Cự Khê đã ban hành thông báo chấm dứt hợp đồng với Công ty TNHH Thương Mại Dịch vụ Xuất nhập khẩu Nhật Anh và tìm đơn vị thay thế. Trả lời phóng viên Dân trí chiều nay, ông Nguyễn Đăng Việt, Chủ tịch UBND xã Bình Minh cho biết, việc cung cấp bếp ăn mới cần chờ thời gian bởi liên quan đến một số quy trình, trong đó đơn vị cung cấp mới cần tiếp quản hoặc thay thế cơ sở vật chất nhà bếp. Thời gian theo quy định của quy trình thay thế bếp mới ít nhất phải 15 ngày. Mặc dù vậy, ông Việt cho hay, UBND xã đang xúc tiến nhanh quy trình để rút ngắn thời gian xuống khoảng một tuần để sớm cung cấp suất ăn cho học sinh. Cũng theo ông Việt, trong thời gian chờ đợi bếp ăn mới, địa phương sẽ huy động bếp ăn các trường học lân cận hỗ trợ suất ăn cho học sinh Trường Tiểu học Cự Khê để phụ huynh không phải đưa đón con buổi trưa hoặc mang cơm tới lớp. Như Dân trí đã phản ánh, sáng nay (20/10), hàng loạt phụ huynh của trường đã cho học sinh nghỉ học vì không thể đón con buổi trưa hoặc để con tự mang cơm đến lớp. Đây là 2 phương án do nhà trường đưa ra để phụ huynh chọn lựa trong thời gian chờ đợi đơn vị cung cấp thực phẩm mới. Tuy nhiên, nhiều phụ huynh tỏ ra bức xúc vì nhà trường không có thông báo cụ thể về thời gian bếp ăn hoạt động trở lại và công tác đảm bảo an toàn thực phẩm cho học sinh. Dân trí sẽ tiếp tục theo dõi sự việc!"
+    ),
+    
+]
+
+
+# Build Gradio interface with improved layout
+with gr.Blocks(theme=gr.themes.Soft(), css="""
+/* Small UI tweaks */
+.header { font-weight:700; font-size:22px; }
+.card { border-radius: 10px; padding: 12px; box-shadow: 0 2px 6px rgba(0,0,0,0.08); }
+.note { font-size: 13px; color: #555; }
+.small { font-size: 12px; color: #666; }
+""") as demo:
+
+    gr.Markdown("<div class='header'>🇻🇳 Vietnamese Text Summarization — Extractive & Abstractive</div>")
+    gr.Markdown("Tùy chỉnh giao diện để dễ dùng trên Hugging Face Spaces. "
+                "Upload trọng số & tokenizer vào `models/` nếu muốn bật Abstractive. "
+                "Nếu abstractive chưa khả dụng app sẽ báo rõ ràng.")
+
+    with gr.Row():
+        with gr.Column(scale=3):
+            article = gr.Textbox(
+                label="📝 Văn bản gốc (nhập bài báo hoặc đoạn văn tiếng Việt)",
+                lines=12, placeholder="Dán bài báo tiếng Việt vào đây...", show_label=True
+            )
+            examples = gr.Examples(
+                examples=EXAMPLES,
+                inputs=[article],
+                cache_examples=False
+            )
+
+            with gr.Row():
+                generate_ext_btn = gr.Button("🔍 Tạo Extractive", variant="secondary")
+                top_n = gr.Slider(label="Số câu (Extractive - top_n)", minimum=1, maximum=6, value=3, step=1)
+                download_ext_btn = gr.Button("⬇️ Tải Extractive")
+            with gr.Row():
+                generate_abs_btn = gr.Button("✨ Tạo Abstractive (Beam Search)", variant="primary")
+                beam_k = gr.Slider(label="Beam size (k)", minimum=1, maximum=6, value=3, step=1)
+                download_abs_btn = gr.Button("⬇️ Tải Abstractive")
+
+            gr.Markdown("---")
+            ref_box = gr.Textbox(label="📋 (Tùy chọn) Tóm tắt gốc / reference - để so sánh", lines=4)
+
+            with gr.Row():
+                eval_btn = gr.Button("📈 Đánh giá & So sánh (BLEU / ROUGE)")
+                eval_plot = gr.Image(label="Biểu đồ so sánh", height=350, interactive=False)
+
+        with gr.Column(scale=2):
+            with gr.Tab("Kết quả Extractive"):
+                ext_out = gr.Textbox(label="🟦 Extractive Summary", interactive=False, lines=8)
+                ext_file = gr.File(label="Tải tệp Extractive", visible=False)
+            with gr.Tab("Kết quả Abstractive"):
+                abs_out = gr.Textbox(label="🟪 Abstractive Summary", interactive=False, lines=8)
+                abs_file = gr.File(label="Tải tệp Abstractive", visible=False)
+            with gr.Tab("Trạng thái & Models"):
+                model_status = gr.Textbox(label="Model Status", interactive=False, lines=8, value=get_model_status())
+                with gr.Accordion("Upload/Replace model files (models/)", open=False):
+                    upload_files = gr.Files(label="Chọn file để upload (weights + tokenizer). Ví dụ: best_model.weights.h5, decoder_tokenizer_re.pkl", file_count="multiple")
+                    upload_btn = gr.Button("⬆️ Upload sang models/")
+                    reload_btn = gr.Button("🔄 Reload Abstractive Model")
+                    upload_result = gr.Textbox(label="Kết quả upload", interactive=False, lines=3)
+                with gr.Accordion("Tips & Notes (click)", open=False):
+                    gr.Markdown(
+                        "- Nếu bạn deploy trên Spaces, upload `best_model.weights.h5` và `decoder_tokenizer_re.pkl` vào `models/`.\n"
+                        "- VnCoreNLP có thể yêu cầu Java; nếu không sẵn sàng, Extractive sẽ fallback sang tách câu regex.\n"
+                        "- Abstractive (PhoBERT + custom decoder) cần nhiều RAM/CPU; nếu chậm hãy giảm beam size hoặc chỉ dùng Extractive."
+                    )
+
+    # Wiring buttons to functions
+    # Generate extractive
+    generate_ext_btn.click(
+        fn=generate_extractive,
+        inputs=[article, top_n, gr.State("")],
+        outputs=[ext_out, gr.State("")],
+    )
+
+    # Generate abstractive
+    generate_abs_btn.click(
+        fn=generate_abstractive,
+        inputs=[article, beam_k, gr.State(""), gr.State(DEFAULT_MODEL_DIR)],
+        outputs=[abs_out, gr.State("")],
+    )
+
+    # Evaluation
+    eval_btn.click(
+        fn=evaluate_and_plot,
+        inputs=[ref_box, ext_out, abs_out],
+        outputs=[eval_plot],
+    )
+
+    # Download ext summary as txt
+    def _download_ext(text):
+        p = download_text_to_file(text, prefix="extractive")
+        return p
+
+    download_ext_btn.click(fn=_download_ext, inputs=[ext_out], outputs=[ext_file])
+
+    # Download abs summary as txt
+    def _download_abs(text):
+        p = download_text_to_file(text, prefix="abstractive")
+        return p
+
+    download_abs_btn.click(fn=_download_abs, inputs=[abs_out], outputs=[abs_file])
+
+    # Upload model files
+    def _upload_and_report(files):
+        msg = save_model_files(files, model_dir=DEFAULT_MODEL_DIR)
+        status = get_model_status(DEFAULT_MODEL_DIR)
+        return msg, status
+
+    upload_btn.click(fn=_upload_and_report, inputs=[upload_files], outputs=[upload_result, model_status])
+
+    # Reload abstractive
+    reload_btn.click(fn=lambda: reload_abstractive(DEFAULT_MODEL_DIR), inputs=None, outputs=[upload_result])
+
+    # Periodically show status button (manual)
+    def _status_text():
+        return get_model_status(DEFAULT_MODEL_DIR)
+
+    model_status_refresh = gr.Button("🔁 Refresh Status")
+    model_status_refresh.click(fn=_status_text, inputs=None, outputs=[model_status])
+
+    # Footer
+    gr.Markdown("---")
+    gr.Markdown("Powered by PhoBERT (vinai/phobert-base), TensorFlow and classic TextRank + TF-IDF for extractive.")
+    gr.Markdown("If you want help uploading model files to the Hugging Face Hub instead of storing them in the repo, I can provide helper scripts.")
+
+if __name__ == "__main__":
+    # In Spaces the default host & port are provided by the platform
+    demo.launch(share=False, server_name="0.0.0.0", server_port=7860)

models/decoder_only.weights.h5

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:c83828ae21f671d04558c1827a24f8eb1806740085a808ae4801b1eb0c17e92e
+size 126786832

models/decoder_tokenizer_re.pkl

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:4c46f946199ec3c255f0f10f85090b95d4e2d75400d56654bf58739804a3b26c
+size 261007

packages.txt

@@ -0,0 +1 @@
+default-jre

py/Vietnamese-stopwords.txt

@@ -0,0 +1,1942 @@
+a lô
+a ha
+ai
+ai ai
+ai nấy
+ai đó
+alô
+amen
+anh
+anh ấy
+ba
+ba ba
+ba bản
+ba cùng
+ba họ
+ba ngày
+ba ngôi
+ba tăng
+bao giờ
+bao lâu
+bao nhiêu
+bao nả
+bay biến
+biết
+biết bao
+biết bao nhiêu
+biết chắc
+biết chừng nào
+biết mình
+biết mấy
+biết thế
+biết trước
+biết việc
+biết đâu
+biết đâu chừng
+biết đâu đấy
+biết được
+buổi
+buổi làm
+buổi mới
+buổi ngày
+buổi sớm
+bà
+bà ấy
+bài
+bài bác
+bài bỏ
+bài cái
+bác
+bán
+bán cấp
+bán dạ
+bán thế
+bây bẩy
+bây chừ
+bây giờ
+bây nhiêu
+bèn
+béng
+bên
+bên bị
+bên có
+bên cạnh
+bông
+bước
+bước khỏi
+bước tới
+bước đi
+bạn
+bản
+bản bộ
+bản riêng
+bản thân
+bản ý
+bất chợt
+bất cứ
+bất giác
+bất kì
+bất kể
+bất kỳ
+bất luận
+bất ngờ
+bất nhược
+bất quá
+bất quá chỉ
+bất thình lình
+bất tử
+bất đồ
+bấy
+bấy chầy
+bấy chừ
+bấy giờ
+bấy lâu
+bấy lâu nay
+bấy nay
+bấy nhiêu
+bập bà bập bõm
+bập bõm
+bắt đầu
+bắt đầu từ
+bằng
+bằng cứ
+bằng không
+bằng người
+bằng nhau
+bằng như
+bằng nào
+bằng nấy
+bằng vào
+bằng được
+bằng ấy
+bển
+bệt
+bị
+bị chú
+bị vì
+bỏ
+bỏ bà
+bỏ cha
+bỏ cuộc
+bỏ không
+bỏ lại
+bỏ mình
+bỏ mất
+bỏ mẹ
+bỏ nhỏ
+bỏ quá
+bỏ ra
+bỏ riêng
+bỏ việc
+bỏ xa
+bỗng
+bỗng chốc
+bỗng dưng
+bỗng không
+bỗng nhiên
+bỗng nhưng
+bỗng thấy
+bỗng đâu
+bộ
+bộ thuộc
+bộ điều
+bội phần
+bớ
+bởi
+bởi ai
+bởi chưng
+bởi nhưng
+bởi sao
+bởi thế
+bởi thế cho nên
+bởi tại
+bởi vì
+bởi vậy
+bởi đâu
+bức
+cao
+cao lâu
+cao ráo
+cao răng
+cao sang
+cao số
+cao thấp
+cao thế
+cao xa
+cha
+cha chả
+chao ôi
+chia sẻ
+chiếc
+cho
+cho biết
+cho chắc
+cho hay
+cho nhau
+cho nên
+cho rằng
+cho rồi
+cho thấy
+cho tin
+cho tới
+cho tới khi
+cho về
+cho ăn
+cho đang
+cho được
+cho đến
+cho đến khi
+cho đến nỗi
+choa
+chu cha
+chui cha
+chung
+chung cho
+chung chung
+chung cuộc
+chung cục
+chung nhau
+chung qui
+chung quy
+chung quy lại
+chung ái
+chuyển
+chuyển tự
+chuyển đạt
+chuyện
+chuẩn bị
+chành chạnh
+chí chết
+chính
+chính bản
+chính giữa
+chính là
+chính thị
+chính điểm
+chùn chùn
+chùn chũn
+chú
+chú dẫn
+chú khách
+chú mày
+chú mình
+chúng
+chúng mình
+chúng ta
+chúng tôi
+chúng ông
+chăn chắn
+chăng
+chăng chắc
+chăng nữa
+chơi
+chơi họ
+chưa
+chưa bao giờ
+chưa chắc
+chưa có
+chưa cần
+chưa dùng
+chưa dễ
+chưa kể
+chưa tính
+chưa từng
+chầm chập
+chậc
+chắc
+chắc chắn
+chắc dạ
+chắc hẳn
+chắc lòng
+chắc người
+chắc vào
+chắc ăn
+chẳng lẽ
+chẳng những
+chẳng nữa
+chẳng phải
+chết nỗi
+chết thật
+chết tiệt
+chỉ
+chỉ chính
+chỉ có
+chỉ là
+chỉ tên
+chỉn
+chị
+chị bộ
+chị ấy
+chịu
+chịu chưa
+chịu lời
+chịu tốt
+chịu ăn
+chọn
+chọn bên
+chọn ra
+chốc chốc
+chớ
+chớ chi
+chớ gì
+chớ không
+chớ kể
+chớ như
+chợt
+chợt nghe
+chợt nhìn
+chủn
+chứ
+chứ ai
+chứ còn
+chứ gì
+chứ không
+chứ không phải
+chứ lại
+chứ lị
+chứ như
+chứ sao
+coi bộ
+coi mòi
+con
+con con
+con dạ
+con nhà
+con tính
+cu cậu
+cuối
+cuối cùng
+cuối điểm
+cuốn
+cuộc
+càng
+càng càng
+càng hay
+cá nhân
+các
+các cậu
+cách
+cách bức
+cách không
+cách nhau
+cách đều
+cái
+cái gì
+cái họ
+cái đã
+cái đó
+cái ấy
+câu hỏi
+cây
+cây nước
+còn
+còn như
+còn nữa
+còn thời gian
+còn về
+có
+có ai
+có chuyện
+có chăng
+có chăng là
+có chứ
+có cơ
+có dễ
+có họ
+có khi
+có ngày
+có người
+có nhiều
+có nhà
+có phải
+có số
+có tháng
+có thế
+có thể
+có vẻ
+có ý
+có ăn
+có điều
+có điều kiện
+có đáng
+có đâu
+có được
+cóc khô
+cô
+cô mình
+cô quả
+cô tăng
+cô ấy
+công nhiên
+cùng
+cùng chung
+cùng cực
+cùng nhau
+cùng tuổi
+cùng tột
+cùng với
+cùng ăn
+căn
+căn cái
+căn cắt
+căn tính
+cũng
+cũng như
+cũng nên
+cũng thế
+cũng vậy
+cũng vậy thôi
+cũng được
+cơ
+cơ chỉ
+cơ chừng
+cơ cùng
+cơ dẫn
+cơ hồ
+cơ hội
+cơ mà
+cơn
+cả
+cả nghe
+cả nghĩ
+cả ngày
+cả người
+cả nhà
+cả năm
+cả thảy
+cả thể
+cả tin
+cả ăn
+cả đến
+cảm thấy
+cảm ơn
+cấp
+cấp số
+cấp trực tiếp
+cần
+cần cấp
+cần gì
+cần số
+cật lực
+cật sức
+cậu
+cổ lai
+cụ thể
+cụ thể là
+cụ thể như
+của
+của ngọt
+của tin
+cứ
+cứ như
+cứ việc
+cứ điểm
+cực lực
+do
+do vì
+do vậy
+do đó
+duy
+duy chỉ
+duy có
+dài
+dài lời
+dài ra
+dành
+dành dành
+dào
+dì
+dù
+dù cho
+dù dì
+dù gì
+dù rằng
+dù sao
+dùng
+dùng cho
+dùng hết
+dùng làm
+dùng đến
+dưới
+dưới nước
+dạ
+dạ bán
+dạ con
+dạ dài
+dạ dạ
+dạ khách
+dần dà
+dần dần
+dầu sao
+dẫn
+dẫu
+dẫu mà
+dẫu rằng
+dẫu sao
+dễ
+dễ dùng
+dễ gì
+dễ khiến
+dễ nghe
+dễ ngươi
+dễ như chơi
+dễ sợ
+dễ sử dụng
+dễ thường
+dễ thấy
+dễ ăn
+dễ đâu
+dở chừng
+dữ
+dữ cách
+em
+em em
+giá trị
+giá trị thực tế
+giảm
+giảm chính
+giảm thấp
+giảm thế
+giống
+giống người
+giống nhau
+giống như
+giờ
+giờ lâu
+giờ này
+giờ đi
+giờ đây
+giờ đến
+giữ
+giữ lấy
+giữ ý
+giữa
+giữa lúc
+gây
+gây cho
+gây giống
+gây ra
+gây thêm
+gì
+gì gì
+gì đó
+gần
+gần bên
+gần hết
+gần ngày
+gần như
+gần xa
+gần đây
+gần đến
+gặp
+gặp khó khăn
+gặp phải
+gồm
+hay
+hay biết
+hay hay
+hay không
+hay là
+hay làm
+hay nhỉ
+hay nói
+hay sao
+hay tin
+hay đâu
+hiểu
+hiện nay
+hiện tại
+hoàn toàn
+hoặc
+hoặc là
+hãy
+hãy còn
+hơn
+hơn cả
+hơn hết
+hơn là
+hơn nữa
+hơn trước
+hầu hết
+hết
+hết chuyện
+hết cả
+hết của
+hết nói
+hết ráo
+hết rồi
+hết ý
+họ
+họ gần
+họ xa
+hỏi
+hỏi lại
+hỏi xem
+hỏi xin
+hỗ trợ
+khi
+khi khác
+khi không
+khi nào
+khi nên
+khi trước
+khiến
+khoảng
+khoảng cách
+khoảng không
+khá
+khá tốt
+khác
+khác gì
+khác khác
+khác nhau
+khác nào
+khác thường
+khác xa
+khách
+khó
+khó biết
+khó chơi
+khó khăn
+khó làm
+khó mở
+khó nghe
+khó nghĩ
+khó nói
+khó thấy
+khó tránh
+không
+không ai
+không bao giờ
+không bao lâu
+không biết
+không bán
+không chỉ
+không còn
+không có
+không có gì
+không cùng
+không cần
+không cứ
+không dùng
+không gì
+không hay
+không khỏi
+không kể
+không ngoài
+không nhận
+không những
+không phải
+không phải không
+không thể
+không tính
+không điều kiện
+không được
+không đầy
+không để
+khẳng định
+khỏi
+khỏi nói
+kể
+kể cả
+kể như
+kể tới
+kể từ
+liên quan
+loại
+loại từ
+luôn
+luôn cả
+luôn luôn
+luôn tay
+là
+là cùng
+là là
+là nhiều
+là phải
+là thế nào
+là vì
+là ít
+làm
+làm bằng
+làm cho
+làm dần dần
+làm gì
+làm lòng
+làm lại
+làm lấy
+làm mất
+làm ngay
+làm như
+làm nên
+làm ra
+làm riêng
+làm sao
+làm theo
+làm thế nào
+làm tin
+làm tôi
+làm tăng
+làm tại
+làm tắp lự
+làm vì
+làm đúng
+làm được
+lâu
+lâu các
+lâu lâu
+lâu nay
+lâu ngày
+lên
+lên cao
+lên cơn
+lên mạnh
+lên ngôi
+lên nước
+lên số
+lên xuống
+lên đến
+lòng
+lòng không
+lúc
+lúc khác
+lúc lâu
+lúc nào
+lúc này
+lúc sáng
+lúc trước
+lúc đi
+lúc đó
+lúc đến
+lúc ấy
+lý do
+lượng
+lượng cả
+lượng số
+lượng từ
+lại
+lại bộ
+lại cái
+lại còn
+lại giống
+lại làm
+lại người
+lại nói
+lại nữa
+lại quả
+lại thôi
+lại ăn
+lại đây
+lấy
+lấy có
+lấy cả
+lấy giống
+lấy làm
+lấy lý do
+lấy lại
+lấy ra
+lấy ráo
+lấy sau
+lấy số
+lấy thêm
+lấy thế
+lấy vào
+lấy xuống
+lấy được
+lấy để
+lần
+lần khác
+lần lần
+lần nào
+lần này
+lần sang
+lần sau
+lần theo
+lần trước
+lần tìm
+lớn
+lớn lên
+lớn nhỏ
+lời
+lời chú
+lời nói
+mang
+mang lại
+mang mang
+mang nặng
+mang về
+muốn
+mà
+mà cả
+mà không
+mà lại
+mà thôi
+mà vẫn
+mình
+mạnh
+mất
+mất còn
+mọi
+mọi giờ
+mọi khi
+mọi lúc
+mọi người
+mọi nơi
+mọi sự
+mọi thứ
+mọi việc
+mối
+mỗi
+mỗi lúc
+mỗi lần
+mỗi một
+mỗi ngày
+mỗi người
+một
+một cách
+một cơn
+một khi
+một lúc
+một số
+một vài
+một ít
+mới
+mới hay
+mới rồi
+mới đây
+mở
+mở mang
+mở nước
+mở ra
+mợ
+mức
+nay
+ngay
+ngay bây giờ
+ngay cả
+ngay khi
+ngay khi đến
+ngay lúc
+ngay lúc này
+ngay lập tức
+ngay thật
+ngay tức khắc
+ngay tức thì
+ngay từ
+nghe
+nghe chừng
+nghe hiểu
+nghe không
+nghe lại
+nghe nhìn
+nghe như
+nghe nói
+nghe ra
+nghe rõ
+nghe thấy
+nghe tin
+nghe trực tiếp
+nghe đâu
+nghe đâu như
+nghe được
+nghen
+nghiễm nhiên
+nghĩ
+nghĩ lại
+nghĩ ra
+nghĩ tới
+nghĩ xa
+nghĩ đến
+nghỉm
+ngoài
+ngoài này
+ngoài ra
+ngoài xa
+ngoải
+nguồn
+ngày
+ngày càng
+ngày cấp
+ngày giờ
+ngày ngày
+ngày nào
+ngày này
+ngày nọ
+ngày qua
+ngày rày
+ngày tháng
+ngày xưa
+ngày xửa
+ngày đến
+ngày ấy
+ngôi
+ngôi nhà
+ngôi thứ
+ngõ hầu
+ngăn ngắt
+ngươi
+người
+người hỏi
+người khác
+người khách
+người mình
+người nghe
+người người
+người nhận
+ngọn
+ngọn nguồn
+ngọt
+ngồi
+ngồi bệt
+ngồi không
+ngồi sau
+ngồi trệt
+ngộ nhỡ
+nhanh
+nhanh lên
+nhanh tay
+nhau
+nhiên hậu
+nhiều
+nhiều ít
+nhiệt liệt
+nhung nhăng
+nhà
+nhà chung
+nhà khó
+nhà làm
+nhà ngoài
+nhà ngươi
+nhà tôi
+nhà việc
+nhân dịp
+nhân tiện
+nhé
+nhìn
+nhìn chung
+nhìn lại
+nhìn nhận
+nhìn theo
+nhìn thấy
+nhìn xuống
+nhóm
+nhón nhén
+như
+như ai
+như chơi
+như không
+như là
+như nhau
+như quả
+như sau
+như thường
+như thế
+như thế nào
+như thể
+như trên
+như trước
+như tuồng
+như vậy
+như ý
+nhưng
+nhưng mà
+nhược bằng
+nhất
+nhất loạt
+nhất luật
+nhất là
+nhất mực
+nhất nhất
+nhất quyết
+nhất sinh
+nhất thiết
+nhất thì
+nhất tâm
+nhất tề
+nhất đán
+nhất định
+nhận
+nhận biết
+nhận họ
+nhận làm
+nhận nhau
+nhận ra
+nhận thấy
+nhận việc
+nhận được
+nhằm
+nhằm khi
+nhằm lúc
+nhằm vào
+nhằm để
+nhỉ
+nhỏ
+nhỏ người
+nhớ
+nhớ bập bõm
+nhớ lại
+nhớ lấy
+nhớ ra
+nhờ
+nhờ chuyển
+nhờ có
+nhờ nhờ
+nhờ đó
+nhỡ ra
+những
+những ai
+những khi
+những là
+những lúc
+những muốn
+những như
+nào
+nào cũng
+nào hay
+nào là
+nào phải
+nào đâu
+nào đó
+này
+này nọ
+nên
+nên chi
+nên chăng
+nên làm
+nên người
+nên tránh
+nó
+nóc
+nói
+nói bông
+nói chung
+nói khó
+nói là
+nói lên
+nói lại
+nói nhỏ
+nói phải
+nói qua
+nói ra
+nói riêng
+nói rõ
+nói thêm
+nói thật
+nói toẹt
+nói trước
+nói tốt
+nói với
+nói xa
+nói ý
+nói đến
+nói đủ
+năm
+năm tháng
+nơi
+nơi nơi
+nước
+nước bài
+nước cùng
+nước lên
+nước nặng
+nước quả
+nước xuống
+nước ăn
+nước đến
+nấy
+nặng
+nặng căn
+nặng mình
+nặng về
+nếu
+nếu có
+nếu cần
+nếu không
+nếu mà
+nếu như
+nếu thế
+nếu vậy
+nếu được
+nền
+nọ
+nớ
+nức nở
+nữa
+nữa khi
+nữa là
+nữa rồi
+oai oái
+oái
+pho
+phè
+phè phè
+phía
+phía bên
+phía bạn
+phía dưới
+phía sau
+phía trong
+phía trên
+phía trước
+phóc
+phót
+phù hợp
+phăn phắt
+phương chi
+phải
+phải biết
+phải chi
+phải chăng
+phải cách
+phải cái
+phải giờ
+phải khi
+phải không
+phải lại
+phải lời
+phải người
+phải như
+phải rồi
+phải tay
+phần
+phần lớn
+phần nhiều
+phần nào
+phần sau
+phần việc
+phắt
+phỉ phui
+phỏng
+phỏng như
+phỏng nước
+phỏng theo
+phỏng tính
+phốc
+phụt
+phứt
+qua
+qua chuyện
+qua khỏi
+qua lại
+qua lần
+qua ngày
+qua tay
+qua thì
+qua đi
+quan trọng
+quan trọng vấn đề
+quan tâm
+quay
+quay bước
+quay lại
+quay số
+quay đi
+quá
+quá bán
+quá bộ
+quá giờ
+quá lời
+quá mức
+quá nhiều
+quá tay
+quá thì
+quá tin
+quá trình
+quá tuổi
+quá đáng
+quá ư
+quả
+quả là
+quả thật
+quả thế
+quả vậy
+quận
+ra
+ra bài
+ra bộ
+ra chơi
+ra gì
+ra lại
+ra lời
+ra ngôi
+ra người
+ra sao
+ra tay
+ra vào
+ra ý
+ra điều
+ra đây
+ren rén
+riu ríu
+riêng
+riêng từng
+riệt
+rày
+ráo
+ráo cả
+ráo nước
+ráo trọi
+rén
+rén bước
+rích
+rón rén
+rõ
+rõ là
+rõ thật
+rút cục
+răng
+răng răng
+rất
+rất lâu
+rằng
+rằng là
+rốt cuộc
+rốt cục
+rồi
+rồi nữa
+rồi ra
+rồi sao
+rồi sau
+rồi tay
+rồi thì
+rồi xem
+rồi đây
+rứa
+sa sả
+sang
+sang năm
+sang sáng
+sang tay
+sao
+sao bản
+sao bằng
+sao cho
+sao vậy
+sao đang
+sau
+sau chót
+sau cuối
+sau cùng
+sau hết
+sau này
+sau nữa
+sau sau
+sau đây
+sau đó
+so
+so với
+song le
+suýt
+suýt nữa
+sáng
+sáng ngày
+sáng rõ
+sáng thế
+sáng ý
+sì
+sì sì
+sất
+sắp
+sắp đặt
+sẽ
+sẽ biết
+sẽ hay
+số
+số cho biết
+số cụ thể
+số loại
+số là
+số người
+số phần
+số thiếu
+sốt sột
+sớm
+sớm ngày
+sở dĩ
+sử dụng
+sự
+sự thế
+sự việc
+tanh
+tanh tanh
+tay
+tay quay
+tha hồ
+tha hồ chơi
+tha hồ ăn
+than ôi
+thanh
+thanh ba
+thanh chuyển
+thanh không
+thanh thanh
+thanh tính
+thanh điều kiện
+thanh điểm
+thay đổi
+thay đổi tình trạng
+theo
+theo bước
+theo như
+theo tin
+thi thoảng
+thiếu
+thiếu gì
+thiếu điểm
+thoạt
+thoạt nghe
+thoạt nhiên
+thoắt
+thuần
+thuần ái
+thuộc
+thuộc bài
+thuộc cách
+thuộc lại
+thuộc từ
+thà
+thà là
+thà rằng
+thành ra
+thành thử
+thái quá
+tháng
+tháng ngày
+tháng năm
+tháng tháng
+thêm
+thêm chuyện
+thêm giờ
+thêm vào
+thì
+thì giờ
+thì là
+thì phải
+thì ra
+thì thôi
+thình lình
+thích
+thích cứ
+thích thuộc
+thích tự
+thích ý
+thím
+thôi
+thôi việc
+thúng thắng
+thương ôi
+thường
+thường bị
+thường hay
+thường khi
+thường số
+thường sự
+thường thôi
+thường thường
+thường tính
+thường tại
+thường xuất hiện
+thường đến
+thảo hèn
+thảo nào
+thấp
+thấp cơ
+thấp thỏm
+thấp xuống
+thấy
+thấy tháng
+thẩy
+thậm
+thậm chí
+thậm cấp
+thậm từ
+thật
+thật chắc
+thật là
+thật lực
+thật quả
+thật ra
+thật sự
+thật thà
+thật tốt
+thật vậy
+thế
+thế chuẩn bị
+thế là
+thế lại
+thế mà
+thế nào
+thế nên
+thế ra
+thế sự
+thế thì
+thế thôi
+thế thường
+thế thế
+thế à
+thế đó
+thếch
+thỉnh thoảng
+thỏm
+thốc
+thốc tháo
+thốt
+thốt nhiên
+thốt nói
+thốt thôi
+thộc
+thời gian
+thời gian sử dụng
+thời gian tính
+thời điểm
+thục mạng
+thứ
+thứ bản
+thứ đến
+thửa
+thực hiện
+thực hiện đúng
+thực ra
+thực sự
+thực tế
+thực vậy
+tin
+tin thêm
+tin vào
+tiếp theo
+tiếp tục
+tiếp đó
+tiện thể
+toà
+toé khói
+toẹt
+trong
+trong khi
+trong lúc
+trong mình
+trong ngoài
+trong này
+trong số
+trong vùng
+trong đó
+trong ấy
+tránh
+tránh khỏi
+tránh ra
+tránh tình trạng
+tránh xa
+trên
+trên bộ
+trên dưới
+trước
+trước hết
+trước khi
+trước kia
+trước nay
+trước ngày
+trước nhất
+trước sau
+trước tiên
+trước tuổi
+trước đây
+trước đó
+trả
+trả của
+trả lại
+trả ngay
+trả trước
+trếu tráo
+trển
+trệt
+trệu trạo
+trỏng
+trời đất ơi
+trở thành
+trừ phi
+trực tiếp
+trực tiếp làm
+tuy
+tuy có
+tuy là
+tuy nhiên
+tuy rằng
+tuy thế
+tuy vậy
+tuy đã
+tuyệt nhiên
+tuần tự
+tuốt luốt
+tuốt tuồn tuột
+tuốt tuột
+tuổi
+tuổi cả
+tuổi tôi
+tà tà
+tên
+tên chính
+tên cái
+tên họ
+tên tự
+tênh
+tênh tênh
+tìm
+tìm bạn
+tìm cách
+tìm hiểu
+tìm ra
+tìm việc
+tình trạng
+tính
+tính cách
+tính căn
+tính người
+tính phỏng
+tính từ
+tít mù
+tò te
+tôi
+tôi con
+tông tốc
+tù tì
+tăm tắp
+tăng
+tăng chúng
+tăng cấp
+tăng giảm
+tăng thêm
+tăng thế
+tại
+tại lòng
+tại nơi
+tại sao
+tại tôi
+tại vì
+tại đâu
+tại đây
+tại đó
+tạo
+tạo cơ hội
+tạo nên
+tạo ra
+tạo ý
+tạo điều kiện
+tấm
+tấm bản
+tấm các
+tấn
+tấn tới
+tất cả
+tất cả bao nhiêu
+tất thảy
+tất tần tật
+tất tật
+tập trung
+tắp
+tắp lự
+tắp tắp
+tọt
+tỏ ra
+tỏ vẻ
+tốc tả
+tối ư
+tốt
+tốt bạn
+tốt bộ
+tốt hơn
+tốt mối
+tốt ngày
+tột
+tột cùng
+tớ
+tới
+tới gần
+tới mức
+tới nơi
+tới thì
+tức thì
+tức tốc
+từ
+từ căn
+từ giờ
+từ khi
+từ loại
+từ nay
+từ thế
+từ tính
+từ tại
+từ từ
+từ ái
+từ điều
+từ đó
+từ ấy
+từng
+từng cái
+từng giờ
+từng nhà
+từng phần
+từng thời gian
+từng đơn vị
+từng ấy
+tự
+tự cao
+tự khi
+tự lượng
+tự tính
+tự tạo
+tự vì
+tự ý
+tự ăn
+tựu trung
+veo
+veo veo
+việc
+việc gì
+vung thiên địa
+vung tàn tán
+vung tán tàn
+và
+vài
+vài ba
+vài người
+vài nhà
+vài nơi
+vài tên
+vài điều
+vào
+vào gặp
+vào khoảng
+vào lúc
+vào vùng
+vào đến
+vâng
+vâng chịu
+vâng dạ
+vâng vâng
+vâng ý
+vèo
+vèo vèo
+vì
+vì chưng
+vì rằng
+vì sao
+vì thế
+vì vậy
+ví bằng
+ví dù
+ví phỏng
+ví thử
+vô hình trung
+vô kể
+vô luận
+vô vàn
+vùng
+vùng lên
+vùng nước
+văng tê
+vượt
+vượt khỏi
+vượt quá
+vạn nhất
+vả chăng
+vả lại
+vấn đề
+vấn đề quan trọng
+vẫn
+vẫn thế
+vậy
+vậy là
+vậy mà
+vậy nên
+vậy ra
+vậy thì
+vậy ư
+về
+về không
+về nước
+về phần
+về sau
+về tay
+vị trí
+vị tất
+vốn dĩ
+với
+với lại
+với nhau
+vở
+vụt
+vừa
+vừa khi
+vừa lúc
+vừa mới
+vừa qua
+vừa rồi
+vừa vừa
+xa
+xa cách
+xa gần
+xa nhà
+xa tanh
+xa tắp
+xa xa
+xa xả
+xem
+xem lại
+xem ra
+xem số
+xin
+xin gặp
+xin vâng
+xiết bao
+xon xón
+xoành xoạch
+xoét
+xoẳn
+xoẹt
+xuất hiện
+xuất kì bất ý
+xuất kỳ bất ý
+xuể
+xuống
+xăm xúi
+xăm xăm
+xăm xắm
+xảy ra
+xềnh xệch
+xệp
+xử lý
+yêu cầu
+à
+à này
+à ơi
+ào
+ào vào
+ào ào
+á
+á à
+ái
+ái chà
+ái dà
+áng
+áng như
+âu là
+ít
+ít biết
+ít có
+ít hơn
+ít khi
+ít lâu
+ít nhiều
+ít nhất
+ít nữa
+ít quá
+ít ra
+ít thôi
+ít thấy
+ô hay
+ô hô
+ô kê
+ô kìa
+ôi chao
+ôi thôi
+ông
+ông nhỏ
+ông tạo
+ông từ
+ông ấy
+ông ổng
+úi
+úi chà
+úi dào
+ý
+ý chừng
+ý da
+ý hoặc
+ăn
+ăn chung
+ăn chắc
+ăn chịu
+ăn cuộc
+ăn hết
+ăn hỏi
+ăn làm
+ăn người
+ăn ngồi
+ăn quá
+ăn riêng
+ăn sáng
+ăn tay
+ăn trên
+ăn về
+đang
+đang tay
+đang thì
+điều
+điều gì
+điều kiện
+điểm
+điểm chính
+điểm gặp
+điểm đầu tiên
+đành đạch
+đáng
+đáng kể
+đáng lí
+đáng lý
+đáng lẽ
+đáng số
+đánh giá
+đánh đùng
+đáo để
+đâu
+đâu có
+đâu cũng
+đâu như
+đâu nào
+đâu phải
+đâu đâu
+đâu đây
+đâu đó
+đây
+đây này
+đây rồi
+đây đó
+đã
+đã hay
+đã không
+đã là
+đã lâu
+đã thế
+đã vậy
+đã đủ
+đó
+đó đây
+đúng
+đúng ngày
+đúng ra
+đúng tuổi
+đúng với
+đơn vị
+đưa
+đưa cho
+đưa chuyện
+đưa em
+đưa ra
+đưa tay
+đưa tin
+đưa tới
+đưa vào
+đưa về
+đưa xuống
+đưa đến
+được
+được cái
+được lời
+được nước
+được tin
+đại loại
+đại nhân
+đại phàm
+đại để
+đạt
+đảm bảo
+đầu tiên
+đầy
+đầy năm
+đầy phè
+đầy tuổi
+đặc biệt
+đặt
+đặt làm
+đặt mình
+đặt mức
+đặt ra
+đặt trước
+đặt để
+đến
+đến bao giờ
+đến cùng
+đến cùng cực
+đến cả
+đến giờ
+đến gần
+đến hay
+đến khi
+đến lúc
+đến lời
+đến nay
+đến ngày
+đến nơi
+đến nỗi
+đến thì
+đến thế
+đến tuổi
+đến xem
+đến điều
+đến đâu
+đều
+đều bước
+đều nhau
+đều đều
+để
+để cho
+để giống
+để không
+để lòng
+để lại
+để mà
+để phần
+để được
+để đến nỗi
+đối với
+đồng thời
+đủ
+đủ dùng
+đủ nơi
+đủ số
+đủ điều
+đủ điểm
+ơ
+ơ hay
+ơ kìa
+ơi
+ơi là
+ư
+ạ
+ạ ơi
+ấy
+ấy là
+ầu ơ
+ắt
+ắt hẳn
+ắt là
+ắt phải
+ắt thật
+ối dào
+ối giời
+ối giời ơi
+ồ
+ồ ồ
+ổng
+ớ
+ớ này
+ờ
+ờ ờ
+ở
+ở lại
+ở như
+ở nhờ
+ở năm
+ở trên
+ở vào
+ở đây
+ở đó
+ở được
+ủa
+ứ hự
+ứ ừ
+ừ
+ừ nhé
+ừ thì
+ừ ào
+ừ ừ
+ử

py/__init__.py

@@ -0,0 +1,23 @@
+# Package initializer for the `py` package used by the Gradio app.
+# Keep this file minimal to avoid importing heavy dependencies at package import time.
+# You can add package-level metadata or lightweight helpers here.
+
+"""
+py — lightweight package wrapper for summarizers
+
+This package exists so imports like `import py.extractive` or
+`from py import extractive` work reliably when the summarizer modules
+are placed in the `py/` directory.
+"""
+
+__all__ = []
+
+# Optional package metadata
+__version__ = "0.1.0"
+
+def info():
+    return {
+        "package": "py",
+        "version": __version__,
+        "note": "This package holds extractive.py and abstractive.py summarizer modules."
+}

py/abstractive.py

@@ -0,0 +1,245 @@
+# --- START OF FILE abstractive.py ---
+
+import os
+import re
+import pickle
+import unicodedata
+import numpy as np
+import torch
+from transformers import AutoTokenizer, AutoModel
+
+# -------------------------------------------------------------------
+# CONFIG
+# -------------------------------------------------------------------
+CONFIG = {
+    "NUM_LAYERS": 2,
+    "MAX_VOCAB_OUT": 20000,
+    "MAX_TEXT_LEN": 256,
+    "MAX_SUMMARY_LEN": 50,
+    "EMBED_DIM": 512,
+    "NUM_HEADS": 4,
+    "FF_DIM": 2048,
+    "DROPOUT": 0.2,
+    "TOKENIZER_FILE": "decoder_tokenizer_re.pkl",
+    # LƯU Ý: Đây là file weights mới được tạo từ Bước 1
+    "WEIGHTS_FILE": "decoder_only.weights.h5" 
+}
+
+# -------------------------------------------------------------------
+# CLEAN TEXT (Cố gắng khớp logic với Colab nhất có thể)
+# -------------------------------------------------------------------
+def clean_text_inference(text: str) -> str:
+    if not text:
+        return ""
+    text = unicodedata.normalize("NFC", str(text))
+    text = re.sub(r"<.*?>", " ", text)
+    # Giữ lại các ký tự cơ bản giống Colab
+    text = "".join(ch if (ch.isalpha() or ch.isspace() or ch.isdigit() or ch in ['/', '-']) else " " for ch in text)
+    text = text.lower()
+    text = re.sub(r"\s+", " ", text).strip()
+    return text
+
+# -------------------------------------------------------------------
+# PHOBERT ENCODER (PyTorch)
+# -------------------------------------------------------------------
+class PhoBERTEncoderTorch:
+    def __init__(self):
+        print(">>> Loading PhoBERT (PyTorch)...")
+        self.device = torch.device("cpu")
+        self.model = AutoModel.from_pretrained("vinai/phobert-base").to(self.device)
+        self.model.eval()
+        print(">>> PhoBERT loaded successfully.")
+
+    def encode(self, input_ids, attention_mask):
+        with torch.no_grad():
+            ids = torch.tensor(input_ids).to(self.device)
+            mask = torch.tensor(attention_mask).to(self.device)
+            outputs = self.model(ids, attention_mask=mask)
+            # Output shape: (Batch, Seq_Len, 768)
+            return outputs.last_hidden_state.cpu().numpy()
+
+# -------------------------------------------------------------------
+# SAFE IMPORT TENSORFLOW
+# -------------------------------------------------------------------
+TF_AVAILABLE = True
+try:
+    import tensorflow as tf
+except Exception as e:
+    TF_AVAILABLE = False
+    _TF_ERR = e
+    tf = None
+
+# -------------------------------------------------------------------
+# DECODER TRANSFORMER (TensorFlow)
+# -------------------------------------------------------------------
+if TF_AVAILABLE:
+    class TransformerDecoderBlock(tf.keras.layers.Layer):
+        def __init__(self, embed_dim, num_heads, ff_dim, rate=0.1, **kwargs):
+            super().__init__(**kwargs)
+            self.att1 = tf.keras.layers.MultiHeadAttention(num_heads=num_heads, key_dim=embed_dim)
+            self.att2 = tf.keras.layers.MultiHeadAttention(num_heads=num_heads, key_dim=embed_dim)
+            self.ffn = tf.keras.Sequential([
+                tf.keras.layers.Dense(ff_dim, activation="relu"),
+                tf.keras.layers.Dense(embed_dim),
+            ])
+            self.ln1 = tf.keras.layers.LayerNormalization(epsilon=1e-6)
+            self.ln2 = tf.keras.layers.LayerNormalization(epsilon=1e-6)
+            self.ln3 = tf.keras.layers.LayerNormalization(epsilon=1e-6)
+            self.drop1 = tf.keras.layers.Dropout(rate)
+            self.drop2 = tf.keras.layers.Dropout(rate)
+            self.drop3 = tf.keras.layers.Dropout(rate)
+
+        def call(self, x, enc_output, training=None):
+            attn1 = self.att1(x, x, use_causal_mask=True)
+            out1 = self.ln1(x + self.drop1(attn1, training=training))
+            attn2 = self.att2(out1, enc_output)
+            out2 = self.ln2(out1 + self.drop2(attn2, training=training))
+            ffn_out = self.ffn(out2)
+            return self.ln3(out2 + self.drop3(ffn_out, training=training))
+
+# -------------------------------------------------------------------
+# BUILD DECODER MODEL (Đã chỉnh sửa để khớp với file export)
+# -------------------------------------------------------------------
+def build_inference_model():
+    # 1. Inputs
+    # enc_raw_input: nhận output 768 chiều từ PhoBERT PyTorch
+    enc_raw_input = tf.keras.Input(shape=(None, 768), name='enc_raw_input')
+    dec_inputs_inf = tf.keras.Input(shape=(None,), dtype=tf.int32, name='dec_inputs_inf')
+
+    # 2. Projection Layer (Quan trọng: Phải đặt tên đúng để load weights)
+    # Layer này chuyển 768 -> 512
+    enc_out = tf.keras.layers.Dense(CONFIG["EMBED_DIM"], activation="linear", name="encoder_projection")(enc_raw_input)
+    enc_out = tf.keras.layers.Dropout(CONFIG["DROPOUT"], name="encoder_dropout")(enc_out)
+
+    # 3. Embeddings
+    dec_token_emb = tf.keras.layers.Embedding(CONFIG["MAX_VOCAB_OUT"], CONFIG["EMBED_DIM"], mask_zero=True, name='dec_token_emb')
+    dec_pos_emb = tf.keras.layers.Embedding(CONFIG["MAX_SUMMARY_LEN"], CONFIG["EMBED_DIM"], name='dec_pos_emb')
+
+    def add_pos_emb_inf(x):
+        tokens = dec_token_emb(x)
+        seq_len = tf.shape(x)[1]
+        pos_idx = tf.range(seq_len)
+        pos_emb = dec_pos_emb(pos_idx)
+        pos_emb = tf.expand_dims(pos_emb, 0)
+        return tokens + pos_emb
+
+    # Wrap lambda để khớp cấu trúc
+    dec_emb_inf = tf.keras.layers.Lambda(add_pos_emb_inf, name='dec_emb_plus_pos_inf')(dec_inputs_inf)
+
+    # 4. Decoder Blocks
+    dec_out = dec_emb_inf
+    for i in range(CONFIG["NUM_LAYERS"]):
+        # Tên block phải khớp: decoder_block_0, decoder_block_1...
+        block = TransformerDecoderBlock(
+            CONFIG["EMBED_DIM"], 
+            CONFIG["NUM_HEADS"], 
+            CONFIG["FF_DIM"], 
+            CONFIG["DROPOUT"], 
+            name=f"decoder_block_{i}"
+        )
+        dec_out = block(dec_out, enc_out, training=False)
+
+    # 5. Output
+    outputs_inf = tf.keras.layers.Dense(CONFIG["MAX_VOCAB_OUT"], activation='softmax', name='output_dense')(dec_out)
+
+    model = tf.keras.Model(inputs=[enc_raw_input, dec_inputs_inf], outputs=outputs_inf, name="inference_decoder_export")
+    return model
+
+# -------------------------------------------------------------------
+# MAIN SUMMARIZER
+# -------------------------------------------------------------------
+class AbstractiveSummarizer:
+    def __init__(self, model_dir="./models"):
+        if not TF_AVAILABLE:
+            raise RuntimeError(f"TensorFlow không khả dụng: {_TF_ERR}")
+
+        self.model_dir = model_dir
+        
+        # Load PhoBERT (PyTorch)
+        self.phobert = PhoBERTEncoderTorch()
+        self.phobert_tokenizer = AutoTokenizer.from_pretrained("vinai/phobert-base")
+        
+        self._load_resources()
+
+    def _load_resources(self):
+        tok_path = os.path.join(self.model_dir, CONFIG["TOKENIZER_FILE"])
+        weights_path = os.path.join(self.model_dir, CONFIG["WEIGHTS_FILE"])
+
+        print(f"📥 Loading tokenizer from {tok_path}...")
+        with open(tok_path, "rb") as f:
+            self.tokenizer = pickle.load(f)
+
+        print("⚙️ Building Inference Model...")
+        self.decoder_model = build_inference_model()
+        
+        print(f"📥 Loading weights from {weights_path}...")
+        try:
+            # Load weights. Quan trọng: skip_mismatch=False để đảm bảo mọi thứ khớp 100%
+            self.decoder_model.load_weights(weights_path)
+            print("✅ Weights loaded successfully!")
+        except Exception as e:
+            print(f"❌ Error loading weights: {e}")
+            print("Vui lòng đảm bảo bạn đã chạy bước Export trên Colab và tải file 'decoder_only.weights.h5' về.")
+
+    def beam_search(self, enc_out, k=3):
+        start_token = self.tokenizer.word_index.get('startseq', 1)
+        end_token = self.tokenizer.word_index.get('endseq', 2)
+
+        # Sequence bắt đầu: (score, [start_token])
+        sequences = [(0.0, [start_token])]
+
+        for _ in range(CONFIG["MAX_SUMMARY_LEN"] - 1):
+            all_candidates = []
+            for score, seq in sequences:
+                if seq[-1] == end_token:
+                    all_candidates.append((score, seq))
+                    continue
+                
+                dec_inp = np.array([seq])  # (1, cur_len)
+                
+                # Predict: [enc_out (1, seq, 768), dec_inp (1, cur_len)]
+                preds = self.decoder_model.predict([enc_out, dec_inp], verbose=0)
+                
+                # Lấy token cuối cùng
+                last_token_probs = preds[0, -1, :]
+                
+                # Top k
+                top_idx = np.argsort(last_token_probs)[-k:][::-1]
+                for idx in top_idx:
+                    candidate_seq = seq + [int(idx)]
+                    # Log probability để cộng dồn điểm (tránh số quá nhỏ)
+                    candidate_score = score + float(np.log(last_token_probs[idx] + 1e-12))
+                    all_candidates.append((candidate_score, candidate_seq))
+            
+            # Chọn k chuỗi tốt nhất
+            sequences = sorted(all_candidates, key=lambda x: x[0], reverse=True)[:k]
+            
+            # Nếu tất cả chuỗi đều đã kết thúc thì dừng sớm
+            if all(s[-1] == end_token for _, s in sequences):
+                break
+
+        return sequences[0][1]
+
+    def summarize(self, text, k=3):
+        # 1. Clean Text
+        text_clean = clean_text_inference(text)
+        
+        # 2. Tokenize Input (PhoBERT)
+        inp = self.phobert_tokenizer(
+            [text_clean],
+            max_length=CONFIG["MAX_TEXT_LEN"],
+            truncation=True, padding='max_length',
+            return_tensors='np'
+        )
+        
+        # 3. Encode bằng PyTorch (nhận về vector 768 chiều)
+        enc_out = self.phobert.encode(inp['input_ids'], inp['attention_mask'])
+        
+        # 4. Generate Summary bằng TF Model (có tích hợp Projection 768->512)
+        seq = self.beam_search(enc_out, k=k)
+        
+        # 5. Decode kết quả
+        decoded_text = self.tokenizer.sequences_to_texts([seq])[0]
+        summary = decoded_text.replace('startseq', '').replace('endseq', '').strip()
+        
+        return summary

py/extractive.py

@@ -0,0 +1,112 @@
+# py/extractive.py
+# Extractive summarizer module adapted for deployment (TextRank + TF-IDF)
+import re
+import os
+import random
+import networkx as nx
+import numpy as np
+from sklearn.feature_extraction.text import TfidfVectorizer
+from sklearn.metrics.pairwise import cosine_similarity
+
+try:
+    import py_vncorenlp
+    _VNCORENLP_AVAILABLE = True
+except Exception:
+    _VNCORENLP_AVAILABLE = False
+
+# Optional path for stopwords; if absent we'll use None
+DEFAULT_STOPWORDS_PATH = os.path.join("data", "Vietnamese-stopwords.txt")
+
+
+def load_stopwords(path=None):
+    p = path or DEFAULT_STOPWORDS_PATH
+    if os.path.exists(p):
+        try:
+            with open(p, "r", encoding="utf-8") as f:
+                return [m.strip().lower() for m in f.readlines() if m.strip()]
+        except Exception:
+            return None
+    return None
+
+
+def clean_text_basic(text):
+    if not text:
+        return ""
+    # Remove captions like "Ảnh: ..." "Video: ..."
+    text = re.sub(r'^.*(Ảnh|Video|Clip|Nguồn)\s*:[^(\n)]*.*$', '', text, flags=re.MULTILINE | re.IGNORECASE)
+    text = re.sub(r'\(?\[?(Ảnh|Video|Clip)\s*:[^)]+[\)\]]?', '', text, flags=re.IGNORECASE)
+    text = re.sub(r'\n\s*[A-ZÁÀẢÃẠÂĂÊÔƠƯĐ\s\.]{2,50}$', '', text.strip(), flags=re.MULTILINE)
+    text = re.sub(r'[ \t]+', ' ', text)
+    return text.strip()
+
+
+def split_sentences_fallback(text):
+    sentences = re.split(r'(?<=[.!?])\s+', text)
+    return [s.strip() for s in sentences if len(s.strip()) > 15]
+
+
+class ExtractiveSummarizer:
+    def __init__(self, stopwords_path=None):
+        self.stopwords = load_stopwords(stopwords_path)
+
+        # If vncorenlp is available, try to initialize (may require model download previously)
+        self.rdrsegmenter = None
+        if _VNCORENLP_AVAILABLE:
+            try:
+                # Use default model dir if available in environment; if not, py_vncorenlp will try to download
+                self.rdrsegmenter = py_vncorenlp.VnCoreNLP()
+            except Exception:
+                self.rdrsegmenter = None
+
+    def process_text_vncorenlp(self, text):
+        text = clean_text_basic(text)
+        paragraphs = [p.strip() for p in text.replace('\r\n', '\n').replace('\r', '\n').split('\n') if p.strip()]
+        processed_sentences = []
+        if self.rdrsegmenter:
+            try:
+                for p in paragraphs:
+                    sentences = self.rdrsegmenter.word_segment(p)
+                    for s in sentences:
+                        raw_sent = s.replace("_", " ")
+                        if len(raw_sent) > 15 and any(c.isalpha() for c in raw_sent):
+                            processed_sentences.append({'raw': raw_sent, 'segmented': s})
+            except Exception:
+                processed_sentences = []
+
+        if not processed_sentences:
+            # fallback
+            raw_sents = split_sentences_fallback(text)
+            processed_sentences = [{'raw': s, 'segmented': s} for s in raw_sents]
+
+        return processed_sentences
+
+    def summarize(self, text, top_n=3):
+        if not text or not text.strip():
+            return ""
+        sent_data = self.process_text_vncorenlp(text)
+        if not sent_data:
+            return ""
+        if len(sent_data) <= top_n:
+            # If text too short, return original cleaned text
+            return " ".join([s['raw'] for s in sent_data])
+
+        corpus = [item['segmented'] for item in sent_data]
+        try:
+            vectorizer = TfidfVectorizer(stop_words=self.stopwords)
+            tfidf_matrix = vectorizer.fit_transform(corpus)
+        except Exception:
+            return sent_data[0]['raw'] if sent_data else text
+
+        similarity_matrix = cosine_similarity(tfidf_matrix, tfidf_matrix)
+        nx_graph = nx.from_numpy_array(similarity_matrix)
+        try:
+            scores = nx.pagerank(nx_graph, max_iter=500)
+        except Exception:
+            scores = {i: 1 for i in range(len(sent_data))}
+
+        ranked_sentences = sorted(((scores[i], sent_data[i]['raw'], i)
+                                   for i in range(len(sent_data))), reverse=True)
+        selected_sentences = ranked_sentences[:top_n]
+        selected_sentences.sort(key=lambda x: x[2])
+        summary = " ".join([s for _, s, _ in selected_sentences])
+        return summary

requirements.txt

@@ -0,0 +1,21 @@
+gradio>=3.59.2
+numpy
+
+# Quan trọng: Bỏ giới hạn phiên bản để HF tự cài bản mới nhất (có chứa keras.src)
+tensorflow
+keras
+
+# Các thư viện hỗ trợ
+torch
+transformers
+sentencepiece
+rouge-score
+matplotlib
+seaborn
+scikit-learn
+pandas
+nltk
+networkx
+Pillow
+py-vncorenlp
+h5py