chore: code and dataset deploy [skip ci]

README.md

@@ -0,0 +1,58 @@
+---
+title: NLP Sentiment Analysis Digikala
+emoji: 📊
+colorFrom: red
+colorTo: pink
+sdk: streamlit
+sdk_version: 1.58.0
+python_version: 3.12
+app_file: app.py
+pinned: false
+---
+
+# سیستم هوشمند تحلیل احساسات نظرات دیجی‌کالا (RAG-based)
+
+این پروژه یک سیستم پیشرفته برای تحلیل نظرات کاربران دیجی‌کالا است که با استفاده از معماری **RAG (Retrieval-Augmented Generation)** طراحی شده است. این سیستم نه تنها احساس نظر (مثبت/منفی) را تشخیص می‌دهد، بلکه با جستجو در میان ۲۰۰۰ نظر واقعی دیگر، دلیلی برای تحلیل خود ارائه می‌کند.
+
+---
+
+## 🚀 ویژگی‌های کلیدی
+- **تحلیل احساسات ۵ سطحی**: استفاده از مدل bert-base-multilingual-uncased-sentiment برای تشخیص دقیق میزان رضایت.
+- **تولید توضیح هوشمند**: استفاده از GPT-2 فارسی برای ارائه دلیل بر اساس شواهد.
+- **جستجوی معنایی سریع**: بهره‌گیری از FAISS برای یافتن نظرات مشابه در کمتر از چند میلی‌ثانیه.
+- **دیتابیس غنی**: ترکیب ۴ دیتاست معتبر از نظرات دیجی‌کالا (شامل نظرات ویدئویی و متنی).
+- **رابط کاربری زیبا**: طراحی شده با Streamlit و پشتیبانی کامل از زبان فارسی (RTL).
+
+---
+
+## 📚 مستندات و آموزش (Wiki)
+ما یک مستندات کامل و خط‌به‌خط برای این پروژه تهیه کرده‌ایم که در پوشه `wiki/` قرار دارد. اگر می‌خواهید بدانید کدها چگونه کار می‌کنند یا قصد ارائه پروژه را دارید، حتماً این بخش را ببینید:
+👉 **[مشاهده دانشنامه پروژه (Wiki)](wiki/README.md)**
+
+---
+
+## 🛠 نحوه اجرا در محیط محلی
+۱. ابتدا کتابخانه‌های مورد نیاز را نصب کنید:
+```bash
+pip install -r requirements.txt
+```
+
+۲. داده‌ها و ایندکس FAISS را آماده کنید:
+```bash
+python prepare_data.py
+```
+
+۳. برنامه را اجرا کنید:
+```bash
+streamlit run app.py
+```
+
+---
+
+## ☁️ میزبانی و استقرار
+این پروژه به صورت خودکار در **Hugging Face Spaces** میزبانی می‌شود. برای حفظ سرعت و بهینگی، فایل‌های مستندات و تست‌ها در نسخه سرور آپلود نمی‌شوند.
+👉 [لینک مشاهده زنده پروژه](https://huggingface.co/spaces/tahatehrani/nlp-segment-analysis)
+
+---
+**توسعه‌دهنده:** Taha Tehrani Nasab
+**(پروژه درس پردازش زبان طبیعی - NLP)**

app.py

@@ -0,0 +1,242 @@
+import os
+import streamlit as st
+import pandas as pd
+import plotly.express as px
+from processor import SentimentRAG
+import time
+
+# Page Config
+st.set_page_config(
+    page_title="تحلیل هوشمند نظرات دیجی‌کالا",
+    page_icon="📊",
+    layout="wide",
+    initial_sidebar_state="expanded"
+)
+
+# Custom CSS for Professional UI
+st.markdown("""
+    <style>
+    @import url('https://fonts.googleapis.com/css2?family=Vazirmatn:wght@400;700&display=swap');
+
+    :root {
+        --primary-color: #ef4056;
+        --bg-light: #f8f9fa;
+        --text-dark: #343a40;
+    }
+
+    html, body, [class*="css"] {
+        font-family: 'Vazirmatn', sans-serif;
+        direction: rtl;
+        text-align: right;
+    }
+
+    .main {
+        background-color: var(--bg-light);
+    }
+
+    .stMetric {
+        background-color: white;
+        padding: 15px;
+        border-radius: 12px;
+        box-shadow: 0 4px 6px rgba(0,0,0,0.05);
+        border: 1px solid #eee;
+    }
+
+    .stButton>button {
+        width: 100%;
+        border-radius: 8px;
+        height: 3.5em;
+        background-color: var(--primary-color);
+        color: white;
+        font-weight: bold;
+        transition: all 0.3s ease;
+        border: none;
+    }
+
+    .stButton>button:hover {
+        background-color: #d8364b;
+        transform: translateY(-2px);
+        box-shadow: 0 4px 12px rgba(239, 64, 86, 0.3);
+    }
+
+    .sentiment-box {
+        padding: 25px;
+        border-radius: 15px;
+        margin: 20px 0;
+        border: none;
+        box-shadow: 0 10px 20px rgba(0,0,0,0.05);
+        transition: transform 0.3s ease;
+    }
+
+    .sentiment-box:hover {
+        transform: scale(1.01);
+    }
+
+    .positive { background: linear-gradient(135deg, #e8f5e9 0%, #c8e6c9 100%); border-right: 8px solid #4caf50; color: #2e7d32; }
+    .negative { background: linear-gradient(135deg, #ffebee 0%, #ffcdd2 100%); border-right: 8px solid #f44336; color: #c62828; }
+    .neutral { background: linear-gradient(135deg, #fff3e0 0%, #ffe0b2 100%); border-right: 8px solid #ff9800; color: #ef6c00; }
+
+    .custom-header {
+        background-color: white;
+        padding: 20px;
+        border-radius: 0 0 20px 20px;
+        box-shadow: 0 4px 10px rgba(0,0,0,0.05);
+        margin-bottom: 30px;
+    }
+
+    .stExpander {
+        border: none !important;
+        box-shadow: 0 2px 5px rgba(0,0,0,0.05);
+        border-radius: 10px !important;
+        background-color: white;
+    }
+
+    div[data-testid="stDataFrame"] {
+        direction: rtl;
+        text-align: right;
+        border-radius: 10px;
+        overflow: hidden;
+    }
+    </style>
+    """, unsafe_allow_html=True)
+
+@st.cache_resource
+def load_rag():
+    # Data is pre-prepared by GitHub Actions or handled via online fallback in SentimentRAG
+    return SentimentRAG()
+
+def get_rag_instance_safe():
+    """Returns the RAG instance ONLY if it has already been initialized."""
+    if SentimentRAG._instance and hasattr(SentimentRAG._instance, 'initialized') and SentimentRAG._instance.initialized:
+        return SentimentRAG._instance
+    return None
+
+# Sidebar
+with st.sidebar:
+    st.image("https://upload.wikimedia.org/wikipedia/commons/2/29/Digikala_logo.svg", width=200)
+    st.title("کنترل پنل")
+    st.markdown("---")
+    st.info("این سیستم با ترکیب مدل‌های BERT و معماری RAG، تحلیل دقیقی از نظرات ارائه می‌دهد.")
+
+    with st.expander("تنظیمات پیشرفته"):
+        k_val = st.slider("تعداد نظرات مشابه (RAG)", 1, 5, 3)
+        clear_cache = st.button("بازنشانی حافظه")
+        if clear_cache:
+            st.cache_resource.clear()
+            st.rerun()
+
+# Header Section
+st.markdown("""
+    <div class="custom-header">
+        <h1 style='color: #ef4056; margin: 0;'>سامانه تحلیل هوشمند نظرات دیجی‌کالا</h1>
+        <p style='color: #666; margin-top: 5px;'>استخراج احساسات و تولید استدلال مبتنی بر داده (معماری RAG)</p>
+    </div>
+""", unsafe_allow_html=True)
+
+tab1, tab2 = st.tabs(["تحلیل متن", "داشبورد آماری"])
+
+with tab1:
+    col1, col2 = st.columns([3, 2], gap="large")
+
+    with col1:
+        st.markdown("### ورود اطلاعات")
+        user_input = st.text_area(
+            "نظر خود را برای تحلیل وارد کنید:",
+            placeholder="مثال: این محصول عالی است اما بسته‌بندی آن ضعیف بود...",
+            height=200,
+            help="متن نظر را اینجا تایپ کنید."
+        )
+        analyze_btn = st.button("شروع تحلیل")
+
+    with col2:
+        if analyze_btn and user_input:
+            with st.spinner("در حال پردازش و تحلیل هوشمند..."):
+                start_time = time.time()
+                # Check if data exists locally to inform user
+                if not os.path.exists("data/digikala_samples.csv"):
+                    st.warning("⚠️ دیتابیس محلی یافت نشد. در حال فراخوانی آنلاین داده‌ها...")
+
+                rag = load_rag()
+                score, confidence = rag.get_sentiment(user_input)
+                explanation = rag.generate_explanation(user_input, score)
+                similar = rag.retrieve_similar(user_input, k=k_val)
+                elapsed = time.time() - start_time
+
+                if score > 3:
+                    css_class, label = "positive", "مثبت"
+                elif score < 3:
+                    css_class, label = "negative", "منفی"
+                else:
+                    css_class, label = "neutral", "خنثی"
+
+                st.markdown(f"""
+                    <div class="sentiment-box {css_class}">
+                        <h2 style='margin:0;'>وضعیت: {label}</h2>
+                        <hr style='border: 0.5px solid rgba(0,0,0,0.1);'>
+                        <p style='font-size: 1.1em;'><b>امتیاز شدت:</b> {score} از ۵</p>
+                        <p style='font-size: 1.1em;'><b>ضریب اطمینان:</b> {confidence:.2%}</p>
+                        <small>زمان پردازش: {elapsed:.2f} ثانیه</small>
+                    </div>
+                """, unsafe_allow_html=True)
+
+                st.markdown("### دلیل و استدلال:")
+                st.info(explanation)
+        else:
+            st.info("متن نظر را وارد کرده و دکمه تحلیل را بزنید تا نتایج اینجا نمایش داده شوند.")
+
+    if analyze_btn and user_input:
+        st.markdown("---")
+        with st.expander("شواهد بازیابی شده (RAG Context)", expanded=False):
+            for i, s in enumerate(similar, 1):
+                st.write(f"**{i}.** {s}")
+
+with tab2:
+    st.header("داده‌های مرجع")
+    try:
+        data_file = "data/digikala_samples.csv"
+        df = None
+        if os.path.exists(data_file):
+            df = pd.read_csv(data_file)
+        else:
+            # ONLY attempt to retrieve from RAG if it is already initialized to avoid OOM/Bottlenecks
+            rag_instance = get_rag_instance_safe()
+            if rag_instance:
+                df = rag_instance.df
+
+        if df is not None:
+            m1, m2, m3, m4 = st.columns(4)
+            m1.metric("تعداد نظرات", len(df))
+            m2.metric("مدل", "bert-base")
+            m3.metric("معماری", "RAG")
+            m4.metric("زبان", "فارسی")
+
+            c1, c2 = st.columns(2)
+
+            with c1:
+                df['length'] = df['text'].str.len()
+                fig_hist = px.histogram(
+                    df, x="length",
+                    title="توزیع طول نظرات",
+                    color_discrete_sequence=['#ef4056'],
+                    labels={'length': 'طول متن'}
+                )
+                fig_hist.update_layout(plot_bgcolor='white')
+                st.plotly_chart(fig_hist, width='stretch')
+
+            with c2:
+                st.markdown("### پیش‌نمایش داده‌ها")
+                st.dataframe(df.head(15), width='stretch')
+        else:
+            st.warning("دیتابیس نظرات یافت نشد. لطفاً منتظر بروزرسانی خودکار بمانید یا دکمه تحلیل (در زبانه اول) را بزنید تا داده‌ها بارگذاری شوند.")
+
+    except Exception as e:
+        st.error(f"⚠️ خطا در بارگذاری دیتابیس: {e}")
+
+# Footer
+st.markdown("---")
+st.markdown("""
+    <div style='text-align: center; color: #888; padding: 20px;'>
+        (پروژه NLP - Taha Tehrani Nasab)<br>
+        <small>قدرت گرفته از Hugging Face Transformers & FAISS</small>
+    </div>
+""", unsafe_allow_html=True)

prepare_data.py

@@ -0,0 +1,121 @@
+import pandas as pd
+from datasets import load_dataset
+import re
+import os
+import sys
+import numpy as np
+from sentence_transformers import SentenceTransformer
+import faiss
+
+def clean_text(text):
+    if not isinstance(text, str):
+        return ""
+    # Remove extra spaces and newlines
+    text = re.sub(r'\s+', ' ', text).strip()
+    return text
+
+def get_samples_from_stream(ds_name, split, token, target_count, buffer_size=2000):
+    print(f"Streaming samples from {ds_name}...")
+    try:
+        # EhsanShahbazi datasets might have different structures, we try to handle them
+        ds = load_dataset(ds_name, split=split, token=token if token else None, streaming=True)
+        samples = []
+        count = 0
+        for item in ds:
+            # Common column names for text in these datasets
+            potential_cols = ['text', 'Text', 'comment', 'Comment', 'content', 'Content', 'body']
+            text_val = None
+            for col in potential_cols:
+                if col in item:
+                    text_val = item[col]
+                    break
+
+            if text_val:
+                cleaned = clean_text(text_val)
+                # Filter for meaningful length
+                if len(cleaned) > 25:
+                    samples.append({'text': cleaned})
+                    count += 1
+
+            # Stop if we have enough samples or reached buffer limit
+            if count >= buffer_size or count >= target_count * 3:
+                break
+
+        if not samples:
+            return None
+
+        df = pd.DataFrame(samples)
+        return df
+    except Exception as e:
+        print(f"Error loading {ds_name}: {e}")
+        return None
+
+def fetch_all_data(target_total=2000):
+    """Fetches data from multiple Digikala comment datasets on Hugging Face."""
+    hf_token = os.getenv("HUGGINGFACE_TOKEN")
+    if hf_token == "": hf_token = None
+    datasets_to_load = [
+        ("fibonacciai/Digikala-Comments", "train"),
+        ("ParsiAI/digikala-sentiment-analysis", "train"),
+        ("EhsanShahbazi/digikala-comments", "train"),
+        ("EhsanShahbazi/digikala-comments-with-media", "train")
+    ]
+
+    dfs = []
+    per_source_target = target_total // len(datasets_to_load)
+
+    for ds_name, split in datasets_to_load:
+        df = get_samples_from_stream(ds_name, split, hf_token, per_source_target)
+        if df is not None:
+            dfs.append(df)
+
+    if not dfs:
+        print("Warning: No datasets could be loaded. Using mock data for safety.")
+        return pd.DataFrame({'text': ["این یک نظر تستی است برای زمانی که دیتاست در دسترس نیست."] * 10})
+
+    processed_dfs = []
+    # Aim for balanced sampling
+    per_source = target_total // len(dfs)
+
+    for source_df in dfs:
+        source_df = source_df.drop_duplicates(subset=['text'])
+        if not source_df.empty:
+            s_size = min(len(source_df), per_source)
+            processed_dfs.append(source_df.sample(n=s_size, random_state=42))
+
+    if not processed_dfs:
+        return None
+
+    df_sample = pd.concat(processed_dfs, ignore_index=True)
+    # Shuffle the final dataset
+    df_sample = df_sample.sample(frac=1, random_state=42).reset_index(drop=True)
+    print(f"Total samples collected: {len(df_sample)}")
+    return df_sample
+
+def generate_faiss_index(df, output_dir="data"):
+    print("Generating FAISS index...")
+    model = SentenceTransformer('sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2')
+    texts = df['text'].tolist()
+    embeddings = model.encode(texts, show_progress_bar=True)
+    index = faiss.IndexFlatL2(embeddings.shape[1])
+    index.add(np.array(embeddings).astype('float32'))
+    os.makedirs(output_dir, exist_ok=True)
+    faiss.write_index(index, os.path.join(output_dir, "faiss_index.bin"))
+    print(f"FAISS index saved to {output_dir}/faiss_index.bin")
+
+def prepare_data():
+    df = fetch_all_data()
+    if df is not None:
+        os.makedirs("data", exist_ok=True)
+        df.to_csv("data/digikala_samples.csv", index=False)
+        print(f"Data saved to data/digikala_samples.csv")
+        generate_faiss_index(df)
+
+if __name__ == "__main__":
+    try:
+        prepare_data()
+        print("Data preparation completed successfully.")
+        os._exit(0)
+    except Exception as e:
+        print(f"Fatal error during data preparation: {e}")
+        os._exit(1)

processor.py

@@ -0,0 +1,157 @@
+import pandas as pd
+import numpy as np
+import torch
+from transformers import pipeline, AutoTokenizer, AutoModelForCausalLM
+from sentence_transformers import SentenceTransformer
+import faiss
+import os
+import sys
+
+class SentimentRAG:
+    _instance = None
+
+    def __new__(cls, *args, **kwargs):
+        if not cls._instance:
+            cls._instance = super(SentimentRAG, cls).__new__(cls)
+        return cls._instance
+
+    def __init__(self, data_path="data/digikala_samples.csv", index_path=None):
+        if hasattr(self, 'initialized') and self.initialized:
+            return
+
+        if index_path is None:
+            if data_path == "data/digikala_samples.csv":
+                index_path = "data/faiss_index.bin"
+            else:
+                index_path = data_path.replace(".csv", ".bin")
+
+        print(f"Initializing SentimentRAG models (Online Optimized)...")
+        torch.set_num_threads(2)
+
+        self.device = "cuda" if torch.cuda.is_available() else "cpu"
+        hf_token = os.getenv("HUGGINGFACE_TOKEN")
+        if hf_token == "": hf_token = None
+
+        # 1. Sentiment Model
+        self.sentiment_pipe = pipeline(
+            "sentiment-analysis",
+            model="nlptown/bert-base-multilingual-uncased-sentiment",
+            device=-1 if self.device == "cpu" else 0,
+            token=hf_token if hf_token else None,
+            model_kwargs={"low_cpu_mem_usage": True} if self.device == "cpu" else {}
+        )
+
+        # 2. Embedding Model
+        self.embed_model = SentenceTransformer(
+            'sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2',
+            use_auth_token=hf_token if hf_token else None
+        )
+
+        # 3. Reasoning Model
+        self.gen_tokenizer = AutoTokenizer.from_pretrained("HooshvareLab/gpt2-fa-comment", token=hf_token if hf_token else None)
+        self.gen_model = AutoModelForCausalLM.from_pretrained(
+            "HooshvareLab/gpt2-fa-comment",
+            token=hf_token if hf_token else None,
+            low_cpu_mem_usage=True
+        ).to(self.device)
+
+        # Load Data & Index
+        self._load_resources(data_path, index_path)
+
+        self.initialized = True
+
+    def _load_resources(self, data_path, index_path):
+        self.df = None
+        self.texts = []
+
+        # Priority 1: Local file (if exists and is not LFS pointer)
+        if os.path.exists(data_path):
+            try:
+                temp_df = pd.read_csv(data_path)
+                if len(temp_df) > 0 and 'version https://git-lfs' in str(temp_df.columns[0]):
+                    print("Found LFS pointer. Skipping local load.")
+                else:
+                    self.df = temp_df
+                    self.texts = self.df['text'].tolist()
+                    print(f"Loaded {len(self.texts)} samples from local file.")
+            except Exception as e:
+                print(f"Local CSV load failed: {e}")
+
+        # Priority 2: Online streaming fallback
+        if self.df is None:
+            print("Fetching data from Hugging Face Hub (Streaming)...")
+            try:
+                from prepare_data import fetch_all_data
+                self.df = fetch_all_data()
+                if self.df is not None:
+                    self.texts = self.df['text'].tolist()
+                    print(f"Streamed {len(self.texts)} samples online.")
+            except Exception as e:
+                print(f"Online data streaming failed: {e}")
+
+        if self.df is None:
+             raise FileNotFoundError("System failed to load any data (Local/Online).")
+
+        # FAISS Index Handling
+        if os.path.exists(index_path):
+            try:
+                loaded_index = faiss.read_index(index_path)
+                if loaded_index.ntotal == len(self.texts):
+                    self.index = loaded_index
+                    print("Loaded pre-generated FAISS index.")
+                    return
+            except Exception:
+                pass
+
+        print("Building FAISS index in memory...")
+        self._build_index()
+
+    def _build_index(self):
+        embeddings = self.embed_model.encode(self.texts, show_progress_bar=False)
+        self.index = faiss.IndexFlatL2(embeddings.shape[1])
+        self.index.add(np.array(embeddings).astype('float32'))
+
+    def get_sentiment(self, text):
+        result = self.sentiment_pipe(text[:512])[0]
+        score = int(result['label'].split()[0])
+        return score, result['score']
+
+    def retrieve_similar(self, text, k=2):
+        k = min(k, len(self.texts))
+        if k <= 0: return []
+        query_vec = self.embed_model.encode([text])
+        distances, indices = self.index.search(np.array(query_vec).astype('float32'), k)
+        return [self.texts[i] for i in indices[0]]
+
+    def generate_explanation(self, text, sentiment_score):
+        similar_comments = self.retrieve_similar(text, k=2)
+        context = " ".join([f"نمونه: {c[:60]}" for c in similar_comments])
+        sentiment_label = "مثبت" if sentiment_score > 3 else "منفی" if sentiment_score < 3 else "خنثی"
+
+        prompt = f"متن: {text[:100]}\nاحساس: {sentiment_label}\nشواهد: {context}\nدلیل فنی:"
+        inputs = self.gen_tokenizer(prompt, return_tensors="pt", truncation=True, max_length=400).to(self.device)
+
+        with torch.no_grad():
+            outputs = self.gen_model.generate(
+                **inputs,
+                max_new_tokens=50,
+                do_sample=True,
+                top_p=0.9,
+                temperature=0.7,
+                pad_token_id=self.gen_tokenizer.eos_token_id
+            )
+
+        full_text = self.gen_tokenizer.decode(outputs[0], skip_special_tokens=True)
+        if "دلیل فنی:" in full_text:
+            explanation = full_text.split("دلیل فنی:")[-1].strip()
+        else:
+            explanation = "تحلیل بر اساس الگوهای متنی مشابه در پایگاه داده دیجی‌کالا انجام شده است."
+
+        return explanation if len(explanation) > 10 else "این نظر به دلیل شباهت با نظرات ثبت شده قبلی و الگوهای کلامی شناسایی شده، دارای بار احساسی مشخص شده است."
+
+if __name__ == "__main__":
+    rag = SentimentRAG()
+    test_text = "کیفیتش خوبه ولی قیمتش بالاست"
+    score, conf = rag.get_sentiment(test_text)
+    print(f"Sentiment: {score}, Confidence: {conf}")
+    print(f"Reason: {rag.generate_explanation(test_text, score)}")

requirements.txt

@@ -0,0 +1,10 @@
+streamlit==1.58.0
+transformers
+torch --index-url https://download.pytorch.org/whl/cpu
+sentence-transformers
+faiss-cpu
+pandas
+datasets
+plotly
+scikit-learn
+huggingface_hub