Update app.py

app.py

@@ -1,7 +1,10 @@
 import os
 import warnings
 import gradio as gr
+import numpy as np
+import re
 from dotenv import load_dotenv
+from sklearn.metrics.pairwise import cosine_similarity
 
 from langchain.schema import SystemMessage, HumanMessage
 from langchain.chains import RetrievalQA
@@ -30,6 +33,128 @@ vectorstore = FAISS.load_local(
     "faiss_index_unmad_magz", embeddings, allow_dangerous_deserialization=True
 )
 
+def clean_bangla_content(text):
+    """
+    Clean the retrieved content to remove English watermarks, scan text, and unwanted content.
+    Keep only Bengali content.
+    """
+    # Common English watermarks and scan text to remove
+    english_patterns = [
+        r'scanned by \w+',
+        r'found in \w+',
+        r'www\.\w+\.\w+',
+        r'http[s]?://[^\s]+',
+        r'\.pdf',
+        r'\.com',
+        r'\.org',
+        r'\.net',
+        r'banglapdf',
+        r'sadaqpdf',
+        r'pdf scanner',
+        r'scan by',
+        r'converted by',
+        r'page \d+',
+        r'source:',
+        r'reference:',
+        r'[a-zA-Z]+@[a-zA-Z]+\.[a-zA-Z]+',  # emails
+        r'\b[A-Z][a-z]+ [A-Z][a-z]+\b',     # English names
+        r'\b[A-Z]{2,}\b',                    # Uppercase abbreviations
+    ]
+    
+    # Remove lines containing English patterns
+    lines = text.split('\n')
+    cleaned_lines = []
+    
+    for line in lines:
+        line = line.strip()
+        
+        # Skip empty lines
+        if not line:
+            continue
+            
+        # Check if line contains English patterns
+        contains_english = False
+        for pattern in english_patterns:
+            if re.search(pattern, line, re.IGNORECASE):
+                contains_english = True
+                break
+        
+        # Check if line is mostly English (contains more English than Bengali)
+        english_chars = len(re.findall(r'[a-zA-Z]', line))
+        bengali_chars = len(re.findall(r'[\u0980-\u09FF]', line))  # Bengali Unicode range
+        
+        # If line has more English than Bengali, skip it
+        if english_chars > bengali_chars and english_chars > 3:
+            contains_english = True
+        
+        # Only keep lines that don't contain English patterns and have Bengali content
+        if not contains_english and bengali_chars > 0:
+            cleaned_lines.append(line)
+    
+    return '\n'.join(cleaned_lines)
+
+def maximal_marginal_relevance_search(query, vectorstore, k=10, lambda_param=0.5, top_k=3):
+    """
+    Implement Maximal Marginal Relevance (MMR) for diverse document retrieval.
+    """
+    # Get initial candidate documents (more than needed)
+    candidate_docs = vectorstore.similarity_search_with_score(query, k=k)
+    
+    if not candidate_docs:
+        return []
+    
+    # Extract documents and their embeddings
+    docs = [doc for doc, score in candidate_docs]
+    
+    # Get query embedding
+    query_embedding = np.array(embeddings.embed_query(query)).reshape(1, -1)
+    
+    # Get document embeddings
+    doc_embeddings = []
+    for doc in docs:
+        doc_embedding = np.array(embeddings.embed_documents([doc.page_content])[0])
+        doc_embeddings.append(doc_embedding)
+    
+    doc_embeddings = np.array(doc_embeddings)
+    
+    # MMR Selection Algorithm
+    selected_docs = []
+    selected_indices = []
+    remaining_indices = list(range(len(docs)))
+    
+    for _ in range(min(top_k, len(docs))):
+        mmr_scores = []
+        
+        for i in remaining_indices:
+            # Calculate relevance score (similarity to query)
+            relevance = cosine_similarity(query_embedding, doc_embeddings[i].reshape(1, -1))[0][0]
+            
+            # Calculate diversity score (max similarity to already selected docs)
+            if selected_indices:
+                diversity_scores = []
+                for j in selected_indices:
+                    similarity = cosine_similarity(
+                        doc_embeddings[i].reshape(1, -1), 
+                        doc_embeddings[j].reshape(1, -1)
+                    )[0][0]
+                    diversity_scores.append(similarity)
+                diversity = max(diversity_scores)
+            else:
+                diversity = 0
+            
+            # Calculate MMR score
+            mmr_score = lambda_param * relevance - (1 - lambda_param) * diversity
+            mmr_scores.append((mmr_score, i))
+        
+        # Select document with highest MMR score
+        if mmr_scores:
+            best_score, best_idx = max(mmr_scores, key=lambda x: x[0])
+            selected_docs.append(docs[best_idx])
+            selected_indices.append(best_idx)
+            remaining_indices.remove(best_idx)
+    
+    return selected_docs
+
 # Initialize gpt-4o Chat model
 llm = ChatOpenAI(
     model_name="gpt-4o",
@@ -38,25 +163,53 @@ llm = ChatOpenAI(
     openai_api_key=OPENAI_API_KEY
 )
 
-# Satirical QA function
+# Satirical QA function with MMR and content cleaning
 def custom_unmad_satirical_bot(message, history, top_k=3):
-    retriever = vectorstore.as_retriever()
-    docs = retriever.invoke(message)
-    top_contexts = "\n\n---\n\n".join([doc.page_content for doc in docs[:top_k]])
+    # Use MMR search with default parameters
+    docs = maximal_marginal_relevance_search(
+        query=message, 
+        vectorstore=vectorstore, 
+        k=15,  # Consider more candidates for better diversity
+        lambda_param=0.6,  # Slightly favor relevance over diversity
+        top_k=top_k
+    )
+    
+    # Extract context from MMR-selected documents with cleaning
+    if docs:
+        # Clean each document's content before joining
+        cleaned_contexts = []
+        for doc in docs:
+            cleaned_content = clean_bangla_content(doc.page_content)
+            if cleaned_content.strip():  # Only add if there's meaningful Bengali content
+                cleaned_contexts.append(cleaned_content)
+        
+        if cleaned_contexts:
+            top_contexts = "\n\n---\n\n".join(cleaned_contexts)
+        else:
+            top_contexts = "প্রাসঙ্গিক বাংলা তথ্য পাওয়া যায়নি।"
+    else:
+        top_contexts = "কোন প্রাসঙ্গিক তথ্য পাওয়া যায়নি।"
 
     messages = [
         SystemMessage(content="""
-তুমি 'উন্মাদ' ম্যাগাজিনের একজন পুরানো ব্যঙ্গাত্মক লেখক। তোমার কাজ হলো ব্যবহারকারীর প্রশ্ন শুনে স্যাটায়ার, কটাক্ষ, রসিকতা, ঠাট্টা, আর একটু জ্ঞান মিশিয়ে উত্তর দেওয়া — যাতে লোক হাসে, চিন্তা করে, আবার নতুন কিছু শিখে।
-তুমি কখনোই একদম সোজাসাপ্টা উত্তর দেবে না — বরং একটু অভিনয় করে, অবাক হয়ে, ঠাট্টা করে, খোঁচা মেরে দেবে।
-**নিচের নির্দেশনাগুলো অবশ্যই মেনে চলবে**
-১। কোন ইমোজি (EMOJI) ব্যবহার করবে না।
-২। কোন ইংলিশ টেক্সট ব্যবহার করবে না।
+তুমি 'উন্মাদ' ম্যাগাজিনের একজন পুরানো ব্যঙ্গাত্মক লেখক। তোমার কাজ হলো ব্যবহারকারীর প্রশ্ন শুনে স্যাটায়ার, কটাক্ষ, রসিকতা, ঠাট্টা, আর একটু জ্ঞান মিশিয়ে উত্তর দেওয়া — যাতে লোক হাসে, চিন্তা করে, আবার নতুন কিছু শিখে।
+তুমি কখনোই একদম সোজাসাপ্টা উত্তর দেবে না — বরং একটু অভিনয় করে, অবাক হয়ে, ঠাট্টা করে, খোঁচা মেরে দেবে।
+
+**এই নির্দেশনাগুলো অবশ্যই মেনে চলবে - কোন ব্যতিক্রম নেই**
+১। কোন ইমোজি (EMOJI) ব্যবহার করবে না - একটিও না।
+২। কোন ইংরেজি টেক্সট ব্যবহার করবে না - একটি শব্দও না।
+৩। কোন ইংরেজি সংখ্যা বা চিহ্ন লিখবে না (যেমন: PDF, URL, www, .com, scanned by, found in ইত্যাদি)।
+৪। প্রসঙ্গের মধ্যে যেসব ইংরেজি টেক্সট, স্ক্যান ওয়াটারমার্ক, ওয়েবসাইট নাম, বা প্রযুক্তিগত শব্দ আছে সেগুলো একেবারেই উল্লেখ করবে না।
+৫। শুধুমাত্র বাংলা ভাষায় লেখা বিষয়বস্তু ব্যবহার করবে।
+৬। যদি প্রসঙ্গে কোন বাংলা কন্টেন্ট না থাকে, তাহলে নিজের সাধারণ জ্ঞান দিয়ে উত্তর দেবে।
 """),
         HumanMessage(content=f"""
-🔍 প্রসঙ্গ:
+প্রসঙ্গ (নির্বাচিত বাংলা তথ্য):
 {top_contexts}
+
 প্রশ্ন: {message}
-উত্তর দাও উন্মাদ ম্যাগাজিনের স্টাইলে — বাংলায়, ব্যঙ্গ করে, কল্পনা আর অতিরঞ্জন দিয়ে।
+
+নির্দেশনা: উপরের প্রসঙ্গ থেকে শুধুমাত্র বাংলা ভা���ার বিষয়বস্তু ব্যবহার করে উন্মাদ ম্যাগাজিনের স্টাইলে উত্তর দাও। কোন ইংরেজি শব্দ, ইমোজি, বা স্ক্যান ওয়াটারমার্ক উল্লেখ করবে না। সম্পূর্ণ বাংলায় ব্যঙ্গাত্মক ও মজার উত্তর লেখো।
 """)
     ]