Update app.py

app.py

@@ -1,311 +1,116 @@
-Import gradio as gr
+import gradio as gr
 from datasets import load_dataset
 import os
 import requests
 from bs4 import BeautifulSoup
 from difflib import SequenceMatcher
+from groq import Groq
 
-
-# Load GROQ API Key from secrets
+# API Key ကို Hugging Face Settings -> Secrets ထဲမှာ GROQ_API_KEY ဆိုပြီး ထည့်ထားရပါမယ်
 GROQ_API_KEY = os.environ.get("GROQ_API_KEY", "")
+client = Groq(api_key=GROQ_API_KEY) if GROQ_API_KEY else None
 
-# Myanmar websites database
+# --- ၁။ Website Database ---
 WEBSITE_DATASET = [
-    {"category": "သတင်း", "name": "BBC မြန်မာ", "url": "https://www.bbc.com/burmese", "description": "နိုင်ငံတကာ သတင်းများကို မြန်မာလို ဖြေဆိုပါတယ်။"},
-    {"category": "သတင်း", "name": "Radio Free Asia", "url": "https://www.rfa.org/burmese/", "description": "RFA သည် မြန်မာပါဝင်ပပါတယ်။"},
-    {"category": "သတင်း", "name": "Democratic Voice of Burma", "url": "https://burmese.dvb.no/", "description": "DVB သည် မြန်မာသတင်း ဝက်ဘ်ဆိုင်း ဖြစ်ပါတယ်။"},
-    {"category": "သတင်း", "name": "Myanmar Times", "url": "https://myanmar-times.com/", "description": "Myanmar Times သည် မြန်မာနိုင်ငံရဲ့ သတင်းစာပါ။"},
-    {"category": "ပညာရေး", "name": "SEAsite Burmese", "url": "https://seasite.niu.edu/Burmese/", "description": "Northern Illinois University မှာရှိတဲ့ မြန်မာစာ၊ စာပေ နှင့် ယဉ်ကျေးမှု သင်တဲ့ ဌာန ဖြစ်ပါတယ်။"},
-    {"category": "ပညာရေး", "name": "Omniglot Burmese", "url": "https://www.omniglot.com/writing/burmese.htm", "description": "Omniglot သည် မြန်မာအက္ခရာနှင့် စာပေအောက်ငါးပါးသင်တဲ့ ဝက်ဘ်ဆိုင်း ဖြစ်ပါတယ်။"},
-    {"category": "ပညာရေး", "name": "BurmeseTutor", "url": "https://burmesetutor.com/", "description": "BurmeseTutor သည် မြန်မာစာ သင်ယူနည်း ပြည့်စုံသော ဝက်ဘ်ဆိုင်း ဖြစ်ပါတယ်။"},
-    {"category": "ယဉ်ကျေးမှု", "name": "Burmese Classic", "url": "https://burmeseclassic.com/", "description": "Burmese Classic သည် မြန်မာ ရုပ်ရှင်း၊ သီချင်း၊ မဂ်ဖိုလ်၊ နက္ခတ်များ ပါဝင်ပပါတယ်။"},
-    {"category": "ယဉ်ကျေးမှု", "name": "Buddhist Myanmar", "url": "https://www.buddhistmyanmar.org/", "description": "Buddhist Myanmar သည် ဗုဒ္ဓဘာသာ မြန်မာ ဝက်ဘ်ဆိုင်း ဖြစ်ပါတယ်။"},
-    {"category": "နည်းပညာ", "name": "Unicode Myanmar FAQ", "url": "https://www.unicode.org/faq/myanmar.html", "description": "Unicode Myanmar FAQ သည် မြန်မာ Unicode နဲ့ ပါတ်သတ်သည့် မေးလောက်များ ဖြေဆိုထားပါတယ်။"},
-    {"category": "ဆေးပညာ", "name": "WHO Myanmar", "url": "https://www.who.int/myanmar", "description": "WHO Myanmar သည် ကမ္ဘာ့ကျန်းမာရေးအဖွဲ့ မြန်မာဌာန ဖြစ်ပါတယ်။"},
-    {"category": "ဆေးပညာ", "name": "Myanmar Health Journal", "url": "https://www.myanmarhealthjournal.org/", "description": "Myanmar Health Journal သည် မြန်မာနိုင်ငံရဲ့ ကျန်းမာရေး သတင်းများ ပါဝင်ပပါတယ်။"}
+    {"category": "သတင်း", "name": "BBC မြန်မာ", "url": "https://www.bbc.com/burmese", "description": "နိုင်ငံတကာနှင့် ပြည်တွင်းသတင်းများ။"},
+    {"category": "သတင်း", "name": "DVB", "url": "https://burmese.dvb.no/", "description": "ဒီဗွီဘီ မြန်မာသတင်းများ။"},
+    {"category": "ပညာရေး", "name": "BurmeseTutor", "url": "https://burmesetutor.com/", "description": "မြန်မာစာ သင်ယူနည်း လေ့လာရန်။"},
+    {"category": "နည်းပညာ", "name": "Unicode Myanmar", "url": "https://www.unicode.org/faq/myanmar.html", "description": "မြန်မာ ယူနီကုဒ် အကြောင်း။"},
+    {"category": "ကျန်းမာရေး", "name": "WHO Myanmar", "url": "https://www.who.int/myanmar", "description": "ကမ္ဘာ့ကျန်းမာရေးအဖွဲ့ မြန်မာဌာန။"}
 ]
 
-# Load datasets from Hugging Face
+# --- ၂။ Dataset Loading ---
+chat_pairs = []
 try:
-    dataset = load_dataset("amkyawdev/AmkyawDev-Dataset")
-    train_data = dataset["train"]
-    all_tags = set()
-    for item in train_data:
-        if "tags" in item:
-            all_tags.add(item["tags"])
-        if "category" in item:
-            all_tags.add(item["category"])
-    label_names = list(all_tags) if all_tags else ["greeting", "coding", "translation", "conversation", "general", "math"]
+    # သင့် Dataset မှ Chat Pairs များကို ဆွဲယူခြင်း
+    dataset = load_dataset("amkyawdev/AmkyawDev-Dataset", split="train", trust_remote_code=True)
+    for item in dataset:
+        if "input" in item and "output" in item:
+            chat_pairs.append((item["input"], item["output"]))
+    print(f"Loaded {len(chat_pairs)} pairs from dataset.")
 except Exception as e:
-    print(f"Error loading dataset: {e}")
-    label_names = ["greeting", "coding", "translation", "conversation", "general", "math"]
-
-LABELS = label_names
-
-# Load chat data
-chat_pairs = []
-chat_tags = []
-
-def load_chat_data():
-    global chat_pairs, chat_tags
-    chat_pairs = []
-    chat_tags = []
-    try:
-        for split in ["train.jsonl", "validation.jsonl", "test.jsonl"]:
-            chat_dataset = load_dataset("amkyawdev/AmkyawDev-Dataset", data_files=split)
-            chat_data = list(chat_dataset["train"])
-            for item in chat_data:
-                if "input" in item and "output" in item:
-                    user_msg = item.get("input", "")
-                    assistant_msg = item.get("output", "")
-                    if user_msg and assistant_msg:
-                        chat_pairs.append((user_msg, assistant_msg))
-                        chat_tags.append(item.get("category", "other"))
-        print(f"Loaded {len(chat_pairs)} chat pairs from dataset")
-    except Exception as e:
-        print(f"Error loading chat data: {e}")
-
-load_chat_data()
+    print(f"Dataset loading error: {e}")
 
-# Website search function
+# --- ၃။ Helper Functions (Search & Scrape) ---
 def search_websites(query):
-    results = []
-    query_lower = query.lower()
-    
-    for site in WEBSITE_DATASET:
-        if (query_lower in site["category"].lower() or 
-            query_lower in site["name"].lower() or 
-            query_lower in site["description"].lower()):
-            results.append(site)
-    
-    if not results:
-        keywords = query_lower.split()
-        for site in WEBSITE_DATASET:
-            for keyword in keywords:
-                if (keyword in site["category"].lower() or 
-                    keyword in site["name"].lower()):
-                    if site not in results:
-                        results.append(site)
-    
-    return results
+    query = query.lower()
+    return [site for site in WEBSITE_DATASET if query in site['name'].lower() or query in site['category']]
 
-def fetch_website_content(url):
-    """Fetch content from a website"""
+def fetch_content(url):
     try:
-        headers = {"User-Agent": "Mozilla/5.0"}
-        response = requests.get(url, headers=headers, timeout=15)
-        
-        if response.status_code == 200:
-            soup = BeautifulSoup(response.text, 'html.parser')
+        res = requests.get(url, timeout=10, headers={"User-Agent": "Mozilla/5.0"})
+        if res.status_code == 200:
+            soup = BeautifulSoup(res.text, 'html.parser')
+            for s in soup(["script", "style"]): s.decompose()
+            return soup.get_text()[:2000] # စာလုံးရေ ၂၀၀၀ ခန့်သာ ယူမည်
+        return "ဝက်ဘ်ဆိုက်ကို ဖတ်၍မရပါ။"
+    except: return "ချိတ်ဆက်မှု အမှားအယွင်းရှိပါသည်။"
+
+# --- ၄။ Core AI Logic ---
+def chat_with_ai(user_input, history):
+    if not user_input.strip():
+        return "စာသားတစ်ခုခု ရေးသားပေးပါ။"
+
+    # A. ဝက်ဘ်ဆိုက် ရှာဖွေမှု ရှိမရှိ စစ်ဆေးခြင်း
+    web_keywords = ["website", "ဝက်ဘ်ဆိုင်း", "ရှာပေး", "link"]
+    if any(k in user_input.lower() for k in web_keywords):
+        results = search_websites(user_input)
+        if results:
+            site = results[0]
+            content = fetch_content(site['url'])
+            return f"🌐 {site['name']} မှ အချက်အလက်များ:\n\n{content}"
+
+    # B. Dataset ထဲတွင် တိုက်ရိုက်တူညီမှု ရှိမရှိ စစ်ဆေးခြင်း (Similarity Threshold: 0.8)
+    for pattern, response in chat_pairs:
+        if SequenceMatcher(None, user_input, pattern).ratio() > 0.8:
+            return response
+
+    # C. Groq AI (Llama 3.1) ကို ခေါ်ယူခြင်း
+    if client:
+        try:
+            system_msg = "You are AmkyawDev NLP AI. Respond clearly in Myanmar Unicode. If you don't know, say so. Avoid nonsense."
+            messages = [{"role": "system", "content": system_msg}]
             
-            for script in soup(["script", "style", "nav", "footer", "header"]):
-                script.decompose()
+            # History ထည့်သွင်းခြင်း (နောက်ဆုံး ၃ ကြိမ်စာ)
+            for h_user, h_bot in history[-3:]:
+                messages.append({"role": "user", "content": h_user})
+                messages.append({"role": "assistant", "content": h_bot})
             
-            title = soup.title.string if soup.title else "ခေါင်းစဉ်မရှိပါ။"
-            text = soup.get_text()
-            lines = (line.strip() for line in text.splitlines())
-            chunks = (phrase.strip() for line in lines for phrase in line.split("  "))
-            text = ' '.join(chunk for chunk in chunks if chunk)
+            messages.append({"role": "user", "content": user_input})
             
-            return f"📌 {title}\n\n{text[:3000]}"
-        
-        return "ဝက်ဘ်ဆိုင်းကို ဖတ်လို့မရပါ။"
-    
-    except Exception as e:
-        return f"အမှားဖြစ်ပါတယ်: {str(e)}"
-
-def get_website_info(query):
-    results = search_websites(query)
-    
-    if not results:
-        return None
-    
-    response = "📱 ရှာဖွေလိုက်တဲ့ ဝက်ဘ်ဆိုင်းများ:\n\n"
+            chat_completion = client.chat.completions.create(
+                messages=messages,
+                model="llama-3.1-8b-instant",
+                temperature=0.6, # Logic ပိုမှန်စေရန် 0.6 ခန့်ထားပါ
+            )
+            return chat_completion.choices[0].message.content
+        except Exception as e:
+            return f"AI Error: {str(e)}"
+
+    return "တောင်းပန်ပါတယ်၊ အဖြေရှာမတွေ့ပါဘူး။"
+
+# --- ၅။ UI Design (Gradio Blocks) ---
+with gr.Blocks(theme=gr.themes.Soft(), title="AmkyawDev NLP") as demo:
+    gr.Markdown("# 🇲🇲 AmkyawDev NLP Assistant")
+    gr.Markdown("Dataset + Web Search + Llama-3.1-8B Hybrid AI System")
     
-    for i, site in enumerate(results, 1):
-        response += f"{i}. 🌐 {site['name']}\n"
-        response += f"   📂 အမျိုးအစား: {site['category']}\n"
-        response += f"   🔗 URL: {site['url']}\n"
-        response += f"   📝 ဖော်ပြချက်: {site['description']}\n\n"
-    
-    # Fetch content from first website
-    if results:
-        response += "━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\n"
-        response += f"📖 {results[0]['name']} မှ ဖတ်လိုက်တဲ့ အရာ:\n\n"
-        content = fetch_website_content(results[0]['url'])
-        response += content
-    
-    return response
-
-# System prompt for Groq API
-SYSTEM_PROMPT = """သင်သည် AmkyawDev မှ ဖန်တီးထားသော မြန်မာ AI Assistant တစ်ဦးဖြစ်ပါသည်။ အောက်ပါ လမ်းညွှန်ချက်များအတိုင်း တိကျစွာ အလုပ်လုပ်ပေးပါ။
-
-၁။ နုတ်ဆက်ခြင်းနှင့် လေသံ (Identity & Tone):
-- ယဉ်ကျေးပျူငှာပြီး နွေးထွေးဖော်ရွေသော စကားပြော လေသံကို သုံးပါ။
-- 'AmkyawDev' ၏ ကိုယ်စားလှယ်အဖြစ် မိမိကိုယ်ကို သိမှတ်ပြီး အကူအညီပေးပါ။
-
-၂။ အချက်အလက် ရှာဖွေခြင်း (Data Retrieval):
-- အကယ်၍ ဝက်ဆိုက် (သို့မဟုတ်) Dataset အချက်အလက်များ ပါဝင်လာပါက ထိုအချက်အလက်များကို ဦးစားပေး ဖတ်ရှုပြီး ဖြေကြားပါ။
-- Dataset တွင် မပါရှိသော အကြောင်းအရာများကို မေးမြန်းပါက သင်၏ ကိုယ်ပိုင်အသိဉာဏ် (General Knowledge) ကို အသုံးပြု၍ ဖြေကြားပေးပါ၊ သို့သော် Dataset တွင် မပါဝင်ကြောင်းကို သိမ်မွေ့စွာ အသိပေးပါ။
-
-၃။ ဘာသာပြန်ခြင်း (Translation):
-- အခြားဘာသာစကားမှ မြန်မာဘာသာသို့ ပြန်ဆိုရာတွင် တိုက်ရိုက်အဓိပ္ပာယ်ထက် မြန်မာစကားအသုံးအနှုန်း ဆီလျော်မှုရှိစေရန် (Contextual Translation) ကို အလေးထားပါ။
-
-၄။ စာရေးသားမှု စံနှုန်း (Formatting & Spelling):
-- မြန်မာစာလုံးပေါင်း သတ်ပုံကို အမှန်ကန်ဆုံးဖြစ်အောင် ဂရုစိုက်ပါ။
-- အဖြေများကို ဖတ်ရလွယ်ကူစေရန် Bullet points သို့မဟုတ် နံပါတ်စဉ်များဖြင့် စနစ်တကျ စီစဉ်ပေးပါ။
-
-၅။ ကန့်သတ်ချက် (Constraint):
-- မေးခွန်းနှင့် မသက်ဆိုင်သော အပိုစာသားများကို ရှောင်ကြဉ်ပြီး မေးခွန်း၏ လိုရင်းကိုသာ အဓိကထား ဖြေကြားပါ။"""
-
-# GROQ API integration (direct requests)
-def call_groq(prompt):
-    """Call GROQ API directly"""
-    if not GROQ_API_KEY:
-        return None
-
-    try:
-        import requests
-        url = "https://api.groq.com/openai/v1/chat/completions"
-        headers = {
-            "Authorization": f"Bearer {GROQ_API_KEY}",
-            "Content-Type": "application/json"
-        }
-        data = {
-            "model": "llama-3.1-8b-instant",
-            "messages": [
-                {"role": "system", "content": SYSTEM_PROMPT},
-                {"role": "user", "content": prompt}
-            ],
-            "temperature": 0.7,
-            "max_tokens": 500
-        }
-        response = requests.post(url, headers=headers, json=data, timeout=30)
-        if response.status_code == 200:
-            result = response.json()
-            return result["choices"][0]["message"]["content"]
-        else:
-            print(f"GROQ API error: {response.status_code}")
-            return None
-    except Exception as e:
-        print(f"Error calling GROQ: {e}")
-        return None
-
-# Fallback responses
-fallback_responses = {
-    "သတင်း": "သတင်းသည်သင်တန်းစာသင်ပါး။ နိုင်ငံတော်သမိုင်းနဲ့ရေးသားပါ။",
-    "ကဗျာ": "မြန်မာကဗျာ ရေးလိုက်ပါ။ အိပ်မက်မှာ ပါ။ အကျယ်ပြန့်စွာ ရှိပါ။",
-    "ဆေး": "ဆေးပပါး ဘာသာပါ။ ဆရာဝန်နဲ့ သွားကြည့်ပါ။",
-    "ပညာ": "ပညာ သင်လိုက်ပါ။ သင်ယူခွင့် ပါ။ ကျောင်းသားများ ပါ။",
-    "ဘာသာ": "ဘာသာစာသင်၊ ပါ။ သတင်း ပါ။",
-    "စကား": "စကား ခွဲပါ။ ဖြေချက် ပါ။",
-    "မိတ်ဆွေ": "မိတ်ဆွေများနဲ့ စကား ပြောပါ။",
-    "နေကောင်း": "နေကောင်းပါတယ်ခင်ဗျာ။ ဘာများကူညီပေးရမလဲ။",
-}
-
-def chat_response(user_input):
-    """Chat response using chat pairs (Dataset), then GROQ API, then fallback"""
-    if not user_input or len(user_input.strip()) == 0:
-        return "ပါသည်ကို ရေးပါ။"
-
-    user_input_lower = user_input.lower()
-    
-    # Check if user is asking about websites
-    website_keywords = ["website", "ဝက်ဘ်ဆိုင်း", "web site", "url", "link", "search", "find", "ရှာ", "ရှာပ", "ဖတ်"]
-    is_website_query = any(keyword in user_input_lower for keyword in website_keywords)
-    
-    if is_website_query:
-        website_info = get_website_info(user_input)
-        if website_info:
-            return website_info
-
-    # ၁။ Dataset မှာ ရှာပါ။
-    best_match = None
-    best_score = 0
-    threshold = 0.3
-
-    for pattern, response in chat_pairs:
-        score = SequenceMatcher(None, user_input, pattern).ratio()
-        if score > best_score:
-            best_score = score
-            best_match = response
-
-    if best_match and best_score >= threshold:
-        return best_match
-
-    # ၂။ GROQ API သုံးပါ။
-    if GROQ_API_KEY:
-        groq_response = call_groq(user_input)
-        if groq_response:
-            return groq_response
-
-    # ၃။ Fallback
-    for key, response in fallback_responses.items():
-        if key in user_input_lower:
-            return response
-
-    return "နောက်မှာ ပြန်လာပါ။"
-
-def simple_classify(text):
-    text_lower = text.lower()
-    keywords = {
-        "greeting": ["နေကောင်း", "ဟောက်", "မင်္ဂလာ", "မှား", "ဟိုင်း"],
-        "coding": ["python", "javascript", "html", "css", "java", "code", "ကုဒ်"],
-        "translation": ["ပြန်", "ဘာသာပြန်"],
-        "conversation": ["စကား", "ပြော"],
-        "general": ["သတင်း", "ဘာလဲ", "��ှိလဲ"],
-        "math": ["ပါ", "နှုန်း", "သင်္ချာ"]
-    }
-    scores = {}
-    for label, kws in keywords.items():
-        score = sum(1 for kw in kws if kw in text_lower)
-        scores[label] = score
-    predicted = max(scores, key=scores.get) if max(scores.values()) > 0 else "other"
-    return predicted
-
-def predict(text):
-    if not text or len(text.strip()) == 0:
-        return {"error": "Please enter some text"}
-    label = simple_classify(text)
-    return {"text": text[:100] + "..." if len(text) > 100 else text, "label": label, "confidence": 0.85}
-
-# Gradio UI
-with gr.Blocks(title="AmkyawDev NLP") as demo:
-    gr.Markdown("## 🇲🇲 AmkyawDev NLP - Myanmar Language AI")
-    gr.Markdown(f"### Categories: {', '.join(LABELS)}")
-    gr.Markdown(f"### Chat pairs: {len(chat_pairs)} | Websites: {len(WEBSITE_DATASET)}")
+    chatbot = gr.Chatbot(label="Chat History", bubble_full_width=False)
+    msg = gr.Textbox(label="မေးခွန်းရေးရန်", placeholder="မင်္ဂလာပါ...")
     
-    if GROQ_API_KEY:
-        gr.Markdown("### 🔥 Groq AI - Enabled (Llama 3.1 8B)")
-    else:
-        gr.Markdown("### ⚠️ Groq API Key not set")
+    with gr.Row():
+        submit = gr.Button("Send", variant="primary")
+        clear = gr.Button("Clear")
 
-    with gr.Tab("📊 Classification"):
-        input_text = gr.Textbox(label="Enter Myanmar Text", lines=5)
-        output = gr.JSON(label="Prediction Result")
-        submit_btn = gr.Button("Predict")
-        submit_btn.click(predict, input_text, output)
+    def user_msg(user_message, history):
+        # အဖြေထုတ်ပေးခြင်း
+        bot_response = chat_with_ai(user_message, history)
+        history.append((user_message, bot_response))
+        return "", history
 
-    with gr.Tab("💬 Chat"):
-        gr.Markdown("### 💬 Chat - ဝက်ဘ်ဆိုင်းအကြောင်း မေးလိုက်ပါက ရှာပြီး ဖတ်ပါတယ်။")
-        chatbot = gr.Chatbot()
-        msg = gr.Textbox(label="Your Message", lines=2)
-        send_btn = gr.Button("Send")
-        clear_btn = gr.Button("Clear")
-        
-        def respond(message, history):
-            if not message:
-                return "", history or []
-            response = chat_response(message)
-            if history is None:
-                history = []
-            history.append({"role": "user", "content": [{"text": message, "type": "text"}]})
-            history.append({"role": "assistant", "content": [{"text": response, "type": "text"}]})
-            return "", history
-        
-        send_btn.click(respond, [msg, chatbot], [msg, chatbot])
-        msg.submit(respond, [msg, chatbot], [msg, chatbot])
-        clear_btn.click(lambda: [], None, chatbot)
+    msg.submit(user_msg, [msg, chatbot], [msg, chatbot])
+    submit.click(user_msg, [msg, chatbot], [msg, chatbot])
+    clear.click(lambda: None, None, chatbot, queue=False)
 
 if __name__ == "__main__":
-    demo.launch()
+    demo.launch()
+