Update app.py

app.py

@@ -1,115 +1,311 @@
-import gradio as gr
+Import gradio as gr
 from datasets import load_dataset
 import os
 import requests
 from bs4 import BeautifulSoup
 from difflib import SequenceMatcher
-from groq import Groq
 
-# API Key ကို Hugging Face Settings -> Secrets ထဲမှာ GROQ_API_KEY ဆိုပြီး ထည့်ထားရပါမယ်
+
+# Load GROQ API Key from secrets
 GROQ_API_KEY = os.environ.get("GROQ_API_KEY", "")
-client = Groq(api_key=GROQ_API_KEY) if GROQ_API_KEY else None
 
-# --- ၁။ Website Database ---
+# Myanmar websites database
 WEBSITE_DATASET = [
-    {"category": "သတင်း", "name": "BBC မြန်မာ", "url": "https://www.bbc.com/burmese", "description": "နိုင်ငံတကာနှင့် ပြည်တွင်းသတင်းများ။"},
-    {"category": "သတင်း", "name": "DVB", "url": "https://burmese.dvb.no/", "description": "ဒီဗွီဘီ မြန်မာသတင်းများ။"},
-    {"category": "ပညာရေး", "name": "BurmeseTutor", "url": "https://burmesetutor.com/", "description": "မြန်မာစာ သင်ယူနည်း လေ့လာရန်။"},
-    {"category": "နည်းပညာ", "name": "Unicode Myanmar", "url": "https://www.unicode.org/faq/myanmar.html", "description": "မြန်မာ ယူနီကုဒ် အကြောင်း။"},
-    {"category": "ကျန်းမာရေး", "name": "WHO Myanmar", "url": "https://www.who.int/myanmar", "description": "ကမ္ဘာ့ကျန်းမာရေးအဖွဲ့ မြန်မာဌာန။"}
+    {"category": "သတင်း", "name": "BBC မြန်မာ", "url": "https://www.bbc.com/burmese", "description": "နိုင်ငံတကာ သတင်းများကို မြန်မာလို ဖြေဆိုပါတယ်။"},
+    {"category": "သတင်း", "name": "Radio Free Asia", "url": "https://www.rfa.org/burmese/", "description": "RFA သည် မြန်မာပါဝင်ပပါတယ်။"},
+    {"category": "သတင်း", "name": "Democratic Voice of Burma", "url": "https://burmese.dvb.no/", "description": "DVB သည် မြန်မာသတင်း ဝက်ဘ်ဆိုင်း ဖြစ်ပါတယ်။"},
+    {"category": "သတင်း", "name": "Myanmar Times", "url": "https://myanmar-times.com/", "description": "Myanmar Times သည် မြန်မာနိုင်ငံရဲ့ သတင်းစာပါ။"},
+    {"category": "ပညာရေး", "name": "SEAsite Burmese", "url": "https://seasite.niu.edu/Burmese/", "description": "Northern Illinois University မှာရှိတဲ့ မြန်မာစာ၊ စာပေ နှင့် ယဉ်ကျေးမှု သင်တဲ့ ဌာန ဖြစ်ပါတယ်။"},
+    {"category": "ပညာရေး", "name": "Omniglot Burmese", "url": "https://www.omniglot.com/writing/burmese.htm", "description": "Omniglot သည် မြန်မာအက္ခရာနှင့် စာပေအောက်ငါးပါးသင်တဲ့ ဝက်ဘ်ဆိုင်း ဖြစ်ပါတယ်။"},
+    {"category": "ပညာရေး", "name": "BurmeseTutor", "url": "https://burmesetutor.com/", "description": "BurmeseTutor သည် မြန်မာစာ သင်ယူနည်း ပြည့်စုံသော ဝက်ဘ်ဆိုင်း ဖြစ်ပါတယ်။"},
+    {"category": "ယဉ်ကျေးမှု", "name": "Burmese Classic", "url": "https://burmeseclassic.com/", "description": "Burmese Classic သည် မြန်မာ ရုပ်ရှင်း၊ သီချင်း၊ မဂ်ဖိုလ်၊ နက္ခတ်များ ပါဝင်ပပါတယ်။"},
+    {"category": "ယဉ်ကျေးမှု", "name": "Buddhist Myanmar", "url": "https://www.buddhistmyanmar.org/", "description": "Buddhist Myanmar သည် ဗုဒ္ဓဘာသာ မြန်မာ ဝက်ဘ်ဆိုင်း ဖြစ်ပါတယ်။"},
+    {"category": "နည်းပညာ", "name": "Unicode Myanmar FAQ", "url": "https://www.unicode.org/faq/myanmar.html", "description": "Unicode Myanmar FAQ သည် မြန်မာ Unicode နဲ့ ပါတ်သတ်သည့် မေးလောက်များ ဖြေဆိုထားပါတယ်။"},
+    {"category": "ဆေးပညာ", "name": "WHO Myanmar", "url": "https://www.who.int/myanmar", "description": "WHO Myanmar သည် ကမ္ဘာ့ကျန်းမာရေးအဖွဲ့ မြန်မာဌာန ဖြစ်ပါတယ်။"},
+    {"category": "ဆေးပညာ", "name": "Myanmar Health Journal", "url": "https://www.myanmarhealthjournal.org/", "description": "Myanmar Health Journal သည် မြန်မာနိုင်ငံရဲ့ ကျန်းမာရေး သတင်းများ ပါဝင်ပပါတယ်။"}
 ]
 
-# --- ၂။ Dataset Loading ---
-chat_pairs = []
+# Load datasets from Hugging Face
 try:
-    # သင့် Dataset မှ Chat Pairs များကို ဆွဲယူခြင်း
-    dataset = load_dataset("amkyawdev/AmkyawDev-Dataset", split="train", trust_remote_code=True)
-    for item in dataset:
-        if "input" in item and "output" in item:
-            chat_pairs.append((item["input"], item["output"]))
-    print(f"Loaded {len(chat_pairs)} pairs from dataset.")
+    dataset = load_dataset("amkyawdev/AmkyawDev-Dataset")
+    train_data = dataset["train"]
+    all_tags = set()
+    for item in train_data:
+        if "tags" in item:
+            all_tags.add(item["tags"])
+        if "category" in item:
+            all_tags.add(item["category"])
+    label_names = list(all_tags) if all_tags else ["greeting", "coding", "translation", "conversation", "general", "math"]
 except Exception as e:
-    print(f"Dataset loading error: {e}")
+    print(f"Error loading dataset: {e}")
+    label_names = ["greeting", "coding", "translation", "conversation", "general", "math"]
 
-# --- ၃။ Helper Functions (Search & Scrape) ---
-def search_websites(query):
-    query = query.lower()
-    return [site for site in WEBSITE_DATASET if query in site['name'].lower() or query in site['category']]
+LABELS = label_names
 
-def fetch_content(url):
+# Load chat data
+chat_pairs = []
+chat_tags = []
+
+def load_chat_data():
+    global chat_pairs, chat_tags
+    chat_pairs = []
+    chat_tags = []
     try:
-        res = requests.get(url, timeout=10, headers={"User-Agent": "Mozilla/5.0"})
-        if res.status_code == 200:
-            soup = BeautifulSoup(res.text, 'html.parser')
-            for s in soup(["script", "style"]): s.decompose()
-            return soup.get_text()[:2000] # စာလုံးရေ ၂၀၀၀ ခန့်သာ ယူမည်
-        return "ဝက်ဘ်ဆိုက်ကို ဖတ်၍မရပါ။"
-    except: return "ချိတ်ဆက်မှု အမှားအယွင်းရှိပါသည်။"
-
-# --- ၄။ Core AI Logic ---
-def chat_with_ai(user_input, history):
-    if not user_input.strip():
-        return "စာသားတစ်ခုခု ရေးသားပေးပါ။"
-
-    # A. ဝက်ဘ်ဆိုက် ရှာဖွေမှု ရှိမရှိ စစ်ဆေးခြင်း
-    web_keywords = ["website", "ဝက်ဘ်ဆိုင်း", "ရှာပေး", "link"]
-    if any(k in user_input.lower() for k in web_keywords):
-        results = search_websites(user_input)
-        if results:
-            site = results[0]
-            content = fetch_content(site['url'])
-            return f"🌐 {site['name']} မှ အချက်အလက်များ:\n\n{content}"
-
-    # B. Dataset ထဲတွင် တိုက်ရိုက်တူညီမှု ရှိမရှိ စစ်ဆေးခြင်း (Similarity Threshold: 0.8)
-    for pattern, response in chat_pairs:
-        if SequenceMatcher(None, user_input, pattern).ratio() > 0.8:
-            return response
+        for split in ["train.jsonl", "validation.jsonl", "test.jsonl"]:
+            chat_dataset = load_dataset("amkyawdev/AmkyawDev-Dataset", data_files=split)
+            chat_data = list(chat_dataset["train"])
+            for item in chat_data:
+                if "input" in item and "output" in item:
+                    user_msg = item.get("input", "")
+                    assistant_msg = item.get("output", "")
+                    if user_msg and assistant_msg:
+                        chat_pairs.append((user_msg, assistant_msg))
+                        chat_tags.append(item.get("category", "other"))
+        print(f"Loaded {len(chat_pairs)} chat pairs from dataset")
+    except Exception as e:
+        print(f"Error loading chat data: {e}")
+
+load_chat_data()
+
+# Website search function
+def search_websites(query):
+    results = []
+    query_lower = query.lower()
+    
+    for site in WEBSITE_DATASET:
+        if (query_lower in site["category"].lower() or 
+            query_lower in site["name"].lower() or 
+            query_lower in site["description"].lower()):
+            results.append(site)
+    
+    if not results:
+        keywords = query_lower.split()
+        for site in WEBSITE_DATASET:
+            for keyword in keywords:
+                if (keyword in site["category"].lower() or 
+                    keyword in site["name"].lower()):
+                    if site not in results:
+                        results.append(site)
+    
+    return results
 
-    # C. Groq AI (Llama 3.1) ကို ခေါ်ယူခြင်း
-    if client:
-        try:
-            system_msg = "You are AmkyawDev NLP AI. Respond clearly in Myanmar Unicode. If you don't know, say so. Avoid nonsense."
-            messages = [{"role": "system", "content": system_msg}]
+def fetch_website_content(url):
+    """Fetch content from a website"""
+    try:
+        headers = {"User-Agent": "Mozilla/5.0"}
+        response = requests.get(url, headers=headers, timeout=15)
+        
+        if response.status_code == 200:
+            soup = BeautifulSoup(response.text, 'html.parser')
             
-            # History ထည့်သွင်းခြင်း (နောက်ဆုံး ၃ ကြိမ်စာ)
-            for h_user, h_bot in history[-3:]:
-                messages.append({"role": "user", "content": h_user})
-                messages.append({"role": "assistant", "content": h_bot})
+            for script in soup(["script", "style", "nav", "footer", "header"]):
+                script.decompose()
             
-            messages.append({"role": "user", "content": user_input})
+            title = soup.title.string if soup.title else "ခေါင်းစဉ်မရှိပါ။"
+            text = soup.get_text()
+            lines = (line.strip() for line in text.splitlines())
+            chunks = (phrase.strip() for line in lines for phrase in line.split("  "))
+            text = ' '.join(chunk for chunk in chunks if chunk)
             
-            chat_completion = client.chat.completions.create(
-                messages=messages,
-                model="llama-3.1-8b-instant",
-                temperature=0.6, # Logic ပိုမှန်စေရန် 0.6 ခန့်ထားပါ
-            )
-            return chat_completion.choices[0].message.content
-        except Exception as e:
-            return f"AI Error: {str(e)}"
-
-    return "တောင်းပန်ပါတယ်၊ အဖြေရှာမတွေ့ပါဘူး။"
-
-# --- ၅။ UI Design (Gradio Blocks) ---
-with gr.Blocks(theme=gr.themes.Soft(), title="AmkyawDev NLP") as demo:
-    gr.Markdown("# 🇲🇲 AmkyawDev NLP Assistant")
-    gr.Markdown("Dataset + Web Search + Llama-3.1-8B Hybrid AI System")
+            return f"📌 {title}\n\n{text[:3000]}"
+        
+        return "ဝက်ဘ်ဆိုင်းကို ဖတ်လို့မရပါ။"
+    
+    except Exception as e:
+        return f"အမှားဖြစ်ပါတယ်: {str(e)}"
+
+def get_website_info(query):
+    results = search_websites(query)
+    
+    if not results:
+        return None
+    
+    response = "📱 ရှာဖွေလိုက်တဲ့ ဝက်ဘ်ဆိုင်းများ:\n\n"
     
-    chatbot = gr.Chatbot(label="Chat History", bubble_full_width=False)
-    msg = gr.Textbox(label="မေးခွန်းရေးရန်", placeholder="မင်္ဂလာပါ...")
+    for i, site in enumerate(results, 1):
+        response += f"{i}. 🌐 {site['name']}\n"
+        response += f"   📂 အမျိုးအစား: {site['category']}\n"
+        response += f"   🔗 URL: {site['url']}\n"
+        response += f"   📝 ဖော်ပြချက်: {site['description']}\n\n"
     
-    with gr.Row():
-        submit = gr.Button("Send", variant="primary")
-        clear = gr.Button("Clear")
-
-    def user_msg(user_message, history):
-        # အဖြေထုတ်ပေးခြင်း
-        bot_response = chat_with_ai(user_message, history)
-        history.append((user_message, bot_response))
-        return "", history
-
-    msg.submit(user_msg, [msg, chatbot], [msg, chatbot])
-    submit.click(user_msg, [msg, chatbot], [msg, chatbot])
-    clear.click(lambda: None, None, chatbot, queue=False)
+    # Fetch content from first website
+    if results:
+        response += "━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\n"
+        response += f"📖 {results[0]['name']} မှ ဖတ်လိုက်တဲ့ အရာ:\n\n"
+        content = fetch_website_content(results[0]['url'])
+        response += content
+    
+    return response
+
+# System prompt for Groq API
+SYSTEM_PROMPT = """သင်သည် AmkyawDev မှ ဖန်တီးထားသော မြန်မာ AI Assistant တစ်ဦးဖြစ်ပါသည်။ အောက်ပါ လမ်းညွှန်ချက်များအတိုင်း တိကျစွာ အလုပ်လုပ်ပေးပါ။
+
+၁။ နုတ်ဆက်ခြင်းနှင့် လေသံ (Identity & Tone):
+- ယဉ်ကျေးပျူငှာပြီး နွေးထွေးဖော်ရွေသော စကားပြော လေသံကို သုံးပါ။
+- 'AmkyawDev' ၏ ကိုယ်စားလှယ်အဖြစ် မိမိကိုယ်ကို သိမှတ်ပြီး အကူအညီပေးပါ။
+
+၂။ အချက်အလက် ရှာဖွေခြင်း (Data Retrieval):
+- အကယ်၍ ဝက်ဆိုက် (သို့မဟုတ်) Dataset အချက်အလက်များ ပါဝင်လာပါက ထိုအချက်အလက်များကို ဦးစားပေး ဖတ်ရှုပြီး ဖြေကြားပါ။
+- Dataset တွင် မပါရှိသော အကြောင်းအရာများကို မေးမြန်းပါက သင်၏ ကိုယ်ပိ���င်အသိဉာဏ် (General Knowledge) ကို အသုံးပြု၍ ဖြေကြားပေးပါ၊ သို့သော် Dataset တွင် မပါဝင်ကြောင်းကို သိမ်မွေ့စွာ အသိပေးပါ။
+
+၃။ ဘာသာပြန်ခြင်း (Translation):
+- အခြားဘာသာစကားမှ မြန်မာဘာသာသို့ ပြန်ဆိုရာတွင် တိုက်ရိုက်အဓိပ္ပာယ်ထက် မြန်မာစကားအသုံးအနှုန်း ဆီလျော်မှုရှိစေရန် (Contextual Translation) ကို အလေးထားပါ။
+
+၄။ စာရေးသားမှု စံနှုန်း (Formatting & Spelling):
+- မြန်မာစာလုံးပေါင်း သတ်ပုံကို အမှန်ကန်ဆုံးဖြစ်အောင် ဂရုစိုက်ပါ။
+- အဖြေများကို ဖတ်ရလွယ်ကူစေရန် Bullet points သို့မဟုတ် နံပါတ်စဉ်များဖြင့် စနစ်တကျ စီစဉ်ပေးပါ။
+
+၅။ ကန့်သတ်ချက် (Constraint):
+- မေးခွန်းနှင့် မသက်ဆိုင်သော အပိုစာသားများကို ရှောင်ကြဉ်ပြီး မေးခွန်း၏ လိုရင်းကိုသာ အဓိကထား ဖြေကြားပါ။"""
+
+# GROQ API integration (direct requests)
+def call_groq(prompt):
+    """Call GROQ API directly"""
+    if not GROQ_API_KEY:
+        return None
+
+    try:
+        import requests
+        url = "https://api.groq.com/openai/v1/chat/completions"
+        headers = {
+            "Authorization": f"Bearer {GROQ_API_KEY}",
+            "Content-Type": "application/json"
+        }
+        data = {
+            "model": "llama-3.1-8b-instant",
+            "messages": [
+                {"role": "system", "content": SYSTEM_PROMPT},
+                {"role": "user", "content": prompt}
+            ],
+            "temperature": 0.7,
+            "max_tokens": 500
+        }
+        response = requests.post(url, headers=headers, json=data, timeout=30)
+        if response.status_code == 200:
+            result = response.json()
+            return result["choices"][0]["message"]["content"]
+        else:
+            print(f"GROQ API error: {response.status_code}")
+            return None
+    except Exception as e:
+        print(f"Error calling GROQ: {e}")
+        return None
+
+# Fallback responses
+fallback_responses = {
+    "သတင်း": "သတင်းသည်သင်တန်းစာသင်ပါး။ နိုင်ငံတော်သမိုင်းနဲ့ရေးသားပါ။",
+    "ကဗျာ": "မြန်မာကဗျာ ရေးလိုက်ပါ။ အိပ်မက်မှာ ပါ။ အကျယ်ပြန့်စွာ ရှိပါ။",
+    "ဆေး": "ဆေးပပါး ဘာသာပါ။ ဆရာဝန်နဲ့ သွားကြည့်ပါ။",
+    "ပညာ": "ပညာ သင်လိုက်ပါ။ သင်ယူခွင့် ပါ။ ကျောင်းသားများ ပါ။",
+    "ဘာသာ": "ဘာသာစာသင်၊ ပါ။ သတင်း ပါ။",
+    "စကား": "စကား ခွဲပါ။ ဖြေချက် ပါ။",
+    "မိတ်ဆွေ": "မိတ်ဆွေများနဲ့ စကား ပြောပါ။",
+    "နေကောင်း": "နေကောင်းပါတယ်ခင်ဗျာ။ ဘာများကူညီပေးရမလဲ။",
+}
+
+def chat_response(user_input):
+    """Chat response using chat pairs (Dataset), then GROQ API, then fallback"""
+    if not user_input or len(user_input.strip()) == 0:
+        return "ပါသည်ကို ရေးပါ။"
+
+    user_input_lower = user_input.lower()
+    
+    # Check if user is asking about websites
+    website_keywords = ["website", "ဝက်ဘ်ဆိုင်း", "web site", "url", "link", "search", "find", "ရှာ", "ရှာပ", "ဖတ်"]
+    is_website_query = any(keyword in user_input_lower for keyword in website_keywords)
+    
+    if is_website_query:
+        website_info = get_website_info(user_input)
+        if website_info:
+            return website_info
+
+    # ၁။ Dataset မှာ ရှာပါ။
+    best_match = None
+    best_score = 0
+    threshold = 0.3
+
+    for pattern, response in chat_pairs:
+        score = SequenceMatcher(None, user_input, pattern).ratio()
+        if score > best_score:
+            best_score = score
+            best_match = response
+
+    if best_match and best_score >= threshold:
+        return best_match
+
+    # ၂။ GROQ API သုံးပါ။
+    if GROQ_API_KEY:
+        groq_response = call_groq(user_input)
+        if groq_response:
+            return groq_response
+
+    # ၃။ Fallback
+    for key, response in fallback_responses.items():
+        if key in user_input_lower:
+            return response
+
+    return "နောက်မှာ ပြန်လာပါ။"
+
+def simple_classify(text):
+    text_lower = text.lower()
+    keywords = {
+        "greeting": ["နေကောင်း", "ဟောက်", "မင်္ဂလာ", "မှား", "ဟိုင်း"],
+        "coding": ["python", "javascript", "html", "css", "java", "code", "ကုဒ်"],
+        "translation": ["ပြန်", "ဘာသာပြန်"],
+        "conversation": ["စကား", "ပြော"],
+        "general": ["သတင်း", "ဘာလဲ", "ရှိလဲ"],
+        "math": ["ပါ", "နှုန်း", "သင်္ချာ"]
+    }
+    scores = {}
+    for label, kws in keywords.items():
+        score = sum(1 for kw in kws if kw in text_lower)
+        scores[label] = score
+    predicted = max(scores, key=scores.get) if max(scores.values()) > 0 else "other"
+    return predicted
+
+def predict(text):
+    if not text or len(text.strip()) == 0:
+        return {"error": "Please enter some text"}
+    label = simple_classify(text)
+    return {"text": text[:100] + "..." if len(text) > 100 else text, "label": label, "confidence": 0.85}
+
+# Gradio UI
+with gr.Blocks(title="AmkyawDev NLP") as demo:
+    gr.Markdown("## 🇲🇲 AmkyawDev NLP - Myanmar Language AI")
+    gr.Markdown(f"### Categories: {', '.join(LABELS)}")
+    gr.Markdown(f"### Chat pairs: {len(chat_pairs)} | Websites: {len(WEBSITE_DATASET)}")
+    
+    if GROQ_API_KEY:
+        gr.Markdown("### 🔥 Groq AI - Enabled (Llama 3.1 8B)")
+    else:
+        gr.Markdown("### ⚠️ Groq API Key not set")
+
+    with gr.Tab("📊 Classification"):
+        input_text = gr.Textbox(label="Enter Myanmar Text", lines=5)
+        output = gr.JSON(label="Prediction Result")
+        submit_btn = gr.Button("Predict")
+        submit_btn.click(predict, input_text, output)
+
+    with gr.Tab("💬 Chat"):
+        gr.Markdown("### 💬 Chat - ဝက်ဘ်ဆိုင်းအကြောင်း မေးလိုက်ပါက ရှာပြီး ဖတ်ပါတယ်။")
+        chatbot = gr.Chatbot()
+        msg = gr.Textbox(label="Your Message", lines=2)
+        send_btn = gr.Button("Send")
+        clear_btn = gr.Button("Clear")
+        
+        def respond(message, history):
+            if not message:
+                return "", history or []
+            response = chat_response(message)
+            if history is None:
+                history = []
+            history.append({"role": "user", "content": [{"text": message, "type": "text"}]})
+            history.append({"role": "assistant", "content": [{"text": response, "type": "text"}]})
+            return "", history
+        
+        send_btn.click(respond, [msg, chatbot], [msg, chatbot])
+        msg.submit(respond, [msg, chatbot], [msg, chatbot])
+        clear_btn.click(lambda: [], None, chatbot)
 
 if __name__ == "__main__":
     demo.launch()