Update Emma/app.py

Emma/app.py

@@ -1,95 +1,519 @@
-# -*- coding: utf-8 -*-
-import sys
 import os
+import sys
 import json
 import time
 import copy
-from datetime import datetime
+import logging
+import platform
 
-# --- 1. Dynamic Path Configuration (FIXED) ---
-# پیدا کردن مسیر نسبی برای اینکه روی هر سیستم عاملی کار کند
-CURRENT_DIR = os.path.dirname(os.path.abspath(__file__)) # پوشه utils
-BASE_DIR = os.path.dirname(CURRENT_DIR) # پوشه اصلی پروژه (Emma)
+# 1. ایمپورت‌ها
+import gradio as gr
+import nltk
+import torch
+import tiktoken
 
-# مسیر پوشه حافظه و فایل جیسون
-MEMORIES_DIR = os.path.join(BASE_DIR, "memories")
-MEMORY_FILE_PATH = os.path.join(MEMORIES_DIR, "update_memory_0512_eng.json")
+from openai import OpenAI as OpenAIClient
+from llama_index.embeddings.openai import OpenAIEmbedding
+from llama_index.llms.openai import OpenAI as LlamaIndexOpenAI
+from llama_index.core import Settings
+import torch.nn.functional as F
+from transformers import AutoTokenizer, AutoModelForSequenceClassification
 
-# ایجاد پوشه اگر وجود نداشته باشد
-os.makedirs(MEMORIES_DIR, exist_ok=True)
+# ==========================================
+# IMPORTANT: ایمپورت‌های متمرکز مدیریت حافظه
+# ==========================================
+from utils.memory_utils import load_memory, save_memory, enter_name_llamaindex
 
-print(f"✅ Memory System Initialized. Target Path: {MEMORY_FILE_PATH}")
+# تنظیم مسیرها
+prompt_path = os.path.join(os.path.dirname(os.path.abspath(__file__)), '../')
+sys.path.append(prompt_path)
 
-# --- 2. Safe Saving Function ---
-def save_json_safe(data, filepath):
-    """
-    ذخیره سازی ایمن داده‌ها در فرمت JSON.
-    ابتدا در یک فایل موقت می‌نویسد و سپس جایگزین می‌کند تا از خرابی فایل جلوگیری شود.
-    """
+# تلاش برای ایمپورت ماژول‌های داخلی
+try:
+    from utils.sys_args import data_args, model_args
+    from utils.app_modules.utils import *
+    from utils.app_modules.presets import *
+    from utils.app_modules.overwrites import *
+    from utils.prompt_utils import *
+    # نکته: save_local_memory قدیمی حذف شد و با save_memory جایگزین شد
+except ImportError:
+    data_args = {}
+    boot_actual_name_dict = {'en': 'Emma'}
+    generate_meta_prompt_dict_chatgpt = lambda: {'en': 'You are Emma.'}
+    generate_meta_prompt_dict_semantic_chatgpt = lambda: {'en': ''}
+    generate_meta_prompt_dict_semantic_episodic_chatgpt = lambda: {'en': ''}
+    generate_new_user_meta_prompt_dict_chatgpt = lambda: {'en': ''}
+
+# ==========================================
+# 2. تنظیمات NLTK
+# ==========================================
+nltk_data_dir = os.path.join(os.getcwd(), "nltk_data")
+os.makedirs(nltk_data_dir, exist_ok=True)
+nltk.data.path.append(nltk_data_dir)
+
+def download_nltk_resource(resource_name):
     try:
-        temp_file = filepath + ".tmp"
-        with open(temp_file, "w", encoding="utf-8") as f:
-            json.dump(data, f, ensure_ascii=False, indent=4)
-            f.flush()
-            os.fsync(f.fileno()) # اطمینان از نوشتن روی دیسک
-        
-        # جایگزینی اتمیک (در لینوکس و ویندوزهای جدید امن است)
-        os.replace(temp_file, filepath)
-        # print(f"💾 Memory saved successfully to {os.path.basename(filepath)}")
-    except Exception as e:
-        print(f"❌ CRITICAL ERROR saving JSON: {e}")
+        nltk.data.find(f'tokenizers/{resource_name}')
+    except LookupError:
+        try:
+            nltk.download(resource_name, download_dir=nltk_data_dir)
+        except: pass
 
-# --- 3. Memory Logic Functions ---
+download_nltk_resource('punkt')
+download_nltk_resource('punkt_tab')
 
-def load_memory():
-    """بارگذاری حافظه از فایل جیسون"""
-    if os.path.exists(MEMORY_FILE_PATH):
+# ==========================================
+# 3. لود مدل و تنظیمات
+# ==========================================
+GAPGPT_BASE_URL = os.getenv("GAPGPT_BASE_URL", "https://api.gapgpt.app/v1")
+openai_client_cache = {}
+
+MODEL_ID = "Keyvan1986/Emma-Classification_Model"
+hf_token = os.environ.get("HF_TOKEN")
+
+_tokenizer = None
+_classifier_model = None
+
+try:
+    _tokenizer = AutoTokenizer.from_pretrained(MODEL_ID, token=hf_token)
+    _classifier_model = AutoModelForSequenceClassification.from_pretrained(MODEL_ID, token=hf_token)
+    _classifier_model.eval()
+except Exception as e:
+    print(f"⚠️ Model load failed (ignoring): {e}")
+
+def get_gapgpt_client(api_key):
+    if not api_key: return None
+    if api_key not in openai_client_cache:
+        openai_client_cache[api_key] = OpenAIClient(api_key=api_key, base_url=GAPGPT_BASE_URL)
+    return openai_client_cache[api_key]
+
+api_path = "api_key_list.txt"
+def read_apis(path):
+    keys = []
+    env_key = os.environ.get("OPENAI_API_KEY") or os.environ.get("GAPGPT_API_KEY")
+    if env_key: keys.append(env_key)
+    if os.path.exists(path):
         try:
-            with open(MEMORY_FILE_PATH, 'r', encoding='utf-8') as f:
-                return json.load(f)
-        except json.JSONDecodeError:
-            print("⚠️ Memory file is corrupted or empty. Starting fresh.")
-            return []
-    return []
-
-def save_local_memory(history, user_input=None, bot_response=None):
-    """
-    تابع اصلی برای ذخیره تاریخچه چت.
-    این تابع باید از app.py فراخوانی شود.
-    """
-    # ساختار داده‌ای که می‌خواهیم ذخیره کنیم
-    # فرض بر این است که history لیستی از تاپل‌ها (user, bot) است یا ساختار مشابه
+            with open(path, 'r', encoding='utf8') as f:
+                for line in f:
+                    if line.strip(): keys.append(line.strip())
+        except: pass
+    return keys
+
+api_keys = read_apis(api_path)
+
+# نکته: بخش لود کردن memory به صورت سراسری از اینجا حذف شد.
+# مدیریت فایل کاملاً به memory_utils سپرده شده است.
+
+language = 'en'
+boot_actual_name = boot_actual_name_dict.get(language, "Emma")
+meta_prompt = generate_meta_prompt_dict_chatgpt().get(language, "")
+meta_prompt_semantic = generate_meta_prompt_dict_semantic_chatgpt().get(language, "")
+meta_prompt_semantic_episodic = generate_meta_prompt_dict_semantic_episodic_chatgpt().get(language, "")
+new_user_meta_prompt = generate_new_user_meta_prompt_dict_chatgpt().get(language, "")
+
+# ==========================================
+# 4. توابع هسته (Core Logic)
+# ==========================================
+
+def chatgpt_chat(prompt, system, history, gpt_config, api_index=0):
+    if not api_keys: return "Error: No API Key."
+    retry_times = 3
+    for _ in range(retry_times):
+        try:
+            messages = [{"role": "system", "content": system}]
+            if history:
+                for h in history:
+                    if isinstance(h, dict) and 'role' in h and 'content' in h:
+                        messages.append(h)
+            messages.append({"role": "user", "content": prompt})
+            client = get_gapgpt_client(api_keys[api_index])
+            if not client: return "Error: Client error."
+            resp = client.chat.completions.create(messages=messages, **gpt_config)
+            return resp.choices[0].message.content
+        except Exception as e:
+            print(f"Chat failed: {e}")
+            api_index = (api_index + 1) % len(api_keys)
+    return "Error: Service unavailable."
+
+def classify_query_local(text):
+    if not _tokenizer or not _classifier_model: return "unknown"
+    try:
+        inputs = _tokenizer(text, return_tensors="pt", truncation=True, padding=True, max_length=512)
+        with torch.no_grad():
+            outputs = _classifier_model(**inputs)
+        pid = torch.argmax(F.softmax(outputs.logits, dim=-1), dim=-1).item()
+        labels = {0: "episodic_memory", 1: "semantic_memory", 2: "semantic-episodic", 3: "unknown"}
+        return labels.get(pid, "unknown")
+    except:
+        return "unknown"
+
+def predict_new(
+    text, history, top_p, temperature, max_length_tokens, max_context_length_tokens,
+    user_name, user_memory, api_index, semantic_memory_text, query_category
+):
+    if history is None: history = []
     
-    current_data = load_memory()
+    chat_cfg = {
+        "model": "gpt-4o",
+        "temperature": temperature,
+        "max_tokens": max_length_tokens,
+        "top_p": top_p,
+        "frequency_penalty": 0.4,
+        "presence_penalty": 0.2,
+        "n": 1
+    }
+
+    try:
+        system_prompt, _ = build_prompt_with_search_memory_llamaindex(
+            history=history,
+            query=text,
+            user_memory=user_memory, # اینجا user_memory تازه دریافت می‌شود
+            user_name=user_name,
+            user_memory_index=None,
+            service_context=None, 
+            api_keys=api_keys,
+            api_index=api_index,
+            meta_prompt=meta_prompt,
+            new_user_meta_prompt=new_user_meta_prompt,
+            data_args=data_args,
+            boot_actual_name=boot_actual_name,
+            semantic_memory_text=semantic_memory_text,
+            query_category=query_category,
+            meta_prompt_semantic=meta_prompt_semantic,
+            meta_prompt_semantic_episodic=meta_prompt_semantic_episodic
+        )
+    except Exception as e:
+        print(f"Prompt Error: {e}")
+        system_prompt = "You are a helpful assistant."
+
+    hist_for_llm = history[-10:] if len(history) > 10 else history
+    response = chatgpt_chat(text, system_prompt, hist_for_llm, chat_cfg, api_index)
     
-    # ایجاد یک رکورد جدید با زمان فعلی
-    timestamp = datetime.now().strftime("%Y-%m-%d %H:%M:%S")
+    new_history = history + [
+        {"role": "user", "content": text},
+        {"role": "assistant", "content": response}
+    ]
     
-    new_entry = {
-        "timestamp": timestamp,
-        "interaction": {
-            "user": user_input if user_input else "N/A",
-            "bot": bot_response if bot_response else "N/A"
-        },
-        "full_history_snapshot": history[-1] if history else [] # ذخیره آخرین وضعیت
+    # نکته مهم: عملیات ذخیره‌سازی از اینجا حذف شد.
+    # ذخیره‌سازی باید در لایه بالاتر (respond) انجام شود که کل آبجکت مموری را در اختیار دارد.
+
+    return new_history, new_history
+
+# ==========================================
+# 5. رابط کاربری (Full Featured + Safe)
+# ==========================================
+
+def create_gradio_interface():
+    # استایل‌های CSS قدیمی شما
+    css = """
+    .mobile-button button {
+        width: 100% !important;
+        padding: 12px !important;
+        font-size: 16px !important;
+        border-radius: 10px !important;
+        background: linear-gradient(to right, #ff9966, #ff5e62) !important;
+        color: white !important;
+        font-weight: bold;
     }
-    
-    # اضافه کردن به لیست و ذخیره
-    if isinstance(current_data, list):
-        current_data.append(new_entry)
-    else:
-        # اگر ساختار قبلی لیست نبوده، ریست می‌شود (یا منطق مرج دلخواه شما)
-        current_data = [current_data, new_entry]
+    .gr-button-primary {
+        background-color: #6a11cb !important;
+        background-image: linear-gradient(to right, #6a11cb, #2575fc) !important;
+        color: #fff !important;
+        font-weight: bold !important;
+        border: none !important;
+    }
+    .gr-button-secondary {
+        background-color: #f7971e !important;
+        background-image: linear-gradient(to right, #f7971e, #ffd200) !important;
+        color: #000 !important;
+        font-weight: bold !important;
+        border: none !important;
+    }
+    """
+
+    with gr.Blocks(title="EMMA AI", css=css) as demo:
+        
+        # State: فقط داده‌های موقت را نگه می‌دارد. 
+        # کل مموری دیگر در State نیست تا از تداخل جلوگیری شود.
+        state = gr.State({
+            "history": [], 
+            "user_name": None, 
+            "api_index": 0, 
+            "semantic": "", 
+            "init": False
+        })
+
+        header = gr.Markdown("## 🧠 EMMA: Your Empathetic Mental Health Assistant\nWelcome! Please enter your name to begin.")
+        
+        # --- بخش لاگین ---
+        with gr.Column(visible=True) as login_col:
+            with gr.Accordion("🔐 Start New Session", open=True):
+                with gr.Row():
+                    name_input = gr.Textbox(label="Your Name", placeholder="e.g., Alex")
+                    age_input = gr.Textbox(label="Age", placeholder="e.g., 28")
+                with gr.Row():
+                    gender_input = gr.Dropdown(label="Gender", choices=["Male", "Female", "Other"])
+                    occupation_input = gr.Textbox(label="Occupation", placeholder="e.g., Engineer")
+                    residence_input = gr.Textbox(label="Place of Residence", placeholder="e.g., Berlin")
+                start_btn = gr.Button("🎯 Start Session", variant="primary")
+
+        # --- بخش اعلان سیستم ---
+        system_msg = gr.Textbox(label="🔔 System Messages", interactive=False, max_lines=2, visible=False)
+
+        # --- بخش چت ---
+        with gr.Column(visible=False) as chat_col:
+            chatbot = gr.Chatbot(height=500, type="messages", label="💬 EMMA Conversation")
+            
+            with gr.Row():
+                msg_input = gr.Textbox(show_label=False, placeholder="Type a message...", scale=4)
+                send_btn = gr.Button("📤 Send", variant="primary", scale=1, elem_classes=["mobile-button"])
+
+            with gr.Row(equal_height=True):
+                clear_btn = gr.Button("🧹 Clear", variant="secondary", elem_classes=["mobile-button"])
+                new_session_btn = gr.Button("🔄 New Session", variant="secondary", elem_classes=["mobile-button"])
+                switch_user_btn = gr.Button("👥 Switch User", variant="primary", elem_classes=["mobile-button"])
+
+        # ==========================================
+        # توابع کنترلی UI (اصلاح شده برای ذخیره‌سازی صحیح)
+        # ==========================================
+
+        def start_session(name, age, gender, job, city, current_state):
+            if not name or not name.strip():
+                return (
+                    gr.update(), gr.update(), gr.update(), # login, chat, system
+                    gr.update(value="## ⚠️ Please enter a valid name."),
+                    current_state,
+                    [] # empty history for chatbot
+                )
+            
+            # 1. بارگذاری حافظه تازه از دیسک
+            memory_data = load_memory()
+            
+            # 2. ایجاد یا به‌روزرسانی یوزر در حافظه
+            # enter_name_llamaindex روی دیکشنری memory_data تغییر ایجاد می‌کند
+            enter_name_llamaindex(name, memory_data, data_args)
+            
+            # 3. ذخیره اطلاعات پروفایل
+            if name in memory_data:
+                memory_data[name]["profile"] = {
+                    "age": age, "gender": gender, 
+                    "occupation": job, "residence": city
+                }
+                
+                # اطمینان از وجود لیست سشن‌ها
+                if "sessions" not in memory_data[name] or not memory_data[name]["sessions"]:
+                     memory_data[name]["sessions"] = [{
+                        "session_id": 0, "date": time.strftime("%Y-%m-%d"), "conversation": []
+                    }]
+
+            # 4. ذخیره کل حافظه روی دیسک (بسیار مهم)
+            save_memory(memory_data)
+            print(f"✅ User {name} loaded/created and saved.")
+
+            # 5. به‌روزرسانی State
+            new_st = copy.deepcopy(current_state)
+            new_st["user_name"] = name
+            new_st["init"] = True
+            
+            # استخراج حافظه معنایی برای کانتکست
+            try:
+                user_mem = memory_data.get(name, {})
+                if isinstance(user_mem, dict):
+                    new_st["semantic"] = str(user_mem.get("semantic_memory", ""))
+                
+                # بازیابی تاریخچه آخرین سشن (اختیاری - اگر می‌خواهید چت قبلی نمایش داده شود)
+                last_history = user_mem.get("sessions", [{}])[-1].get("conversation", [])
+                new_st["history"] = last_history
+            except: 
+                last_history = []
+                new_st["history"] = []
+
+            welcome_txt = f"## 🧠 EMMA: Session for {name}"
+            sys_txt = f"Welcome {name}! Memory loaded successfully."
+
+            return (
+                gr.update(visible=False), # Hide Login
+                gr.update(visible=True),  # Show Chat
+                gr.update(visible=True, value=sys_txt), # Show System Msg
+                gr.update(value=welcome_txt), # Update Header
+                new_st,
+                last_history # نمایش تاریخچه در چت‌بات
+            )
+
+        def respond(msg, current_state):
+            if not msg or not current_state.get("init"): 
+                return [], current_state, "Please login first."
+            
+            user_name = current_state["user_name"]
+            
+            # 1. بارگذاری حافظه تازه برای اطمینان از داشتن آخرین وضعیت
+            memory_data = load_memory()
+            user_memory = memory_data.get(user_name, {})
+
+            cat = classify_query_local(msg)
+            
+            # 2. تولید پاسخ (فقط تولید، بدون ذخیره)
+            _, new_hist = predict_new(
+                text=msg,
+                history=current_state["history"],
+                top_p=0.9, temperature=0.7, max_length_tokens=512, max_context_length_tokens=200,
+                user_name=user_name,
+                user_memory=user_memory, # ارسال آبجکت یوزر مموری
+                api_index=current_state["api_index"],
+                semantic_memory_text=current_state["semantic"],
+                query_category=cat
+            )
+            
+            # 3. اعمال تغییرات در آبجکت کل حافظه
+            if user_name in memory_data and memory_data[user_name].get("sessions"):
+                memory_data[user_name]["sessions"][-1]["conversation"] = new_hist
+            
+            # 4. ذخیره نهایی روی دیسک
+            save_memory(memory_data)
+            
+            # 5. آپدیت State گرادیو
+            new_st = copy.deepcopy(current_state)
+            new_st["history"] = new_hist
+            
+            return new_hist, new_st, ""
+
+        def clear_chat(current_state):
+            # پاک کردن چت فقط در محیط بصری و State فعلی (بدون حذف از دیتابیس برای امنیت)
+            new_st = copy.deepcopy(current_state)
+            new_st["history"] = []
+            return [], new_st, "Conversation view cleared (Memory retained)."
+
+        def new_session_logic(current_state):
+            u_name = current_state.get("user_name")
+            if not u_name:
+                return [], current_state, "Error: No user."
+
+            # 1. بارگذاری حافظه
+            memory_data = load_memory()
+
+            if u_name in memory_data:
+                try:
+                    user_sessions = memory_data[u_name].get("sessions", [])
+                    
+                    # ایجاد سشن جدید
+                    new_s = {
+                        "session_id": len(user_sessions),
+                        "date": time.strftime("%Y-%m-%d"),
+                        "conversation": []
+                    }
+                    
+                    if "sessions" not in memory_data[u_name]:
+                        memory_data[u_name]["sessions"] = []
+                    
+                    memory_data[u_name]["sessions"].append(new_s)
+                    
+                    # 2. ذخیره تغییرات
+                    save_memory(memory_data)
+                    print(f"🔄 New session created for {u_name}")
+
+                except Exception as e:
+                    print(f"New Session Error: {e}")
+
+            # ریست کردن State
+            new_st = copy.deepcopy(current_state)
+            new_st["history"] = []
+            
+            return [], new_st, "🆕 New session started & Saved."
+
+        def switch_user_logic(current_state):
+            # ریست کامل State
+            new_st = {
+                "history": [], 
+                "user_name": None, 
+                "api_index": 0, 
+                "semantic": "", 
+                "init": False
+            }
+            return (
+                gr.update(visible=True),   # Show Login
+                gr.update(visible=False),  # Hide Chat
+                gr.update(visible=False, value=""), # Hide System Msg
+                gr.update(value="## 🧠 EMMA: Switch User Mode"),
+                new_st,
+                gr.update(value=""), # Clear Name Input
+                [] # Clear Chatbot
+            )
+
+        # ==========================================
+        # اتصال رویدادها (Event Listeners)
+        # ==========================================
+        
+        start_btn.click(
+            start_session, 
+            inputs=[name_input, age_input, gender_input, occupation_input, residence_input, state], 
+            outputs=[login_col, chat_col, system_msg, header, state, chatbot],
+            api_name=False
+        )
         
-    save_json_safe(current_data, MEMORY_FILE_PATH)
+        send_btn.click(
+            respond,
+            inputs=[msg_input, state],
+            outputs=[chatbot, state, msg_input], 
+            api_name=False
+        )
+        
+        msg_input.submit(
+            respond,
+            inputs=[msg_input, state],
+            outputs=[chatbot, state, msg_input],
+            api_name=False
+        )
+
+        clear_btn.click(
+            clear_chat,
+            inputs=[state],
+            outputs=[chatbot, state, system_msg],
+            api_name=False
+        )
+
+        new_session_btn.click(
+            new_session_logic,
+            inputs=[state],
+            outputs=[chatbot, state, system_msg],
+            api_name=False
+        )
+
+        switch_user_btn.click(
+            switch_user_logic,
+            inputs=[state],
+            outputs=[login_col, chat_col, system_msg, header, state, name_input, chatbot],
+            api_name=False
+        )
 
+    return demo
 
-# --- 4. Prompt Generation Functions (From your original code) ---
-# این توابع برای خلاصه‌سازی استفاده می‌شوند
+def main():
+    if api_keys:
+        os.environ["OPENAI_API_KEY"] = api_keys[0]
 
-def summarize_content_prompt(content, user_name, boot_name, language='en'):
-    prompt = 'Please summarize the following dialogue from a psychological perspective...\n'
-    # ... (منطق کد شما در اینجا) ...
-    return prompt
+    try:
+        Settings.llm = LlamaIndexOpenAI(
+            model="gpt-4o", temperature=1, 
+            api_key=os.environ.get("OPENAI_API_KEY"), 
+            api_base=GAPGPT_BASE_URL
+        )
+        Settings.embed_model = OpenAIEmbedding(
+            api_key=os.environ.get("OPENAI_API_KEY"), 
+            api_base=GAPGPT_BASE_URL, 
+            model="text-embedding-3-small"
+        )
+    except Exception as e:
+        print(f"Settings Warning: {e}")
+
+    demo = create_gradio_interface()
+    
+    print("🚀 Launching Gradio Server (Fixed Memory Saving)...")
+    demo.queue().launch(
+        server_name="0.0.0.0",
+        server_port=7860,
+        ssr_mode=False
+    )
 
-# (سایر توابع prompt generation را می‌توانید اینجا نگه دارید)
+if __name__ == "__main__":
+    main()