Update app.py

app.py

@@ -1,44 +1,99 @@
 # -*- coding: utf-8 -*-
+"""
+نصّ البرنامج: مساعد نورا + نظام مهام موزعة + خيار لتشغيل كل ملفات بايثون (.py) الموجودة في نفس المجلد.
+
+
+الميزات المضافة/المعدّلة
+========================
+1. **تشغيل كل ملفات بايثون في نفس المجلد** يدويًا من واجهة Gradio أو تلقائيًا عند بدء التشغيل (يمكن التحكّم عبر متغيّر بيئة).
+2. جمع المخرجات (stdout / stderr) لكل ملف بشكل منفصل وإرجاعها/عرضها للمستخدم.
+3. استثناء الملف الحالي (الذي يحتوي الكود) تلقائيًا حتى لا يدخل في حلقة تشغيل ذاتي.
+4. استثناء مجلدات مثل `__pycache__` وأي ملف يبدأ بشرطة سفلية اختياريا.
+5. واجهة Gradio محدثة: تبويب جديد باسم "تشغيل جميع ملفات بايثون" يعرض قائمة الملفات + زر تشغيل + صندوق نتائج.
+6. دوال مساعدة نظيفة + تسجيل (logging) اختياري.
+
+
+طريقة التحكم بالتشغيل التلقائي عند بدء البرنامج
+----------------------------------------------
+- اضبط متغيّر البيئة: `RUN_ALL_PY_ON_START=1` لتشغيلها عند الإقلاع.
+- أو اتركه فارغًا/0 لتعطيل التشغيل التلقائي.
+
+
+ملاحظات مهمة
+------------
+- التنفيذ يتم باستخدام `runpy.run_path()` بحيث يعمل كل ملف في مساحة أسماء مستقلة (قاموس).
+- لا يتم عمل `import` مباشر؛ هذا يقلل تداخل الرموز ولكن *إذا كانت لديك ملفات تعتمد على الاستيراد النسبي* فربما تفضّل التحميل عبر `importlib`. (أنظر التعليق داخل الكود لاختيار وضع الاستيراد.)
+- لو احتجت تمرير متغيرات/وسائط إلى هذه السكربتات الخارجية فسيتطلب ذلك بروتوكول إضافي (argparse مخفي، أو بيئة، أو ملف إعدادات مشترَك).
+
+
+"""
+
 import os
+import io
+import re
 import json
 import time
+import glob
+import runpy
+import types
+import logging
 import threading
+from contextlib import redirect_stdout, redirect_stderr
+
 from flask import Flask, request, jsonify
 import gradio as gr
+
 from transformers import AutoTokenizer, AutoModelForCausalLM
 from accelerate import init_empty_weights, load_checkpoint_and_dispatch
+
+# استيراد نظام التوزيع والمهام المعرّفة من ملفات أخرى
 from distributed_executor import DistributedExecutor
-from your_tasks import *
+from your_tasks import *  # يفترض أن يحتوي على matrix_multiply, prime_calculation, ... إلخ
 
 # ================= إعدادات الموديل =================
 local_model_path = "./Mistral-7B-Instruct-v0.1"
 offload_dir = "offload_dir"
 history_path = "history.json"
 
-# تحميل التوكنيزر والموديل
+# ================= إعداد التسجيل (اختياري) =================
+logging.basicConfig(level=logging.INFO, format="%(asctime)s [%(levelname)s] %(message)s")
+logger = logging.getLogger(__name__)
+
+# ================= تحميل التوكنيزر والموديل =================
+logger.info("Loading tokenizer: %s", local_model_path)
 tokenizer = AutoTokenizer.from_pretrained(local_model_path)
+
+logger.info("Initializing empty weights model shell…")
 with init_empty_weights():
     model = AutoModelForCausalLM.from_pretrained(local_model_path)
+
+logger.info("Dispatching model w/ CPU offload (accelerate)…")
 model = load_checkpoint_and_dispatch(
     model,
     local_model_path,
-    device_map={"": "cpu"},
+    device_map={"": "cpu"},  # كلّه على CPU (يمكن التعديل لاحقًا)
     offload_folder=offload_dir,
-    offload_state_dict=True
+    offload_state_dict=True,
 )
 
-# تحميل سجل المحادثة
+# ================= تحميل سجل المحادثة =================
 if os.path.exists(history_path):
-    with open(history_path, "r", encoding="utf-8") as f:
-        chat_history = json.load(f)
+    try:
+        with open(history_path, "r", encoding="utf-8") as f:
+            chat_history = json.load(f)
+    except Exception as e:
+        logger.warning("تعذّر تحميل سجل المحادثة (%s)، سيتم البدء بسجل فارغ.", e)
+        chat_history = []
 else:
     chat_history = []
 
+
 def format_chat(history):
     messages = [{"role": "system", "content": "أنت المساعدة نورا."}]
     messages.extend(history)
     return tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
 
+
 # ================= دالة الرد من نورا =================
 def chat_with_nora(user_input):
     global chat_history
@@ -47,37 +102,136 @@ def chat_with_nora(user_input):
     inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
     outputs = model.generate(**inputs, max_new_tokens=200, do_sample=True, temperature=0.7)
     response = tokenizer.decode(outputs[0], skip_special_tokens=True)
-    answer = response.split("[/INST]")[-1].strip()
+    # محاولة استخراج آخر رد بعد قالب الدردشة
+    if "[/INST]" in response:
+        answer = response.split("[/INST]")[-1].strip()
+    else:
+        answer = response.strip()
     chat_history.append({"role": "assistant", "content": answer})
-    with open(history_path, "w", encoding="utf-8") as f:
-        json.dump(chat_history, f, ensure_ascii=False, indent=2)
+    try:
+        with open(history_path, "w", encoding="utf-8") as f:
+            json.dump(chat_history, f, ensure_ascii=False, indent=2)
+    except Exception as e:
+        logger.error("Failed saving chat history: %s", e)
     return answer
 
+
 # ================= نظام توزيع المهام =================
 executor = DistributedExecutor("my_shared_secret_123")
 executor.peer_registry.register_service("node1", 7520, load=0.2)
 
+# المهام المعرفة يدويًا
 tasks = {
     "ضرب المصفوفات": (matrix_multiply, 500),
     "حساب الأعداد الأولية": (prime_calculation, 100000),
     "معالجة البيانات": (data_processing, 10000),
     "محاكاة معالجة الصور": (image_processing_emulation, 100),
-    "مهمة موزعة معقدة": (lambda x: x * x, 42)
+    "مهمة موزعة معقدة": (lambda x: x * x, 42),
 }
 
+
 def run_task(task_name):
     if task_name in tasks:
         func, arg = tasks[task_name]
         start = time.time()
-        result = func(arg)
+        try:
+            result = func(arg)
+            status = "success"
+        except Exception as e:
+            result = f"ERROR: {e}"
+            status = "error"
         duration = time.time() - start
-        return f"✅ النتيجة: {str(result)[:200]}...\n⏱ الوقت: {duration:.2f} ثانية"
+        return f"✅ الحالة: {status}
+النتيجة: {str(result)[:200]}...
+⏱ الوقت: {duration:.2f} ثانية"
     else:
         return "❌ مهمة غير موجودة!"
 
+
+# =====================================================
+#     دعم تشغيل جميع ملفات بايثون في نفس المجلد
+# =====================================================
+
+def discover_py_files(directory=None, *, exclude_self=True, exclude_private=True):
+    """اكتشف جميع ملفات .py في المجلد (غير متداخلة) مع خيارات استثناء."""
+    directory = directory or os.path.dirname(os.path.abspath(__file__))
+    self_path = os.path.abspath(__file__)
+    files = []
+    for path in glob.glob(os.path.join(directory, "*.py")):
+        abs_path = os.path.abspath(path)
+        name = os.path.basename(abs_path)
+        if exclude_self and os.path.samefile(abs_path, self_path):
+            continue
+        if exclude_private and name.startswith("_"):
+            continue
+        files.append(abs_path)
+    return sorted(files)
+
+
+def execute_single_py(path):
+    """شغّل ملف بايثون وأعد قاموسًا يحتوي stdout/stderr وزمن التنفيذ ونتيجة عودة محتملة."""
+    start = time.time()
+    stdout_buf = io.StringIO()
+    stderr_buf = io.StringIO()
+    result_namespace = None
+    error = None
+    try:
+        with redirect_stdout(stdout_buf), redirect_stderr(stderr_buf):
+            # run_path يعيد قاموس المتغيرات العالمية بعد التنفيذ
+            result_namespace = runpy.run_path(path_name=path, run_name="__main__")
+    except Exception as e:  # noqa: BLE001 (نريد التقاط كل شيء هنا)
+        error = str(e)
+    duration = time.time() - start
+    return {
+        "file": path,
+        "stdout": stdout_buf.getvalue(),
+        "stderr": stderr_buf.getvalue(),
+        "error": error,
+        "globals": result_namespace if isinstance(result_namespace, dict) else {},
+        "time": duration,
+    }
+
+
+def execute_all_py_files(directory=None, *, exclude_self=True, exclude_private=True):
+    files = discover_py_files(directory, exclude_self=exclude_self, exclude_private=exclude_private)
+    results = []
+    for fpath in files:
+        logger.info("Running: %s", fpath)
+        res = execute_single_py(fpath)
+        results.append(res)
+    return results
+
+
+def summarize_execution_results(results):
+    """حوّل نتائج التنفيذ إلى نص قابل للعرض في Gradio."""
+    lines = []
+    for r in results:
+        lines.append("====================================")
+        lines.append(f"📄 الملف: {os.path.basename(r['file'])}")
+        lines.append(f"⏱ الوقت: {r['time']:.2f} ثانية")
+        if r["error"]:
+            lines.append(f"❌ خطأ: {r['error']}")
+        if r["stderr"].strip():
+            lines.append("--- STDERR ---")
+            lines.append(r["stderr"].strip())
+        if r["stdout"].strip():
+            lines.append("--- STDOUT ---")
+            # لا نعرض أكثر من 500 حرف لتجنب التضخم
+            out_preview = r["stdout"].strip()
+            if len(out_preview) > 500:
+                out_preview = out_preview[:500] + "... [تم الاقتصاص]"
+            lines.append(out_preview)
+    if not lines:
+        return "لا توجد ملفات للتشغيل."\
+
+    return "
+".join(lines)
+
+
 # ================= خادم Flask API =================
 app = Flask(__name__)
 
+
 @app.route('/api/chat', methods=['POST'])
 def api_chat():
     try:
@@ -90,13 +244,27 @@ def api_chat():
         response_text = chat_with_nora(user_message)
         return jsonify({'response': response_text})
 
-    except Exception as e:
+    except Exception as e:  # noqa: BLE001
+        logger.exception("/api/chat error")
         return jsonify({'response': 'حدث خطأ داخلي', 'error': str(e)}), 500
 
+
+# ================ Flask: تشغيل كل الملفات عبر API (اختياري) ================
+@app.route('/api/run_all', methods=['POST'])
+def api_run_all():
+    try:
+        results = execute_all_py_files()
+        return jsonify({'results': results})
+    except Exception as e:  # noqa: BLE001
+        logger.exception("/api/run_all error")
+        return jsonify({'error': str(e)}), 500
+
+
 # ================= واجهة Gradio =================
+
 def launch_gradio():
     with gr.Blocks() as demo:
-        gr.Markdown("# 🤖 مساعد نورا + نظام المهام الموزعة")
+        gr.Markdown("# 🤖 مساعد نورا + نظام المهام الموزعة + تشغيل سكربتات المجلد")
 
         with gr.Tab("المحادثة مع نورا"):
             chatbot = gr.Chatbot(type="messages")
@@ -104,13 +272,9 @@ def launch_gradio():
             send = gr.Button("إرسال")
 
             def respond(message, chat_history_display):
-                # أرسل السؤال إلى الموديل
                 answer = chat_with_nora(message)
-
-                # أضف الرسالة وردها إلى واجهة Gradio
                 chat_history_display.append({"role": "user", "content": message})
                 chat_history_display.append({"role": "assistant", "content": answer})
-
                 return "", chat_history_display
 
             send.click(respond, [msg, chatbot], [msg, chatbot])
@@ -122,9 +286,49 @@ def launch_gradio():
 
             run_button.click(run_task, inputs=task_dropdown, outputs=result_box)
 
+        with gr.Tab("تشغيل جميع ملفات بايثون"):
+            gr.Markdown("### اكتشاف وتشغيل جميع ملفات .py في نفس مجلد هذا البرنامج")
+            refresh_btn = gr.Button("🔄 تحديث قائمة الملفات")
+            run_all_btn = gr.Button("🚀 تشغيل الكل")
+            files_box = gr.Textbox(label="الملفات المكتشفة", interactive=False)
+            run_all_result = gr.Textbox(label="نتائج التشغيل", lines=15)
+
+            def refresh_files():
+                files = discover_py_files()
+                if not files:
+                    return "لا توجد ملفات .py (باستثناء هذا الملف)."
+                return "
+".join(os.path.basename(f) for f in files)
+
+            def run_all_files_and_summarize():
+                results = execute_all_py_files()
+                return summarize_execution_results(results)
+
+            refresh_btn.click(refresh_files, outputs=files_box)
+            run_all_btn.click(run_all_files_and_summarize, outputs=run_all_result)
+
     demo.launch(server_name="0.0.0.0", server_port=7860)
 
+
 # ================= تشغيل الاثنين معًا =================
+def startup_run_all_if_enabled():
+    run_flag = os.environ.get("RUN_ALL_PY_ON_START", "0").strip()
+    if run_flag in {"1", "true", "True", "yes", "YES"}:
+        logger.info("RUN_ALL_PY_ON_START=1 -> Running all py files at startup…")
+        results = execute_all_py_files()
+        summary = summarize_execution_results(results)
+        logger.info("Startup batch complete:
+%s", summary)
+    else:
+        logger.info("Startup batch NOT enabled (set RUN_ALL_PY_ON_START=1 to enable).")
+
+
 if __name__ == '__main__':
+    # (اختياري) شغّل كل ملفات .py عند الإقلاع إن كان المستخدِم فعّل ذلك.
+    startup_run_all_if_enabled()
+
+    # شغّل Gradio في خيط مستقل
     threading.Thread(target=launch_gradio, daemon=True).start()
-    app.run(host='0.0.0.0', port=5000, debug=True)
+
+    # شغّل Flask (المخدّم الأساسي)
+    app.run(host='0.0.0.0', port=5321, debug=True)