Update ml_engine/sniper_engine.py

ml_engine/sniper_engine.py

@@ -1,6 +1,6 @@
 # ============================================================
-# 🎯 ml_engine/sniper_engine.py (V1.3 - GEM-Architect Edition)
-# Full Logic Restored + Order Book Integration
+# 🎯 ml_engine/sniper_engine.py (V1.5 - GEM-Architect Edition)
+# Logic: Weighted Average (60% ML / 40% OB) + Safety Veto
 # ============================================================
 
 import os
@@ -15,38 +15,36 @@ import traceback
 from typing import List, Dict, Any
 
 # --- [ 💡 إعدادات القناص ] ---
-DEFAULT_SNIPER_THRESHOLD = 0.60 
+# الآن العتبة النهائية هي نتيجة المعادلة (0.6*ML + 0.4*OB)
+# نرفع العتبة قليلاً لضمان الجودة (مثلاً 0.65 بدلاً من 0.60)
+DEFAULT_FINAL_THRESHOLD = 0.60 
 
 # إعدادات دفتر الطلبات (Order Book Config)
-ORDER_BOOK_DEPTH = 20       # عمق المستويات المحللة
-IMBALANCE_THRESHOLD = 0.55  # عتبة سيطرة المشترين المطلوبة
+ORDER_BOOK_DEPTH = 20       
+# صمام الأمان: إذا كان جدار البيع أكبر من 40% من العرض، ارفض فوراً
+CRITICAL_WALL_RATIO = 0.40  
 
 N_SPLITS = 5
-LOOKBACK_WINDOW = 500 # الحد الأدنى للشموع المطلوبة لحساب الميزات
+LOOKBACK_WINDOW = 500 
 
 # ============================================================
-# 🔧 1. دوال هندسة الميزات (Feature Engineering - FULL)
+# 🔧 1. دوال هندسة الميزات (Feature Engineering - Full)
 # ============================================================
 
 def _z_score_rolling(x, w=500): 
-    """حساب Z-Score المتدحرج (آمن من القسمة على صفر)"""
+    """حساب Z-Score المتدحرج"""
     r = x.rolling(w).mean()
     s = x.rolling(w).std().replace(0, np.nan)
     z = (x - r) / s
     return z.fillna(0)
 
 def _add_liquidity_proxies(df):
-    """
-    إضافة بدائل السيولة وتدفق الطلب المتقدمة (استعادة كاملة).
-    """
+    """إضافة بدائل السيولة وتدفق الطلب المتقدمة"""
     df_proxy = df.copy()
     if 'datetime' not in df_proxy.index:
         if 'timestamp' in df_proxy.columns:
             df_proxy['datetime'] = pd.to_datetime(df_proxy['timestamp'], unit='ms')
             df_proxy = df_proxy.set_index('datetime')
-        else:
-            # في حال عدم وجود توقيت، نستخدم الفهرس الافتراضي
-            pass
             
     df_proxy['ret'] = df_proxy['close'].pct_change().fillna(0)
     df_proxy['dollar_vol'] = df_proxy['close'] * df_proxy['volume']
@@ -54,17 +52,17 @@ def _add_liquidity_proxies(df):
     # Amihud Illiquidity Ratio
     df_proxy['amihud'] = (df_proxy['ret'].abs() / df_proxy['dollar_vol'].replace(0, np.nan)).fillna(np.inf)
     
-    # Roll Spread (Roll's Measure)
+    # Roll Spread
     dp = df_proxy['close'].diff()
     roll_cov = dp.rolling(64).cov(dp.shift(1))
     df_proxy['roll_spread'] = (2 * np.sqrt(np.maximum(0, -roll_cov))).bfill()
 
-    # Order Flow Imbalance (OFI) Proxy
+    # Order Flow Imbalance (OFI)
     sign = np.sign(df_proxy['close'].diff()).fillna(0)
     df_proxy['signed_vol'] = sign * df_proxy['volume']
     df_proxy['ofi'] = df_proxy['signed_vol'].rolling(30).sum().fillna(0)
 
-    # VPIN (Volume-Synchronized Probability of Informed Trading) Proxy
+    # VPIN Proxy
     buy_vol = (sign > 0) * df_proxy['volume']
     sell_vol = (sign < 0) * df_proxy['volume']
     imb = (buy_vol.rolling(60).sum() - sell_vol.rolling(60).sum()).abs()
@@ -81,7 +79,7 @@ def _add_liquidity_proxies(df):
                        df_proxy['volume'].rolling(vwap_window).sum()
     df_proxy['vwap_dev'] = (df_proxy['close'] - df_proxy['vwap']).fillna(0)
 
-    # Composite Liquidity Score (L-Score)
+    # Composite Liquidity Score
     df_proxy['L_score'] = (
         _z_score_rolling(df_proxy['volume']) +
         _z_score_rolling(1 / df_proxy['amihud'].replace(np.inf, np.nan)) + 
@@ -94,7 +92,7 @@ def _add_liquidity_proxies(df):
     return df_proxy
 
 def _add_standard_features(df):
-    """إضافة الميزات القياسية (عوائد، زخم، حجم)"""
+    """إضافة الميزات القياسية"""
     df_feat = df.copy()
     
     df_feat['return_1m'] = df_feat['close'].pct_change(1)
@@ -107,7 +105,6 @@ def _add_standard_features(df):
     ema_9 = ta.ema(df_feat['close'], length=9)
     ema_21 = ta.ema(df_feat['close'], length=21)
     
-    # حماية من القيم الفارغة في البداية
     if ema_9 is not None:
         df_feat['ema_9_slope'] = (ema_9 - ema_9.shift(1)) / ema_9.shift(1)
     else:
@@ -127,35 +124,26 @@ def _add_standard_features(df):
     return df_feat
 
 # ============================================================
-# 🎯 2. كلاس المحرك الرئيسي (SniperEngine V1.3)
+# 🎯 2. كلاس المحرك الرئيسي (SniperEngine V1.5)
 # ============================================================
 
 class SniperEngine:
     
     def __init__(self, models_dir: str):
-        """
-        تهيئة محرك قناص الدخول (L4 Sniper) مع منطق دفتر الطلبات.
-        Args:
-            models_dir: المسار المباشر للمجلد (e.g., "ml_models/guard_v2")
-        """
         self.models_dir = models_dir 
         self.models: List[lgb.Booster] = []
         self.feature_names: List[str] = []
         
-        self.threshold = DEFAULT_SNIPER_THRESHOLD
+        self.threshold = DEFAULT_FINAL_THRESHOLD
         self.initialized = False
-        
         self.LOOKBACK_WINDOW = LOOKBACK_WINDOW
         
-        print("🎯 [SniperEngine V1.3] Created (Full Math + Order Book Logic).")
+        print("🎯 [SniperEngine V1.5] Created (Weighted Logic 60/40 + Safety Veto).")
 
     async def initialize(self):
-        """
-        تحميل النماذج الخمسة (Ensemble) وقائمة الميزات.
-        """
+        """تحميل النماذج"""
         print(f"🎯 [SniperEngine] Loading models from {self.models_dir}...")
         try:
-            # البحث عن ملفات النماذج
             model_files = [f for f in os.listdir(self.models_dir) if f.startswith('lgbm_guard_v3_fold_')]
             
             if len(model_files) < N_SPLITS:
@@ -168,7 +156,7 @@ class SniperEngine:
             
             self.feature_names = self.models[0].feature_name()
             self.initialized = True
-            print(f"✅ [SniperEngine] Loaded {len(self.models)} models. Threshold: {self.threshold * 100:.1f}%")
+            print(f"✅ [SniperEngine] Loaded {len(self.models)} models. Target Score: > {self.threshold}")
 
         except Exception as e:
             print(f"❌ [SniperEngine] Init failed: {e}")
@@ -176,17 +164,9 @@ class SniperEngine:
             self.initialized = False
 
     def set_entry_threshold(self, new_threshold: float):
-        """تحديث العتبة أثناء التشغيل"""
-        if 0.30 <= new_threshold <= 0.90:
-            print(f"🎯 [SniperEngine] Threshold updated: {self.threshold} -> {new_threshold}")
-            self.threshold = new_threshold
-        else:
-            print(f"⚠️ [SniperEngine] Invalid threshold: {new_threshold}")
+        self.threshold = new_threshold
 
     def _calculate_features_live(self, df_1m: pd.DataFrame) -> pd.DataFrame:
-        """
-        تطبيق خط أنابيب الميزات الكامل (القياسي + المتقدم).
-        """
         try:
             df_with_std_feats = _add_standard_features(df_1m)
             df_with_all_feats = _add_liquidity_proxies(df_with_std_feats)
@@ -197,146 +177,132 @@ class SniperEngine:
             return pd.DataFrame() 
 
     # ==============================================================================
-    # 📊 3. منطق تحليل دفتر الطلبات (Order Book Logic)
+    # 📊 3. منطق تحليل دفتر الطلبات وتحويله لرقم (0.0 - 1.0)
     # ==============================================================================
-    def _analyze_order_book(self, order_book: Dict[str, Any]) -> Dict[str, Any]:
+    def _score_order_book(self, order_book: Dict[str, Any]) -> Dict[str, Any]:
         """
-        تحليل دفتر الطلبات للبحث عن ضغط الشراء وغياب جدران البيع.
+        تحويل حالة دفتر الطلبات إلى درجة رقمية (OB Score) من 0.0 إلى 1.0
         """
         try:
-            bids = order_book.get('bids', []) # طلبات الشراء [price, size]
-            asks = order_book.get('asks', []) # طلبات البيع [price, size]
+            bids = order_book.get('bids', [])
+            asks = order_book.get('asks', [])
             
             if not bids or not asks:
-                return {'approved': False, 'reason': 'Empty OB', 'bid_imbalance': 0.0, 'ask_wall_ratio': 0.0}
+                return {'score': 0.0, 'imbalance': 0.0, 'wall_ratio': 0.0, 'reason': 'Empty'}
 
-            # نأخذ فقط العمق المؤثر لحظياً
+            # تحليل العمق (Top 20)
             depth = ORDER_BOOK_DEPTH
             top_bids = bids[:depth]
             top_asks = asks[:depth]
 
-            # 1. حساب إجمالي السيولة
             total_bid_vol = sum([float(x[1]) for x in top_bids])
             total_ask_vol = sum([float(x[1]) for x in top_asks])
             total_vol = total_bid_vol + total_ask_vol
             
             if total_vol == 0: 
-                return {'approved': False, 'reason': 'Zero Liquidity', 'bid_imbalance': 0.0, 'ask_wall_ratio': 0.0}
+                return {'score': 0.0, 'imbalance': 0.0, 'wall_ratio': 0.0, 'reason': 'Zero Vol'}
 
-            # 2. نسبة ضغط الشراء (Bid Imbalance)
-            # النسبة المئوية للسيولة التي تمثل طلبات شراء
+            # 1. درجة عدم التوازن (Imbalance)
+            # تمثل نسبة المشترين (0.0 = كلهم بائعين، 1.0 = كلهم مشترين)
+            # هذه هي الدرجة الخام لدف��ر الطلبات
             bid_imbalance = total_bid_vol / total_vol 
-
-            # 3. فحص جدران الحيتان (Whale Walls)
-            # هل هناك طلب بيع واحد يمثل أكثر من 40% من مجموع العرض القريب؟
+            
+            # 2. فحص الجدران (Safety Veto)
             max_ask_wall = max([float(x[1]) for x in top_asks]) if top_asks else 0
             ask_wall_ratio = max_ask_wall / total_ask_vol if total_ask_vol > 0 else 0
             
-            # القرار المنطقي:
-            # - يجب أن يكون ضغط الشراء جيداً (>= IMBALANCE_THRESHOLD)
-            # - يجب ألا يوجد جدار بيع ضخم يسد الطريق (< 0.40)
-            
-            is_bullish_book = (bid_imbalance >= IMBALANCE_THRESHOLD)
-            no_huge_wall = (ask_wall_ratio < 0.40)
-            
-            status = "APPROVED" if (is_bullish_book and no_huge_wall) else "REJECTED"
-            reason = f"Imbal: {bid_imbalance:.2f}, Wall: {ask_wall_ratio:.2f}"
-            
-            if not is_bullish_book: reason += " (Weak Bids)"
-            if not no_huge_wall: reason += " (Ask Wall)"
+            # 🛑 حق الفيتو: إذا وجد جدار بيع ضخم، الدرجة تصبح صفراً فوراً
+            if ask_wall_ratio >= CRITICAL_WALL_RATIO:
+                return {
+                    'score': 0.0, 
+                    'imbalance': float(bid_imbalance),
+                    'wall_ratio': float(ask_wall_ratio),
+                    'veto': True,
+                    'reason': f"⛔ SELL WALL ({ask_wall_ratio:.2f})"
+                }
 
             return {
-                'approved': (is_bullish_book and no_huge_wall),
-                'bid_imbalance': float(bid_imbalance),
-                'ask_wall_ratio': float(ask_wall_ratio),
-                'reason': reason
+                'score': float(bid_imbalance), # الدرجة هي نسبة ضغط الشراء
+                'imbalance': float(bid_imbalance),
+                'wall_ratio': float(ask_wall_ratio),
+                'veto': False,
+                'reason': "OK"
             }
 
         except Exception as e:
-            return {'approved': False, 'reason': f"OB Error: {e}", 'bid_imbalance': 0.0, 'ask_wall_ratio': 0.0}
+            return {'score': 0.0, 'reason': f"Error: {e}", 'veto': True}
 
     # ==============================================================================
-    # 🎯 4. دالة الفحص الرئيسية (Fusion: ML + Order Book)
+    # 🎯 4. دالة الفحص الرئيسية (The Weighted Logic 60/40)
     # ==============================================================================
     async def check_entry_signal_async(self, ohlcv_1m_data: List[List], order_book_data: Dict[str, Any] = None) -> Dict[str, Any]:
         """
-        الدالة الرئيسية: التحقق من إشارة الدخول (ML + OB).
-        Args:
-            ohlcv_1m_data: قائمة الشموع (لتحليل ML).
-            order_book_data: بيانات الدفتر (لتحليل السيولة). إذا كانت None سيتم الاعتماد على ML فقط.
+        التحقق باستخدام المعادلة الموزونة: Score = 0.6*ML + 0.4*OB
         """
         if not self.initialized:
-            return {'signal': 'WAIT', 'reason': 'Sniper Engine not initialized'}
+            return {'signal': 'WAIT', 'reason': 'Not initialized'}
         
         if len(ohlcv_1m_data) < self.LOOKBACK_WINDOW:
-            return {'signal': 'WAIT', 'reason': f'Insufficient 1m data ({len(ohlcv_1m_data)} < {self.LOOKBACK_WINDOW})'}
+            return {'signal': 'WAIT', 'reason': 'Insuff Data'}
 
-        # --- أ. تحليل النموذج (ML Prediction) ---
+        # --- A. درجة النموذج (ML Score - 60%) ---
         try:
             df = pd.DataFrame(ohlcv_1m_data, columns=['timestamp', 'open', 'high', 'low', 'close', 'volume'])
             df[['open', 'high', 'low', 'close', 'volume']] = df[['open', 'high', 'low', 'close', 'volume']].astype(float)
             
             df_features = self._calculate_features_live(df)
-            
             if df_features.empty:
-                return {'signal': 'WAIT', 'reason': 'Feature calculation failed'}
+                return {'signal': 'WAIT', 'reason': 'Feat Fail'}
 
-            latest_features_row = df_features.iloc[-1:]
-            X_live = latest_features_row[self.feature_names].fillna(0)
+            X_live = df_final = df_features.iloc[-1:][self.feature_names].fillna(0)
             
-            # تجميع التوقعات من النماذج الخمسة
-            all_probs = []
-            for model in self.models:
-                all_probs.append(model.predict(X_live))
-            
-            stacked_probs = np.stack(all_probs)    
-            mean_probs = np.mean(stacked_probs, axis=0) 
-            
-            ml_confidence = float(mean_probs[0][1]) # احتمالية الصنف 1 (Buy)
+            preds = [m.predict(X_live)[0][1] for m in self.models]
+            ml_score = float(np.mean(preds))
 
         except Exception as e:
-            print(f"❌ [Sniper] ML Predict Error: {e}")
-            traceback.print_exc()
+            print(f"❌ [Sniper] ML Error: {e}")
             return {'signal': 'WAIT', 'reason': f'ML Exception: {e}'}
 
-        # --- ب. تحليل دفتر الطلبات (Order Book Reality) ---
-        ob_analysis = {'approved': True, 'reason': 'No OB Data', 'bid_imbalance': 0.0} # افتراضي في حال عدم توفر البيانات
+        # --- B. درجة دفتر الطلبات (OB Score - 40%) ---
+        ob_data = {'score': 0.5, 'imbalance': 0.5, 'wall_ratio': 0.0, 'veto': False} # حياد افتراضي
         if order_book_data:
-            ob_analysis = self._analyze_order_book(order_book_data)
+            ob_data = self._score_order_book(order_book_data)
 
-        # --- ج. منطق الدمج (The Fusion Logic) ---
+        # --- C. المعادلة الوزنية (The Formula) ---
         
-        final_signal = 'WAIT'
-        fusion_reason = ""
-
-        # 1. حالة الثقة القصوى (Override): إذا كان النموذج واثقاً جداً (> 0.85)، نتساهل مع الدفتر
-        if ml_confidence >= 0.85:
-            # فقط نتحقق من عدم وجود انهيار كارثي في الطلبات (< 0.35)
-            if ob_analysis.get('bid_imbalance', 1.0) >= 0.35:
-                final_signal = 'BUY'
-                fusion_reason = f"Strong ML ({ml_confidence:.2f}) override"
-            else:
-                final_signal = 'WAIT'
-                fusion_reason = f"Strong ML blocked by Severe Sell Pressure ({ob_analysis.get('bid_imbalance'):.2f})"
-
-        # 2. حالة الثقة العادية (Standard): نحتاج موافقة الدفتر
-        elif ml_confidence >= self.threshold:
-            if ob_analysis['approved']:
-                final_signal = 'BUY'
-                fusion_reason = f"ML ({ml_confidence:.2f}) + OB Approved"
-            else:
-                final_signal = 'WAIT'
-                fusion_reason = f"ML Pass but OB Rejected: {ob_analysis['reason']}"
+        # المعادلة التي طلبتها:
+        # Final Score = (0.60 * ML) + (0.40 * OB)
+        
+        weight_ml = 0.60
+        weight_ob = 0.40
+        
+        final_score = (ml_score * weight_ml) + (ob_data['score'] * weight_ob)
+        
+        # --- D. اتخاذ القرار (Decision) ---
+        
+        signal = 'WAIT'
+        reason_str = f"Final:{final_score:.2f} (ML:{ml_score:.2f} + OB:{ob_data['score']:.2f})"
+
+        # 1. فحص الفيتو أولاً (Safety First)
+        if ob_data.get('veto', False):
+            signal = 'WAIT'
+            reason_str = f"⛔ BLOCKED by OB Veto: {ob_data.get('reason')}"
+            
+        # 2. فحص الدرجة النهائية
+        elif final_score >= self.threshold:
+            signal = 'BUY'
+            reason_str = f"✅ APPROVED: {final_score:.2f} >= {self.threshold} | ML:{ml_score:.2f} OB:{ob_data['score']:.2f}"
         
-        # 3. فشل النموذج
         else:
-            final_signal = 'WAIT'
-            fusion_reason = f"Low ML Confidence ({ml_confidence:.2f})"
+            signal = 'WAIT'
+            reason_str = f"❌ LOW SCORE: {final_score:.2f} < {self.threshold} | ML:{ml_score:.2f} OB:{ob_data['score']:.2f}"
 
         return {
-            'signal': final_signal,
-            'confidence_prob': ml_confidence,
+            'signal': signal,
+            'confidence_prob': final_score, # نعيد الدرجة النهائية الموزونة كدرجة ثقة
+            'ml_score': ml_score,
+            'ob_score': ob_data['score'],
+            'ob_data': ob_data,
             'threshold': self.threshold,
-            'ob_data': ob_analysis,
-            'reason': fusion_reason
+            'reason': reason_str
         }