Update ml_engine/data_manager.py

ml_engine/data_manager.py

@@ -1,6 +1,10 @@
+{
+type: uploaded file
+fileName: data_manager.py
+fullContent:
 # ============================================================
 # 📂 ml_engine/data_manager.py 
-# (V61.1 - GEM-Architect: Relaxed Filtering & Dual Classification)
+# (V62.0 - GEM-Architect: Accumulation Depth & Vitality Check)
 # ============================================================
 
 import asyncio
@@ -10,7 +14,7 @@ import ccxt.async_support as ccxt
 import logging
 import pandas as pd
 import numpy as np
-from typing import List, Dict, Any
+from typing import List, Dict, Any, Optional
 
 # محاولة استيراد حدود النظام
 try:
@@ -44,7 +48,7 @@ class DataManager:
             'UP', 'DOWN', 'BEAR', 'BULL', '3S', '3L'
         ]
         
-        print(f"📦 [DataManager V61.1] Relaxed Filtering Active.")
+        print(f"📦 [DataManager V62.0] Accumulation Depth & Vitality Check Active.")
 
     async def initialize(self):
         print("   > [DataManager] Starting initialization...")
@@ -73,108 +77,195 @@ class DataManager:
         return self.contracts_db
 
     # ==================================================================
-    # 🧠 Layer 1: Classification (Bottom vs Momentum)
+    # 🧠 Layer 1: Classification (Bottom, Momentum, Accumulation)
     # ==================================================================
     async def layer1_rapid_screening(self, adaptive_hub_ref=None) -> List[Dict[str, Any]]:
         self.adaptive_hub_ref = adaptive_hub_ref
-        print(f"🔍 [Layer 1] Screening for SAFE BOTTOMS & MOMENTUM LAUNCHES...")
+        print(f"🔍 [Layer 1] Screening for Safe Bottoms, Accumulation & Momentum...")
         
-        # 1. فلتر السيولة الأساسي (تم تخفيفه في الدالة أدناه)
+        # 1. فلتر السيولة الأساسي
         initial_candidates = await self._stage0_universe_filter()
         if not initial_candidates:
             print("⚠️ [Layer 1] Stage 0 returned 0 candidates.")
             return []
 
-        # 2. جلب البيانات الفنية
-        # نأخذ أكبر عدد ممكن بعد التخفيف لزيادة الفرص
+        # 2. جلب البيانات الفنية (دفعة أكبر لزيادة الفرص)
         top_candidates = initial_candidates[:600] 
         enriched_data = await self._fetch_technical_data_batch(top_candidates)
         
-        final_list = []
+        semi_final_list = []
 
+        # 3. التصنيف الفني الأولي
         for item in enriched_data:
-            # 3. التصنيف الجديد: قاع آمن أم انفجار وشيك؟
             classification = self._classify_opportunity_type(item)
             
             if classification['type'] != 'NONE':
-                # تشخيص حالة السوق العامة (Regime)
+                # تشخيص حالة السوق
                 regime_info = self._diagnose_asset_regime(item)
-                current_regime = regime_info['regime']
-                
-                # 🔥 Regime Gating: الحماية من المصائد
-                # إذا السوق عرضي (RANGE) أو ميت (DEAD)، نمنع صفقات الزخم (MOMENTUM) لأنها غالباً مصائد
-                if current_regime in ['RANGE', 'DEAD'] and classification['type'] == 'MOMENTUM_LAUNCH':
-                    continue 
-
-                # إضافة البيانات
-                item['asset_regime'] = current_regime
+                item['asset_regime'] = regime_info['regime']
                 item['asset_regime_conf'] = regime_info['conf']
                 
-                # 🏷️ الوسم الجديد للاستراتيجية
+                # تخزين نوع الاستراتيجية والنتيجة الأولية
                 item['strategy_type'] = classification['type'] 
                 item['l1_sort_score'] = classification['score']
-                
-                # حقن العتبات الديناميكية
-                if self.adaptive_hub_ref:
-                    dynamic_config = self.adaptive_hub_ref.get_regime_config(current_regime)
-                    item['dynamic_limits'] = dynamic_config
-                
-                # حفظ التاج القديم للتوافق
                 item['strategy_tag'] = classification['type']
                 
-                final_list.append(item)
+                # فحص الـ Regime (نرفض الانفجارات في الأسواق الميتة، لكن نقبل التجميع)
+                if regime_info['regime'] == 'DEAD' and classification['type'] == 'MOMENTUM_LAUNCH':
+                    # استثناء: إذا كان "Squeeze" (تجميع)، نسمح بمروره حتى لو السوق ميت
+                    if not classification.get('is_squeeze', False):
+                        continue
 
-        # 4. الترتيب النهائي
-        final_list.sort(key=lambda x: x['l1_sort_score'], reverse=True)
+                semi_final_list.append(item)
+
+        # 4. 🧱 فحص عمق السوق (Order Book Check) للمرشحين للتجميع
+        # هذا هو "مصدر الكشف" الجديد الذي طلبته
+        final_list = []
+        print(f"   🛡️ [Layer 1.5] Checking Depth Support for {len(semi_final_list)} candidates...")
         
-        # نمرر عدد أكبر للمعالجات اللاحقة
+        # نأخذ أفضل 50 مرشحاً فقط لفحص دفتر الطلبات لتجنب حظر API
+        semi_final_list.sort(key=lambda x: x['l1_sort_score'], reverse=True)
+        candidates_for_depth = semi_final_list[:50]
+        
+        for item in candidates_for_depth:
+            # إذا كانت تجميع (Squeeze) أو قاع، نفحص هل هناك دعم حقيقي في الأسفل؟
+            if item['strategy_type'] in ['ACCUMULATION_SQUEEZE', 'SAFE_BOTTOM']:
+                try:
+                    # حساب نطاق الساعتين القادمتين (2 * ATR)
+                    atr_val = item.get('atr_value', 0.0)
+                    curr_price = item.get('current_price', 0.0)
+                    
+                    if atr_val > 0 and curr_price > 0:
+                        range_2h = atr_val * 2.0
+                        # فحص ضغط دفتر الطلبات في هذا النطاق
+                        ob_score = await self._check_ob_pressure(item['symbol'], curr_price, range_2h)
+                        
+                        # تعزيز النتيجة بناءً على دعم دفتر الطلبات
+                        if ob_score > 0.6: # دعم قوي
+                            item['l1_sort_score'] += 0.15 # بونص
+                            item['note'] = f"Strong Depth Support ({ob_score:.2f})"
+                        elif ob_score < 0.4: # دعم ضعيف
+                            item['l1_sort_score'] -= 0.10 # عقوبة
+                except Exception: pass
+            
+            # حقن الإعدادات الديناميكية
+            if self.adaptive_hub_ref:
+                dynamic_config = self.adaptive_hub_ref.get_regime_config(item['asset_regime'])
+                item['dynamic_limits'] = dynamic_config
+
+            final_list.append(item)
+
+        # 5. الترتيب النهائي والإرجاع
+        final_list.sort(key=lambda x: x['l1_sort_score'], reverse=True)
         selection = final_list[:60]
-        print(f"✅ [Layer 1] Passed {len(selection)} candidates (Types: Bottom/Launch).")
+        
+        print(f"✅ [Layer 1] Passed {len(selection)} candidates (With Depth Verification).")
         return selection
 
     # ==================================================================
-    # ⚖️ The Dual-Classifier Logic (RELAXED CONDITIONS)
+    # 🧱 Order Book Depth Scanner (2-Hour Range Logic)
+    # ==================================================================
+    async def _check_ob_pressure(self, symbol: str, current_price: float, price_range: float) -> float:
+        """
+        يفحص دفتر الطلبات داخل النطاق السعري المتوقع للساعتين القادمتين.
+        النطاق = السعر الحالي +/- (ATR_1H * 2)
+        يعيد نسبة قوة المشترين (0.0 إلى 1.0).
+        """
+        try:
+            # جلب لقطة سريعة لدفتر الطلبات (50 مستوى كافية للتجميع القريب)
+            ob = await self.exchange.fetch_order_book(symbol, limit=50)
+            
+            bids = ob['bids']
+            asks = ob['asks']
+            
+            min_price = current_price - price_range
+            max_price = current_price + price_range
+            
+            support_vol = 0.0
+            resistance_vol = 0.0
+            
+            # تجميع طلبات الشراء داخل نطاق الدعم المتوقع
+            for p, v in bids:
+                if p >= min_price:
+                    support_vol += v
+                else: break # بما أن Bids مرتبة تنازلياً
+                
+            # تجميع طلبات البيع داخل نطاق المقاومة المتوقع
+            for p, v in asks:
+                if p <= max_price:
+                    resistance_vol += v
+                else: break # بما أن Asks مرتبة تصاعدياً
+                
+            if (support_vol + resistance_vol) == 0: return 0.5
+            
+            # نسبة ضغط الشراء (Imbalance)
+            pressure_ratio = support_vol / (support_vol + resistance_vol)
+            return pressure_ratio
+            
+        except Exception:
+            return 0.5 # حياد في حال الفشل
+
+    # ==================================================================
+    # ⚖️ The Dual-Classifier Logic (GEM-Architect: ACCUMULATION UPGRADE)
     # ==================================================================
     def _classify_opportunity_type(self, data: Dict[str, Any]) -> Dict[str, Any]:
         """
-        تم تخفيف الشروط لزيادة الحساسية (Sensitivity) وتقليل الرفض الخاطئ (False Negatives).
+        تم التعديل ليشمل منطق التجميع (RSI 45-60) وفلتر الحياة (ATR).
         """
         try:
             df_1h = self._calc_indicators(data['ohlcv_1h_raw'])
             curr = df_1h.iloc[-1]
+            
+            # تخزين ATR لاستخدامه لاحقاً في فحص دفتر الطلبات
+            data['atr_value'] = curr['atr']
         except: return {'type': 'NONE', 'score': 0}
 
         # --- المؤشرات الأساسية ---
         rsi = curr['rsi']
         close = curr['close']
+        ema20 = curr['ema20']
         ema50 = curr['ema50']
         ema200 = curr['ema200'] if 'ema200' in curr else ema50 
+        atr = curr['atr']
         
-        # Bollinger Bands Check
+        # Bollinger Bands
         lower_bb = curr['lower_bb'] if 'lower_bb' in curr else (curr['ema20'] - (2*curr['atr']))
         upper_bb = curr['upper_bb'] if 'upper_bb' in curr else (curr['ema20'] + (2*curr['atr']))
-        
-        # 🛡️ TYPE 1: SAFE_BOTTOM (Relaxed)
-        # القديم: RSI < 35. الجديد: RSI < 42 (القيعان في الترند الصاعد لا تصل لـ 30 غالباً)
-        if rsi < 42:
-            # التأكد من الابتعاد عن المتوسط
+        bb_width = (upper_bb - lower_bb) / curr['ema20'] if curr['ema20'] > 0 else 1.0
+
+        # 🔥 1. Dead Coin Filter (فلتر العملات الميتة)
+        # نحسب نسبة الـ ATR للسعر. إذا كانت الحركة أقل من 0.4% في الساعة، نرفضها.
+        volatility_pct = (atr / close) * 100 if close > 0 else 0
+        if volatility_pct < 0.4:
+            return {'type': 'NONE', 'score': 0}
+
+        # 🛡️ TYPE 1: SAFE_BOTTOM (RSI < 45)
+        if rsi < 45:
             dist_from_ema = (ema50 - close) / ema50
-            
-            # السماح بمسافة أكبر قليلاً عن الخط السفلي (3% بدلاً من 1.5%)
-            if close <= lower_bb * 1.03 and dist_from_ema > 0.02:
-                # Score adjustment
-                score = (50 - rsi) / 20.0 
+            # السماح بمسافة أكبر قليلاً عن الخط السفلي (5%)
+            if close <= lower_bb * 1.05 and dist_from_ema > 0.015:
+                score = (55 - rsi) / 20.0 
                 return {'type': 'SAFE_BOTTOM', 'score': min(score, 1.0)}
 
-        # 🚀 TYPE 2: MOMENTUM_LAUNCH (Relaxed)
-        # القديم: 55-75. الجديد: 50-80 (للسماح بدخول مبكر أو متأخر قليلاً)
-        elif 50 < rsi < 80:
+        # 🔋 TYPE 2: ACCUMULATION_SQUEEZE (The Missing Link)
+        # المنطق: RSI محايد (45-60) + قناة ضيقة (Squeeze) + دعم دفتر الطلبات (سيفحص لاحقاً)
+        elif 45 <= rsi <= 60:
+            if bb_width < 0.12: # وسعنا النطاق قليلاً لـ 12% لزيادة المرونة
+                # نفضل أن يكون السعر يحاول الصعود فوق متوسط 20
+                if close > ema20 * 0.995: # السماح بكسر وهمي بسيط
+                    score = 1.0 - (bb_width * 4.0) 
+                    # نستخدم وسم خاص لتمييزها
+                    return {
+                        'type': 'ACCUMULATION_SQUEEZE', 
+                        'score': max(score, 0.5),
+                        'is_squeeze': True
+                    }
+
+        # 🚀 TYPE 3: MOMENTUM_LAUNCH (Classic)
+        elif 60 < rsi < 80:
             if close > ema50 and close > ema200:
-                # السعر يضغط قرب الحد العلوي
                 dist_to_upper = (upper_bb - close) / close
-                
-                # توسيع مجال الـ Squeeze المسموح به إلى 6% بدلاً من 3%
-                if dist_to_upper < 0.06: 
+                if dist_to_upper < 0.08: 
                     score = rsi / 100.0
                     return {'type': 'MOMENTUM_LAUNCH', 'score': score}
 
@@ -185,7 +276,7 @@ class DataManager:
     # ==================================================================
     async def _stage0_universe_filter(self) -> List[Dict[str, Any]]:
         try:
-            print("   🛡️ [Stage 0] Fetching Tickers (Relaxed Mode)...")
+            print("   🛡️ [Stage 0] Fetching Tickers (Accumulation Mode)...")
             tickers = await self.exchange.fetch_tickers()
             candidates = []
             
@@ -201,21 +292,18 @@ class DataManager:
                     reject_stats["blacklist"] += 1
                     continue
                 
-                # حساب الحجم
                 base_vol = float(ticker.get('baseVolume') or 0.0)
                 last_price = float(ticker.get('last') or 0.0)
                 calc_quote_vol = base_vol * last_price
                 
                 is_sovereign = symbol in SOVEREIGN_COINS
                 
-                # ⬇️ تخفيف فلتر السيولة: من 500k إلى 150k
-                # ��ذا يسمح باكتشاف الجواهر قبل ارتفاعها الكبير
+                # تخفيف فلتر السيولة للسماح بعملات التجميع الصغيرة
                 if not is_sovereign:
                     if calc_quote_vol < 150000: 
                         reject_stats["volume"] += 1
                         continue
                 
-                # ⬇️ تخفيف فلتر التذبذب: من 25% إلى 35%
                 change_pct = ticker.get('percentage')
                 if change_pct is None: change_pct = 0.0
                 
@@ -256,7 +344,7 @@ class DataManager:
             regime = "RANGE"
             conf = 0.5
             
-            if atr_pct < 0.5: return {'regime': 'DEAD', 'conf': 0.9}
+            if atr_pct < 0.4: return {'regime': 'DEAD', 'conf': 0.9}
             
             if price > ema20 and ema20 > ema50 and rsi > 50:
                 regime = "BULL"
@@ -327,4 +415,5 @@ class DataManager:
 
     async def get_order_book_snapshot(self, symbol, limit=20):
         try: return await self.exchange.fetch_order_book(symbol, limit)
-        except: return {}
+        except: return {}
+}