Update ml_engine/data_manager.py

ml_engine/data_manager.py

@@ -1,6 +1,6 @@
 # ============================================================
 # 📂 ml_engine/data_manager.py 
-# (V60.0 - GEM-Architect: Anti-FOMO Shield + Neural Injection)
+# (V60.1 - GEM-Architect: Tuned Anti-FOMO Shield)
 # ============================================================
 
 import asyncio
@@ -12,13 +12,11 @@ import pandas as pd
 import numpy as np
 from typing import List, Dict, Any
 
-# Keep SystemLimits import for fallbacks if needed
 try:
     from ml_engine.processor import SystemLimits
 except ImportError:
     SystemLimits = None
 
-# إعدادات التسجيل
 logging.getLogger("httpx").setLevel(logging.WARNING)
 logging.getLogger("ccxt").setLevel(logging.WARNING)
 
@@ -27,7 +25,7 @@ class DataManager:
         self.contracts_db = contracts_db or {}
         self.whale_monitor = whale_monitor
         self.r2_service = r2_service
-        self.adaptive_hub_ref = None  # 🧠 المرجع لملف التعلم (Adaptive Hub)
+        self.adaptive_hub_ref = None 
         
         self.exchange = ccxt.kucoin({
             'enableRateLimit': True,
@@ -43,7 +41,7 @@ class DataManager:
             'UP', 'DOWN', 'BEAR', 'BULL', '3S', '3L'
         ]
         
-        print(f"📦 [DataManager V60.0] Anti-FOMO Shield + Context Injector Active.")
+        print(f"📦 [DataManager V60.1] Tuned Shield + Context Injector Active.")
 
     async def initialize(self):
         print("   > [DataManager] Starting initialization...")
@@ -75,150 +73,119 @@ class DataManager:
     # 🧠 Layer 1: Screening + Diagnosis + Injection
     # ==================================================================
     async def layer1_rapid_screening(self, adaptive_hub_ref=None) -> List[Dict[str, Any]]:
-        """
-        1. Filters using Strict Anti-FOMO Logic.
-        2. Diagnoses Market Regime (Bull/Bear/Range) for survivors.
-        3. Injects Dynamic Thresholds from AdaptiveHub.
-        """
         self.adaptive_hub_ref = adaptive_hub_ref
-        print(f"🔍 [Layer 1] Initiating STRICT Screening & Context Injection...")
+        print(f"🔍 [Layer 1] Initiating Tuned Screening...")
         
-        # 1. فلتر السيولة الأساسي
+        # 1. فلتر السيولة الأساسي (تم تخفيفه)
         initial_candidates = await self._stage0_universe_filter()
-        if not initial_candidates: return []
+        
+        if not initial_candidates:
+            print("⚠️ [Layer 1] Stage 0 returned 0 candidates. Check Quote Volume Limit.")
+            return []
 
         # 2. جلب البيانات الفنية
-        top_candidates = initial_candidates[:100] 
+        top_candidates = initial_candidates[:120] # وسعنا النطاق قليلاً
         enriched_data = await self._fetch_technical_data_batch(top_candidates)
         
         final_list = []
 
         for item in enriched_data:
-            # 3. تطبيق الفلتر الصارم (Anti-FOMO)
+            # 3. تطبيق الفلتر (تم تخفيف القيود)
             classification = self._apply_strict_logic_tree(item)
             
             if classification['type'] != 'NONE':
-                # ✅ 4. التشخيص والحقن (The Injection Step)
-                # نحدد حالة العملة (صاعدة/هابطة/ميتة) لتحديد العتبات المناسبة
+                # 4. التشخيص والحقن
                 regime_info = self._diagnose_asset_regime(item)
                 item['asset_regime'] = regime_info['regime']
                 item['asset_regime_conf'] = regime_info['conf']
                 
-                # ✅ حقن العتبات الخاصة من AdaptiveHub
                 if self.adaptive_hub_ref:
-                    # يجلب الإعدادات الخاصة بهذه الحالة (مثلاً: BULL يحتاج عتبات أقل)
                     dynamic_config = self.adaptive_hub_ref.get_regime_config(regime_info['regime'])
                     item['dynamic_limits'] = dynamic_config
                 
-                # حفظ النتيجة
                 item['l1_sort_score'] = classification['score'] 
                 item['strategy_tag'] = classification['type']
                 final_list.append(item)
 
         # 5. الترتيب النهائي
-        # نفضل الاختراقات الآمنة (Breakout) والارتدادات القوية
         final_list.sort(key=lambda x: x['l1_sort_score'], reverse=True)
         
         selection = final_list[:50]
-        print(f"✅ [Layer 1] Injected Context into {len(selection)} Candidates.")
+        print(f"✅ [Layer 1] Passed {len(selection)} candidates to Processor.")
         return selection
 
     # ------------------------------------------------------------------
-    # 🧭 The Diagnoser (يحدد حالة العملة لحقن العتبات)
+    # 🧭 The Diagnoser
     # ------------------------------------------------------------------
     def _diagnose_asset_regime(self, item: Dict[str, Any]) -> Dict[str, Any]:
-        """
-        تحليل حالة العملة بناءً على البيانات المحسوبة مسبقاً (1H).
-        يحدد هل هي BULL, BEAR, RANGE, أم DEAD.
-        """
         try:
-            # نستخدم بيانات الـ 1 ساعة المحسوبة في _apply_strict_logic_tree
-            # البيانات موجودة في item['df_1h'] (سنقوم بحفظها هناك)
             if 'df_1h' not in item: return {'regime': 'RANGE', 'conf': 0.0}
-            
             df = item['df_1h']
             curr = df.iloc[-1]
-            
             price = curr['close']
             ema20 = curr['ema20']
             ema50 = curr['ema50']
             rsi = curr['rsi']
             atr = curr['atr']
-            
-            # حساب نسبة الـ ATR (لقياس النشاط)
             atr_pct = (atr / price) * 100 if price > 0 else 0
             
             regime = "RANGE"
             conf = 0.5
             
-            # 1. DEAD Check (خمول تام)
-            # حركة ضعيفة جداً وسيولة منخفضة
-            if atr_pct < 0.5: 
-                return {'regime': 'DEAD', 'conf': 0.9}
-
-            # 2. BULL Check (ترند صاعد قوي)
-            # السعر فوق المتوسطات، والمتوسطات مرتبة، والزخم إيجابي
+            if atr_pct < 0.5: return {'regime': 'DEAD', 'conf': 0.9}
             if price > ema20 and ema20 > ema50 and rsi > 50:
                 regime = "BULL"
                 conf = 0.8 if rsi > 55 else 0.6
-                
-            # 3. BEAR Check (ترند هابط)
             elif price < ema20 and ema20 < ema50 and rsi < 50:
                 regime = "BEAR"
                 conf = 0.8 if rsi < 45 else 0.6
                 
             return {'regime': regime, 'conf': conf}
-            
-        except Exception:
-            return {'regime': 'RANGE', 'conf': 0.0}
+        except Exception: return {'regime': 'RANGE', 'conf': 0.0}
 
     # ------------------------------------------------------------------
-    # 🛡️ The Strict Logic Tree (Anti-FOMO)
+    # 🛡️ The Logic Tree (TUNED for better flow)
     # ------------------------------------------------------------------
     def _apply_strict_logic_tree(self, data: Dict[str, Any]) -> Dict[str, Any]:
         try:
-            # حساب المؤشرات
             df_1h = self._calc_indicators(data['ohlcv_1h_raw'])
             df_15m = self._calc_indicators(data['ohlcv_15m_raw'])
-            
-            # حفظ الداتافريم للتشخيص لاحقاً
             data['df_1h'] = df_1h
-            
         except: return {'type': 'NONE', 'score': 0}
 
         curr_1h = df_1h.iloc[-1]
         curr_15m = df_15m.iloc[-1]
         
-        # --- فلاتر الأمان (Safety Gates) ---
         try:
             close_4h_ago = df_1h.iloc[-5]['close']
             change_4h = ((curr_1h['close'] - close_4h_ago) / close_4h_ago) * 100
         except: change_4h = 0.0
 
-        # 1. لا تطارد المضخات (+8% في 4 ساعات ممنوع)
-        if change_4h > 8.0: return {'type': 'NONE', 'score': 0}
-        # 2. لا تشتري في قمة التشبع (RSI > 70 ممنوع)
-        if curr_1h['rsi'] > 70: return {'type': 'NONE', 'score': 0} 
-        # 3. لا تشتري بعيداً عن المتوسط (Mean Reversion Risk)
+        # 🔧 TUNED GATES (فتحات التنفس)
+        # 1. السماح بحركة 12% في 4 ساعات (بدلاً من 8%)
+        if change_4h > 12.0: return {'type': 'NONE', 'score': 0}
+        
+        # 2. السماح بـ RSI حتى 75 (بدلاً من 70)
+        if curr_1h['rsi'] > 75: return {'type': 'NONE', 'score': 0} 
+        
+        # 3. السماح بانحراف 2.2 ATR (بدلاً من 1.8)
         dev = (curr_1h['close'] - curr_1h['ema20']) / curr_1h['atr'] if curr_1h['atr'] > 0 else 0
-        if dev > 1.8: return {'type': 'NONE', 'score': 0}
+        if dev > 2.2: return {'type': 'NONE', 'score': 0}
 
         # --- التصنيف ---
         
         # A. Breakout (اختراق آمن)
-        # هيكلية صاعدة + تجميع (Squeeze) + فوليوم
         is_bullish = (curr_1h['ema20'] > curr_1h['ema50']) or (curr_1h['close'] > curr_1h['ema20'])
-        if is_bullish and (45 <= curr_1h['rsi'] <= 68):
+        if is_bullish and (45 <= curr_1h['rsi'] <= 72): # وسعنا نطاق الـ RSI قليلاً
             vol_ma = df_15m['volume'].rolling(20).mean().iloc[-1]
-            if curr_15m['volume'] >= 1.5 * vol_ma: # شرط الفوليوم
-                # سكور الاختراق يعتمد على قوة الفوليوم النسبي
+            
+            # 🔧 TUNED: خفضنا شرط الفوليوم لـ 1.2x (بدلاً من 1.5x) لالتقاط بداية الحركة
+            if curr_15m['volume'] >= 1.2 * vol_ma: 
                 score = curr_15m['volume'] / vol_ma if vol_ma > 0 else 1.0
                 return {'type': 'BREAKOUT', 'score': score}
 
         # B. Reversal (صيد القاع)
-        # تشبع بيعي + شمعة عاكسة
         if 20 <= curr_1h['rsi'] <= 40 and change_4h <= -2.0:
-            # سكور الارتداد يعتمد على مدى انخفاض الـ RSI (كلما قل كان أفضل للارتداد)
             score = (100 - curr_1h['rsi'])
             return {'type': 'REVERSAL', 'score': score}
 
@@ -235,12 +202,12 @@ class DataManager:
                 if not symbol.endswith('/USDT'): continue
                 if any(b in symbol for b in self.BLACKLIST_TOKENS): continue
                 
-                # السيولة
+                # 🔧 TUNED: خفضنا الحد الأدنى للسيولة لـ 500k
                 quote_vol = ticker.get('quoteVolume', 0)
-                if quote_vol < 1_000_000: continue
+                if quote_vol < 500_000: continue
                 
-                # حماية من العملات المنفجرة (+15% يومي ممنوع)
-                if ticker.get('percentage', 0) > 15.0: continue
+                # 🔧 TUNED: السماح بـ 20% تغير يومي (بدلاً من 15%)
+                if ticker.get('percentage', 0) > 20.0: continue
                 
                 candidates.append({
                     'symbol': symbol,
@@ -264,32 +231,26 @@ class DataManager:
 
     async def _fetch_single(self, c):
         try:
-            # نحتاج 1H و 15M للتشخيص والفلتر
             h1 = await self.exchange.fetch_ohlcv(c['symbol'], '1h', limit=60)
             m15 = await self.exchange.fetch_ohlcv(c['symbol'], '15m', limit=60)
             if not h1 or not m15: return None
-            c['ohlcv'] = {'1h': h1, '15m': m15} # للمعالج لاحقاً
-            c['ohlcv_1h_raw'] = h1 # للفلتر الداخلي
+            c['ohlcv'] = {'1h': h1, '15m': m15} 
+            c['ohlcv_1h_raw'] = h1 
             c['ohlcv_15m_raw'] = m15
             return c
         except: return None
 
     def _calc_indicators(self, ohlcv):
         df = pd.DataFrame(ohlcv, columns=['ts', 'o', 'h', 'l', 'c', 'v'])
-        # RSI
         delta = df['c'].diff()
         gain = (delta.where(delta>0, 0)).rolling(14).mean()
         loss = (-delta.where(delta<0, 0)).rolling(14).mean()
         rs = gain/loss
         df['rsi'] = 100 - (100/(1+rs))
-        # EMAs
         df['ema20'] = df['c'].ewm(span=20).mean()
         df['ema50'] = df['c'].ewm(span=50).mean()
-        # ATR
         tr = np.maximum(df['h']-df['l'], np.maximum(abs(df['h']-df['c'].shift()), abs(df['l']-df['c'].shift())))
         df['atr'] = tr.rolling(14).mean()
-        
-        # Renaming for consistency
         df.rename(columns={'o':'open', 'h':'high', 'l':'low', 'c':'close', 'v':'volume'}, inplace=True)
         return df.fillna(0)