Upload emovoid.py

2Gv38_AutoLR/emovoid.py

@@ -0,0 +1,170 @@
+import torch
+from torch.optim import Optimizer
+import math
+
+"""
+EmoVoid v3.8.1 (260204) shadow-system v3.1 -moment v3.1 emoPulse v3.8
+これまでの emo系 のすべて、emo系 v3.7 を継承し独自更新式を持つ、完全オリジナル最適化器
+The “geometric relationship” between "W"eight and "G"radient Method
+これまでの統計手法を完全になくし、重みベクトルと勾配ベクトルの直交性(W-Ref Geometry)のみで、
+メモリコストを極限まで削ぎ落とした、1次2次モーメント廃止の幾何学的最適化アルゴリズム
+"""
+
+class EmoVoid(Optimizer):
+    # クラス定義＆初期化
+    def __init__(self, params,
+                 lr=1.0,
+                 eps=1e-8,
+                 betas=(0.9, 0.995),
+                 weight_decay=0.01,
+                 use_shadow:bool=False):
+        defaults = dict(lr=lr, betas=betas, eps=eps, weight_decay=weight_decay)
+        super().__init__(params, defaults)
+        self._init_lr = lr
+        self.should_stop = False     # 停止フラグの初期化
+        self.use_shadow = use_shadow # 🔸shadow 使用フラグを保存
+        self.emoScope = lr           # 動的学習率の調和とリズム
+        self.dNR_hist = 1.0          # emoPulse hist 初期化
+        self.noise_est = 1.0         # emoPulse nest 初期化
+        self.d_est = 0.02            # emoPulse dest 初期化
+
+    # 感情EMA更新(緊張と安静)
+    def _update_ema(self, state, loss_val):
+        ema = state.setdefault('ema', {})
+        ema['short'] = 0.3 * loss_val + 0.7 * ema.get('short', loss_val)
+        ema['medium'] = 0.05 * loss_val + 0.95 * ema.get('medium', loss_val)
+        ema['long'] = 0.01 * loss_val + 0.99 * ema.get('long', loss_val)
+        return ema
+
+    # 感情スカラー値生成(EMA差分、滑らかな非線形スカラー、tanh(diff) は ±1.0 で有界性)
+    # 係数"1"：ema差分 のスケール調整処理に活用(感度調節係数)／通常は1(タスクに応じ調整可(非推奨))
+    # scale_base：Loss値とema値の乖離を修正(分母 ema(long) ｢改善率｣共通化/loss種に非依存)
+    # 1e-5(デフォルト)／1e-6(感度向上)／1e-4(安定性向上)：分母を０にせず安定させる
+    # トラウマ的反応や慣れによる鈍化で安定性向上(ema-medium 安定と急変を信頼度で感知)
+    def _compute_scalar(self, ema):
+        scale_base_l = max(ema['long'], 1e-5)
+        scale_base_m = max(ema['medium'], 1e-5)
+        diff_base = ema['long'] - ema['short']
+        diff_l = diff_base / scale_base_l
+        diff_m = diff_base / scale_base_m
+        # longが十分静かなら、常にlongを優先
+        if abs(diff_l) < 0.05:
+            return math.tanh(diff_l)
+        # longが静かでない時のみ、mediumの静けさを条件付きで採用
+        if abs(diff_m) * scale_base_m < abs(diff_l) * scale_base_l:
+            return math.tanh(diff_m)
+        else:
+            return math.tanh(diff_l)
+
+    # (重要)現在は shadow-effect を参考に得た動的フィルタ効果の近似により use_shadow=False です
+    # しかし全機能は shadow なしで全て成立します／コード確認時はこの shadow を考慮外として無視してください
+    # Shadow混合比 ３段階構成 タスクに応じ調整可、以下を参考に 開始値・範囲量･変化幅を調整
+    # return 開始値 + ((scalar) - 閾値) / 範囲量 * 変化幅 も可能(特殊用途向け)
+    def _decide_ratio(self, scalar):
+        if not self.use_shadow:
+            return 0.0  # 🔸use_shadow = False のとき常に比率を 0 にする
+        if abs(scalar) > 0.625:
+            return 1.0 - abs(scalar)  # 急変｜強抑制｜tanh 0.73(0.27)
+        else:
+            return 0.0  # return<0 の場合は leap 専用(書き戻しはしないが履歴更新のみ)
+
+    # 損失取得(損失値 loss_val を数値化、感情判定に使用、存在しないパラメータ(更新不要)はスキップ)
+    @torch.no_grad()
+    def step(self, closure=None):
+        loss = torch.enable_grad()(closure)() if closure is not None else None
+        loss_val = loss.item() if loss is not None else 0.0
+
+        # EMA更新・スカラー生成(EMA差分からスカラーを生成しスパイク比率等を決定)
+        ema = self._update_ema(self.state, loss_val)
+        scalar = self._compute_scalar(ema)
+        ratio = self._decide_ratio(scalar)
+        trust = math.copysign((1.0 - abs(scalar)), scalar)
+
+        # --- Start emoPulse (完全自動LR生成) ---
+        # emoPulse (loss 時系列から D / Noise を推定し完全自動LRを生成)
+        # d / N 履歴 (時間的D推定)
+        self.noise_est = 0.97 * self.noise_est + 0.03 * abs(scalar)
+        self.d_est = 0.97 * self.d_est + 0.03 * abs(trust)
+        noise = max(self.noise_est, 1e-10) # max:1e-12程度(変更後：要アーリーストップ見直し)
+        d = self.d_est
+        # scalar、trust��の差分(瞬間的D推定)と各時間軸の確度推定(疑念と信頼の綱引き)
+        Noise_base = abs(scalar - trust) + 0.1
+        d_base = abs(noise - d) + 0.1
+        # SNRにより異なる時間的確度比率から更新力を導出し２乗で出力最大化
+        dNR_now_val = (d_base / Noise_base) ** 2
+        # db / Nb dNR(SNR) 履歴化と最大値の成長率の増減
+        if dNR_now_val >= self.dNR_hist and trust >= 0.5:
+            # 加速：どんなに SNR が高くても、1.50倍という｢歩幅｣の成長制限
+            self.dNR_hist = min(dNR_now_val, self.dNR_hist * 1.50)
+        elif -0.5 <= trust <= 0.5:
+            # 減速：怪しい時は即座に比率を下げる(確実に信頼できない場合に下げ圧力を溜める)
+            self.dNR_hist = dNR_now_val * 0.80
+        # emoPulse 最終決定： emoScorp によるユーザー意思の反映と安全値による制限
+        emoPulse = max(min(self.dNR_hist * (self.emoScope * 1e-4), 3e-3), 1e-6)
+        # --- End emoPulse (完全自動LR生成) ---
+
+        for group in self.param_groups:
+            beta1, beta2 = group['betas']
+            for p in (p for p in group['params'] if p.grad is not None):
+
+                grad = p.grad
+                state = self.state[p]
+
+                # 動的学習率補正により shadow 形成を信頼度で調整(trustは正値化(負にならない))
+                # shadow：必要時のみ(スパイクp部分に現在値を最大10%追従させる動的履歴更新)
+                # 混合比率：スカラーが閾値を超える場合にのみ計算される(信頼できる感情信号かどうかの選別)
+                # 急変時は感情機構による shadow 混合で強く抑制する(急制動による安定性の確保)
+                # 新 shadow-system は動的学習率と信頼度で協調し選択的スパース性も発揮する
+                if self.use_shadow :
+                    if 'shadow' not in state: # 🔸shadow = False (デフォルト)
+                        state['shadow'] = p.clone()
+                    if ratio > 0: # 書き戻しと履歴更新(急変時の強い抑制と弱めの履歴更新)
+                        p.mul_(1-ratio).add_(state['shadow'], alpha=abs(trust))
+                    else: # 書き戻しせず履歴更新のみ：10%×trust
+                        leap_ratio = 0.1 * abs(trust)
+                        state['shadow'].lerp_(p, leap_ratio)
+
+                # --- Start Gradient Update Logic ---
+                # --- Start EmoVoid (Pure W-Ref Geometry) ---
+                # 1次モーメント廃止版
+                # メモリ消費を最小、計算負荷を極小、｢直交方向への超感度｣｢膨張への自己抑制｣を両立
+                # ノルム取得(計算効率と安全性の確保)
+                p_norm = p.norm()
+                g_norm = grad.norm()
+
+                # rho の算出：定義済みのノルム変数を使用
+                # 1e-8 分母において、p か g のどちらかが 0 でも破綻を防ぐ
+                rho = torch.abs(torch.sum(p * grad)) / (p_norm * g_norm + 1e-8)
+                # 鮮度(直交性スコア)
+                freshness = (1.0 - rho) # EMAを通さない瞬間の鮮度
+
+                # Weight Decay が不要な理由：
+                # ノルムが増大する方向に進もうとすると rho 増加で自らブレーキを踏む
+                # 慣性を使わず、現在の勾配の方向(sign)に、鮮度を乗算
+                update_vec = torch.sign(grad) * freshness
+
+                # 更新
+                p.add_(update_vec, alpha=-emoPulse)
+                # --- End EmoVoid ---
+                # --- End Gradient Update Logic ---
+
+        # ユーザー指定初期LRを実効値(emoPulse)で可視化する(PyTorch標準)
+        for group in self.param_groups:
+            group['lr'] = emoPulse
+
+        # 感情機構の穏やかさ"安定状態"を外部伝達する(自動停止ではない)
+        # Early Stop：瞬間値と33step分の履歴の差分で True にするだけ
+        # 誤判定防止をしないのは点灯頻度で停止準備(予兆)にするため
+        if abs(scalar) <= 5e-6 and abs(Noise_base - d_base) <= 5e-7:
+            self.should_stop = True   # 💡 外部からこれを見て判断可
+            self.emoScope = 1.0       # ユーザー意思を目的の収束へ整える
+        else:
+            self.should_stop = False  # 💡 誤判定などの取り消し
+
+        return
+
+"""
+ https://github.com/muooon/EmoSens
+ A new-dimensional geometric optimization algorithm traversing the void.
+ Taking decisive steps forward, Weight-Reference Optimizer.
+"""