Upload 5 files

2Gv38_AutoLR/emoairy.py

@@ -3,13 +3,12 @@ from torch.optim import Optimizer
 import math
 
 """
-EmoAiry v3.8.1 (260202) shadow-system v3.1 -moment v3.1 emoPulse v3.8
-emoScorp、emoPulse、についてアグレッシブな更新にも耐えられるように調整し安全性を向上
-EmoAiry v3.7.6 (260109) shadow-system v3.1 -moment v3.1 emoPulse v3.7
-EmoFact v3.6 継承 emoDrive 機構を emoPulse へ統合し簡略化(循環器的機構)
+EmoAiry v3.8.3 (260215) Standard Edition
+shadow-system v3.1 -moment v3.1 emoPulse v3.8
+これまでの emo系 のすべて、emo系 v3.7 を継承し、早期停止関連の効率化やコード修正等を実施
+EmoAiry v3.8.1 (260201) shadow-system v3.1 -moment v3.1 emoPulse v3.7
 emoPulse 機構により完全自動化を目指す(ユーザーによる emoScope 調整可／改善度反映率)
-dNR係数により emoPulse に履歴を混ぜて安定させた(d / N 履歴 による信頼度の維持)
-Early scalar、Early Stop、効率化しつつ精度向上させ負荷も軽減する等の改修と微調整
+emoScorp、emoPulse、についてアグレッシブな更新にも耐えられるように調整し安全性を向上
 """
 
 class EmoAiry(Optimizer):
@@ -138,9 +137,15 @@ class EmoAiry(Optimizer):
                     # 分散情報から勾配の近似行列を生成
                     # AB行列として見立てたものを直接生成し更新項を計算する
                     # A = sqrt(r_sq), B = sqrt(c_sq) AB行列近似を再現し履歴化で平滑化する
-                    state.setdefault('exp_avg_r', torch.zeros_like(r_sq)).mul_(beta2).add_(r_sq, alpha=1 - beta2)
-                    state.setdefault('exp_avg_c', torch.zeros_like(c_sq)).mul_(beta2).add_(c_sq, alpha=1 - beta2)
-
+                    if 'exp_avg_r' not in state:
+                        exp_avg_r = state.setdefault('exp_avg_r', torch.zeros_like(r_sq))
+                        exp_avg_c = state.setdefault('exp_avg_c', torch.zeros_like(c_sq))
+
+                    exp_avg_r = state['exp_avg_r']
+                    exp_avg_c = state['exp_avg_c']
+                    # 指数移動平均の更新
+                    exp_avg_r.mul_(beta2).add_(r_sq, alpha=1 - beta2)
+                    exp_avg_c.mul_(beta2).add_(c_sq, alpha=1 - beta2)
                     # 再構築した近似勾配の平方根の積で正規化
                     denom = torch.sqrt(state['exp_avg_r'] * state['exp_avg_c']).add_(group['eps'])
                     # 最終的な更新項を計算
@@ -148,7 +153,9 @@ class EmoAiry(Optimizer):
 
                 # 1次元(ベクトル)の勾配補正
                 else:
-                    exp_avg_sq = state.setdefault('exp_avg_sq', torch.zeros_like(p))
+                    if 'exp_avg' not in state:
+                        exp_avg_sq = state.setdefault('exp_avg_sq', torch.zeros_like(p))
+                    exp_avg_sq = state['exp_avg_sq']
                     exp_avg_sq.mul_(beta2).addcmul_(grad, grad, value=1 - beta2)
                     denom = exp_avg_sq.sqrt().add_(group['eps'])
                     # 最終的な更新項を計算
@@ -168,8 +175,9 @@ class EmoAiry(Optimizer):
         # Early Stop：瞬間値と33step分の履歴の差分で True にするだけ
         # 誤判定防止をしないのは点灯頻度で停止準備(予兆)にするため
         if abs(scalar) <= 5e-6 and abs(Noise_base - d_base) <= 5e-7:
+            if not self.should_stop:
+                self.emoScope = 1.0   # ユーザー意思を目的の収束へ整える
             self.should_stop = True   # 💡 外部からこれを見て判断可
-            self.emoScope = 1.0       # ユーザー意思を目的の収束へ整える
         else:
             self.should_stop = False  # 💡 誤判定などの取り消し
 

2Gv38_AutoLR/emocats.py

@@ -3,13 +3,12 @@ from torch.optim import Optimizer
 import math
 
 """
-EmoCats v3.8.1 (260202) shadow-system v3.1 -moment v3.1 emoPulse v3.8
-emoScorp、emoPulse、についてアグレッシブな更新にも耐えられるように調整し安全性を向上
-EmoCats v3.7.6 (260109) shadow-system v3.1 -moment v3.1 emoPulse v3.7
-EmoLynx v3.6 継承 emoDrive 機構を emoPulse へ統合し簡略化(循環器的機構)
+EmoCats v3.8.3 (260215) Standard Edition
+shadow-system v3.1 -moment v3.1 emoPulse v3.8
+これまでの emo系 のすべて、emo系 v3.7 を継承し、早期停止関連の効率化やコード修正等を実施
+EmoAiry v3.8.1 (260201) shadow-system v3.1 -moment v3.1 emoPulse v3.7
 emoPulse 機構により完全自動化を目指す(ユーザーによる emoScope 調整可／改善度反映率)
-dNR係数により emoPulse に履歴を混ぜて安定させた(d / N 履歴 による信頼度の維持)
-Early scalar、Early Stop、効率化しつつ精度向上させ負荷も軽減する等の改修と微調整
+emoScorp、emoPulse、についてアグレッシブな更新にも耐えられるように調整し安全性を向上
 """
 
 class EmoCats(Optimizer):
@@ -151,8 +150,9 @@ class EmoCats(Optimizer):
         # Early Stop：瞬間値と33step分の履歴の差分で True にするだけ
         # 誤判定防止をしないのは点灯頻度で停止準備(予兆)にするため
         if abs(scalar) <= 5e-6 and abs(Noise_base - d_base) <= 5e-7:
+            if not self.should_stop:
+                self.emoScope = 1.0   # ユーザー意思を目的の収束へ整える
             self.should_stop = True   # 💡 外部からこれを見て判断可
-            self.emoScope = 1.0       # ユーザー意思を目的の収束へ整える
         else:
             self.should_stop = False  # 💡 誤判定などの取り消し
 

2Gv38_AutoLR/emosens.py

@@ -3,13 +3,12 @@ from torch.optim import Optimizer
 import math
 
 """
-EmoSens v3.8.1 (260202) shadow-system v3.1 -moment v3.1 emoPulse v3.8
-emoScorp、emoPulse、についてアグレッシブな更新にも耐えられるように調整し安全性を向上
-EmoSens v3.7.6 (260109) shadow-system v3.1 -moment v3.1 emoPulse v3.7
-EmoNavi v3.6 継承 emoDrive 機構を emoPulse へ統合し簡略化(循環器的機構)
+EmoSens v3.8.3 (260215) Standard Edition
+shadow-system v3.1 -moment v3.1 emoPulse v3.8
+これまでの emo系 のすべて、emo系 v3.7 を継承し、早期停止関連の効率化やコード修正等を実施
+EmoAiry v3.8.1 (260201) shadow-system v3.1 -moment v3.1 emoPulse v3.7
 emoPulse 機構により完全自動化を目指す(ユーザーによる emoScope 調整可／改善度反映率)
-dNR係数により emoPulse に履歴を混ぜて安定させた(d / N 履歴 による信頼度の維持)
-Early scalar、Early Stop、効率化しつつ精度向上させ負荷も軽減する等の改修と微調整
+emoScorp、emoPulse、についてアグレッシブな更新にも耐えられるように調整し安全性を向上
 """
 
 class EmoSens(Optimizer):
@@ -130,8 +129,12 @@ class EmoSens(Optimizer):
 
                 # --- Start Gradient Update Logic ---
                 # 1次・2次モーメントを使った勾配補正(decoupled weight decay)
-                exp_avg = state.setdefault('exp_avg', torch.zeros_like(p))
-                exp_avg_sq = state.setdefault('exp_avg_sq', torch.zeros_like(p))
+                if 'exp_avg' not in state:
+                    exp_avg = state.setdefault('exp_avg', torch.zeros_like(p))
+                    exp_avg_sq = state.setdefault('exp_avg_sq', torch.zeros_like(p))
+
+                exp_avg = state['exp_avg']
+                exp_avg_sq = state['exp_avg_sq']
 
                 exp_avg.mul_(beta1).add_(grad, alpha=1 - beta1)
                 exp_avg_sq.mul_(beta2).addcmul_(grad, grad, value=1 - beta2)
@@ -151,8 +154,9 @@ class EmoSens(Optimizer):
         # Early Stop：瞬間値と33step分の履歴の差分で True にするだけ
         # 誤判定防止をしないのは点灯頻度で停止準備(予兆)にするため
         if abs(scalar) <= 5e-6 and abs(Noise_base - d_base) <= 5e-7:
+            if not self.should_stop:
+                self.emoScope = 1.0   # ユーザー意思を目的の収束へ整える
             self.should_stop = True   # 💡 外部からこれを見て判断可
-            self.emoScope = 1.0       # ユーザー意思を目的の収束へ整える
         else:
             self.should_stop = False  # 💡 誤判定などの取り消し
 

2Gv38_AutoLR/emotion.py

@@ -3,9 +3,9 @@ from torch.optim import Optimizer
 import math
 
 """
-EmoTion v3.8.1 (260204) Moment-Free Edition
+EmoTion v3.8.3 (260215) Moment-Free Edition
 shadow-system v3.1 -moment v3.1 emoPulse v3.8
-これまでの emo系 のすべて、emo系 v3.7 を継承し独自更新式を持つ、完全オリジナル最適化器
+これまでの emo系 のすべてを継承し、独自更新式を持つ、完全オリジナル最適化器
 The “geometric relationship” between "W"eight and "G"radient Method
 これまでの統計手法をやめ、重みベクトルと勾配ベクトルの直交性(W-Ref Geometry)に基づいて、
 過去の慣性と現在の勾配を動的にブレンドする、1次モーメント単一保持型の幾何学的最適化アルゴリズム
@@ -130,37 +130,36 @@ class EmoTion(Optimizer):
 
                 # --- Start Gradient Update Logic ---
                 # --- EmoTion (Pure W-Ref Geometry) ---
-                # 1. 1次モーメント(exp_avg)の初期化: O(N) のみ
+                # 1次モーメント(exp_avg)の初期化: O(N) のみ
                 if 'exp_avg' not in state:
                     state['exp_avg'] = torch.zeros_like(p)
                     state['rho_ema'] = torch.zeros(1, device=p.device, dtype=p.dtype)
 
-                # 2. W-Reference / Geometry (幾何学的直交性) 算出
+                exp_avg = state['exp_avg']
+                rho_ema = state['rho_ema']
+
+                # W-Reference / Geometry (幾何学的直交性) 算出
                 # 勾配が重み(実体)に対して｢新鮮｣(直交)か｢冗長｣(平行)かを判定
                 # 高次元空間における集中現象を利用した「情報の選別」
-                rho = torch.abs(torch.sum(p * grad)) / (p_norm * g_norm + 1e-8)
+                rho = torch.abs(torch.dot(p.view(-1), grad.view(-1))) / (p_norm * g_norm + 1e-8)
 
                 # rhoの履歴更新 (スカラーのみ)
-                state['rho_ema'].mul_(beta1).add_(rho, alpha=1 - beta1)
+                rho_ema.mul_(beta1).add_(rho, alpha=1 - beta1)
 
-                # 3. 幾何学的適応型ブレンド
+                # 幾何学的適応型ブレンド
                 # 従来の beta1 固定ではなく、直交しているほど今の勾配 g を強く取り込む
                 # freshness が高い(rhoが小さい)ほど、慣性を無視して新しい方向へ舵を切る
-                freshness = (1.0 - state['rho_ema'])
+                freshness = 1.0 - rho_ema.item()
 
                 # exp_avg = beta1 * exp_avg + (1 - beta1) * grad の｢幾何学的拡張｣
                 # 慣性と現時点の勾配を、直交性に基づいて混ぜ合わせる
-                state['exp_avg'].mul_(beta1).add_(grad, alpha=(1.0 - beta1) * freshness.item())
-
-                # 4. 更新ベクトルの決定 (Lionライクな符号抽出、または生ベクトル)
-                # ここでは｢方向の純度｣を優先し、更新の勢いを一定に保つ
-                update_vec = torch.sign(state['exp_avg']) 
+                exp_avg.mul_(beta1).add_(grad, alpha=(1.0 - beta1) * freshness)
 
-                # 5. 重みの更新 (emoPulse = 絶対歩幅)
+                # 重みの更新 (emoPulse = 絶対歩幅)
                 if group['weight_decay'] != 0:
-                    p.mul_(1 - emoPulse * group['weight_decay'])
+                    p.mul_(1.0 - group['weight_decay'] * emoPulse)
 
-                p.add_(update_vec, alpha=-emoPulse)
+                p.add_(exp_avg.sign(), alpha=-emoPulse)
                 # --- End Gradient Update Logic ---
 
         # ユーザー指定初期LRを実効値(emoPulse)で可視化する(PyTorch標準)
@@ -171,8 +170,9 @@ class EmoTion(Optimizer):
         # Early Stop：瞬間値と33step分の履歴の差分で True にするだけ
         # 誤判定防止をしないのは点灯頻度で停止準備(予兆)にするため
         if abs(scalar) <= 5e-6 and abs(Noise_base - d_base) <= 5e-7:
+            if not self.should_stop:
+                self.emoScope = 1.0   # ユーザー意思を目的の収束へ整える
             self.should_stop = True   # 💡 外部からこれを見て判断可
-            self.emoScope = 1.0       # ユーザー意思を目的の収束へ整える
         else:
             self.should_stop = False  # 💡 誤判定などの取り消し
 

2Gv38_AutoLR/emovoid.py

@@ -3,12 +3,12 @@ from torch.optim import Optimizer
 import math
 
 """
-EmoVoid v3.8.1 (260204) Moment-Free Edition
+EmoVoid v3.8.3 (260215) Moment-Free Edition
 shadow-system v3.1 -moment v3.1 emoPulse v3.8
-これまでの emo系 のすべて、emo系 v3.7 を継承し独自更新式を持つ、完全オリジナル最適化器
+これまでの emo系 のすべてを継承し、独自更新式の特徴を受け継ぐ完全オリジナル最適化器
 The “geometric relationship” between "W"eight and "G"radient Method
-これまでの統計手法を完全になくし、重みベクトルと勾配ベクトルの直交性(W-Ref Geometry)のみで、
-メモリコストを極限まで削ぎ落とした、1次2次モーメント廃止の幾何学的最適化アルゴリズム
+幾何学的最適化アルゴリズム Approx W-Ref Geometry 近似アシスト更新にし負荷低減
+完全1次2次モーメント廃止、さまざまなコストを極限まで低減、正確性と軽量性と快適性を向上
 """
 
 class EmoVoid(Optimizer):
@@ -104,6 +104,29 @@ class EmoVoid(Optimizer):
         emoPulse = max(min(self.dNR_hist * (self.emoScope * 1e-4), 3e-3), 1e-6)
         # --- End emoPulse (完全自動LR生成) ---
 
+        # --- Start Approx W-Ref Geometry 近似アシスト ---
+        # Weight Reference Geometry ("W"eight and "G"radient Method)
+        # 中間テンソルによるVRAM負荷やcos類似度測定の計算負荷を実質０にする
+        with torch.no_grad():
+            # 現在の全パラメータのL1ノルムを一括計算(計算負荷: 低)
+            # foreach_norm は各層のノルムをリストで返す。sumで1つの数値に集約。
+            params = self.param_groups[0]['params']
+            point_gl1 = sum(torch._foreach_norm(params, 1))
+            prev = getattr(self, "prev_gl1", None)
+            curr_step = getattr(self, '_step_count', 0)
+            self._step_count = curr_step + 1
+            # ウォームアップ期間中のみ、前回のノルムと比較して「一括修正」
+            if prev is not None and curr_step < 55:
+                # 前回のエネルギーを維持するための比率(スライス的な全層一律係数)
+                ratio = (prev / (point_gl1 + 1e-8)).item()
+                # 全層の重みを一撃でスケーリング(中間テンソル作成なし、最速)
+                torch._foreach_mul_(params, ratio)
+                # 修正したので、現在のノルムも再計算(または近似)
+                point_gl1 *= ratio
+            # 今回のノルムを次回の比較用に保存
+            self.prev_gl1 = point_gl1
+        # --- End Approx W-Ref Geometry 近似アシスト ---
+
         for group in self.param_groups:
             beta1, beta2 = group['betas']
             for p in (p for p in group['params'] if p.grad is not None):
@@ -111,9 +134,6 @@ class EmoVoid(Optimizer):
                 grad = p.grad
                 state = self.state[p]
 
-                p_norm = p.norm()
-                g_norm = grad.norm()
-
                 # 動的学習率補正により shadow 形成を信頼度で調整(trustは正値化(負にならない))
                 # shadow：必要時のみ(スパイクp部分に現在値を最大10%追従させる動的履歴更新)
                 # 混合比率：スカラーが閾値を超える場合にのみ計算される(信頼できる感情信号かどうかの選別)
@@ -129,20 +149,9 @@ class EmoVoid(Optimizer):
                         state['shadow'].lerp_(p, leap_ratio)
 
                 # --- Start Gradient Update Logic ---
-                # --- EmoVoid (Pure W-Ref Geometry) ---
-                # メモリ消費を最小、計算負荷を極小、｢直交方向への超感度｣｢膨張への自己抑制｣を両立
-                # rho の算出：定義済みのノルム変数を使用 1e-8 分母で破綻を防ぐ
-                rho = torch.abs(torch.sum(p * grad)) / (p_norm * g_norm + 1e-8)
-                # 鮮度(直交性スコア)
-                freshness = (1.0 - rho) # EMAを通さない瞬間の鮮度
-
-                # Weight Decay が不要な理由：
-                # ノルムが増大する方向に進もうとすると rho 増加で自らブレーキを踏む
-                # 慣性を使わず、現在の勾配の方向(sign)に、鮮度を乗算
-                update_vec = torch.sign(grad) * freshness
-
-                # 更新
-                p.add_(update_vec, alpha=-emoPulse)
+                # --- EmoVoid (Approx W-Ref Geometry) ---
+                # 更新：emoPulse「時間軸」、W-Ref-Geo「空間軸」でODE近似へ導く
+                p.add_(grad.sign_(), alpha=-emoPulse)
                 # --- End Gradient Update Logic ---
 
         # ユーザー指定初期LRを実効値(emoPulse)で可視化する(PyTorch標準)
@@ -153,8 +162,10 @@ class EmoVoid(Optimizer):
         # Early Stop：瞬間値と33step分の履歴の差分で True にするだけ
         # 誤判定防止をしな���のは点灯頻度で停止準備(予兆)にするため
         if abs(scalar) <= 5e-6 and abs(Noise_base - d_base) <= 5e-7:
+            if not self.should_stop:
+                self.emoScope = 1.0   # ユーザー意思を目的の収束へ整える
+                self._step_count = 0  # 幾何学的再調整の再始動
             self.should_stop = True   # 💡 外部からこれを見て判断可
-            self.emoScope = 1.0       # ユーザー意思を目的の収束へ整える
         else:
             self.should_stop = False  # 💡 誤判定などの取り消し