Upload 5 files

2Gv38_AutoLR/emoairy.py

@@ -3,12 +3,13 @@ from torch.optim import Optimizer
 import math
 
 """
-EmoAiry v3.8.3 (260215) Standard Edition
-shadow-system v3.1 -moment v3.1 emoPulse v3.8
+EmoAiry v3.8.6 (260220) Standard Edition FFT適応統合版(CPU-GPUデータ転送対応)
+shadow-system v3.1 -moment v3.1 emoPulse v3.8 FFT-Swap-Aware
 これまでの emo系 のすべて、emo系 v3.7 を継承し、早期停止関連の効率化やコード修正等を実施
 EmoAiry v3.8.1 (260201) shadow-system v3.1 -moment v3.1 emoPulse v3.7
 emoPulse 機構により完全自動化を目指す(ユーザーによる emoScope 調整可／改善度反映率)
 emoScorp、emoPulse、についてアグレッシブな更新にも耐えられるように調整し安全性を向上
+### FFT適応 cuDNN 等で厳格なデータ配置を求める仕様により中間テンソル(コピー)生じる ###
 """
 
 class EmoAiry(Optimizer):
@@ -18,17 +19,26 @@ class EmoAiry(Optimizer):
                  eps=1e-8,
                  betas=(0.9, 0.995),
                  weight_decay=0.01,
-                 use_shadow:bool=False):
+                 use_shadow:bool=False,
+                 fftmode:bool=False):
         defaults = dict(lr=lr, betas=betas, eps=eps, weight_decay=weight_decay)
         super().__init__(params, defaults)
         self._init_lr = lr
         self.should_stop = False     # 停止フラグの初期化
+        self.fftmode = fftmode       # FFT切替 フルファインチューニングモード
         self.use_shadow = use_shadow # 🔸shadow 使用フラグを保存
         self.emoScope = lr           # 動的学習率の調和とリズム
         self.dNR_hist = 1.0          # emoPulse hist 初期化
         self.noise_est = 1.0         # emoPulse nest 初期化
         self.d_est = 0.02            # emoPulse dest 初期化
 
+        if self.fftmode:
+            self.base_scale, self.max_lim, self.min_lim = 1e-5, 3e-4, 1e-8
+            self.stop_scalar,self.stop_dNRsub = 5e-7, 5e-8
+        else:
+            self.base_scale, self.max_lim, self.min_lim = 1e-4, 3e-3, 1e-6
+            self.stop_scalar,self.stop_dNRsub = 5e-6, 5e-7
+
     # 感情EMA更新(緊張と安静)
     def _update_ema(self, state, loss_val):
         ema = state.setdefault('ema', {})
@@ -101,7 +111,8 @@ class EmoAiry(Optimizer):
             # 減速：怪しい時は即座に比率を下げる(確実に信頼できない場合に下げ圧力を溜める)
             self.dNR_hist = dNR_now_val * 0.80
         # emoPulse 最終決定： emoScorp によるユーザー意思の反映と安全値による制限
-        emoPulse = max(min(self.dNR_hist * (self.emoScope * 1e-4), 3e-3), 1e-6)
+        emoPulse = float(max(min(self.dNR_hist * (self.emoScope * self.base_scale),
+                                 self.max_lim), self.min_lim))
         # --- End emoPulse (完全自動LR生成) ---
 
         for group in self.param_groups:
@@ -144,27 +155,35 @@ class EmoAiry(Optimizer):
                     exp_avg_r = state['exp_avg_r']
                     exp_avg_c = state['exp_avg_c']
                     # 指数移動平均の更新
-                    exp_avg_r.mul_(beta2).add_(r_sq, alpha=1 - beta2)
-                    exp_avg_c.mul_(beta2).add_(c_sq, alpha=1 - beta2)
+                    exp_avg_r.mul_(beta2).add_(r_sq.to(exp_avg_r.device), alpha=1 - beta2)
+                    exp_avg_c.mul_(beta2).add_(c_sq.to(exp_avg_c.device), alpha=1 - beta2)
                     # 再構築した近似勾配の平方根の積で正規化
-                    denom = torch.sqrt(state['exp_avg_r'] * state['exp_avg_c']).add_(group['eps'])
+                    denom = torch.sqrt(exp_avg_r * exp_avg_c).add_(group['eps'])
                     # 最終的な更新項を計算
-                    update_term = grad / denom
+                    update_term = grad.to(denom.device) / denom
 
                 # 1次元(ベクトル)の勾配補正
                 else:
                     if 'exp_avg' not in state:
                         exp_avg_sq = state.setdefault('exp_avg_sq', torch.zeros_like(p))
                     exp_avg_sq = state['exp_avg_sq']
-                    exp_avg_sq.mul_(beta2).addcmul_(grad, grad, value=1 - beta2)
+                    exp_avg_sq.mul_(beta2).addcmul_(grad.to(exp_avg_sq.device), grad.to(exp_avg_sq.device), value=1 - beta2)
                     denom = exp_avg_sq.sqrt().add_(group['eps'])
                     # 最終的な更新項を計算
-                    update_term = grad / denom
+                    update_term = grad.to(denom.device) / denom
+
+                # FFT版と通常版を統合する分岐(デバイス状態判定)
+                if p.device != grad.device:
+                    # FFTモード：デバイス間の計算を同じ場所へ統一
+                    update = update_term.to(p.device).sign_()
+                else:
+                    # 通常モード：同じ場所の場合は負荷軽減
+                    update = update_term.sign_()
 
                 # 最終的なパラメータ更新 (decoupled weight decayも適用)
                 # sign化で２次momentと１次ベクトルのデータの質(粒度)を揃える
                 p.mul_(1.0 - group['weight_decay'] * emoPulse)
-                p.add_(update_term.sign_(), alpha=-emoPulse)
+                p.add_(update, alpha=-emoPulse)
                 # --- End Gradient Update Logic ---
 
         # ユーザー指定初期LRを実効値(emoPulse)で可視化する(PyTorch標準)
@@ -174,7 +193,7 @@ class EmoAiry(Optimizer):
         # 感情機構の穏やかさ"安定状態"を外部伝達する(自動停止ではない)
         # Early Stop：瞬間値と33step分の履歴の差分で True にするだけ
         # 誤判定防止をしないのは点灯頻度で停止準備(予兆)にするため
-        if abs(scalar) <= 5e-6 and abs(Noise_base - d_base) <= 5e-7:
+        if abs(scalar) <= self.stop_scalar and abs(Noise_base - d_base) <= self.stop_dNRsub:
             if not self.should_stop:
                 self.emoScope = 1.0   # ユーザー意思を目的の収束へ整える
             self.should_stop = True   # 💡 外部からこれを見て判断可

2Gv38_AutoLR/emocats.py

@@ -3,32 +3,42 @@ from torch.optim import Optimizer
 import math
 
 """
-EmoCats v3.8.3 (260215) Standard Edition
-shadow-system v3.1 -moment v3.1 emoPulse v3.8
+EmoCats v3.8.6 (260220) Standard Edition FFT適応統合版(CPU-GPUデータ転送対応)
+shadow-system v3.1 -moment v3.1 emoPulse v3.8 FFT-Swap-Aware
 これまでの emo系 のすべて、emo系 v3.7 を継承し、早期停止関連の効率化やコード修正等を実施
-EmoAiry v3.8.1 (260201) shadow-system v3.1 -moment v3.1 emoPulse v3.7
+EmoCats v3.8.1 (260201) shadow-system v3.1 -moment v3.1 emoPulse v3.7
 emoPulse 機構により完全自動化を目指す(ユーザーによる emoScope 調整可／改善度反映率)
 emoScorp、emoPulse、についてアグレッシブな更新にも耐えられるように調整し安全性を向上
+### FFT適応 cuDNN 等で厳格なデータ配置を求める仕様により中間テンソル(コピー)生じる ###
 """
 
 class EmoCats(Optimizer):
     # クラス定義＆初期化
-    def __init__(self, params, 
-                 lr=1.0, 
-                 eps=1e-8, 
-                 betas=(0.9, 0.995), 
-                 weight_decay=0.01, 
-                 use_shadow:bool=False): 
+    def __init__(self, params,
+                 lr=1.0,
+                 eps=1e-8,
+                 betas=(0.9, 0.995),
+                 weight_decay=0.01,
+                 use_shadow:bool=False,
+                 fftmode:bool=False):
         defaults = dict(lr=lr, betas=betas, eps=eps, weight_decay=weight_decay)
         super().__init__(params, defaults)
         self._init_lr = lr
         self.should_stop = False     # 停止フラグの初期化
+        self.fftmode = fftmode       # FFT切替 フルファインチューニングモード
         self.use_shadow = use_shadow # 🔸shadow 使用フラグを保存
         self.emoScope = lr           # 動的学習率の調和とリズム
         self.dNR_hist = 1.0          # emoPulse hist 初期化
         self.noise_est = 1.0         # emoPulse nest 初期化
         self.d_est = 0.02            # emoPulse dest 初期化
 
+        if self.fftmode:
+            self.base_scale, self.max_lim, self.min_lim = 1e-5, 3e-4, 1e-8
+            self.stop_scalar,self.stop_dNRsub = 5e-7, 5e-8
+        else:
+            self.base_scale, self.max_lim, self.min_lim = 1e-4, 3e-3, 1e-6
+            self.stop_scalar,self.stop_dNRsub = 5e-6, 5e-7
+
     # 感情EMA更新(緊張と安静)
     def _update_ema(self, state, loss_val):
         ema = state.setdefault('ema', {})
@@ -101,12 +111,15 @@ class EmoCats(Optimizer):
             # 減速：怪しい時は即座に比率を下げる(確実に信頼できない場合に下げ圧力を溜める)
             self.dNR_hist = dNR_now_val * 0.80
         # emoPulse 最終決定： emoScorp によるユーザー意思の反映と安全値による制限
-        emoPulse = max(min(self.dNR_hist * (self.emoScope * 1e-4), 3e-3), 1e-6)
+        emoPulse = float(max(min(self.dNR_hist * (self.emoScope * self.base_scale),
+                                 self.max_lim), self.min_lim))
         # --- End emoPulse (完全自動LR生成) ---
 
         for group in self.param_groups:
             beta1, beta2 = group['betas']
-            for p in (p for p in group['params'] if p.grad is not None):
+            for p in group['params']:
+                if p.grad is None:
+                    continue
 
                 grad = p.grad
                 state = self.state[p]
@@ -135,11 +148,19 @@ class EmoCats(Optimizer):
                 p.mul_(1.0 - group['weight_decay'] * emoPulse)
 
                 # 勾配ブレンド
-                blended_grad = grad.mul(1 - beta1).add(exp_avg, alpha=beta1)
+                blended_grad = grad.to(exp_avg.device).mul(1 - beta1).add(exp_avg, alpha=beta1)
+
+                # FFT版と通常版を統合する分岐(デバイス状態判定)
+                if p.device != grad.device:
+                    # FFTモード：デバイス間の計算を同じ場所へ統一
+                    update = blended_grad.to(p.device).sign_()
+                else:
+                    # 通常モード：同じ場所の場合は負荷軽減
+                    update = blended_grad.sign_()
 
                 # 最終的なパラメータ更新
-                p.add_(blended_grad.sign_(), alpha = -emoPulse)
-                exp_avg.mul_(beta2).add_(grad, alpha = 1 - beta2)
+                p.add_(update, alpha = -emoPulse)
+                exp_avg.mul_(beta2).add_(grad.to(exp_avg.device), alpha = 1 - beta2)
                 # --- End Gradient Update Logic ---
 
         # ユーザー指定初期LRを実効値(emoPulse)で可視化する(PyTorch標準)
@@ -149,7 +170,7 @@ class EmoCats(Optimizer):
         # 感情機構の穏やかさ"安定状態"を外部伝達する(自動停止ではない)
         # Early Stop：瞬間値と33step分の履歴の差分で True にするだけ
         # 誤判定防止をしないのは点灯頻度で停止準備(予兆)にするため
-        if abs(scalar) <= 5e-6 and abs(Noise_base - d_base) <= 5e-7:
+        if abs(scalar) <= self.stop_scalar and abs(Noise_base - d_base) <= self.stop_dNRsub:
             if not self.should_stop:
                 self.emoScope = 1.0   # ユーザー意思を目的の収束へ整える
             self.should_stop = True   # 💡 外部からこれを見て判断可

2Gv38_AutoLR/emosens.py

@@ -3,32 +3,42 @@ from torch.optim import Optimizer
 import math
 
 """
-EmoSens v3.8.3 (260215) Standard Edition
-shadow-system v3.1 -moment v3.1 emoPulse v3.8
+EmoSens v3.8.6 (260220) Standard Edition FFT適応統合版(CPU-GPUデータ転送対応)
+shadow-system v3.1 -moment v3.1 emoPulse v3.8 FFT-Swap-Aware
 これまでの emo系 のすべて、emo系 v3.7 を継承し、早期停止関連の効率化やコード修正等を実施
-EmoAiry v3.8.1 (260201) shadow-system v3.1 -moment v3.1 emoPulse v3.7
+EmoSens v3.8.1 (260201) shadow-system v3.1 -moment v3.1 emoPulse v3.7
 emoPulse 機構により完全自動化を目指す(ユーザーによる emoScope 調整可／改善度反映率)
 emoScorp、emoPulse、についてアグレッシブな更新にも耐えられるように調整し安全性を向上
+### FFT適応 cuDNN 等で厳格なデータ配置を求める仕様により中間テンソル(コピー)生じる ###
 """
 
 class EmoSens(Optimizer):
     # クラス定義＆初期化
-    def __init__(self, params, 
-                 lr=1.0, 
-                 eps=1e-8, 
-                 betas=(0.9, 0.995), 
-                 weight_decay=0.01, 
-                 use_shadow:bool=False):
+    def __init__(self, params,
+                 lr=1.0,
+                 eps=1e-8,
+                 betas=(0.9, 0.995),
+                 weight_decay=0.01,
+                 use_shadow:bool=False,
+                 fftmode:bool=False):
         defaults = dict(lr=lr, betas=betas, eps=eps, weight_decay=weight_decay)
         super().__init__(params, defaults)
         self._init_lr = lr
         self.should_stop = False     # 停止フラグの初期化
+        self.fftmode = fftmode       # FFT切替 フルファインチューニングモード
         self.use_shadow = use_shadow # 🔸shadow 使用フラグを保存
         self.emoScope = lr           # 動的学習率の調和とリズム
         self.dNR_hist = 1.0          # emoPulse hist 初期化
         self.noise_est = 1.0         # emoPulse nest 初期化
         self.d_est = 0.02            # emoPulse dest 初期化
 
+        if self.fftmode:
+            self.base_scale, self.max_lim, self.min_lim = 1e-5, 3e-4, 1e-8
+            self.stop_scalar,self.stop_dNRsub = 5e-7, 5e-8
+        else:
+            self.base_scale, self.max_lim, self.min_lim = 1e-4, 3e-3, 1e-6
+            self.stop_scalar,self.stop_dNRsub = 5e-6, 5e-7
+
     # 感情EMA更新(緊張と安静)
     def _update_ema(self, state, loss_val):
         ema = state.setdefault('ema', {})
@@ -101,7 +111,8 @@ class EmoSens(Optimizer):
             # 減速：怪しい時は即座に比率を下げる(確実に信頼できない場合に下げ圧力を溜める)
             self.dNR_hist = dNR_now_val * 0.80
         # emoPulse 最終決定： emoScorp によるユーザー意思の反映と安全値による制限
-        emoPulse = max(min(self.dNR_hist * (self.emoScope * 1e-4), 3e-3), 1e-6)
+        emoPulse = float(max(min(self.dNR_hist * (self.emoScope * self.base_scale),
+                                 self.max_lim), self.min_lim))
         # --- End emoPulse (完全自動LR生成) ---
 
         for group in self.param_groups:
@@ -136,14 +147,22 @@ class EmoSens(Optimizer):
                 exp_avg = state['exp_avg']
                 exp_avg_sq = state['exp_avg_sq']
 
-                exp_avg.mul_(beta1).add_(grad, alpha=1 - beta1)
-                exp_avg_sq.mul_(beta2).addcmul_(grad, grad, value=1 - beta2)
+                exp_avg.mul_(beta1).add_(grad.to(exp_avg.device), alpha=1 - beta1)
+                exp_avg_sq.mul_(beta2).addcmul_(grad.to(exp_avg_sq.device), grad.to(exp_avg_sq.device), value=1 - beta2)
 
                 denom = exp_avg_sq.sqrt().add_(group['eps'])
 
+                # FFT版と通常版を統合する分岐(デバイス状態判定)
+                if p.device != grad.device:
+                    # FFTモード：デバイス間の計算を同じ場所へ統一
+                    update = exp_avg.to(p.device)
+                else:
+                    # 通常モード：同じ場所の場合は負荷軽減
+                    update = exp_avg
+
                 if group['weight_decay']:
                     p.mul_(1.0 - group['weight_decay'] * emoPulse)
-                p.addcdiv_(exp_avg, denom, value=-emoPulse)
+                p.addcdiv_(update, denom.to(p.device), value=-emoPulse)
                 # --- End Gradient Update Logic ---
 
         # ユーザー指定初期LRを実効値(emoPulse)で可視化する(PyTorch標準)
@@ -153,7 +172,7 @@ class EmoSens(Optimizer):
         # 感情機構の穏やかさ"安定状態"を外部伝達する(自動停止ではない)
         # Early Stop：瞬間値と33step分の履歴の差分で True にするだけ
         # 誤判定防止をしないのは点灯頻度で停止準備(予兆)にするため
-        if abs(scalar) <= 5e-6 and abs(Noise_base - d_base) <= 5e-7:
+        if abs(scalar) <= self.stop_scalar and abs(Noise_base - d_base) <= self.stop_dNRsub:
             if not self.should_stop:
                 self.emoScope = 1.0   # ユーザー意思を目的の収束へ整える
             self.should_stop = True   # 💡 外部からこれを見て判断可

2Gv38_AutoLR/emotion.py

@@ -3,12 +3,13 @@ from torch.optim import Optimizer
 import math
 
 """
-EmoTion v3.8.3 (260215) Moment-Free Edition
-shadow-system v3.1 -moment v3.1 emoPulse v3.8
-これまでの emo系 のすべてを継承し、独自更新式を持つ、完全オリジナル最適化器
+EmoTion v3.8.6 (260220) Moment-Free Edition FFT適応統合版(CPU-GPUデータ転送対応)
+shadow-system v3.1 -moment v3.1 emoPulse v3.8 FFT-Swap-Aware
+これまでの emo系 のすべてを継承し、独自更新式の特徴を受け継ぐ完全オリジナル最適化器
 The “geometric relationship” between "W"eight and "G"radient Method
-これまでの統計手法をやめ、重みベクトルと勾配ベクトルの直交性(W-Ref Geometry)に基づいて、
+幾何学的最適化アルゴリズム Approx W-Ref Geometry 近似アシスト更新に変更し負荷低減
 過去の慣性と現在の勾配を動的にブレンドする、1次モーメント単一保持型の幾何学的最適化アルゴリズム
+### FFT適応 cuDNN 等で厳格なデータ配置を求める仕様により中間テンソル(コピー)生じる ###
 """
 
 class EmoTion(Optimizer):
@@ -18,17 +19,26 @@ class EmoTion(Optimizer):
                  eps=1e-8,
                  betas=(0.9, 0.995),
                  weight_decay=0.01,
-                 use_shadow:bool=False):
+                 use_shadow:bool=False,
+                 fftmode:bool=False):
         defaults = dict(lr=lr, betas=betas, eps=eps, weight_decay=weight_decay)
         super().__init__(params, defaults)
         self._init_lr = lr
         self.should_stop = False     # 停止フラグの初期化
+        self.fftmode = fftmode       # FFT切替 フルファインチューニングモード
         self.use_shadow = use_shadow # 🔸shadow 使用フラグを保存
         self.emoScope = lr           # 動的学習率の調和とリズム
         self.dNR_hist = 1.0          # emoPulse hist 初期化
         self.noise_est = 1.0         # emoPulse nest 初期化
         self.d_est = 0.02            # emoPulse dest 初期化
 
+        if self.fftmode:
+            self.base_scale, self.max_lim, self.min_lim = 1e-5, 3e-4, 1e-8
+            self.stop_scalar,self.stop_dNRsub = 5e-7, 5e-8
+        else:
+            self.base_scale, self.max_lim, self.min_lim = 1e-4, 3e-3, 1e-6
+            self.stop_scalar,self.stop_dNRsub = 5e-6, 5e-7
+
     # 感情EMA更新(緊張と安静)
     def _update_ema(self, state, loss_val):
         ema = state.setdefault('ema', {})
@@ -101,9 +111,34 @@ class EmoTion(Optimizer):
             # 減速：怪しい時は即座に比率を下げる(確実に信頼できない場合に下げ圧力を溜める)
             self.dNR_hist = dNR_now_val * 0.80
         # emoPulse 最終決定： emoScorp によるユーザー意思の反映と安全値による制限
-        emoPulse = max(min(self.dNR_hist * (self.emoScope * 1e-4), 3e-3), 1e-6)
+        emoPulse = float(max(min(self.dNR_hist * (self.emoScope * self.base_scale),
+                                 self.max_lim), self.min_lim))
         # --- End emoPulse (完全自動LR生成) ---
 
+        # --- Start Approx W-Ref Geometry [Tion] 近似アシスト ---
+        # Weight Reference Geometry ("W"eight and "G"radient Method)
+        # 中間テンソルによるVRAM負荷やcos類似度測定の計算負荷を実質０にする
+        with torch.no_grad():
+            # 現在の全パラメータのL1ノルムを一括計算(計算負荷: 低)
+            # foreach_norm は各層のノルムをリストで返す。sumで1つの数値に集約。
+            params = self.param_groups[0]['params']
+            point_gl1 = sum(torch._foreach_norm(params, 1))
+            prev = getattr(self, "prev_gl1", None)
+            # 前回のノルムと比較して｢一括修正｣
+            if prev is not None:
+                # 前回のエネルギーを維持するための比率(スライス的な全層一律係数)
+                ratio = (abs(point_gl1 - prev) / (prev + 1e-8)).item()
+                # freshness: 全域の動きが激しいほど 1.0 に近づく
+                self.g_freshness = min(ratio / 0.05, 1.0)
+                # 現在の修正したノルムを復元(近似)スケール調整で打ち消し
+                point_gl1 *= ratio
+            else:
+                # 1ステップ目は｢過去｣がないので現在の勾配を信頼する
+                self.g_freshness = 1.0 # 初期値
+            # 今回のノルムを次回の比較用に保存
+            self.prev_gl1 = point_gl1
+        # --- End Approx W-Ref Geometry [Tion] 近似アシスト ---
+
         for group in self.param_groups:
             beta1, beta2 = group['betas']
             for p in (p for p in group['params'] if p.grad is not None):
@@ -111,9 +146,6 @@ class EmoTion(Optimizer):
                 grad = p.grad
                 state = self.state[p]
 
-                p_norm = p.norm()
-                g_norm = grad.norm()
-
                 # 動的学習率補正により shadow ��成を信頼度で調整(trustは正値化(負にならない))
                 # shadow：必要時のみ(スパイクp部分に現在値を最大10%追従させる動的履歴更新)
                 # 混合比率：スカラーが閾値を超える場合にのみ計算される(信頼できる感情信号かどうかの選別)
@@ -133,33 +165,26 @@ class EmoTion(Optimizer):
                 # 1次モーメント(exp_avg)の初期化: O(N) のみ
                 if 'exp_avg' not in state:
                     state['exp_avg'] = torch.zeros_like(p)
-                    state['rho_ema'] = torch.zeros(1, device=p.device, dtype=p.dtype)
 
                 exp_avg = state['exp_avg']
-                rho_ema = state['rho_ema']
-
-                # W-Reference / Geometry (幾何学的直交性) 算出
-                # 勾配が重み(実体)に対して｢新鮮｣(直交)か｢冗長｣(平行)かを判定
-                # 高次元空間における集中現象を利用した「情報の選別」
-                rho = torch.abs(torch.dot(p.view(-1), grad.view(-1))) / (p_norm * g_norm + 1e-8)
-
-                # rhoの履歴更新 (スカラーのみ)
-                rho_ema.mul_(beta1).add_(rho, alpha=1 - beta1)
-
-                # 幾何学的適応型ブレンド
-                # 従来の beta1 固定ではなく、直交しているほど今の勾配 g を強く取り込む
-                # freshness が高い(rhoが小さい)ほど、慣性を無視して新しい方向へ舵を切る
-                freshness = 1.0 - rho_ema.item()
 
                 # exp_avg = beta1 * exp_avg + (1 - beta1) * grad の｢幾何学的拡張｣
                 # 慣性と現時点の勾配を、直交性に基づいて混ぜ合わせる
-                exp_avg.mul_(beta1).add_(grad, alpha=(1.0 - beta1) * freshness)
+                exp_avg.mul_(beta1).add_(grad, alpha=(1.0 - beta1) * self.g_freshness)
 
                 # 重みの更新 (emoPulse = 絶対歩幅)
                 if group['weight_decay'] != 0:
                     p.mul_(1.0 - group['weight_decay'] * emoPulse)
 
-                p.add_(exp_avg.sign(), alpha=-emoPulse)
+                # FFT版と通常版を統合する分岐(デバイス状態判定)
+                if p.device != grad.device:
+                    # FFTモード：デバイス間の計算を同じ場所へ統一
+                    update = exp_avg.to(p.device).sign()
+                else:
+                    # 通常モード：同じ場所の場合は負荷軽減
+                    update = exp_avg.sign()
+
+                p.add_(update, alpha=-emoPulse)
                 # --- End Gradient Update Logic ---
 
         # ユーザー指定初期LRを実効値(emoPulse)で可視化する(PyTorch標準)
@@ -169,7 +194,7 @@ class EmoTion(Optimizer):
         # 感情機構の穏やかさ"安定状態"を外部伝達する(自動停止ではない)
         # Early Stop：瞬間値と33step分の履歴の差分で True にするだけ
         # 誤判定防止をしないのは点灯頻度で停止準備(予兆)にするため
-        if abs(scalar) <= 5e-6 and abs(Noise_base - d_base) <= 5e-7:
+        if abs(scalar) <= self.stop_scalar and abs(Noise_base - d_base) <= self.stop_dNRsub:
             if not self.should_stop:
                 self.emoScope = 1.0   # ユーザー意思を目的の収束へ整える
             self.should_stop = True   # 💡 外部からこれを見て判断可
@@ -181,5 +206,5 @@ class EmoTion(Optimizer):
 """
  https://github.com/muooon/EmoSens
  Pure W-Ref Geometry. Believing in a future for democratic AI learning.
- Taking decisive steps forward, Weight-Reference Optimizer. 
+ Taking decisive steps forward, Weight-Reference Optimizer.
 """

2Gv38_AutoLR/emovoid.py

@@ -3,12 +3,13 @@ from torch.optim import Optimizer
 import math
 
 """
-EmoVoid v3.8.3 (260215) Moment-Free Edition
-shadow-system v3.1 -moment v3.1 emoPulse v3.8
+EmoVoid v3.8.6 (260220) Moment-Free Edition FFT適応統合版(CPU-GPUデータ転送対応)
+shadow-system v3.1 -moment v3.1 emoPulse v3.8 FFT-Swap-Aware
 これまでの emo系 のすべてを継承し、独自更新式の特徴を受け継ぐ完全オリジナル最適化器
 The “geometric relationship” between "W"eight and "G"radient Method
-幾何学的最適化アルゴリズム Approx W-Ref Geometry 近似アシスト更新にし負荷低減
+幾何学的最適化アルゴリズム Approx W-Ref Geometry 近似アシスト更新に変更し負荷低減
 完全1次2次モーメント廃止、さまざまなコストを極限まで低減、正確性と軽量性と快適性を向上
+### FFT適応 cuDNN 等で厳格なデータ配置を求める仕様により中間テンソル(コピー)生じる ###
 """
 
 class EmoVoid(Optimizer):
@@ -18,17 +19,26 @@ class EmoVoid(Optimizer):
                  eps=1e-8,
                  betas=(0.9, 0.995),
                  weight_decay=0.01,
-                 use_shadow:bool=False):
+                 use_shadow:bool=False,
+                 fftmode:bool=False):
         defaults = dict(lr=lr, betas=betas, eps=eps, weight_decay=weight_decay)
         super().__init__(params, defaults)
         self._init_lr = lr
         self.should_stop = False     # 停止フラグの初期化
+        self.fftmode = fftmode       # FFT切替 フルファインチューニングモード
         self.use_shadow = use_shadow # 🔸shadow 使用フラグを保存
         self.emoScope = lr           # 動的学習率の調和とリズム
         self.dNR_hist = 1.0          # emoPulse hist 初期化
         self.noise_est = 1.0         # emoPulse nest 初期化
         self.d_est = 0.02            # emoPulse dest 初期化
 
+        if self.fftmode:
+            self.base_scale, self.max_lim, self.min_lim = 1e-5, 3e-4, 1e-8
+            self.stop_scalar,self.stop_dNRsub = 5e-7, 5e-8
+        else:
+            self.base_scale, self.max_lim, self.min_lim = 1e-4, 3e-3, 1e-6
+            self.stop_scalar,self.stop_dNRsub = 5e-6, 5e-7
+
     # 感情EMA更新(緊張と安静)
     def _update_ema(self, state, loss_val):
         ema = state.setdefault('ema', {})
@@ -101,10 +111,11 @@ class EmoVoid(Optimizer):
             # 減速：怪しい時は即座に比率を下げる(確実に信頼できない場合に下げ圧力を溜める)
             self.dNR_hist = dNR_now_val * 0.80
         # emoPulse 最終決定： emoScorp によるユーザー意思の反映と安全値による制限
-        emoPulse = max(min(self.dNR_hist * (self.emoScope * 1e-4), 3e-3), 1e-6)
+        emoPulse = float(max(min(self.dNR_hist * (self.emoScope * self.base_scale),
+                                 self.max_lim), self.min_lim))
         # --- End emoPulse (完全自動LR生成) ---
 
-        # --- Start Approx W-Ref Geometry 近似アシスト ---
+        # --- Start Approx W-Ref Geometry [Void] 近似アシスト ---
         # Weight Reference Geometry ("W"eight and "G"radient Method)
         # 中間テンソルによるVRAM負荷やcos類似度測定の計算負荷を実質０にする
         with torch.no_grad():
@@ -121,11 +132,11 @@ class EmoVoid(Optimizer):
                 ratio = (prev / (point_gl1 + 1e-8)).item()
                 # 全層の重みを一撃でスケーリング(中間テンソル作成なし、最速)
                 torch._foreach_mul_(params, ratio)
-                # 修正したので、現在のノルムも再計算(または近似)
+                # 現在の修正したノルムを復元(近似)スケール調整で打ち消し
                 point_gl1 *= ratio
             # 今回のノルムを次回の比較用に保存
             self.prev_gl1 = point_gl1
-        # --- End Approx W-Ref Geometry 近似アシスト ---
+        # --- End Approx W-Ref Geometry [Void] 近似アシスト ---
 
         for group in self.param_groups:
             beta1, beta2 = group['betas']
@@ -150,8 +161,16 @@ class EmoVoid(Optimizer):
 
                 # --- Start Gradient Update Logic ---
                 # --- EmoVoid (Approx W-Ref Geometry) ---
-                # 更新：emoPulse「時間軸」、W-Ref-Geo「空間軸」でODE近似へ導く
-                p.add_(grad.sign_(), alpha=-emoPulse)
+                # FFT版と通常版を統合する分岐(デバイス状態判定)
+                if p.device != grad.device:
+                    # FFTモード：予め符号化し1/32軽量化で｢行列保持｣の重圧を解放
+                    update = grad.sign().to(p.device)
+                else:
+                    # 通常モード：インプレースで最速処理
+                    update = grad.sign_()
+
+                # 更新：emoPulse｢時間軸｣ W-Ref-Geo｢空間軸｣でODE近似へ導く
+                p.add_(update, alpha=-emoPulse)
                 # --- End Gradient Update Logic ---
 
         # ユーザー指定初期LRを実効値(emoPulse)で可視化する(PyTorch標準)
@@ -161,7 +180,7 @@ class EmoVoid(Optimizer):
         # 感情機構の穏やかさ"安定状態"を外部伝達する(自動停止ではない)
         # Early Stop：瞬間値と33step分の履歴の差分で True にするだけ
         # 誤判定防止をしないのは点灯頻度で停止準備(予兆)にするため
-        if abs(scalar) <= 5e-6 and abs(Noise_base - d_base) <= 5e-7:
+        if abs(scalar) <= self.stop_scalar and abs(Noise_base - d_base) <= self.stop_dNRsub:
             if not self.should_stop:
                 self.emoScope = 1.0   # ユーザー意思を目的の収束へ整える
                 self._step_count = 0  # 幾何学的再調整の再始動