Upload 6 files

2Gv38_AutoLR/emoairy.py

@@ -39,7 +39,7 @@ class EmoAiry(Optimizer):
             self.base_scale, self.max_lim, self.min_lim = 1e-4, 3e-3, 1e-6
             self.stop_scalar,self.stop_dNRsub = 5e-6, 5e-7
 
-    # 感情EMA更新(緊張と安静)
+    # 感情EMA更新(緊張と安静)／３次４次５次モーメント近似相当(感覚神経系)
     def _update_ema(self, state, loss_val):
         ema = state.setdefault('ema', {})
         ema['short'] = 0.3 * loss_val + 0.7 * ema.get('short', loss_val)
@@ -47,7 +47,7 @@ class EmoAiry(Optimizer):
         ema['long'] = 0.01 * loss_val + 0.99 * ema.get('long', loss_val)
         return ema
 
-    # 感情スカラー値生成(EMA差分、滑らかな非線形スカラー、tanh(diff) は ±1.0 で有界性)
+    # 感情スカラー値生成(EMA差分、滑らかな非線形スカラー、tanh(diff) は ±1.0 で有界性)(内分泌系)
     # 係数"1"：ema差分 のスケール調整処理に活用(感度調節係数)／通常は1(タスクに応じ調整可(非推奨))
     # scale_base：Loss値とema値の乖離を修正(分母 ema(long) 「改善率」共通化/loss種に非依存)
     # 1e-5(デフォルト)／1e-6(感度向上)／1e-4(安定性向上)：分母を０にせず安定させる
@@ -69,6 +69,7 @@ class EmoAiry(Optimizer):
 
     # (重要)現在は shadow-effect を参考に得た動的フィルタ効果の近似により use_shadow=False です
     # しかし全機能は shadow なしで全て成立します／コード確認時はこの shadow を考慮外として無視してください
+    # emoPulse機構によるLR推定はWt打ち消しODE近似相当のためshadowは未知のアーキテクチャへの保険(免疫系)
     # Shadow混合比 ３段階構成 タスクに応じ調整可、以下を参考に 開始値・範囲量･変化幅を調整
     # return 開始値 + ((scalar) - 閾値) / 範囲量 * 変化幅 も可能(特殊用途向け)
     def _decide_ratio(self, scalar):
@@ -92,8 +93,8 @@ class EmoAiry(Optimizer):
         trust = math.copysign((1.0 - abs(scalar)), scalar)
 
         # --- Start emoPulse (完全自動LR生成) ---
-        # emoPulse (loss 時系列から D / Noise を推定し完全自動LRを生成)
-        # d / N 履歴 (時間的D推定)
+        # emoPulse (loss 時系列から D / Noise を推定し完全自動LRを生成)(循環器系)
+        # d / N 履歴 (時間的D推定)／d / N 履歴差分は６次モーメント近似相当
         self.noise_est = 0.97 * self.noise_est + 0.03 * abs(scalar)
         self.d_est = 0.97 * self.d_est + 0.03 * abs(trust)
         noise = max(self.noise_est, 1e-10) # max:1e-12程度(変更後：要アーリーストップ見直し)
@@ -101,7 +102,7 @@ class EmoAiry(Optimizer):
         # scalar、trust、の差分(瞬間的D推定)と各時間軸の確度推定(疑念と信頼の綱引き)
         Noise_base = abs(scalar - trust) + 0.1
         d_base = abs(noise - d) + 0.1
-        # SNRにより異なる時間的確度比率から更新力を導出し２乗で出力最大化
+        # SNRにより異なる時間的確度比率から更新力を導出し２乗で出力最大化(心拍)７次近似相当
         dNR_now_val = (d_base / Noise_base) ** 2
         # db / Nb dNR(SNR) 履歴化と最大値の成長率の増減
         if dNR_now_val >= self.dNR_hist and trust >= 0.5:
@@ -129,6 +130,7 @@ class EmoAiry(Optimizer):
                 # 混合比率：スカラーが閾値を超える場合にのみ計算される(信頼できる感情信号かどうかの選別)
                 # 急変時は感情機構による shadow 混合で強く抑制する(急制動による安定性の確保)
                 # 新 shadow-system は動的学習率と信頼度で協調し選択的スパース性も発揮する
+                # emoPulse機構はODE近似相当のためshadowは未知のアーキテクチャへの保険(免疫系)
                 if self.use_shadow :
                     if 'shadow' not in state: # 🔸shadow = False (デフォルト)
                         state['shadow'] = p.clone()

2Gv38_AutoLR/emocats.py

@@ -39,7 +39,7 @@ class EmoCats(Optimizer):
             self.base_scale, self.max_lim, self.min_lim = 1e-4, 3e-3, 1e-6
             self.stop_scalar,self.stop_dNRsub = 5e-6, 5e-7
 
-    # 感情EMA更新(緊張と安静)
+    # 感情EMA更新(緊張と安静)／３次４次５次モーメント近似相当(感覚神経系)
     def _update_ema(self, state, loss_val):
         ema = state.setdefault('ema', {})
         ema['short'] = 0.3 * loss_val + 0.7 * ema.get('short', loss_val)
@@ -47,7 +47,7 @@ class EmoCats(Optimizer):
         ema['long'] = 0.01 * loss_val + 0.99 * ema.get('long', loss_val)
         return ema
 
-    # 感情スカラー値生成(EMA差分、滑らかな非線形スカラー、tanh(diff) は ±1.0 で有界性)
+    # 感情スカラー値生成(EMA差分、滑らかな非線形スカラー、tanh(diff) は ±1.0 で有界性)(内分泌系)
     # 係数"1"：ema差分 のスケール調整処理に活用(感度調節係数)／通常は1(タスクに応じ調整可(非推奨))
     # scale_base：Loss値とema値の乖離を修正(分母 ema(long) 「改善率」共通化/loss種に非依存)
     # 1e-5(デフォルト)／1e-6(感度向上)／1e-4(安定性向上)：分母を０にせず安定させる
@@ -69,6 +69,7 @@ class EmoCats(Optimizer):
 
     # (重要)現在は shadow-effect を参考に得た動的フィルタ効果の近似により use_shadow=False です
     # しかし全機能は shadow なしで全て成立します／コード確認時はこの shadow を考慮外として無視してください
+    # emoPulse機構によるLR推定はWt打ち消しODE近似相当のためshadowは未知のアーキテクチャへの保険(免疫系)
     # Shadow混合比 ３段階構成 タスクに応じ調整可、以下を参考に 開始値・範囲量･変化幅を調整
     # return 開始値 + ((scalar) - 閾値) / 範囲量 * 変化幅 も可能(特殊用途向け)
     def _decide_ratio(self, scalar):
@@ -92,8 +93,8 @@ class EmoCats(Optimizer):
         trust = math.copysign((1.0 - abs(scalar)), scalar)
 
         # --- Start emoPulse (完全自動LR生成) ---
-        # emoPulse (loss 時系列から D / Noise を推定し完全自動LRを生成)
-        # d / N 履歴 (時間的D推定)
+        # emoPulse (loss 時系列から D / Noise を推定し完全自動LRを生成)(循環器系)
+        # d / N 履歴 (時間的D推定)／d / N 履歴差分は６次モーメント近似相当
         self.noise_est = 0.97 * self.noise_est + 0.03 * abs(scalar)
         self.d_est = 0.97 * self.d_est + 0.03 * abs(trust)
         noise = max(self.noise_est, 1e-10) # max:1e-12程度(変更後：要アーリーストップ見直し)
@@ -101,7 +102,7 @@ class EmoCats(Optimizer):
         # scalar、trust、の差分(瞬間的D推定)と各時間軸の確度推定(疑念と信頼の綱引き)
         Noise_base = abs(scalar - trust) + 0.1
         d_base = abs(noise - d) + 0.1
-        # SNRにより異なる時間的確度比率から更新力を導出し２乗で出力最大化
+        # SNRにより異なる時間的確度比率から更新力を導出し２乗で出力最大化(心拍)７次近似相当
         dNR_now_val = (d_base / Noise_base) ** 2
         # db / Nb dNR(SNR) 履歴化と最大値の成長率の増減
         if dNR_now_val >= self.dNR_hist and trust >= 0.5:
@@ -129,6 +130,7 @@ class EmoCats(Optimizer):
                 # 混合比率：スカラーが閾値を超える場合にのみ計算される(信頼できる感情信号かどうかの選別)
                 # 急変時は感情機構による shadow 混合で強く抑制する(急制動による安定性の確保)
                 # 新 shadow-system は動的学習率と信頼度で協調し選択的スパース性も発揮する
+                # emoPulse機構はODE近似相当のためshadowは未知のアーキテクチャへの保険(免疫系)
                 if self.use_shadow :
                     if 'shadow' not in state: # 🔸shadow = False (デフォルト)
                         state['shadow'] = p.clone()

2Gv38_AutoLR/emosens.py

@@ -39,7 +39,7 @@ class EmoSens(Optimizer):
             self.base_scale, self.max_lim, self.min_lim = 1e-4, 3e-3, 1e-6
             self.stop_scalar,self.stop_dNRsub = 5e-6, 5e-7
 
-    # 感情EMA更新(緊張と安静)
+    # 感情EMA更新(緊張と安静)／３次４次５次モーメント近似相当(感覚神経系)
     def _update_ema(self, state, loss_val):
         ema = state.setdefault('ema', {})
         ema['short'] = 0.3 * loss_val + 0.7 * ema.get('short', loss_val)
@@ -47,7 +47,7 @@ class EmoSens(Optimizer):
         ema['long'] = 0.01 * loss_val + 0.99 * ema.get('long', loss_val)
         return ema
 
-    # 感情スカラー値生成(EMA差分、滑らかな非線形スカラー、tanh(diff) は ±1.0 で有界性)
+    # 感情スカラー値生成(EMA差分、滑らかな非線形スカラー、tanh(diff) は ±1.0 で有界性)(内分泌系)
     # 係数"1"：ema差分 のスケール調整処理に活用(感度調節係数)／通常は1(タスクに応じ調整可(非推奨))
     # scale_base：Loss値とema値の乖離を修正(分母 ema(long) 「改善率」共通化/loss種に非依存)
     # 1e-5(デフォルト)／1e-6(感度向上)／1e-4(安定性向上)：分母を０にせず安定させる
@@ -69,6 +69,7 @@ class EmoSens(Optimizer):
 
     # (重要)現在は shadow-effect を参考に得た動的フィルタ効果の近似により use_shadow=False です
     # しかし全機能は shadow なしで全て成立します／コード確認時はこの shadow を考慮外として無視してください
+    # emoPulse機構によるLR推定はWt打ち消しODE近似相当のためshadowは未知のアーキテクチャへの保険(免疫系)
     # Shadow混合比 ３段階構成 タスクに応じ調整可、以下を参考に 開始値・範囲量･変化幅を調整
     # return 開始値 + ((scalar) - 閾値) / 範囲量 * 変化幅 も可能(特殊用途向け)
     def _decide_ratio(self, scalar):
@@ -92,8 +93,8 @@ class EmoSens(Optimizer):
         trust = math.copysign((1.0 - abs(scalar)), scalar)
 
         # --- Start emoPulse (完全自動LR生成) ---
-        # emoPulse (loss 時系列から D / Noise を推定し完全自動LRを生成)
-        # d / N 履歴 (時間的D推定)
+        # emoPulse (loss 時系列から D / Noise を推定し完全自動LRを生成)(循環器系)
+        # d / N 履歴 (時間的D推定)／d / N 履歴差分は６次モーメント近似相当
         self.noise_est = 0.97 * self.noise_est + 0.03 * abs(scalar)
         self.d_est = 0.97 * self.d_est + 0.03 * abs(trust)
         noise = max(self.noise_est, 1e-10) # max:1e-12程度(変更後：要アーリーストップ見直し)
@@ -101,7 +102,7 @@ class EmoSens(Optimizer):
         # scalar、trust、の差分(瞬間的D推定)と各時間軸の確度推定(疑念と信頼の綱引き)
         Noise_base = abs(scalar - trust) + 0.1
         d_base = abs(noise - d) + 0.1
-        # SNRにより異なる時間的確度比率から更新力を導出し２乗で出力最大化
+        # SNRにより異なる時間的確度比率から更新力を導出し２乗で出力最大化(心拍)７次近似相当
         dNR_now_val = (d_base / Noise_base) ** 2
         # db / Nb dNR(SNR) 履歴化と最大値の成長率の増減
         if dNR_now_val >= self.dNR_hist and trust >= 0.5:
@@ -129,6 +130,7 @@ class EmoSens(Optimizer):
                 # 混合比率：スカラーが閾値を超える場合にのみ計算される(信頼できる感情信号かどうかの選別)
                 # 急変時は感情機構による shadow 混合で強く抑制する(急制動による安定性の確保)
                 # 新 shadow-system は動的学習率と信頼度で協調し選択的スパース性も発揮する
+                # emoPulse機構はODE近似相当のためshadowは未知のアーキテクチャへの保険(免疫系)
                 if self.use_shadow :
                     if 'shadow' not in state: # 🔸shadow = False (デフォルト)
                         state['shadow'] = p.clone()

2Gv38_AutoLR/emotion.py

@@ -39,7 +39,7 @@ class EmoTion(Optimizer):
             self.base_scale, self.max_lim, self.min_lim = 1e-4, 3e-3, 1e-6
             self.stop_scalar,self.stop_dNRsub = 5e-6, 5e-7
 
-    # 感情EMA更新(緊張と安静)
+    # 感情EMA更新(緊張と安静)／３次４次５次モーメント近似相当(感覚神経系)
     def _update_ema(self, state, loss_val):
         ema = state.setdefault('ema', {})
         ema['short'] = 0.3 * loss_val + 0.7 * ema.get('short', loss_val)
@@ -47,7 +47,7 @@ class EmoTion(Optimizer):
         ema['long'] = 0.01 * loss_val + 0.99 * ema.get('long', loss_val)
         return ema
 
-    # 感情スカラー値生成(EMA差分、滑らかな非線形スカラー、tanh(diff) は ±1.0 で有界性)
+    # 感情スカラー値生成(EMA差分、滑らかな非線形スカラー、tanh(diff) は ±1.0 で有界性)(内分泌系)
     # 係数"1"：ema差分 のスケール調整処理に活用(感度調節係数)／通常は1(タスクに応じ調整可(非推奨))
     # scale_base：Loss値とema値の乖離を修正(分母 ema(long) ｢改善率｣共通化/loss種に非依存)
     # 1e-5(デフォルト)／1e-6(感度向上)／1e-4(安定性向上)：分母を０にせず安定させる
@@ -69,6 +69,7 @@ class EmoTion(Optimizer):
 
     # (重要)現在は shadow-effect を参考に得た動的フィルタ効果の近似により use_shadow=False です
     # しかし全機能は shadow なしで全て成立します／コード確認時はこの shadow を考慮外として無視してください
+    # emoPulse機構によるLR推定はWt打ち消しODE近似相当のためshadowは未知のアーキテクチャへの保険(免疫系)
     # Shadow混合比 ３段階構成 タスクに応じ調整可、以下を参考に 開始値・範囲量･変化幅を調整
     # return 開始値 + ((scalar) - 閾値) / 範囲量 * 変化幅 も可能(特殊用途向け)
     def _decide_ratio(self, scalar):
@@ -92,8 +93,8 @@ class EmoTion(Optimizer):
         trust = math.copysign((1.0 - abs(scalar)), scalar)
 
         # --- Start emoPulse (完全自動LR生成) ---
-        # emoPulse (loss 時系列から D / Noise を推定し完全自動LRを生成)
-        # d / N 履歴 (時間的D推定)
+        # emoPulse (loss 時系列から D / Noise を推定し完全自動LRを生成)(循環器系)
+        # d / N 履歴 (時間的D推定)／d / N 履歴差分は６次モーメント近似相当
         self.noise_est = 0.97 * self.noise_est + 0.03 * abs(scalar)
         self.d_est = 0.97 * self.d_est + 0.03 * abs(trust)
         noise = max(self.noise_est, 1e-10) # max:1e-12程度(変更後：要アーリーストップ見直し)
@@ -101,7 +102,7 @@ class EmoTion(Optimizer):
         # scalar、trust、の差分(瞬間的D推定)と各時間軸の確度推定(疑念と信頼の綱引き)
         Noise_base = abs(scalar - trust) + 0.1
         d_base = abs(noise - d) + 0.1
-        # SNRにより異なる時間的確度比率から更新力を導出し２乗で出力最大化
+        # SNRにより異なる時間的確度比率から更新力を導出し２乗で出力最大化(心拍)７次近似相当
         dNR_now_val = (d_base / Noise_base) ** 2
         # db / Nb dNR(SNR) 履歴化と最大値の成長率の増減
         if dNR_now_val >= self.dNR_hist and trust >= 0.5:
@@ -127,11 +128,11 @@ class EmoTion(Optimizer):
             # 前回のノルムと比較して｢一括修正｣
             if prev is not None:
                 # 前回のエネルギーを維持するための比率(スライス的な全層一律係数)
-                ratio = (abs(point_gl1 - prev) / (prev + 1e-8)).item()
+                gratio = (abs(point_gl1 - prev) / (prev + 1e-8)).item()
                 # freshness: 全域の動きが激しいほど 1.0 に近づく
-                self.g_freshness = min(ratio / 0.05, 1.0)
+                self.g_freshness = min(gratio / 0.05, 1.0)
                 # 現在の修正したノルムを復元(近似)スケール調整で打ち消し
-                point_gl1 *= ratio
+                point_gl1 *= gratio
             else:
                 # 1ステップ目は｢過去｣がないので現在の勾配を信頼する
                 self.g_freshness = 1.0 # 初期値
@@ -141,7 +142,9 @@ class EmoTion(Optimizer):
 
         for group in self.param_groups:
             beta1, beta2 = group['betas']
-            for p in (p for p in group['params'] if p.grad is not None):
+            for p in group['params']:
+                if p.grad is None:
+                    continue
 
                 grad = p.grad
                 state = self.state[p]
@@ -151,6 +154,7 @@ class EmoTion(Optimizer):
                 # 混合比率：スカラーが閾値を超える場合にのみ計算される(信頼できる感情信号かどうかの選別)
                 # 急変時は感情機構による shadow 混合で強く抑制する(急制動による安定性の確保)
                 # 新 shadow-system は動的学習率と信頼度で協調し選択的スパース性も発揮する
+                # emoPulse機構はODE近似相当のためshadowは未知のアーキテクチャへの保険(免疫系)
                 if self.use_shadow :
                     if 'shadow' not in state: # 🔸shadow = False (デフォルト)
                         state['shadow'] = p.clone()
@@ -161,8 +165,8 @@ class EmoTion(Optimizer):
                         state['shadow'].lerp_(p, leap_ratio)
 
                 # --- Start Gradient Update Logic ---
-                # --- EmoTion (Pure W-Ref Geometry) ---
-                # 1次モーメント(exp_avg)の初期化: O(N) のみ
+                # --- EmoTion (Approx W-Ref Geometry) ---
+                # 1次モーメント(exp_avg)の初期化：O(N) のみ
                 if 'exp_avg' not in state:
                     state['exp_avg'] = torch.zeros_like(p)
 

2Gv38_AutoLR/emovoid.py

@@ -39,7 +39,7 @@ class EmoVoid(Optimizer):
             self.base_scale, self.max_lim, self.min_lim = 1e-4, 3e-3, 1e-6
             self.stop_scalar,self.stop_dNRsub = 5e-6, 5e-7
 
-    # 感情EMA更新(緊張と安静)
+    # 感情EMA更新(緊張と安静)／３次４次５次モーメント近似相当(感覚神経系)
     def _update_ema(self, state, loss_val):
         ema = state.setdefault('ema', {})
         ema['short'] = 0.3 * loss_val + 0.7 * ema.get('short', loss_val)
@@ -47,7 +47,7 @@ class EmoVoid(Optimizer):
         ema['long'] = 0.01 * loss_val + 0.99 * ema.get('long', loss_val)
         return ema
 
-    # 感情スカラー値生成(EMA差分、滑らかな非線形スカラー、tanh(diff) は ±1.0 で有界性)
+    # 感情スカラー値生成(EMA差分、滑らかな非線形スカラー、tanh(diff) は ±1.0 で有界性)(内分泌系)
     # 係数"1"：ema差分 のスケール調整処理に活用(感度調節係数)／通常は1(タスクに応じ調整可(非推奨))
     # scale_base：Loss値とema値の乖離を修正(分母 ema(long) ｢改善率｣共通化/loss種に非依存)
     # 1e-5(デフォルト)／1e-6(感度向上)／1e-4(安定性向上)：分母を０にせず安定させる
@@ -69,6 +69,7 @@ class EmoVoid(Optimizer):
 
     # (重要)現在は shadow-effect を参考に得た動的フィルタ効果の近似により use_shadow=False です
     # しかし全機能は shadow なしで全て成立します／コード確認時はこの shadow を考慮外として無視してください
+    # emoPulse機構によるLR推定はWt打ち消しODE近似相当のためshadowは未知のアーキテクチャへの保険(免疫系)
     # Shadow混合比 ３段階構成 タスクに応じ調整可、以下を参考に 開始値・範囲量･変化幅を調整
     # return 開始値 + ((scalar) - 閾値) / 範囲量 * 変化幅 も可能(特殊用途向け)
     def _decide_ratio(self, scalar):
@@ -92,8 +93,8 @@ class EmoVoid(Optimizer):
         trust = math.copysign((1.0 - abs(scalar)), scalar)
 
         # --- Start emoPulse (完全自動LR生成) ---
-        # emoPulse (loss 時系列から D / Noise を推定し完全自動LRを生成)
-        # d / N 履歴 (時間的D推定)
+        # emoPulse (loss 時系列から D / Noise を推定し完全自動LRを生成)(循環器系)
+        # d / N 履歴 (時間的D推定)／d / N 履歴差分は６次モーメント近似相当
         self.noise_est = 0.97 * self.noise_est + 0.03 * abs(scalar)
         self.d_est = 0.97 * self.d_est + 0.03 * abs(trust)
         noise = max(self.noise_est, 1e-10) # max:1e-12程度(変更後：要アーリーストップ見直し)
@@ -101,7 +102,7 @@ class EmoVoid(Optimizer):
         # scalar、trust、の差分(瞬間的D推定)と各時間軸の確度推定(疑念と信頼の綱引き)
         Noise_base = abs(scalar - trust) + 0.1
         d_base = abs(noise - d) + 0.1
-        # SNRにより異なる時間的確度比率から更新力を導出し２乗で出力最大化
+        # SNRにより異なる時間的確度比率から更新力を導出し２乗で出力最大化(心拍)７次近似相当
         dNR_now_val = (d_base / Noise_base) ** 2
         # db / Nb dNR(SNR) 履歴化と最大値の成長率の増減
         if dNR_now_val >= self.dNR_hist and trust >= 0.5:
@@ -129,18 +130,20 @@ class EmoVoid(Optimizer):
             # ウォームアップ期間中のみ、前回のノルムと比較して「一括修正」
             if prev is not None and curr_step < 55:
                 # 前回のエネルギーを維持するための比率(スライス的な全層一律係数)
-                ratio = (prev / (point_gl1 + 1e-8)).item()
+                gratio = (prev / (point_gl1 + 1e-8)).item()
                 # 全層の重みを一撃でスケーリング(中間テンソル作成なし、最速)
-                torch._foreach_mul_(params, ratio)
+                torch._foreach_mul_(params, gratio)
                 # 現在の修正したノルムを復元(近似)スケール調整で打ち消し
-                point_gl1 *= ratio
+                point_gl1 *= gratio
             # 今回のノルムを次回の比較用に保存
             self.prev_gl1 = point_gl1
         # --- End Approx W-Ref Geometry [Void] 近似アシスト ---
 
         for group in self.param_groups:
             beta1, beta2 = group['betas']
-            for p in (p for p in group['params'] if p.grad is not None):
+            for p in group['params']:
+                if p.grad is None:
+                    continue
 
                 grad = p.grad
                 state = self.state[p]
@@ -150,6 +153,7 @@ class EmoVoid(Optimizer):
                 # 混合比率：スカラーが閾値を超える場合にのみ計算される(信頼できる感情信号かどうかの選別)
                 # 急変時は感情機構による shadow 混合で強く抑制する(急制動による安定性の確保)
                 # 新 shadow-system は動的学習率と信頼度で協調し選択的スパース性も発揮する
+                # emoPulse機構はODE近似相当のためshadowは未知のアーキテクチャへの保険(免疫系)
                 if self.use_shadow :
                     if 'shadow' not in state: # 🔸shadow = False (デフォルト)
                         state['shadow'] = p.clone()