Upload 2 files

emo-v38-paper(ENG).txt

@@ -69,7 +69,7 @@ Abstract
 
         EMA_t = (1 - α) * EMA_{t-1} + α * L_t
 
-    The emotional scalar sigma_t generated from this difference is a nonlinear statistic that compresses information about higher-order moments (skewness, kurtosis, and variance) into the range [−1,1].
+    The “High-order Temporal Difference” generated from this difference—defined as the “emotion scalar.” This emotion scalar sigma_t is a nonlinear statistic that compresses information about higher-order moments (skewness, kurtosis, and variance) into the range [−1,1].
     Multiple EMAs with different time constants accumulate vast historical steps as “history” in a layered manner.
     By taking this relative time-delay differential, we observe the “dynamic higher-order rate of change in terrain accompanying learning progression” — a phenomenon impossible to detect through static terrain analysis. 
     By recursively incorporating this into the update formula, the long-term “smoothness” of the terrain is reflected in the parameter updates. 
@@ -232,23 +232,24 @@ Abstract
     ※ EmoTion encodes a proprietary update method called “Geometric Orthogonal Update.”
 
 
-6. Respect for Existing Methods and EmoTion's Position
+6. EmoTion Explanation of the “New Optimization” Update Formula and Bridging to the Future
 
-    The EmoTion update algorithm stems from deep respect for AdamW, a pinnacle of modern deep learning. The concept of “adaptive learning rate” demonstrated by AdamW established the conditions for effective optimization and significantly lowered the barriers to its adoption.
+    Respect for Existing Methods and EmoTion's Position:
+    The EmoTion update algorithm stems from deep respect for Adam and others, a pinnacle of modern deep learning. The concept of “adaptive learning rate” demonstrated by Adam and others established the conditions for effective optimization and significantly lowered the barriers to its adoption.
 
     EmoTion inherits this spirit while taking a different approach: using geometry (W-Ref Geometry) and emotion (emoPulse) instead of statistics.
 
     A New Form of Precision:
-    While AdamW meticulously carves a path from past statistics, EmoTion navigates terrain more flexibly through dialogue with current weights (Geometric interaction with current weights) and the pulse of loss. This approach aims for natural convergence that suppresses overfitting while maintaining accuracy on par with AdamW. (Orthogonality as Freshness)
+    While Adam and others meticulously carves a path from past statistics, EmoTion navigates terrain more flexibly through dialogue with current weights (Geometric interaction with current weights) and the pulse of loss. This approach aims for natural convergence that suppresses overfitting while maintaining accuracy on par with Adam and others. (Orthogonality as Freshness)
 
     Resource-Friendly Design (Reduced VRAM):
-    Computational resources are finite, and not everyone has access to high-performance, abundant resources. By entrusting the precise mechanism of second-order moments—which AdamW has carefully preserved—to “scalar control,” EmoTion was able to reduce VRAM load by approximately half. We believe this forms the foundation for a “democratic learning environment” where more people can conduct AI training.
+    Computational resources are finite, and not everyone has access to high-performance, abundant resources. By entrusting the precise mechanism of second-order moments—which Adam and others has carefully preserved—to “scalar control,” EmoTion was able to reduce VRAM load by approximately half. We believe this forms the foundation for a “democratic learning environment” where more people can conduct AI training.
 
     Geometric Inertia Control Using W-Ref Geometry:
     The core of this method lies in its geometric update rule based on the orthogonality between the weight vector W and the gradient vector G.
     Whereas conventional statistical methods rely on the accumulated gradient history (shadow), W-Ref Geometry uses the current weight W as the “substance” and derives the freshness of gradient G from the following cosine similarity ρ(rho).
 
-        rho = |W * G| / ( ||W|| * ||G|| + eps )
+        ρ(rho) = | <W, G> | / ( ||W|| * ||G|| + eps )
 
     The smaller ρ (rho) is (the closer it is to orthogonal), the more the current gradient is judged to contain “unknown information” not present in the existing weight structure. This allows the current gradient to be strongly incorporated, overcoming inertia. This geometric “information selection” simultaneously achieves high-precision directional changes without statistical delay and a regularization effect by suppressing redundant updates. (Dynamic Inertia Calibration)
 
@@ -256,6 +257,35 @@ Abstract
     The absence of second-order moments (variance estimation) is not merely for weight reduction. W-Ref Geometry updates based on the “freshness of direction” rather than the “magnitude” of gradients, rendering much of the role traditionally fulfilled by second-order moments unnecessary. (Departure from Second-Order Moments)
     Direction selection via W-Ref Geometry determines that gradients G containing unknown information are those most orthogonal to weight W, thereby reducing inertia and steering toward new directions. Conversely, gradients parallel to W are deemed redundant, prioritizing inertia. This selection based on “direction purity” is more direct than variance estimation, robust against noise, and suppresses overfitting.
 
+    Below is a detailed explanation of the W-Ref Geometry method.
+
+    1. Definition of the Geometric Index ρ (Orthogonality Index)
+    While conventional optimizers adjust the learning rate based on the “magnitude of the gradient” (L2 norm) or “statistical variance” (second moment), EmoTion defines the “relative orientation of the gradient vector G with respect to the current weight vector W” as the freshness of information.
+
+        ρt(rho_t) = | <W_t, G_t> | / ( ||W_t|| * ||G_t|| + eps )
+
+        Orthogonal state (ρ→0): The gradient is orthogonal to the current weight structure. This suggests a “completely new direction of knowledge that the current model does not yet possess.”
+        Parallel state (ρ→1): The gradient points in the same direction as the current weight (or exactly opposite). This suggests the possibility that it is merely redundant information, equivalent to scaling the current weight.
+
+    2. Adaptive Inertial Control (Geometric Momentum Blending)
+    This update formula dynamically adjusts inertia based on the “freshness” of the gradient. It replaces the conventional variance estimation based on second moments with a structure that utilizes the degree of redundancy in geometric information.
+
+        m_t = beta1 * m_{t-1} + (1 - beta1) * Freshness_t * G_t
+        where Freshness_t = 1.0 - EMA(rho_t)
+
+        Theoretical Interpretation: When the gradient is “orthogonal” (fresh), it temporarily weakens inertia (past shadows) and reacts immediately to new information (steers). Conversely, when ‘parallel’ (redundant), it maintains inertia and prioritizes stability. This can be interpreted as replacing “statistical uncertainty” (variance) with “geometric redundancy of information.”
+
+    3. Alternative to Update-Based Encoding and L2 Regularization
+    The final key to EmoTion remaining second-moment-free lies in separating sign extraction (Sign) and weight decay. By determining the update direction solely based on sign(m_t), the magnitude of the weight update is no longer influenced by the “size” of the gradient. This enables stable updates that are resilient to fluctuations and noise in the gradient scale.
+
+        W_{t+1} = W_t * (1 - eta_t * lambda) - eta_t * sign(m_t)
+
+        (eta_t is the learning rate generated by emoPulse, lambda is the weight decay coefficient)
+
+    ※ Proposal of “Entity Reference Optimization”: While conventional optimization methods track “past gradients” (history), this approach establishing the Weight-Reference (W-Ref) paradigm, which uses correlation with “current weights” (entities) as the trigger for updates.
+    ※ Geometric Interpretation of the Curse of Dimensionality: By leveraging the concentration phenomenon of vectors in high-dimensional space (their tendency to be mutually orthogonal), it detects even slight “deviations” from orthogonality as redundant information. This enables higher-precision, low-latency inertial control without relying on statistical variance estimation. In high-dimensional spaces (e.g., layers with hundreds of millions of parameters), the probability of two vectors coincidentally becoming parallel is extremely low. Since nearly all vectors are orthogonal, any deviation of ρ from zero (approaching parallelism) statistically signifies “extremely strong correlation” (duplication). This means that without consulting vast historical statistics (second moments), it becomes possible to instantly determine whether an update is valuable based solely on its relationship to the current weights.
+    ※ Resonance with emoPulse: emoPulse controls the “temporal axis pulse” (when and how much to move), while W-Ref Geometry determines the “spatial axis direction” (where and how much to move). This integrated autonomous control of time and space is the core mechanism enabling both VRAM reduction and high-precision convergence, thereby enhancing learning robustness.
+
 
 7. Conclusion
 

emo-v38-paper(JPN).txt

@@ -44,7 +44,7 @@
 
         EMA_t = (1 - α) * EMA_{t-1} + α * L_t
 
-    この差分から生成される感情スカラー sigma_t は、高次モーメント (歪度･尖度･変動) の情報を [−1,1] に圧縮した非線形統計量である。 これら時間定数の異なる複数の EMA が、過去の膨大なステップを｢履歴｣として重層的に蓄積する。 その相対的な時間遅延差分 (Time-delay Differential) をとることで、静的な地形の解析では不可能な｢学習の進行に伴う地形の動的な高次変化率｣を観測している。 これを更新式に再帰的に含めることで、長長期的な地形の｢滑らかさ｣をパラメータ更新に反映させている。 
+    この差分から生成される「高次時間差分」(High-order Temporal Difference)－これを"感情スカラー"と定義する。 この感情スカラー sigma_t は、高次モーメント (歪度･尖度･変動) の情報を [−1,1] に圧縮した非線形統計量である。 これら時間定数の異なる複数の EMA が、過去の膨大なステップを｢履歴｣として重層的に蓄積する。 その相対的な時間遅延差分 (Time-delay Differential) をとることで、静的な地形の解析では不可能な｢学習の進行に伴う地形の動的な高次変化率｣を観測している。 これを更新式に再帰的に含めることで、長長期的な地形の｢滑らかさ｣をパラメータ更新に反映させている。 
 
     ※ 高次モーメントの時系列的形成に関する注意： 
     本手法における高次モーメント近似は、単一ステップの勾配情報から算出されるものではなく、時間的積算により形成される。 これは静的な地形の曲率ではなく｢学習の進行に伴う地形の動的な変化率｣を観測していることを意味する。 
@@ -185,28 +185,59 @@
     ※ EmoTion は、独自更新式｢幾何学的直交更新｣を符号化している
 
 
-6. 既存手法への敬意と、EmoTion の立ち位置
+6. EmoTion による"新しい最適化"の更新式の解説と未来への橋渡し
 
-    EmoTion の更新アルゴリズムは、現代のディープラーニングの金字塔である AdamW への深い敬意から出発している。 AdamW が示した｢適応的学習率｣という概念は最適化を実施できる条件を整え普及へのハードルを大きく下げた。
+    既存手法への敬意と、EmoTion の立ち位置： 
+    EmoTion の更新アルゴリズムは、現代のディープラーニングの金字塔である Adam等 への深い敬意から出発している。 Adam等 の示した｢適応的学習率｣という概念は最適化を実施できる条件を整え普及へのハードルを大きく下げた。
 
     EmoTion はその精神を継承しつつ、異なるアプローチとして｢統計の代わりに、幾何学(W-Ref Geometry)と感情(emoPulse)｣を用いる。
 
     正確さの新しい形： 
-	AdamW が｢過去の統計｣から緻密に道を切り拓くのに対し、EmoTion は｢現在の重みとの対話｣と｢Lossの鼓動｣を通じて、よりしなやかに地形を歩む。 これにより、AdamW と並び立つ正確さを維持しながら、過学習を抑えた｢自然な収束｣を目指した。
+    Adam等が｢過去の統計｣から緻密に道を切り拓くのに対し、EmoTion は｢現在の重みとの対話｣と｢Lossの鼓動｣を通じて、よりしなやかに地形を歩む。 これにより、Adam等 と並び立つ正確さを維持しながら、過学習を抑えた｢自然な収束｣を目指した。
 
     リソースへの優しさ(VRAM削減)： 
-	計算資源は有限であり、誰もが高性能で潤沢なリソースを使えるわけではない。 EmoTion は AdamW が大切に保持してきた2次モーメントという正確な仕組みを｢スカラー制御｣に委ねることで、VRAM 負荷を約半分に抑えることができた。 これは、より多くの人がAI学習を実施できる｢民主的な学習環境｣の基盤になると考える。
+    計算資源は有限であり、誰もが高性能で潤沢なリソースを使えるわけではない。 EmoTion は Adam等 が大切に保持してきた2次モーメントという正確な仕組みを｢スカラー制御｣に委ねることで、VRAM 負荷を約半分に抑えることができた。 これは、より多くの人がAI学習を実施できる｢民主的な学習環境｣の基盤になると考える。
 
     W-Ref Geometry による幾何学的慣性制御：
     本手法の核心は、重みベクトル W と勾配ベクトル G の直交性(Orthogonality)に基づく幾何学的更新則にある。 従来の統計的手法が過去の勾配の蓄積(影)に依存するのに対し、W-Ref Geometry は現在の重み W という｢実体｣を基準とし、勾配 G の新鮮度(Freshness)を以下の余弦類似度 ρ(rho)から導出する。
 
-    rho = |W * G| / ( ||W|| * ||G|| + eps )
+        ρ(rho) = | <W, G> | / ( ||W|| * ||G|| + eps )
 
     ρ (rho)が小さい(直交に近い)ほど、現在の勾配は既存の重み構造に含まれない｢未知の情報｣を持っていると判断し、慣性を排して現時点の勾配を強く取り込む。 この幾何学的な｢情報の選別｣により、統計的遅延のない高精度な方向転換と、冗長な更新の抑制による正則化効果を同時に達成している。
 
     1次モーメントのみで成立する理由：
     EmoTion が 2次モーメント(分散推定)を持たないのは単なる軽量化ではない。 W-Ref Geometry により、勾配の｢大きさ｣ではなく｢方向の新鮮さ｣を基準に更新を行うため、2次モーメントが担う役割の多くが不要になる。 W-Ref Geometry による方向の選別は、勾配 G が 重み W と直交に近いほど、未知の情報を含むと判断し、慣性を弱めて新しい方向へ舵を切る。 逆に、W と平行な勾配は冗長とみなし、慣性を優先する。 この｢方向の純度｣に基づく選別は、分散推定よりも直接的で、ノイズに強く、過学習を抑える効果を持つ。
 
+    以下、詳細な説明をする、 W-Ref Geometry 法 の詳細
+
+    1. 幾何学的指標 ρ (Orthogonality Index) の定義
+    従来の最適化器が｢勾配の大きさ｣(L2 norm)や｢統計的分散｣(2次モーメント)で学習率を調整するのに対し、EmoTion は ｢現在の重みベクトル W に対する勾配ベクトル G の相対的な向き｣を情報の鮮度として定義する。
+
+        ρt(rho_t) = | <W_t, G_t> | / ( ||W_t|| * ||G_t|| + eps )
+
+        直交状態 (ρ→0)： 勾配が現在の重み構造と直交している。 これは｢現在のモデルがまだ持っていない、全く新しい知識方向｣であることを示唆する。
+        平行状態 (ρ→1)： 勾配が現在の重みと同じ方向(または真逆)を向いている。 これは｢現在の重みのスケール調整に過ぎない、冗長な情報｣である可能性を示唆する。
+
+    2. 適応的慣性制御 (Geometric Momentum Blending)
+    この更新式は、勾配の"新鮮度"に応じて慣性を動的に調整する仕組みである。 従来の2次モーメントによる分散推定を、幾何学的な情報の重複度に置き換えた構造である。
+
+        m_t = beta1 * m_{t-1} + (1 - beta1) * Freshness_t * G_t
+        where Freshness_t = 1.0 - EMA(rho_t)
+
+        理論的解釈： 勾配が｢直交｣(新鮮)のとき、慣性(過去の影)を一時的に弱め、新しい情報へ即座に反応(舵を切る)する。 逆に｢平行｣(冗長)なとき、慣性を維持して安定性を優先する。 これは｢統計的な不確実性｣(分散)を｢幾何学的な情報の重複度｣に置き換えて解釈しているといえる。
+
+    3. 更新式の符号化と L2 正規化の代替
+    EmoTion が、2次モーメント・フリーでいられる最後の鍵は、符号抽出(Sign)と Weight Decay の分離 にある、更新方向を sign(m_t) だけで決めることで、重みの更新幅が勾配の"大きさ"に左右されなくなる。 これにより勾配スケールの揺らぎやノイズに強い、安定した更新が可能になる。
+
+
+        W_{t+1} = W_t * (1 - eta_t * lambda) - eta_t * sign(m_t)
+
+        ( eta_t は emoPulse から生成される学習率、lambda は Weight Decay 係数 )
+
+    ※ ｢実体参照型最適化｣の提唱： 従来の最適化が ｢過去の勾配｣(履歴)を追いかける手法であるのに対し、本手法は ｢現在の重み｣(実体)との相関を更新のトリガーにする手法を Weight-Reference 法 (W-Ref 法)を確立した。
+    ※ 次元の呪いへの幾何学的解釈： 高次元空間におけるベクトルの集中現象(互いに直交しやすい性質)を利用し、直交からの僅かな｢ズレ｣を情報の重複(冗長性)として検知する。 これにより、統計的な分散推定に頼らずとも、より高精度かつ低遅延な慣性制御を実現する。 高次元空間(数億パラメータの層など)では、二つのベクトルが偶然に平行になる確率は極めて低く、ほぼ全てのベクトルは直交するため ρ が 0 から少しでも離れる(平行に近づく)ことは、統計的に ｢極めて強い相関｣(重複)を意味することになる。 つまり、過去の膨大な統計(2次モーメント)を参照せずに、現在の重みとの関係性だけで｢その更新に価値があるか｣を即座に判別可能となる。
+    ※ emoPulse との共鳴： emoPulse が｢時間軸の鼓動｣(いつどのくらい動くか)を制御し、W-Ref Geometry が｢空間軸の方向｣(���こへどれくらい動くか)を決める。 この時間･空間の統合的自律制御は、VRAM 削減と高精度な収束を両立させる核心であり、これは学習の頑健性を向上させる。
+
 
 7. 結論
 
@@ -318,7 +349,7 @@
     ・リソースが限られた環境でも
     ・フラットミニマに近い高精度モデルを得られる 可能性がある。 
 
-    つまり、フラットミニマを“目指す”のではなく、“創り出す”ことで学習を短期化するという発想である。 
+    つまり、フラットミニマを"目指す"のではなく、"創り出す"ことで学習を短期化するという発想である。 
 
     4. 結論：異種感情駆動型モデルの統合(Emotional Ensemble) 
 
@@ -361,7 +392,7 @@ loss飽和しない学習進行の正体
 
     本研究では、停滞の少ない連続的な loss値 低下という挙動に着目し、その要因を検証するために各種テストを実施した。 特に、極端な学習条件として｢画像1枚のみでどこまで安全かつ安定した学習進行が可能か｣を評価した。 その結果、過学習の発生、コピー状態への崩壊、無関係プロンプトへの干渉といった典型的な破綻がいずれも観測されず、極めて安定した学習結果を確認した。
 
-    これらの結果から、グロッキングとは以下の2要因が複合して生じる“停滞現象”であると予想する。
+    これらの結果から、グロッキングとは以下の2要因が複合して生じる"停滞現象"であると予想する。
 
         - 学習過程で蓄積されたノイズ学習の積算により、学習後半で修正すべき不正確さが増大し、モデルの視界が急激に悪化すること(ホワイトアウト／ブラックアウト現象)
         - 学習後半という最も修正が必要な局面において、スケジューラや勾配統計が LR を抑制し、LR が極端に低下してしまうこと