Upload 4 files

D‑RNA_paper_260507(ENG).txt

@@ -0,0 +1,201 @@
+Paper: High‑Density Transformer and Fast Convergence via Dual‑Helix Resonant Contraction Architecture (D‑RNA)
+
+~ Redefining the Transformer through Dual Helix and Rotational Fields ~
+— Resonant Contraction (Resonant Projection Field) and Phase Rotation possess "depth × phase" evolving from "stacking" to "attracting" —
+
+Attention is all you need_started,
+Resonance is all you need_endure,
+Neocognitron ― Transformer  ― D‑RNA  Dream Resonance Never Adjourns — it goes on...
+
+
+Abstract  
+In this paper, we formulate the update rule of the Dual‑Helix Resonance Neural Architecture (D‑RNA) as an ordinary differential equation (ODE), and analyze the mathematical meaning of "Resonant Contraction" and the "Resonant Projection Field."  
+By interpreting the standard Transformer as a discrete‑time dynamical system on a residual stream, we show that D‑RNA rearranges its eigenvalue structure into "damped oscillatory modes," achieving fast convergence and high representational efficiency (depth × phase).  
+We also position theoretically how RoPE‑based phase rotation and the dual‑helix structure (synchronization of Attention/MLP) function as a "wave synthesizer" that reconstructs a smooth semantic space through Fourier‑like superposition, even under low‑bit discrete weights.  
+
+
+1. Introduction  
+The Transformer has an additive dynamic that "stacks information" through residual connections, but its behavior along depth is not always stable or efficient. In early training, gradient explosion/vanishing and long detours before reaching the statistical center are often observed.  
+D‑RNA synchronizes Attention (recall) and MLP (memory) as a dual helix, uses RoPE‑based phase rotation as a "resonant field," and converges the residual stream as a superposition of "damped oscillatory modes."  
+Intuitively, while a standard Transformer wanders through fog searching for the goal, D‑RNA behaves like a funnel spiraling toward the center. The purpose of this paper is to formalize this intuition as follows:
+※ The D‑RNA treated in this paper adopts a "dynamic rotation field" that combines the static rotation field given by RoPE with the dynamic phase obtained from the Key vector, and has a structure in which Attention and MLP resonate in parallel.  
+
+(1) Formulate the residual stream as a continuous‑time ODE  
+(2) Analyze D‑RNA’s resonant contraction as damped oscillatory modes with eigenvalues λ = −α + iω (α>0)  
+(3) Show that RoPE‑based phase freedom yields representational growth via "depth × phase"  
+(4) Interpret ternary/low‑bit weights as Fourier‑type superposition, bridging "coarse weights → smooth representation"  
+
+
+2. Transformer as a residual ODE  
+The residual update of a Transformer block can be written as:
+x_{l+1} = x_l + Attn_l(x_l) + MLP_l(x_l)
+
+Treating depth l as a continuous variable t with layer spacing Δt = 1, the residual update is approximated by the ODE:
+dx/dt ≈ F(x) = A(x) + M(x) 
+
+Here A(x) is the vector field from Attention, and M(x) is the vector field from the MLP.  
+Linearizing locally, the update becomes:
+x_{l+1} = (I + W_l) x_l
+If the real part of an eigenvalue λ_k of W_l is negative, the system converges; if positive, it diverges; and a large imaginary part corresponds to strong rotational (oscillatory) behavior.
+
+In a standard Transformer, Attention and MLP are learned independently, so the eigenvalue placement of W_l is implicit, and the depth dynamics resemble a simple accumulation of additions.
+
+
+3. D‑RNA architecture and resonant projection field  
+In D‑RNA, the residual stream x_l is not decomposed into a_l (Attention side) and b_l (MLP side), but is updated as a parallel resonant step.  
+Conceptually, the Attention resonance (recall) is applied first, followed by the MLP resonance (memory).  
+
+The Attention resonance (recall) can be written as:  
+(1) x_l → x_l + R(φ + θ(x_l)) A_l(Norm(x_l))  
+
+Here, θ(x_l) is the dynamic phase component obtained from the Key vector, which is added to the static rotation field φ of RoPE.  
+
+Next, the MLP resonance (memory) is:  
+(2) x_l → x_l + M_l(Norm(x_l))  
+
+Both Attention and MLP act on the same residual stream x_l and are synchronized on the same phase field.  
+The Attention side rotates through R(φ + θ(x)), while the MLP side does not rotate, but both merge along the same axis.  
+
+Combining these two resonant steps, the update of the entire layer can be written as:  
+x_{l+1} = x_l + R(φ + θ(x_l)) A_l(x_l) + M_l(x_l)  
+
+This corresponds to the special case (φ_A = φ_B = φ + θ(x)) of the original dual‑helix expression:  
+x_{l+1} = x_l + R(φ_A)A_l(x_l) + R(φ_B)M_l(x_l)  
+
+Viewed in continuous time, Attention and MLP interfere within the same phase field along the single main axis of the residual stream, forming a "dual‑helix dynamics" that converges information. When linearized, W_l ≈ W_l^{(A)} + W_l^{(B)}, and both are designed to resonate within the same phase space.  
+
+
+4. Continuous-time ODE formulation  
+When the depth l is extended to a continuous variable t, the residual stream x(t) can be written as the sum of the Attention component a(t) and the MLP component b(t):  
+x(t) = a(t) + b(t)  
+(although in implementation a(t) and b(t) are not explicitly separated and run in parallel).  
+These follow the following coupled ODEs:  
+da/dt = F_A(x, t)  
+db/dt = F_B(x, t)  
+
+Here, F_A(x,t) is the vector field of Attention modulated by the rotation field R(φ + θ(x)), which combines the static phase φ from RoPE and the dynamic phase θ(x) obtained from the Key vector, and F_B(x,t) is the contractive vector field of the MLP.  
+
+Combining the two, the continuous‑time dynamics of the entire layer becomes:  
+dx/dt = F_A(x,t) + F_B(x,t)  
+This corresponds to the continuous‑time version of F(x) = A(x) + M(x) introduced in the previous section, with the dynamic phase applied to the A(x) side in D‑RNA.  
+
+When this ODE is locally linearized, it can be written as dx/dt = W(t) x(t). Here, W(t) is the combination of the linearizations of Attention and MLP, and the eigenvalues λ_k(t) are placed in the damped oscillation mode:  
+λ_k(t) = −α_k(t) + i ω_k(t)(α_k(t) > 0)  
+
+Each mode has the solution:  
+z_k(t) = c_k e^{−α_k t} ( cos(ω_k t) + i sin(ω_k t) ) v_k  
+where the real part −α_k produces contraction (attraction) and the imaginary part ω_k produces rotation (phase alignment). As a result, the depth‑wise dynamics of D‑RNA form a spiral trajectory that "rotates while converging."  
+
+
+5. Resonant contraction vs. standard Transformer  
+In a standard Transformer, Attention and MLP are learned independently, so the eigenvalue placement of the linearization W_l of each layer is implicit, and the depth‑wise dynamics take a form close to a "sequence of additions":  
+x_{l+1} = x_l + Attn_l(x_l) + MLP_l(x_l)  
+In this case, convergence to a fixed point is not necessarily the shortest path, and the balance between convergence, divergence, and rotation is not controlled.  
+
+In contrast, in D‑RNA, Attention and MLP are projected onto the same phase space on the same residual stream and operate synchronously under the common rotation field R(φ + θ(x)). Here, θ(x) is the dynamic phase component obtained from the Key vector, which is added to the static phase φ of RoPE.  
+
+With this structure, the linearized eigenvalues λ tend to be placed in the damped oscillation mode:  
+λ = −α + i ω (α > 0)  
+The real part −α produces strong contraction (attraction), and the imaginary part ω produces phase alignment (rotation). When both act simultaneously, the residual stream forms a funnel‑like dynamics that "falls toward the center."  
+
+Furthermore, when the updates of Attention and MLP are projected into the same phase space under the rotation field created by the static RoPE and the dynamic phase θ(x), D‑RNA forms a resonant subspace within the high‑dimensional space.  
+This subspace functions as a "Resonant Projection Field" that rearranges information while preserving phase relationships and provides an organizing and compressive effect that cannot be obtained by simple residual addition.  
+
+
+6. Depth × phase as an alternative to width  
+Normally, to increase a model’s expressive capacity, one increases d_model (width), but this rapidly increases computation and memory usage.  
+D‑RNA takes a different direction: by combining the static phase φ from RoPE with the dynamic phase θ(x) obtained from the Key vector, it utilizes phase degrees of freedom and achieves the following scaling:  
+
+Effective Capacity ≈ (bit count) × (number of layers) × (phase degrees of freedom)  
+
+Even with the same d_model, stacking layers with different phases φ_l + θ_l along the depth direction allows multiple pieces of information to be multiplexed within one dimension by shifting their phases.  
+This is a strategy for filling the spectrum using the combination of depth and phase without increasing width, thereby expanding effective expressive capacity without increasing VRAM.  
+Phenomena observed experimentally—such as "8 layers behaving like 16 layers" or "similar accuracy with roughly half the VRAM" — can be explained as the result of this spectral packing by "depth × phase."  
+
+
+7. Fourier interpretation and ternary weights  
+D‑RNA can maintain high expressive power even when the weights are restricted to ternary low‑bit values −1, 0, 1.  
+Because the linear transformation W_l of each layer is ternary, the output of a single layer becomes a coarse signal similar to a rectangular wave, but by stacking layers with different phases φ_l and dynamic phases θ_l obtained from the Key vector along the depth direction, the final output approaches a smooth higher‑order function.  
+This is isomorphic to the structure in Fourier series where the superposition of rectangular waves approximates a smooth function.  
+
+From the viewpoint of ODEs, the solution of each eigenmode is  
+z_k(t) = c_k e^{−α_k t} e^{i ω_k t} v_k  
+which is a damped complex exponential function.  
+The complex exponential e^{i ω t} has the same structure as a Fourier basis, with the real part e^{−α t} producing contraction and the imaginary part ω producing rotation (phase alignment).  
+
+D‑RNA stacks these "damped complex exponentials" along the depth direction to reconstruct a smooth semantic manifold from low‑bit coarse components.  
+In other words, D‑RNA can be understood as an architecture that uses the ternary weight constraint not as a "loss of expressive power" but as part of a Fourier‑like synthesis through "phase × depth."  
+
+
+8. Discussion  
+The D‑RNA ODE has properties different from those of a Transformer.  
+(1) Control of eigenvalue placement: through resonant contraction, the eigenvalues tend to be placed in the damped oscillation mode λ = −α + iω. This naturally produces depth‑wise dynamics that "rotate while converging."  
+(2) Reorganization and compression through projection: by interpreting RoPE as a rotation field combining the static phase φ with the dynamic phase θ(x) obtained from the Key vector, and synchronizing Attention and MLP on this field, information reorganization and compression occur simultaneously.  
+(3) Expressive power through depth × phase: without increasing width, having different phases φ_l + θ_l in each layer fills the spectrum, allowing high expressive power even under VRAM constraints.  
+(4) Fourier‑like superposition: even with coarse weights such as ternary (−1, 0, 1), stacking layers with different phases reconstructs smooth representations. This is isomorphic to the Fourier expansion of rectangular waves, and is naturally explained by the "depth × phase" structure of D‑RNA.  
+
+Future work includes rigorous analysis of nonlinear ODEs, the relationship between learning rate schedules and resonant contraction, and error analysis of ternary implementations.  
+
+
+9. Conclusion  
+In this paper, D‑RNA is formulated as a residual ODE, and through resonant contraction, resonant projection fields, and Fourier‑like interpretation, we organized what D‑RNA gains compared to a Transformer.  
+By interpreting the residual stream as a dual helix, the phase rotation given by RoPE is used as a resonant field that combines the static phase φ with the dynamic phase θ(x) derived from the Key, and by pulling the eigenvalues toward the damped oscillation mode λ = −α + iω, D‑RNA shifts its paradigm from a model that "accumulates information" to a model that "attracts information while aligning phases."  
+As a result, the increase in expressive power through depth × phase and the Fourier‑like property that allows reconstruction of a smooth semantic space even with low‑bit weights can be understood as structural properties rather than empirical observations.  
+D‑RNA is not merely a trick, but can be considered an architecture that "re‑describes the world through depth and phase."  
+
+
+Supplement: Low‑bit D‑RNA and ternary theory  
+1. Ternary weights as a structural prior  
+The linear transform W in D‑RNA is approximated by a ternary matrix W_hat with elements −1, 0, 1 and a scale factor S:
+W ≈ S ⊙ W_hat
+Ternary corresponds to log2(3) ≈ 1.58 bits, much coarser than high‑bit weights.
+
+D‑RNA emphasizes phase and depth freedom rather than weight precision, treating the 1.58‑bit constraint as an "alternative form of representation."  
+Thus, low‑bit quantization is used as a structural prior rather than a performance loss.
+
+2. Ternary outputs as rectangular‑wave bases  
+Each layer’s output
+f_l(x) = σ(W_hat_l x)
+is locally a coarse rectangular wave due to ternary W_hat_l.
+
+However, stacking layers with different phases φ_l + θ_l yields Fourier‑like interference, approximating smooth high‑order functions.  
+This mirrors how rectangular waves reconstruct smooth sine waves in Fourier expansion.
+
+3. Depth × phase scaling and holographic packing  
+D‑RNA’s expressiveness follows:
+Effective Capacity ≈ (bit per weight) × (layer depth) × (phase DOF)
+
+Although bit per weight is only 1.58, depth and phase DOF multiply, enabling "holographic information packing" via depth × phase.  
+This explains empirical observations such as "same accuracy with half the VRAM."
+
+4. Composite ODE of phase‑shifted ternary bases  
+The residual ODE is:
+dx/dt = Σ_l R(φ_l) σ(W_hat_l x)
+
+This is a "composite ODE of phase‑shifted ternary basis functions."  
+Each term is coarse, but many terms with different phases φ_l form a smooth vector field F(x).
+
+Linearization yields eigenvalues:
+λ = −α + i ω (α > 0)
+forming damped oscillatory modes that converge toward the center while rotating.
+
+5. From digital primitives to analog manifolds  
+The solution of each damped oscillatory mode is:
+z_k(t) = c_k e^{−α_k t} e^{i ω_k t} v_k
+a complex exponential identical to a Fourier basis.
+
+By stacking these along depth, D‑RNA synthesizes high‑bit‑equivalent analog representations from low‑bit digital primitives.  
+Thus, D‑RNA functions both as a function approximator and a waveform synthesizer.
+
+
+Conclusion:
+The D-RNA: Dual-Helix Resonance Neural Architecture is an application of the insights gained from the emo-series optimizer (https://github.com/muooon/EmoSens) and the concept of the Resonance Contraction Method (Resonance Projection Field) to the Transformer model.
+This project resonates with those very methods and philosophies, as well as the tireless efforts of our predecessors.  
+It serves as a democratic framework designed to enable the learning of diverse cultures and languages, even within the research environments of developing nations or under low-resource computational constraints.  
+It is our hope that this architecture will contribute to the collective process of nurturing global knowledge.
+
+
+Acknowledgments:  
+This work is built upon the foundation established by the Transformer architecture.  
+We express deep gratitude to the research community and open‑source contributors for advances in Attention mechanisms, positional encoding, and large‑scale model design.  
+Neocognitron ― Transformer ― D‑RNA  Dream Resonance Never Adjourns — it goes on...

D‑RNA_paper_260507(JPN).txt

@@ -0,0 +1,194 @@
+論文：二重らせん共鳴収縮構造(D‑RNA)による Transformer の高密度化と高速収束  
+
+〜 二重らせんと回転場による Transformer の再定義 〜  
+— 共鳴収縮法(共鳴投影場)と位相回転は｢深さ×位相｣を持ち｢積み上げる｣から｢引き寄せる｣へ進化する —  
+
+必要なのは｢注意｣だけ (Attention is all you need_started,)  
+｢共鳴｣で保ち続けるだけ (Resonance is all you need_endure,)  
+Neocognitron ― Transformer ― Dream Resonance Never Adjourns — it goes on...  
+
+
+要旨 (Abstract)  
+本稿では Dual‑Helix Resonance Neural Architecture (D‑RNA) の更新則を 常微分方程式(ODE) として定式化し ｢共鳴収縮法｣(Resonant Contraction) および ｢共鳴投影場｣(Resonant Projection Field) の数学的意味を解析する。  
+標準的 Transformer を残差ストリームの離散時間力学系として捉え、D‑RNA がその固有値構造を｢減衰振動モード｣へ再配置することで、高速収束と高い表現効率(深さ×位相)を実現していることを示す。  
+また RoPE による位相回転と二重らせん構造(Attention/MLP の同期)が、低ビット･離散重みであっても Fourier 的な重ね合わせにより滑らかな意味空間を再構成する｢波の合成器｣として機能することを理論的に位置づける。  
+
+
+1. 緒言 (Introduction)  
+Transformer は残差接続を通じて｢情報を積み上げる｣加法的ダイナミクスを持つが、その深さ方向の振る舞いは必ずしも安定でも効率的でもない。 学習初期には勾配爆発･消失や、統計的中心への収束までの遠回りがしばしば観測される。  
+D‑RNA は Attention(想起)と MLP(記憶)を二重らせんとして同期させ、RoPE による位相回転を｢共鳴場｣として利用し、残差ストリームを｢減衰振動モード｣の重ね合わせとして収束させるという設計思想を持つ。  
+直感的には、通常の Transformer が霧の中をさまよいながらゴールを探すのに対し、D‑RNA は中心に向かって渦を巻く漏斗のようなダイナミクスを持つ。 本稿の目的は、この直感を以下の形で厳密化することである。  
+※ 本稿で扱う D‑RNA は、RoPE による静的な回転場に加えて、Key ベクトルから得られる動的位相を重ね合わせた｢動的回転場｣を採用し Attention と MLP を並列共鳴させる構造を持つ。  
+
+(1) 残差ストリームを連続時間 ODE として定式化する  
+(2) D‑RNA の共鳴収縮を、固有値 λ = −α + iω(α>0)を持つ減衰振動モードとして解析する  
+(3) RoPE による位相自由度が｢深さ×位相｣による表現力増大をもたらすことを示す  
+(4) ternary/低ビット重みを Fourier 的重ね合わせとして解釈し ｢粗い重み → 滑らかな表現｣ への橋渡しを与える  
+
+
+2. 残差ODE(常微分方程式)としてのTransformer (Transformer as a residual ODE)  
+Transformer ブロックの残差更新は次のように書ける：  
+x_{l+1} = x_l + Attn_l(x_l) + MLP_l(x_l)  
+
+深さ l を連続変数 t とみなし、層間隔 Δt = 1 とすると、残差更新は次の ODE に近似される：  
+dx/dt ≈ F(x) = A(x) + M(x)  
+
+ここで A(x) は Attention によるベクトル場、M(x) は MLP によるベクトル場を表す。  
+局所的に線形化すると、更新は  
+x_{l+1} = (I + W_l) x_l  
+と書ける。 W_l の固有値 λ_k の実部が負なら収束、正なら発散し、虚部が大きいほど回転(振動)成分が強くなる。  
+
+標準 Transformer では Attention と MLP が独立に学習されるため、W_l の固有値配置は暗黙的であり、深さ方向のダイナミクスは｢加算の積み重ね｣に近い構造となる。  
+
+
+3. D-RNAアーキテクチャと共鳴投影場 (D‑RNA architecture and resonant projection field)  
+D‑RNA では残差ストリーム x_l を a_l(Attention 系)と b_l(MLP 系)に分解せず、並列的な共鳴ステップとして更新する。  
+概念的には Attention 共鳴(想起)が適用され、続いて MLP 共鳴(記憶)が適用される。  
+
+Attention 共鳴(想起)は次のように書ける：  
+(1) x_l → x_l + R(φ + θ(x_l)) A_l(Norm(x_l))  
+
+ここで θ(x_l) は Key ベクトルから得られる動的な位相成分であり、静的 RoPE の回転場 φ に重ね合わせられる。  
+
+続いて MLP 共鳴(記憶)は：  
+(2) x_l → x_l + M_l(Norm(x_l))  
+
+Attention と MLP はどちらも同じ残差ストリーム x_l に作用し、同じ位相空間(phase field)の上で同期している。  
+Attention 側は R(φ + θ(x)) によって回転し、MLP 側は回転しないが、両者は同じ軸上で合流する。  
+
+この二つの共鳴ステップを合成すると、層全体の更新は次のように書ける：  
+x_{l+1} = x_l + R(φ + θ(x_l)) A_l(x_l) + M_l(x_l)  
+
+これは元の二重らせん表現  
+x_{l+1} = x_l + R(φ_A)A_l(x_l) + R(φ_B)M_l(x_l)  
+の特殊ケース(φ_A = φ_B = φ + θ(x))に対応する。  
+
+このプロセスを連続時間的に見ると、残差ストリームという一本の主軸に対し、Attention と MLP が同じ位相場で干渉しながら情報を収束させる｢二重らせんの動態｣が形成される。 線形化すると W_l ≈ W_l^{(A)} + W_l^{(B)} となり、両者が同じ位相空間で共鳴するように設計されている。  
+
+
+4. 連続時間ODEの定式化 (Continuous-time ODE formulation)  
+深さ l を連続変数 t に拡張すると、残差ストリーム x(t) は Attention 系 a(t) と MLP 系 b(t) の和として  
+x(t) = a(t) + b(t)  
+と書ける(実装上は a(t) と b(t) に明確に分けずに並列)。  
+これらはそれぞれ次の連立 ODE に従う：  
+da/dt = F_A(x, t)  
+db/dt = F_B(x, t)  
+
+ここで F_A(x,t) は RoPE による静的な位相 φ と、Key ベクトルから得られる動的位相 θ(x) を合わせた回転場 R(φ + θ(x)) によって変調された Attention のベクトル場であり、F_B(x,t) は MLP による収縮的なベクトル場である。  
+
+両者を合成すると、層全体の連続時間ダイナミクスは  
+dx/dt = F_A(x,t) + F_B(x,t)  
+となる。 これは前章で導入した F(x) = A(x) + M(x) の連続時間版に相当し、D‑RNA では A(x) 側に動的位相が付与される。  
+
+この ODE を局所的に線形化すると dx/dt = W(t) x(t) と書ける。 ここで W(t) は Attention と MLP の線形化を合わせたもので、  
+固有値 λ_k(t) は λ_k(t) = −α_k(t) + i ω_k(t)(α_k(t) > 0) という 減衰振動モード に配置される。  
+
+各モードの解は  
+z_k(t) = c_k e^{−α_k t} ( cos(ω_k t) + i sin(ω_k t) ) v_k  
+となり、実部 −α_k が収縮(引き寄せ)を、虚部 ω_k が回転(位相整列)を担う。 これにより、D‑RNA の深さ方向のダイナミクスは｢収束しながら回転する｣らせん状の軌道を形成する。  
+
+
+5. 共鳴収縮 vs 標準的なTransformer (Resonant contraction vs. standard Transformer)  
+標準的な Transformer では、Attention と MLP が独立に学習されるため、各層の線形化 W_l の固有値配置は暗黙的であり、深さ方向のダイナミクスは  
+x_{l+1} = x_l + Attn_l(x_l) + MLP_l(x_l)  
+という｢加算の連続｣に近い構造となる。  
+この場合、固定点への収束は必ずしも最短経路ではなく、収束･発散･回転のバランスも制御されない。  
+
+一方 D‑RNA では、Attention と MLP が同じ残差ストリーム上で同一の位相空間に投影され、共通の回転場 R(φ + θ(x)) の下で同期して動作する。 ここで θ(x) は Key ベクトルから得られる動的な位相成分であり、静的 RoPE の位相 φ に重ね合わせられる。  
+
+この構造により、線形化された固有値 λ は  
+λ = −α + i ω(α > 0)  
+という 減衰振動モード に配置されやすくなる。  
+実部 −α は強い収縮(引き寄せ)を、虚部 ω は位相整列(回転)を担い、両者が同時に働くことで、残差ストリームは｢漏斗状に中心へ落ちていく｣ダイナミクスを形成する。  
+
+さらに、静的 RoPE と動的位相 θ(x) による回転場の下で Attention と MLP の更新が同一位相空間に投影されると、D‑RNA は高次元空間の中に共鳴するサブスペース(Resonant Subspace)を形成する。  
+このサブスペースは、情報を引き寄せつつ位相関係を保ったまま再配置する ｢共鳴投影場｣(Resonant Projection Field) として機能し、単なる残差加算では得られない整理･圧縮効果をもたらす。  
+
+
+6. 幅の代替案としての ｢深さ × 位相｣ (Depth × phase as an alternative to width)
+通常、モデルの表現力を高めるためには d_model(横幅)を増やすが、これは計算量とメモリ使用量を急増させる。  
+D‑RNA はこの方向とは異なり、RoPE による静的な位相 φ に加え、Key ベクトルから得られる動的位相 θ(x) を重ね合わせることで、位相自由度(phase degrees of freedom) を活用し、次のようなスケーリングを実現する：  
+
+Effective Capacity ≈ (bit 数) × (層数) × (位相自由度)  
+
+同じ d_model であっても、深さ方向に異なる位相 φ_l + θ_l を持つ層を積み重ねることで、1次元内に複数の情報を 位相を変えて多重化(superposition) できる。 これは、横幅を増やさずに深さと位相の組み合わせでスペクトルを埋める戦略であり、VRAM を増やさずに実効的な表現力を拡張する。  
+実験的に観測される ｢8層で16層に匹敵する挙動｣、｢VRAM 半分程で同等精度｣ といった現象は、この ｢深さ × 位相｣ によるスペクトル充填(spectral packing)の結果として説明できる。  
+
+
+7. フーリエ解釈と三値重み (Fourier interpretation and ternary weights)  
+D‑RNA は、重みを −1, 0, 1 の三値に制限した 低ビット･ternary 重み であっても高い表現力を維持できる。  
+各層の線形変換 W_l が ternary であるため、単層の出力は矩形波のような粗い信号になるが、深さ方向に異なる位相 φ_l と、Key ベクトルから得られる動的位相 θ_l を持つ層を重ね合わせることで、最終的な出力は滑らかな高次関数へと近づく。  
+これは Fourier 級数における｢矩形波の重ね合わせが滑らかな関数を近似する｣構造と同型である。  
+
+ODE の観点では、各固有モードの解は  
+z_k(t) = c_k e^{−α_k t} e^{i ω_k t} v_k  
+という 減衰付き複素指数関数 となる。  
+複素指数 e^{i ω t} は Fourier 基底と同じ構造を持ち、実部 e^{−α t} が収縮、虚部 ω が回転(位相)を担う。  
+
+D‑RNA はこの｢減衰付き複素指数｣を深さ方向に積み重ねることで、低ビットの粗い構成要素から、滑らかな意味距離(semantic manifold)を再構成する。 つまり D‑RNA は ternary 重みの制約を ｢表現力の低下｣ ではなく ｢位相 × 深さ｣ による Fourier 的合成の一部として利用するアーキテクチャとして理解できる。  
+
+
+8. 考察 (Discussion)  
+D‑RNA ODE は Transformer と異なる性質を持つ  
+(1) 固有値配置の制御：共鳴収縮により λ = −α + iω 型の減衰振動モードに配置されやすくなる。 これは｢収束しながら回転する｣深さ方向のダイナミクスを自然に生む  
+(2) 投影による再配置と圧縮：RoPE を Key 由来の動的位相 θ(x) を重ね合わせた回転場として解釈し、Attention/MLP をその上で同期させることで情報の再配置と圧縮を同時に行う  
+(3) 深さ×位相による表現力：横幅を増やさずに層ごとに異なる位相 φ_l + θ_l を持つことでスペクトルを埋める戦略は VRAM 制約下でも高い表現力を維持できる  
+(4) Fourier 的重ね合わせ：ternary(−1,0,1)などの粗い重みでも位相の異なる層を重ねることで滑らかな表現を再構成できる。 これは矩形波の Fourier 展開と同型であり、D‑RNA の ｢深さ × 位相｣ 構造が自然に説明する
+今後の課題として、非線形 ODE の厳密解析、学習率スケジュールと共鳴収縮の関係、ternary 実装の誤差解析などが挙げられる  
+
+
+9. 結論 (Conclusion)  
+本稿では D‑RNA を残差 ODE として定式化し、共鳴収縮法･共鳴投影場･Fourier 的解釈を通じて、Transformer と比較したときに D‑RNA が何を得ているのかを整理した。  
+残差ストリームを二重らせんとして捉えることで、RoPE による位相回転を、静的位相 φ と、Key 由来の動的位相 θ(x) を重ね合わせた共鳴場として利用し、固有値を λ = −α + iω 型の減衰振動モードに寄せることで、D‑RNA は｢情報を積む｣モデルから｢情報を位相を合わせながら引き寄せる｣モデルへとパラダイムを転換している。  
+その結果として、深さ×位相による表現力の増大、低ビット重みでも滑らかな意味空間を再構成しうる Fourier  的性質が、経験則ではなく構造的性質として理解できる。  
+D‑RNA は単なるトリックではなく、｢深さと位相で世界を記述し直す｣アーキテクチャになりうると考える。  
+
+
+補足資料：Low‑bit D‑RNA と ternary 理論  
+1. 構造的事前分布としての三値重み (Ternary weights as a structural prior)  
+D‑RNA の線形変換 W は、要素が −1, 0, 1 の ternary 行列 W_hat とスケール係数 S により  
+W ≈ S ⊙ W_hat  
+と近似される。ternary は log2(3) ≈ 1.58 bit に相当し、通常の高ビット重みに比べて極めて粗い。  
+
+D‑RNA は重みの精度そのものではなく、位相と深さの自由度を主役に据えることで、この 1.58 bit 制約を｢表現の別形式｣として扱う。 つまり、低ビット化は性能低下ではなく、構造的な前提(structural prior)として利用される。  
+
+2. 矩形波基底としての三値出力 (Ternary outputs as rectangular-wave bases)  
+各層の出力  
+f_l(x) = σ(W_hat_l x)  
+は、W_hat_l が ternary であるため局所的には凸凹した矩形波のような粗い信号になる。  
+
+しかし、深さ方向に異なる位相 φ_l + θ_l を持つ層を重ね合わせると、これらの矩形波基底が Fourier 的に干渉し、最終的な出力は滑らかな高次関数へと近似される。 この構造は、矩形波の Fourier 展開が滑らかな正弦波を再構成するのと同型である。  
+
+3. ｢深さ × 位相｣のスケーリングとホログラフィック･パッキング (Depth × phase scaling and holographic packing)  
+D‑RNA の表現力は、重みのビット数ではなく  
+Effective Capacity ≈ (bit per weight) × (layer depth) × (phase DOF)  
+というスケーリングで決まる。  
+
+bit per weight は 1.58 に抑えられているが、深さ(layer depth)と位相自由度(phase DOF)が掛け算で効くため ｢深さ × 位相｣ によってスペクトルを埋める｢ホログラフィックな情報パッキング｣が可能になる。 これは実験的に観測される｢VRAM を半分にしても精度が維持される｣という事実の数理的裏付けとなる。  
+
+4. 位相シフトされた三値基底の複合ODE (Composite ODE of phase‑shifted ternary bases)  
+残差 ODE は次のように書ける：  
+dx/dt = Σ_l R(φ_l) σ(W_hat_l x)  
+
+これは｢位相付き ternary ベース関数の合成 ODE｣であり、各項は粗いが、位相 φ_l が異なる多数の項を重ねることで、滑らかなベクトル場 F(x) が形成される。  
+
+線形化すると固有値は  
+λ = −α + i ω(α > 0)  
+という減衰振動モードに配置され、このベクトル場は中心へ収束しながら回転する。  
+
+5. デジタル･プリミティブからアナログ多様体へ (From digital primitives to analog manifolds)  
+減衰振動モードの解は  
+z_k(t) = c_k e^{−α_k t} e^{i ω_k t} v_k  
+であり、これは Fourier 基底と同型の複素指数関数である。  
+
+D‑RNA はこの｢減衰付き複素指数｣を深さ方向に積み重ねることで、低ビットのデジタル構成要素から、高ビット相当のアナログ表現を合成する。 したがって D‑RNA は、関数近似器(function approximator)、波形合成器(waveform synthesizer) の両方として理解できる。  
+
+
+結語：
+本アーキテクチャ D-RNA：Dual‑Helix Resonance Neural Architecture (DRNA) は、emo系optimizer (https://github.com/muooon/EmoSens) により得られた知見、共鳴収縮法(共鳴投影場) の概念を Transformer へ応用したものである。 このプロジェクトはその手法と哲学と共鳴し、先人たちのたゆまぬ歩みに共鳴し、途上国のリサーチ環境や低リソースな計算資源においても、多様な文化や言語を学習可能にする民主的なフレームワークであり、共に知を育むプロセスの一助となることを期待する。  
+
+
+謝辞：  
+本研究は Transformer アーキテクチャによって築かれた基盤の上に成立します。  
+Attention 機構、位置エンコーディング、大規模モデル設計に関する研究とオープンソースコミュニティの貢献に深く感謝します。  
+Neocognitron ― Transformer ― D-RNA 夢の共鳴は決して休まない 夢はずっと続いていく･･･ (D-RNA Dream Resonance Never Adjourns — it goes on...)  

drna/drna.py

@@ -4,19 +4,32 @@ import torch.nn.functional as F
 import math
 
 '''
-D‑RNA: Dual‑Helix Resonance Neural Architecture (DRNA) 260501 【Pre-Norm版】
+D‑RNA: Dual‑Helix Resonance Neural Architecture (DRNA) Pre-Norm･Kv-RoPE 版
+仕様：Pre-Norm(RMSNorm)、GELU(Activation)、Kv-RoPE(head_dim)、mask(padding + causal)
 Transformerの全接続性を継承しつつ、二重らせん(Dual-Helix)構造による
 ｢共鳴収縮｣(Resonant Contraction)を物理的に再現したニューラルアーキテクチャです
-螺旋の同期: Attention(文脈の回想)とMLP(知識の定着)を直列に配置し RoPE で情報を同期
-位相の保持: RoPE(Phase Field)を回転場として利用し、安定した相対位置を保ち早期収束を両立
-高密度圧縮: Pre-Norm により、各らせんを安定的に収縮させ、全結合により記憶を定着させる
+螺旋の同期：Attention(文脈の回想)とMLP(知識の定着)を直列に配置し RoPE で情報を同期
+位相の保持：RoPE(Phase Field)を回転場として利用し、安定した相対位置を保ち早期収束を両立
+高密度圧縮：Pre-Norm により、各らせんを安定的に収縮させ、全結合により記憶を定着させる
 '''
 
+class RMSNorm(nn.Module):
+    def __init__(self, d_model, eps=1e-6):
+        super().__init__()
+        self.eps = eps
+        self.weight = nn.Parameter(torch.ones(d_model))
+
+    def forward(self, x):
+        # 2乗平均の平方根で割る(平均を減算しない･中心化をしない)
+        norm = x.pow(2).mean(-1, keepdim=True)
+        x_normed = x * torch.rsqrt(norm + self.eps)
+        return self.weight * x_normed
+
 class DRNA_RoPE(nn.Module):
     """二重らせんの位相を決定する回転場"""
-    def __init__(self, d_head, base=10000):
+    def __init__(self, head_dim, base=10000):
         super().__init__()
-        inv_freq = 1.0 / (base ** (torch.arange(0, d_head, 2).float() / d_head))
+        inv_freq = 1.0 / (base ** (torch.arange(0, head_dim, 2).float() / head_dim))
         self.register_buffer("inv_freq", inv_freq)
 
     def forward(self, x, seq_len):
@@ -26,28 +39,26 @@ class DRNA_RoPE(nn.Module):
         return emb.cos()[None, None, :, :], emb.sin()[None, None, :, :]
 
 def apply_drna_rope(q, k, cos, sin):
-    """位相回転の適用"""
+    """Kによる動的位相変調済み cos/sin を受け取る"""
     def rotate_half(x):
         x1, x2 = x.chunk(2, dim=-1)
         return torch.cat((-x2, x1), dim=-1)
-    # DRNA_RoPE側で次元を揃えたので、ここの cos[:, None, :, :] は不要になる
-    # q, k は [Batch, Head, Seq, d_head] なので、cos, sin もそれに合わせた
     return (q * cos) + (rotate_half(q) * sin), (k * cos) + (rotate_half(k) * sin)
 
 class DRNA_Block(nn.Module):
     """DRNA共鳴ブロック：安定性を高めたPre-Norm直列共鳴構造"""
-    def __init__(self, d_model, n_heads, d_ff=None, dropout=0.1):
+    def __init__(self, d_model, n_heads, head_dim, d_ff=None, dropout=0.1):
         super().__init__()
         self.n_heads = n_heads
-        self.d_head = d_model // n_heads
-        
+        self.head_dim = head_dim
+
         # らせんA: 回想系 (Attention)
-        self.norm1 = nn.LayerNorm(d_model) # 演算の前に配置
+        self.norm1 = RMSNorm(d_model) # 演算の前に配置
         self.qkv = nn.Linear(d_model, d_model * 3)
         self.out_proj = nn.Linear(d_model, d_model)
-        
+
         # らせんB: 記憶系 (MLP)
-        self.norm2 = nn.LayerNorm(d_model) # 演算の前に配置
+        self.norm2 = RMSNorm(d_model) # 演算の前に配置
         d_ff = d_ff or d_model * 4
         self.mlp = nn.Sequential(
             nn.Linear(d_model, d_ff),
@@ -58,68 +69,119 @@ class DRNA_Block(nn.Module):
         self.dropout = nn.Dropout(dropout)
 
     def forward(self, x, cos, sin, mask=None):
-        b, s, d = x.shape
-        
-        # --- らせんA (Attention Resonance: Pre-Norm) ---
-        residual = x
-        x_norm = self.norm1(x) # 先にNormを計算
-        
-        qkv = self.qkv(x_norm).reshape(b, s, 3, self.n_heads, self.d_head).permute(2, 0, 3, 1, 4)
-        q, k, v = qkv[0], qkv[1], qkv[2]
-        
-        q, k = apply_drna_rope(q, k, cos, sin)
-        
-        attn = (q @ k.transpose(-2, -1)) * (1.0 / math.sqrt(self.d_head))
-        if mask is not None:
-            attn = attn + mask
-        
-        attn = F.softmax(attn, dim=-1)
-        a_out = (attn @ v).transpose(1, 2).reshape(b, s, d)
-        
-        # 残差接続（収縮ではなく蓄積）
-        x = residual + self.dropout(self.out_proj(a_out))
-        
-        # --- らせんB (MLP Resonance: Pre-Norm) ---
-        residual = x
-        x_norm = self.norm2(x) # 先にNormを計算
-        
-        # 残差接続
-        x = residual + self.dropout(self.mlp(x_norm))
-        
-        return x
+            b, s, d = x.shape
+
+            # 1. 共通の残差(ベースとなる螺旋の軸)
+            residual = x
+
+            # 2. らせんA (Attention) 並列方式
+            x_norm1 = self.norm1(x)
+
+            # QKV生成 (3倍のまま)
+            # ※ self.qkv(x_norm) が x_norm1 になっているか確認してください
+            qkv = self.qkv(x_norm1).reshape(b, s, 3, self.n_heads, self.head_dim).permute(2, 0, 3, 1, 4)
+            q, k, v = qkv[0], qkv[1], qkv[2]
+
+            # K因果的動的回転：一つ前の単語の K が今の単語の座標を決める
+            # 自分の情報で自分を回さないよう、Kを1つ未来にシフトさせる
+            # これにより｢赤い(K)｣が｢猫(Q,K)｣の位相を決定する構造になる
+            k_for_phase = torch.cat([torch.zeros_like(k[:, :, :1, :]), k[:, :, :-1, :]], dim=2)
+
+            # Kのエネルギーを位相(回転角)に変換
+            rt_phase = torch.tanh(k_for_phase) * math.pi
+
+            # 静的RoPE (cos, sin) を動的位相 (rt_phase) で加法定理により変調
+            # ※ apply_drna_rope に rt_phase を渡せるように関数側を調整するか、
+            # ここで dynamic_cos / sin を作って渡します
+            d_cos = (cos * torch.cos(rt_phase)) - (sin * torch.sin(rt_phase))
+            d_sin = (sin * torch.cos(rt_phase)) + (cos * torch.sin(rt_phase))
+
+            # ２重らせんをつくる (変調された座標で回転)
+            q, k = apply_drna_rope(q, k, d_cos, d_sin)
+
+            # Attention計算
+            attn = (q @ k.transpose(-2, -1)) * (1.0 / math.sqrt(self.head_dim))
+            if mask is not None:
+                attn = attn + mask
+
+            attn = F.softmax(attn, dim=-1)
+            a_out_raw = (attn @ v).transpose(1, 2).reshape(b, s, d)
+            a_out = self.out_proj(a_out_raw)
+
+            # 3. らせんB (MLP)
+            x_norm2 = self.norm2(x)
+            m_out = self.mlp(x_norm2)
+
+            # 4. 並列方式
+            x = residual + self.dropout(a_out) + self.dropout(m_out)
+
+            return x
 
 class DRNA_Model(nn.Module):
-    """汎用 DRNA モデルコンテナ（安定化 Pre-Norm 版）"""
+    """汎用 DRNA モデルコンテナ(安定化 Pre-Norm 版)"""
     def __init__(self, vocab_size, d_model=256, n_layers=16, n_heads=8, d_ff=1024):
         super().__init__()
         self.embed = nn.Embedding(vocab_size, d_model)
-        self.rope = DRNA_RoPE(d_model // n_heads)
-        
+        self.head_dim = d_model // n_heads
+        self.rope = DRNA_RoPE(self.head_dim)
+
         self.layers = nn.ModuleList([
-            DRNA_Block(d_model, n_heads, d_ff) for _ in range(n_layers)
+            DRNA_Block(d_model, n_heads, self.head_dim, d_ff) for _ in range(n_layers)
         ])
-        
+
         # Pre-Norm構造の場合、最終レイヤーの後に全体のNormを置くのが一般的
-        self.final_norm = nn.LayerNorm(d_model)
+        self.final_norm = RMSNorm(d_model)
         self.output_head = nn.Linear(d_model, vocab_size)
 
-    def forward(self, x, mask=None):
+    def forward(self, x, mask=None, pad_id=None):
         b, s = x.shape
+        device = x.device
+        x = self.embed(x)
 
         if mask is None:
-            mask = torch.triu(torch.ones(s, s, device=x.device), diagonal=1) * float('-inf')
-            mask = mask[None, None, :, :] # (1, 1, seq_len, seq_len) に拡張
+            # 1. pad_mask (pad_id 型チェック)
+            # pad_id が整数(int/long)として有効な場合のみ pad_mask を作成
+            if isinstance(pad_id, (int, float, torch.Tensor)):
+                # Tensor の場合はスカラー値に変換
+                p_id = pad_id.item() if isinstance(pad_id, torch.Tensor) else pad_id
+                pad_mask = (x != p_id).unsqueeze(1).unsqueeze(2) # (B,1,1,S)
+            else:
+                # 数値でない場合(None含)は｢全てが有効｣なマスクを作る
+                # これにより enwik8 のようなケースでも正常に動作する
+                pad_mask = torch.ones((1, 1, 1, s), device=device, dtype=torch.bool)
+
+            # 2. causal mask
+            causal = torch.triu(torch.ones(s, s, device=device), diagonal=1).bool()
+            causal = causal.unsqueeze(0).unsqueeze(0)   # (1,1,S,S)
+
+            # 3. 合成と NaN 対策
+            attn_mask = pad_mask & (~causal)    # (B,1,S,S)
+            #mask = attn_mask.masked_fill(~attn_mask, float('-inf'))
+            # float('-inf') を、計算精度に合わせた最小値に変更
+            inf_value = torch.finfo(x.dtype).min if x.is_floating_point() else -1e9
+            mask = attn_mask.masked_fill(~attn_mask, inf_value)
 
         cos, sin = self.rope(x, x.size(1))
-        x = self.embed(x)
-        
+
         for layer in self.layers:
             x = layer(x, cos, sin, mask=mask)
-            
+
         x = self.final_norm(x) # 出力前の��終同期
         return self.output_head(x)
 
 '''
-汎用型 D-RNA (Pre-Norm) License: Apache License 2.0
-https://github.com/muooon/DRNA
+260507：Kによる回転で文脈に単語を沿わせ２重らせんの干渉による取捨選択とホログラム合成を可能にする
+260505：model構成から学習解像度を自動化、汎用 mask の精度への適正化、RMSNormへの移行
+260503：padding を引数で指定できるよう変更
+    # 例：一般的な Tokenizer の pad_id が 0 の場合
+    output = model(input_ids, pad_id=0)
+    # 例：Hugging Face 等の tokenizer を使っている場合
+    output = model(input_ids, pad_id=tokenizer.pad_token_id)
+260502：変数名を正確化(head_dim)、汎用 mask に変更し padding 等に対応可
+'''
+
+'''
+汎用型 D-RNA (Pre-Norm) License: Apache License 2.0 https://github.com/muooon/DRNA
+Attention is all you need_started, Resonance is all you need_endure, 
+Neocognitron ― Transformer ― D‑RNA Dream Resonance Never Adjourns — it goes on...
 '''