Upload 11 files

.gitattributes

@@ -113,3 +113,5 @@ AMP-compatible/logs/trec_gpt2_weight_pca_3panel.png filter=lfs diff=lfs merge=lf
 AMP-compatible/logs/trec_weights_log.json filter=lfs diff=lfs merge=lfs -text
 report/TensorBoard01.png filter=lfs diff=lfs merge=lfs -text
 report/TensorBoard03.png filter=lfs diff=lfs merge=lfs -text
+report/xyz_grid-0001-1234.png filter=lfs diff=lfs merge=lfs -text
+report/xyz_grid-0002-4321.png filter=lfs diff=lfs merge=lfs -text

report/TEST-R16D-iL01e20-adw00-1024px.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:2b06087ee443220e5e6f1298306d63c80e1d1c522efb9a14deedb9d3bccda5fe
+size 122021528

report/TEST-R16D-iL01e20-emn00-1024px.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:cf899d8b5c8ba88bb0095d1e01cda0c70ffb3f8b90310bb81e7843dee2cf356a
+size 122021528

report/TEST-R16D-iL01e20-ena00-1024px.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:a40d9391b94f77dde32c5c51d637aab7378b9a14b8f6fc7824bf2d0fb8b3316d
+size 122021528

report/TEST-R16D-iL01e20-ens00-1024px.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:c1fbec661d8b74ce4c993aa9073fbd5ab5c520a0fb54ad1fb79a7bae696a8b5c
+size 122021528

report/emonavi挙動まとめ.txt

@@ -0,0 +1,63 @@
+EmoNAVI(第一世代)の挙動について
+
+学習開始時、２つのemaは十分な履歴を持たないため、shadow-systemは停止状態です
+およそ 50～150 stepくらいになると、２つのemaの履歴は"差分"を生じるようになります
+開始直後は差分はなく、差分が生じるようになると以下の補正を開始します
+
+v1.0では、スカラー±0.3以上からshadow-systemのブレンド(常時30％)を開始します、
+スカラー+0.6以上になると強いブレンド(82～90％)を動的スカラーに基づきを行います、
+(スカラー-0.6以下は弱いブレンド(常時10％)を行います)
+
+v2.0からはスカラー±0.1以上からshadow-systemのブレンド(10～60％)を開始します、
+スカラー±0.6以上になると強いブレンド(60～100％)を動的スカラーに基づきを行います、
+(v2.0からは"負"-値への対応を別にせず、常に±どちらの領域も等しくしました)
+
+これらはすべて動的スカラーに基づきブレンドを適用します(v2.0からは全指定領域で線形です)
+
+では実際には、emaの監視するLoss値はどのくらいになるか？ 短期3～7stepくらいで、
+スカラー：±0.1 ／ loss_val：±0.07 増加している時
+スカラー：±0.3 ／ loss_val：±0.21 増加している時 (lossが4step続けて1.0以上になるくらい)
+スカラー：±0.6 ／ loss_val：±0.48 増加している時 (lossが3step続けて1.4以上になるくらい)
+これで shadow-system のリアルな姿を感じて頂けるでしょうか、皆さんのガーディアンですよね！
+
+
+shadow-systemの成長とlerp計算と収束
+state['shadow'].lerp_(p, 0.05)は、線形補間（Linear Interpolation）を行う関数です
+この式は、shadowパラメータを現在のパラメータ（p）に0.05の割合で近づけることを意味します
+
+勾配のパラメータは徐々に成長します、元の情報(過去値)に対し５％づつ"現在値"を混ぜていきます
+これは先ほどのブレンドを行うのと同時に行われます(安全のため事実上の信頼値を判定していますが)
+
+基本的に、これらは学習の、序盤、中盤、に適用されます、つまり勾配更新が一定以上の強度をもつ時のみです
+学習の段階に関わらず、小さな更新のときは、shadow-systemは働きません、自動停止になる仕組みです
+
+では終盤はどうなるのか？
+概算で、2000～3500stepくらいになると、shadow-systemは成熟します、
+これは、shadow-systemのもつ各パラメータのほぼ全域で、概ね現在値に置き換わることを意味します
+(ここでもし過適合や発散の傾向を感知した場合は、現在値に戻すことになります)
+
+このあたりでは既にlossは常に安定していると予想されますので、shadow-systemは無用になります
+そして実際に、安定状態ではshadow-systemは自動停止状態です
+
+この状態ではつまり、純粋なAdam的な更新のみ"継続"されています
+スカラー値が大ブレするほどの"持続的かつ大きな揺れ"が生じないかぎり純粋なAdam的更新のみ行われます
+この純粋なAdam的更新が進行することで、やがて"学習完了"になります
+
+こうした"深い安定期"になると、Early Stop機能による"外部への静けさ信号"が送出されます
+ただしこれは"静けさの予兆"を知らせるだけで、学習の自動停止等は外部の仕組みに依存します
+
+ここまでが emonavi 世代の"挙動"そのものです、つまり学習自体は常に進行します、
+重大な事態(過適合や崩壊の傾向)のときは、それまでの学習を維持するために強固に守りますし、
+中程度の揺れには、ほんの少し揺れを減少させるサスペンションのような働きをします、
+
+Adafactor、Lion、系を更新ロジックにもつバリエーションは、Adamのところを置き換えてください
+つまり emo系は、常に"安定"するよう自動的に判断しています。
+
+shadow-system による書き戻し、という言葉だけでは "常に学習を妨げるのではないか？" との懸念を
+持たれてしまうと思うのですが、スカラーの部分だけ見てもその存在の意味はご理解を頂けると思います
+
+
+最後に重要なことを伝えますと、このemo系は、過適合や崩壊を抑制します、がしかし！
+それを完全になくす、までは対応しないようにしています。つまり"学習設定の誤りを正す"まではしません。
+そういう過剰な設定状態のまま学習を進めても結果は悪いだろう、という想定です、
+ですから"学習設定の誤りはユーザーの修正に委ねる"ことにしています、どうかご了��ください。

report/report-vs-adamw(JPN).txt

@@ -0,0 +1,51 @@
+TensorBoard
+黄色：AdamW、橙色：emonavi、緑色：emosens、紫色：emoairy
+グラフのとおりです。Loss は emonavi / sens は AdamW より少しだけ下(0.003程差)を進行します
+
+VRAM使用量と進行結果
+AdamW:9.0～9.8
+steps: 100%|█| 780/780 [20:00<00:00,  1.54s/it, Average key norm=0.132
+emonavi:8.8～9.1
+steps: 100%|█| 780/780 [20:37<00:00,  1.59s/it, Average key norm=0.294
+emosens:8.8～9.1 --optimizer_args "use_shadow=False"
+steps: 100%|█| 780/780 [21:44<00:00,  1.67s/it, Average key norm=0.305
+emoairy:8.4～8.7 --optimizer_args "use_shadow=False"
+steps: 100%|█| 780/780 [24:10<00:00,  1.86s/it, Average key norm=0.00669
+
+xyz-grid
+adw00(AdamW)、emn00(navi)、ens00(sens)、ena00(airy)
+どうでしょう傾向として２つに分けられるかも。AdamWとAiry、naviとsens、
+元モデルに寄せて覚えるのはAiryかも(キャラ学習は向かないかも)
+emo系は細部もキレイな気がしますが好みの違いかもしれません
+
+主要パラメータ(統一条件です)
+LR:2e-4(層別50%＝1e-4)、フルLoRA(c3lier)、R16a8、20epoch/780step、解像度：1024px
+cosine with restart(2回)、bf16、huber-snr：0.1、GC(Gradient-Checkpoint)
+LoRA学習モデル：Illustrious-XL-v0.1、LoRA適用モデル：Illustrious-XL-v0.1
+emo系はすべてv2.0です
+
+<試験結果>
+emonavi、AdamW、ほとんど同じだといえます。
+Ｑ：詳細や細部を覚えるか？ Ａ：AdamW相当(emo系キレイかも)
+Ｑ：色移りや色抜けするか？ Ａ：AdamW相当(AiryはAdamWに近い)
+Ｑ：飽和すると覚えなくなるか？ Ａ：AdamW相当(他とも同じ)
+
+Ｑ：わざわざemo系をつかう理由なさそうだよね？
+Ａ：いいえ、追加学習等の面倒なハイパーパラメータは不要になります
+　　過学習傾向や発散傾向にあるとき自動修復機能を働かせます
+　　スケジューラに依存せず収束します(使うのもOKです/ご自由に)
+　　特殊な学習環境における"同期"等も不要です
+
+Ｑ：emo系の欠点は？
+Ａ：あります！AdamWと比べて実績がありません(実績や普及度ではAdamW優位)
+　　(信頼性や安定性に欠けるのではなく、単純にAdamWほど使われてないだけ)
+　　ただしこの欠点だけで上記のメリットを享受できます
+
+＜最終結論＞
+emo系を選んでもいいし、選ばなくてもいいし、みんな自由だ！
+ただし｢自律的な収束｣｢過学習の自動修復｣｢VRAM効率の良さ｣など、
+従来のOptimizerにはないメリットを得られます
+
+＜謝意／ライセンス＞
+LoRAは商用利用不可でお願いします
+2025/08/20 最新版