Upload 5 files

.gitattributes

@@ -147,3 +147,5 @@ report-02/emo-ra-set-000_TensorBoard.png filter=lfs diff=lfs merge=lfs -text
 report-02/emo-ra-set-001_ensorBoard.png filter=lfs diff=lfs merge=lfs -text
 report-02/emoLN-Ada-010_TensorBoard.png filter=lfs diff=lfs merge=lfs -text
 report-02/emoLN-Ada-011_TensorBoard.png filter=lfs diff=lfs merge=lfs -text
+report-02/emo-ra-set-000_fp8_TensorBoard.png filter=lfs diff=lfs merge=lfs -text
+report-02/emo-ra-set-001_TensorBoard.png filter=lfs diff=lfs merge=lfs -text

report-02/Report-XL-LoRA.txt

@@ -20,6 +20,14 @@ EmoLynx (5e-5/constant) :  steps: 100%|█| 1500/1500 [43:43<00:00,  1.74s/it, A
 EmoNavi (5e-5/constant) : steps: 100%|█| 1500/1500 [45:19<00:00,  1.81s/it, Average key norm=0.267
 <lora:ZDM01-R08D30ep2e4-M000-emv-1024px:01>
 
+
+EmoFact (2e-3/constant) : steps: 100%|█| 1500/1500 [46:66<00:00,  1.87s/it, Average key norm=0.1053
+<lora:ZDM02-R08D30ep2e3-M001-emf-1024px:01>
+
+EmoLynx (5e-5/constant) :  steps: 100%|█| 1500/1500 [46:25<00:00,  1.86s/it, Average key norm=0.947, (r/a 同値(fp8))
+<lora:ZDM10-R08D30ep1e4-M000-fp8emx-1024px:01> ※ (追試)と学習曲線が一致
+
+
 GC(gradient-checkpoint)、bf16、バッチ1、とし、1024px、教師画像50枚、30epoch、rank8alpha4、の設定で、これはA、B、共通でした。違いは学習率のみです
 A：(学習率 5e-5、スケジューラ：constant) EmoLynx (5e-5) :  steps: 100%█ 1500/1500 43:22<00:00,  1.73s/it, Average key norm=0.88, VRAM8.6GB、
 B：(学習率 1e-4、スケジューラ：cosine) AdamW (1e-4) :  steps: 100%█ 1500/1500 42:35<00:00,  1.70s/it, Average key norm=0.204,VRAM8.9GB、
@@ -49,18 +57,29 @@ EmoLynx、5e-5、コンスタント：steps: 100%█ 1500/1500 43:22<00:00,  1.7
 - EmoNaviの学習結果によると、感情機構は key normに強く作用すると推定できる、750step以降から加速している。
 - EmoLynxはconstant scheduler(AdamWの理想構成に近似しながら)にもかかわらず、key normを高く安定的に維持しており、Attentionの活性が非常に健全である。
 
-emo系optimizerは、教師データとの意味的な結びつきを強化する設計を持っており、同じ学習条件でも再現性が高くなる傾向がある。これは、単なる数値的な精度ではなく、Attentionの健全性・感情的制御・履歴補正の連携によって実現されるものです。
+emo系optimizerは、教師データとの意味的な結びつきを強化する設計を持っており、同じ学習条件でも再現性が高くなる傾向がある。
+これは、単なる数値的な精度ではなく、Attentionの健全性・感情的制御・履歴補正の連携によって実現されるものです。
 - 同じepoch数・同じ教師データ・同じ学習率でも、emo系はより早く、より忠実に教師データの特徴を捉える。
 - これは、生成画像の構造的な類似性や、テキスト→画像変換の意味性の高さとして現れます。
-emo系は、テキストエンコーダに対し、強力に作用する、教師データと初期ノイズの関係を強く結びつける、そういう特性がある、といえそうです。
+emo系は、テキストエンコーダに対し少し強く作用する、教師データと初期ノイズの関係を少し深く結びつける、そういう特性がある、といえそうです。
 - 通常のoptimizerでは、初期ノイズと教師データの関係は徐々に収束していくものですが、emo系では、Lossの変化に応じて更新が感情的に加速・抑制されるため、初期段階から教師データの特徴が強く反映される
 
 ---スケジューラ近似---
 emo系の非線形スケジューラは、学習率で何かのスケジューラの近似になります。
 たとえば、cosの場合、上下振幅の中央値は 4e-5 (指数) 5e-5(算術) 付近になります。
-cos係数 0.6366 を適用した場合は 6e-5 (cos係数) ですから、4e-5 ～ 6e-5 (概算) で初期値に相応しいかもです。
+cos係数 0.6366 を適用した場合は 6e-5 (cos係数/面積比) ですから、4e-5 ～ 6e-5 (概算) で初期値に相応しいかもです。
 ほかのスケジューラについても中央値を割り出すことで学習全体の学習率を近似できます。
 restart については、非線形ゆえに常時効果とみなせますし、Loss急変時は顕著に働くと予測します。
+---スケジューラ近似／考察２ ---
+1e-4学習率を面積比で丁寧に考えると(中央値換算では差が少ないので面積比で考えてみますと)
+5e-5(Linear：(1/2))、6.3e-5(Cos)、3.7e-5(逆Cos)、7.5e-5(REX:p1/山形)、
+8e-5(WSD/E&E)※形状はどちらも 台形 に似た /￣\ になる(2割の増幅減衰時)
+Polynomial Scheduler(指数減衰)では、p1、p2、p0.5、ｐ0.25、とした場合に、
+それぞれ、0.5、0.333-、0.666-(REX:p2)、0.8(REX:p0.5)、となる、
+ここまでを総合すると、つまりこのあたりが学習率として安定するはずとなります
+(初期LRは、バニラモデルの学習率を参考に、上記スケジューラ面積比から求めると簡単かも)
+(バニラモデルをつくる場合は、総画像数、総step数、を基に計算する必要があると思います)
+ 
 ---今後の課題---
 emo系に最適な rank/alpha 設計は「意味別に反映度を制御する」このくらいが妥当かもしれません。
 rank最大値の目安：16 (学���効率が良いので控えめで機能するはずです)
@@ -73,9 +92,16 @@ rank最大値の目安：16 (学習効率が良いので控えめで機能する
 
 まとめ２：
 600stepで、キャラの特徴をほとんど学習している感触です、r8a8 を r4a4 に下げても良さそうです
-emo系は、r/a で LoRAの特徴や目的を調整可能だろうと思います
+emo系は、r/a で LoRAの特徴や目的を調整可能だろうと思います(r/a 同値 オススメです)
+
+まとめ３：
+Adafactor式の emofact は、基本の20倍の強度でもキャラ学習は失敗(キャラ再現不可／衣装等をなじませるのは可能)
+fp8、では、キャラ学習に成功、そして emo系 の強みとして fp8 環境下で安定して精緻な学習を遂げた(びっくり)
+特筆したいのは、fp8 環境は処理速度が僅かに遅くなりますが、VRAMは６.5GBあたりを中央に最低5.2GBで進行すること
+つまりVRAM8GB環境でも"精緻なキャラLoRA"を作成できます(次世代モデルで fp8 LoRA を完成できるはず)
+fp8 の学習曲線はアベレージで fp16 と完全一致(カレントでは0.000xの誤差(1e-4相当)が見えます)
 
 ＜謝意／ライセンス＞
 LoRAは商用利用不可でお願いします
 ずんだもん： （ず・ω・きょ） https://zunko.jp/guideline.html のガイドラインをご覧ください
-2025/09/25 最新版
+2025/09/20 初版、09/25 改訂、10/05 最新版

report-02/ZDM02-R08D30ep2e3-M001-emf-1024px.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:118785da122a71205b8bf9e72fcaed0b2d74063408c71707005dfda12cc2e153
+size 59090840

report-02/ZDM10-R08D30ep1e4-M000-fp8emx-1024px.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:8063fa72d89320b6f6c82f7084509ac9ad857ab852829a7a26d920fb217d6581
+size 59090848