Delete report/report-emonavi-adamw(JPN).txt
Browse files
report/report-emonavi-adamw(JPN).txt
DELETED
|
@@ -1,40 +0,0 @@
|
|
| 1 |
-
TensorBoard
|
| 2 |
-
灰色：emonavi、水色：AdamW
|
| 3 |
-
グラフのとおりです。emonaviは少しだけ下(0.003程差)を進行します、どの波形も一致といえるでしょう。
|
| 4 |
-
|
| 5 |
-
xyz-grid
|
| 6 |
-
上側：emonavi、下側：AdamW
|
| 7 |
-
少しの違いだけです。瞳については元絵と比べてどちらが近いか？といえるでしょうか。
|
| 8 |
-
個人的には、ほぼ同じ、といえると思います。
|
| 9 |
-
|
| 10 |
-
主要パラメータ
|
| 11 |
-
LR:2e-4(層別50%＝1e-4)、フルLoRA(c3lier)、R32a16、60epoch/3060step、解像度：1024px
|
| 12 |
-
cosine with restart(3回)、bf16、huber-snr：0.1
|
| 13 |
-
LoRA学習モデル：SDXL1.0(公式)バニラ、LoRA適用モデル：ebara＿pony＿3
|
| 14 |
-
|
| 15 |
-
<試験結果>
|
| 16 |
-
emonavi、AdamW、ほとんど同じだといえます。
|
| 17 |
-
Ｑ：詳細や細部を覚えるか？ Ａ：AdamW相当ですね。
|
| 18 |
-
Ｑ：色移りや色抜けするか？ Ａ：AdamW相当ですね。
|
| 19 |
-
Ｑ：飽和すると覚えなくなるか？ Ａ：AdamW相当ですね。
|
| 20 |
-
|
| 21 |
-
じゃあemonaviをつかう理由ないじゃん。
|
| 22 |
-
いいえ、追加学習等の面倒なハイパーパラメータは不要になります。
|
| 23 |
-
過学習傾向や発散傾向にあるとき自動修復機能を働かせます。
|
| 24 |
-
スケジューラに依存せず収束します(使うのもOKです/ご自由に)
|
| 25 |
-
特殊な学習環境における"同期"等も不要です。
|
| 26 |
-
|
| 27 |
-
emonaviの欠点は？
|
| 28 |
-
あります！AdamWと比べて、SDXLのLoRAなら600MB程VRAMを多く消費します。
|
| 29 |
-
大規模学習においてはShadowのためのVRAM消費を考慮すべきです。
|
| 30 |
-
実行速度もほぼ同等ですが大規模になればそれなりの差を生じるかもしれません。
|
| 31 |
-
ただしこの欠点だけで上記のメリットを享受できます。
|
| 32 |
-
|
| 33 |
-
＜最終結論＞
|
| 34 |
-
emonaviを選んでもいいし、選ばなくてもいいし、みんな自由だ！
|
| 35 |
-
|
| 36 |
-
＜謝意／ライセンス＞
|
| 37 |
-
ずんだもん、は、東北ずん子・ずんだもん公式のものです＼（○ず・ω・だ○）／
|
| 38 |
-
以下、利用ガイドライン、です
|
| 39 |
-
https://zunko.jp/guideline.html
|
| 40 |
-
商用利用不可でお願いします
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|