Delete 1Gv36_Final/profile.txt
Browse files- 1Gv36_Final/profile.txt +0 -57
1Gv36_Final/profile.txt
DELETED
|
@@ -1,57 +0,0 @@
|
|
| 1 |
-
AMP-compatible ／ AMP対応版
|
| 2 |
-
|
| 3 |
-
emonavi 及び emoファミリーについて紹介します
|
| 4 |
-
emonavi は、RefAdamWmini-ScheduleFree を作成し機能向上を試行錯誤するうちにできた感情機構を持つオプティマイザです
|
| 5 |
-
emonavi is an optimizer equipped with an emotional mechanism,
|
| 6 |
-
developed through trial and error while creating and enhancing the functionality of RefAdamWmini-ScheduleFree.
|
| 7 |
-
https://github.com/muooon/ref-adamw-mini-ScheduleFree
|
| 8 |
-
|
| 9 |
-
RefAdamWmini は、ema、scaler、shadow、を持ちますが限定的な活用でした
|
| 10 |
-
これを改善していくなかでたどり着いたのが感情機構という新しい仕組みです
|
| 11 |
-
以下、emonavi から順に紹介します
|
| 12 |
-
RefAdamWmini incorporated EMA, scaler, and shadow, but their application was limited.
|
| 13 |
-
Through our efforts to enhance this, we developed a novel mechanism: the emotional mechanism.
|
| 14 |
-
We'll introduce them in order, starting with emonavi.
|
| 15 |
-
|
| 16 |
-
三姉妹 ／ The Three Sisters
|
| 17 |
-
emonavi：長女／Adam参考 The eldest daughter, referencing Adam.
|
| 18 |
-
emofact：次女／Adafactor参考 The second daughter, referencing Adafactor.
|
| 19 |
-
emolynx：三女／Lion･Tiger参考 The youngest daughter, referencing Lion and Tiger.
|
| 20 |
-
|
| 21 |
-
---
|
| 22 |
-
(v1.0)AMP対応完了(250725) p.data -> p 修正済み／低精度量子化への基本対応／低精度補償は別
|
| 23 |
-
(v2.0)shadow-system 微調整／３段階補正を連続的に滑らかに／派生版では以下の切替も可能
|
| 24 |
-
optimizer 指定の際に True / False で shadow を切替できる(現在 False)
|
| 25 |
-
(v3.0)emosens shadow-effect v1.0 反映した動的学習率と shadow-system 切替をデフォルト化
|
| 26 |
-
(v3.1)通常未使用の shadow 更新速度 (lerp) を倍化し信頼度で動的制御／coeff 活用(急変･微動)
|
| 27 |
-
動的学習率や感情スカラー値など TensorBoard 連携可 (現在 writer=None)／外部設定必要
|
| 28 |
-
全体の効率化や可読性を向上(emaやスカラーの多重処理を省く等、動的学習率のスケールや状態の見直し等、含む)
|
| 29 |
-
(v3.6)-Final- emoDrive v3.6 により信頼度に応じ学習率を大きく増減させることにした(emo系の完成版)
|
| 30 |
-
---
|
| 31 |
-
|
| 32 |
-
EmoNavi Usage 使い方
|
| 33 |
-
|
| 34 |
-
|||オプション指定方法||| tool側の引数設定に合わせてください
|
| 35 |
-
●shadow オフ(False にする)：
|
| 36 |
-
use_shadow=False
|
| 37 |
-
●eps(0除算防止)：
|
| 38 |
-
eps=1e-8
|
| 39 |
-
●動的学習率と感情スカラー等の現在値を取得(ツール側などから取得する)：
|
| 40 |
-
writer=writer
|
| 41 |
-
外部ツール(TensorBoard等)で値を把握したい場合は Optimizer 初期化時に SummaryWriter を渡してください
|
| 42 |
-
writer = SummaryWriter(log_dir="./runs/emonavi")
|
| 43 |
-
optimizer = EmoNavi(model.parameters(), writer=writer)
|
| 44 |
-
tensorboard --logdir=./runs/emonavi
|
| 45 |
-
|
| 46 |
-
|||Usage examples|||
|
| 47 |
-
●Shadow off:
|
| 48 |
-
use_shadow=False
|
| 49 |
-
●eps(Division by zero prevention)：
|
| 50 |
-
eps=1e-8
|
| 51 |
-
●Monitor values with external tools (TensorBoard):
|
| 52 |
-
writer=writer
|
| 53 |
-
writer = SummaryWriter(log_dir="./runs/emonavi")
|
| 54 |
-
optimizer = EmoNavi(model.parameters(), writer=writer)
|
| 55 |
-
tensorboard --logdir=./runs/emonavi
|
| 56 |
-
|
| 57 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|