muooon commited on
Commit
c47ad99
·
verified ·
1 Parent(s): 319fbdf

Upload report-emoment.txt

Browse files
Files changed (1) hide show
  1. report-emoment.txt +14 -1
report-emoment.txt CHANGED
@@ -57,4 +57,17 @@ fifth-moment = sum((s - mean)**5 for s in buf) / len(buf) / std**5
57
  # 実際の勾配更新式を記述してください
58
 
59
  # 感情moment適用 "* (1 - abs(scalar))" 更新式に合うものにしてください
60
- p.addcdiv_(exp_avg, denom, value=-step_size * (1 - abs(scalar)))
 
 
 
 
 
 
 
 
 
 
 
 
 
 
57
  # 実際の勾配更新式を記述してください
58
 
59
  # 感情moment適用 "* (1 - abs(scalar))" 更新式に合うものにしてください
60
+ p.addcdiv_(exp_avg, denom, value=-step_size * (1 - abs(scalar)))
61
+
62
+ ---emo系の概要---
63
+ 非常に単純化した説明をします
64
+ 従来optimizerは[慣性]というアクセルを踏むことで素早い収束を果たしています、
65
+ emo系の制御は、これに対し[shadow]で速度調整を自動的に行うものです、
66
+ この仕組みを再解釈再構成することで、ブレーキ、変速機、スタビライザ、サスペンション等を獲得しています、
67
+ lossから得られる情報を瞬時に判断する感情機構により、アクセル踏み過ぎを修正します、
68
+ 別の単純化でも説明します
69
+ スキーのモーグル競技を想像してください
70
+ 2次momentはすべてを均すため、急峻や緩慢の地形を過少評価しがちです、
71
+ これを状況に応じて精査することで、斜面の状況を細かく把握し、柔軟に滑走する、
72
+ 凹凸を正確に把握、コース範囲からの逸脱を防ぎ、ターンのポール位置も察知、
73
+ 、、、という感じで"自動制御"しています