muooon commited on
Commit
336ebd2
·
verified ·
1 Parent(s): abef3cd

Upload 2 files

Browse files
optimizer/How-to-Use-EmoNAVI(ENG).txt CHANGED
@@ -26,4 +26,34 @@ If you find that your training isn't progressing beyond a certain point, try an
26
 
27
  Conclusion
28
 
29
- We hope this explanation helps you acquire valuable know-how for setting up your training, not just for the EmoNavi series. We believe it will be beneficial to all of you. Thank you for reading to the end.
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
26
 
27
  Conclusion
28
 
29
+ We hope this explanation helps you acquire valuable know-how for setting up your training, not just for the EmoNavi series. We believe it will be beneficial to all of you. Thank you for reading to the end.
30
+
31
+ postscript
32
+
33
+ I'd like to explain the learning rate in an easy-to-understand way, so you can truly grasp its concept.
34
+
35
+ You can think of the learning rate like reading speed.
36
+ Imagine this: a high learning rate is like skim reading (or speed reading), while a low learning rate is like perusing (or close reading).
37
+
38
+ The scheduler manages this, much like a learning schedule.
39
+ EmoNAVI has a "shadow" function that encourages the model to review and reflect on its own learning progress.
40
+ With EmoNAVI, you have a choice: you can allow external guidance to determine the learning path and let the model's autonomy supplement it, or you can rely solely on its autonomy.
41
+
42
+ Here are some other analogies:
43
+ High learning rate: Like shooting a photo from a distance, giving you an overview where details are fuzzy.
44
+ Low learning rate: Like shooting up close, capturing accurate details.
45
+ Think of autofocus as being handled by the scheduler and the "shadow" function.
46
+ From another perspective:
47
+
48
+ When aiming for detailed expressions, you can also consider increasing the amount of training data or increasing the number of iterations.
49
+ As the number of iterations increases, detailed features are gradually accumulated.
50
+
51
+ However, color representation largely depends on the performance of the VAE (Variational Autoencoder).
52
+ To accurately reflect colors, the only options are to improve the VAE's performance itself or to use teacher data that correctly reflects colors.
53
+
54
+ Furthermore, the "shadow" function also acts like an autofocus system.
55
+ It's a mechanism that allows the model to review and reflect on its own learning, essentially learning from its own experience.
56
+ This means it captures one feature, learns from it, then identifies another, and the process repeats.
57
+ Consequently, its "focus" (or understanding) continuously evolves and adapts.
58
+
59
+ That concludes the additional explanation. Thank you for reading to the end!
optimizer/学習の進め方(日本語).txt CHANGED
@@ -24,4 +24,29 @@ emonavi系はコンスタントで回し続けても過学習にはなりませ
24
  もし学習が一定のところから進まない、と感じたときは、追加学習で低学習率へ変更してください。そうすると詳細を一気に吸収し始めます。
25
 
26
  <謝意>
27
- emonavi系に限らず、この説明で学習設定のノウハウの獲得に寄与できれば嬉しいです。皆さまのお役に立てれば幸いです。最後までご覧いただきありがとうございました。
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
24
  もし学習が一定のところから進まない、と感じたときは、追加学習で低学習率へ変更してください。そうすると詳細を一気に吸収し始めます。
25
 
26
  <謝意>
27
+ emonavi系に限らず、この説明で学習設定のノウハウの獲得に寄与できれば嬉しいです。皆さまのお役に立てれば幸いです。最後までご覧いただきありがとうございました。
28
+
29
+ <追記>
30
+ 学習率について実感を得られるように、わかりやすく伝えたい、と思っています。
31
+
32
+ 学習率とは、読書の速さにも置き換えられると思います、
33
+ 学習率高:飛ばし読み(速読)、
34
+ 学習率低:熟読(精読)、と想像してください。
35
+ スケジューラーはこれを学習予定として管理します
36
+
37
+ emonavi は shadow の機能で、モデル自身の復習や振り返りを促し学習を進行します
38
+ 進み方を外部に決めさせ自律で補うか、自律のみに任せるか、になります。
39
+
40
+ 他にも、以下のように例えることも可能です、
41
+ 学習率高:遠くからの撮影=概要(細部はあいまい)
42
+ 学習率低:寄りで撮影=詳細(細部を正確に)
43
+ オートフォーカス:スケジューラー、shadow、
44
+
45
+ 別視点からも説明しますと、細部表現を獲得したい場合は教師データを増やす、ことでも可能です。
46
+ 繰り返し数が増加することで細部の特徴も少しづつ蓄積される、となります。
47
+ ただし、色についてはVAEの性能に依拠する部分が多く、これを正しく反映できる教師データか、VAEの性能の向上しかありません。
48
+
49
+ それとですね、shadow はオートフォーカスでもありますが、これは学習の振り返り、復習をするもので、自分自身の経験に学ぶ仕組みです、
50
+ ですから、特徴を捉えて学んで、別の特徴を見つけて、、を繰り返す、その結果としてフォーカスもピントも変化し続けるようになります。
51
+
52
+ 以上となります。追記も最後までご覧頂いてありがとうございました。