Upload 2 files

optimizer/How-to-Use-EmoNAVI(ENG).txt

@@ -0,0 +1,29 @@
+How to Use EmoNAVI, EmoFact, EmoLynx, and EmoClan
+
+The EmoNavi series is designed to be scheduler-independent. This means you don't necessarily need a scheduler, and even if you use one, it's generally fine because the system automatically adjusts its settings to manage the learning process.
+
+However, if your goal is to grasp fine details quickly, we recommend using your preferred scheduler, such as Cosine-Restart.
+
+Understanding the Learning Rate: It's Not Just Intensity
+
+Many people think of the learning rate setting as "learning intensity." However, it's actually more like a filter—it dictates how the VAE's latent space is perceived.
+
+Imagine a translucent plastic plate. When the learning rate is high, the image you see through this plate is a blurrier "overview," appearing as a rough distribution of light or large masses. When the learning rate is low, the image is "detailed," with increased transparency and clearer representation. In essence, the learning rate can be thought of as "resolution"—it's like adjusting the degree of blurriness by controlling the plate's transparency.
+
+This explains why a high learning rate is better and faster for grasping overviews. With less information to process (because the details are blurred out), the system learns basic patterns quickly. Conversely, a low learning rate involves more information, thus requiring more time to fully grasp everything. If the learning rate is too low, there's an overwhelming amount of information, leading to the training period ending without sufficient learning, and resulting in subpar outcomes.
+
+It's important to note that this concept of "learning rate" isn't exclusive to the EmoNavi series; it applies to other optimizers as well. Please keep this in mind for your future training endeavors.
+
+EmoNavi Series: Smart Learning with or Without Schedulers
+
+As mentioned earlier, if you use a scheduler with the EmoNavi series, you might capture details earlier than with a constant learning rate.
+
+Alternatively, you can skip the scheduler entirely and opt for "additional training" sessions at a lower learning rate. This is easily done without needing to manage transfer parameters, which is a simplified feature not commonly found in other optimizers.
+
+The EmoNavi series is designed to prevent overfitting even when running at a constant learning rate. It automatically adjusts to avoid exceeding a certain threshold. Therefore, it won't learn more than necessary. If it detects that it's nearing the overfitting zone, it will adjust. After learning the general outline, it's not that it stops learning; rather, it learns only what's necessary, which might make it seem like progress has slowed compared to the initial overview-learning phase.
+
+If you find that your training isn't progressing beyond a certain point, try an additional training session with a lower learning rate. This often allows the system to rapidly absorb all the finer details.
+
+Conclusion
+
+We hope this explanation helps you acquire valuable know-how for setting up your training, not just for the EmoNavi series. We believe it will be beneficial to all of you. Thank you for reading to the end.

optimizer/学習の進め方(日本語).txt

@@ -0,0 +1,27 @@
+EmoNAVI、Fact、Lynx / Clan の使い方について
+
+emonavi系は、スケジューラーに依存しない設計です、スケジューラーはなくていい、あっても大丈夫、どんな設定でも概ねなんとか自動調整するから、という感じの設計です。
+
+しかし短時間で詳細をしっかり習得させたい方は、Cosine-ReStart 等のあなたの普段お使いのスケジューラーを使用してください。
+
+<学習率とは？強度ではなく「フィルター」です>
+
+学習率の設定は、学習強度と理解している方も多いだろうと想像しますが、この学習率というのは、いわばフィルターです。VAEのLatentをどう見るか？を左右するのが学習率です。
+
+想像して欲しいのは"半透明なプラ板"です、学習率が高いとき、このプラ板に透けて映る画像は"概要"です。大まかな光の分布や大きな塊として表現されていると想像してください。学習率の低いときは"詳細"です。透明さが増しクリアな表現になります。ようは学習率は"解像度"と言っていいと思います。透明度によりボケ具合を調整するようなものです。
+
+学習率の高いとき概要を覚えるのが得意で早いのはこのためです。情報も少ないので早期に習得できます。逆に学習率の低いときは情報も多いため習得するまでの時間が増える。というワケですね。低すぎるときは情報過多のため習得できずに訓練期間を終えてしまい結果も薄いものになります。
+
+ということで"学習率"についてはemonavi系のみに関わる話ではありませんが、他のoptimizer等でも同様のことなので、今後の学習でも気に留めてください。
+
+<EmoNaviシリーズとスケジューラーと追加学習>
+
+さてそれで、emonavi系ですが、最初に記したように、スケジューラーを設定すれば、コンスタントよりも早期に詳細を獲得できる可能性があります。
+また、スケジューラーを使用せず"追加学習"で、２回目以降を低学習率で実施することもできます。これは引き継ぎのパラメーター等は不要で簡単に実施できます。ここは他のoptimizerにない簡単化した部分です。
+
+emonavi系はコンスタントで回し続けても過学習にはなりません。そこを超えないように調整しているためです。そのため同じ学習率で回し続けても必要以上の学習はしません。そこを超えると過学習領域に近いという判断をします。概要の習得後は何も習得しないのではなく必要な分のみ習得するので、概要の習得前に比べ学習量が少ないため進行しないように見えるだけです。
+
+もし学習が一定のところから進まない、と感じたときは、追加学習で低学習率へ変更してください。そうすると詳細を一気に吸収し始めます。
+
+<謝意>
+emonavi系に限らず、この説明で学習設定のノウハウの獲得に寄与できれば嬉しいです。皆さまのお役に立てれば幸いです。最後までご覧いただきありがとうございました。