Upload 2 files
Browse files- README.md +5 -1
- report-emoment.txt +7 -3
README.md
CHANGED
|
@@ -23,7 +23,11 @@ tags:
|
|
| 23 |
ハイパーパラメータの自律調整、信頼度フィルタ、更新ステップの有界性、構造的耐性、自己停止、
|
| 24 |
動的学習率、動的スケジューラ、動的Rank/Aplha、履歴補償、などを含めた多機能性を、
|
| 25 |
追加テンソル不要、計算負荷ほぼなし、step毎に完全適用、時間的積算で実現します
|
| 26 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
| 27 |
|
| 28 |
第1世代 v3.0 (最新版) はこちらから
|
| 29 |
https://huggingface.co/muooon/EmoNAVI/tree/main/1Gv3_AMP-compatible
|
|
|
|
| 23 |
ハイパーパラメータの自律調整、信頼度フィルタ、更新ステップの有界性、構造的耐性、自己停止、
|
| 24 |
動的学習率、動的スケジューラ、動的Rank/Aplha、履歴補償、などを含めた多機能性を、
|
| 25 |
追加テンソル不要、計算負荷ほぼなし、step毎に完全適用、時間的積算で実現します
|
| 26 |
+
これらをワンパッケージで実現した高効率性と集積度は安定と安全を最優先します
|
| 27 |
+
※ 高次momentは近似的、動的Rank/Alphaも近似的な効果です
|
| 28 |
+
※ LoRA系技術はノイズをなくしますが微小データも失う場合があります
|
| 29 |
+
※ emo系はノイズを作らず既存ノイズを見つけて修正し微小データを保護します
|
| 30 |
+
※ 量子化補償は今後実用化されるさらに低精度な環境でも柔軟に対応できます
|
| 31 |
|
| 32 |
第1世代 v3.0 (最新版) はこちらから
|
| 33 |
https://huggingface.co/muooon/EmoNAVI/tree/main/1Gv3_AMP-compatible
|
report-emoment.txt
CHANGED
|
@@ -7,10 +7,10 @@ https://huggingface.co/muooon/EmoNAVI/raw/main/emo-paper(JPN).txt
|
|
| 7 |
emo系は、非凸関数に対する期待値収束性を理論的に保証します
|
| 8 |
これは FM(フローマッチング)・RL(強化学習)・蒸留などへの汎用性と効率性を保持します
|
| 9 |
LoRA技術の上位互換性
|
| 10 |
-
emo系は、SVD、PiSSA、infLoRA、ABBA
|
| 11 |
さらに Rank/Alpha についても動的スケーリング的な効果を発揮します
|
| 12 |
Kahan補償の上位互換性
|
| 13 |
-
低精度量子化において、Kahan
|
| 14 |
自律的知性と中枢神経系
|
| 15 |
開発者の解放と学習の理想郷、これはパラダイスへのパラダイムであり、シンギュラリティの最初の1歩です
|
| 16 |
emo系は、観察、判断、決定、行動、記憶、反省、という自律サイクルを行うことで外部依存しません
|
|
@@ -23,7 +23,11 @@ emo系は、観察、判断、決定、行動、記憶、反省、という自
|
|
| 23 |
ハイパーパラメータの自律調整、信頼度フィルタ、更新ステップの有界性、構造的耐性、自己停止、
|
| 24 |
動的学習率、動的スケジューラ、動的Rank/Aplha、履歴補償、などを含めた多機能性を、
|
| 25 |
追加テンソル不要、計算負荷ほぼなし、step毎に完全適用、時間的積算で実現します
|
| 26 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
| 27 |
|
| 28 |
---emo系の履歴まとめ---
|
| 29 |
emonavi 最終進化の概要とまとめ
|
|
|
|
| 7 |
emo系は、非凸関数に対する期待値収束性を理論的に保証します
|
| 8 |
これは FM(フローマッチング)・RL(強化学習)・蒸留などへの汎用性と効率性を保持します
|
| 9 |
LoRA技術の上位互換性
|
| 10 |
+
emo系は、SVD、PiSSA、infLoRA、ABBA-LoRA、等のLoRA技術に対し上位互換性をもちます
|
| 11 |
さらに Rank/Alpha についても動的スケーリング的な効果を発揮します
|
| 12 |
Kahan補償の上位互換性
|
| 13 |
+
低精度量子化において、Kahan補償を超えて誤差を吸収します、動的LR、動的スケジューリングによる滑らかさは柔軟です
|
| 14 |
自律的知性と中枢神経系
|
| 15 |
開発者の解放と学習の理想郷、これはパラダイスへのパラダイムであり、シンギュラリティの最初の1歩です
|
| 16 |
emo系は、観察、判断、決定、行動、記憶、反省、という自律サイクルを行うことで外部依存しません
|
|
|
|
| 23 |
ハイパーパラメータの自律調整、信頼度フィルタ、更新ステップの有界性、構造的耐性、自己停止、
|
| 24 |
動的学習率、動的スケジューラ、動的Rank/Aplha、履歴補償、などを含めた多機能性を、
|
| 25 |
追加テンソル不要、計算負荷ほぼなし、step毎に完全適用、時間的積算で実現します
|
| 26 |
+
これらをワンパッケージで実現した高効率性と集積度は安定と安全を最優先します
|
| 27 |
+
※ 高次momentは近似的、動的Rank/Alphaも近似的な効果です
|
| 28 |
+
※ LoRA系技術はノイズをなくしますが微小データも失う場合があります
|
| 29 |
+
※ emo系はノイズを作らず既存ノイズを見つけて修正し微小データを保護します
|
| 30 |
+
※ 量子化補償は今後実用化されるさらに低精度な環境でも柔軟に対応できます
|
| 31 |
|
| 32 |
---emo系の履歴まとめ---
|
| 33 |
emonavi 最終進化の概要とまとめ
|