muooon commited on
Commit
d522256
·
verified ·
1 Parent(s): 25a00e2

Upload 2 files

Browse files
Files changed (2) hide show
  1. README.md +5 -1
  2. report-emoment.txt +7 -3
README.md CHANGED
@@ -23,7 +23,11 @@ tags:
23
  ハイパーパラメータの自律調整、信頼度フィルタ、更新ステップの有界性、構造的耐性、自己停止、
24
  動的学習率、動的スケジューラ、動的Rank/Aplha、履歴補償、などを含めた多機能性を、
25
  追加テンソル不要、計算負荷ほぼなし、step毎に完全適用、時間的積算で実現します
26
- これらをワンパッケージで実現した高効率性と集積度は比肩するもののない稀有な実装です
 
 
 
 
27
 
28
  第1世代 v3.0 (最新版) はこちらから
29
  https://huggingface.co/muooon/EmoNAVI/tree/main/1Gv3_AMP-compatible
 
23
  ハイパーパラメータの自律調整、信頼度フィルタ、更新ステップの有界性、構造的耐性、自己停止、
24
  動的学習率、動的スケジューラ、動的Rank/Aplha、履歴補償、などを含めた多機能性を、
25
  追加テンソル不要、計算負荷ほぼなし、step毎に完全適用、時間的積算で実現します
26
+ これらをワンパッケージで実現した高効率性と集積度は安定と安全を最優先します
27
+ ※ 高次momentは近似的、動的Rank/Alphaも近似的な効果です
28
+ ※ LoRA系技術はノイズをなくしますが微小データも失う場合があります
29
+ ※ emo系はノイズを作らず既存ノイズを見つけて修正し微小データを保護します
30
+ ※ 量子化補償は今後実用化されるさらに低精度な環境でも柔軟に対応できます
31
 
32
  第1世代 v3.0 (最新版) はこちらから
33
  https://huggingface.co/muooon/EmoNAVI/tree/main/1Gv3_AMP-compatible
report-emoment.txt CHANGED
@@ -7,10 +7,10 @@ https://huggingface.co/muooon/EmoNAVI/raw/main/emo-paper(JPN).txt
7
  emo系は、非凸関数に対する期待値収束性を理論的に保証します
8
  これは FM(フローマッチング)・RL(強化学習)・蒸留などへの汎用性と効率性を保持します
9
  LoRA技術の上位互換性
10
- emo系は、SVD、PiSSA、infLoRA、ABBALoRA、等のLoRA技術に対し上位互換性をもちます
11
  さらに Rank/Alpha についても動的スケーリング的な効果を発揮します
12
  Kahan補償の上位互換性
13
- 低精度量子化において、Kahan補償を超えて誤差を均します、動的LR、動的スケジューリングによる滑らかさは柔軟です
14
  自律的知性と中枢神経系
15
  開発者の解放と学習の理想郷、これはパラダイスへのパラダイムであり、シンギュラリティの最初の1歩です
16
  emo系は、観察、判断、決定、行動、記憶、反省、という自律サイクルを行うことで外部依存しません
@@ -23,7 +23,11 @@ emo系は、観察、判断、決定、行動、記憶、反省、という自
23
  ハイパーパラメータの自律調整、信頼度フィルタ、更新ステップの有界性、構造的耐性、自己停止、
24
  動的学習率、動的スケジューラ、動的Rank/Aplha、履歴補償、などを含めた多機能性を、
25
  追加テンソル不要、計算負荷ほぼなし、step毎に完全適用、時間的積算で実現します
26
- これらをワンパッケージで実現した高効率性と集積度は比肩するもののない稀有な実装です
 
 
 
 
27
 
28
  ---emo系の履歴まとめ---
29
  emonavi 最終進化の概要とまとめ
 
7
  emo系は、非凸関数に対する期待値収束性を理論的に保証します
8
  これは FM(フローマッチング)・RL(強化学習)・蒸留などへの汎用性と効率性を保持します
9
  LoRA技術の上位互換性
10
+ emo系は、SVD、PiSSA、infLoRA、ABBA-LoRA、等のLoRA技術に対し上位互換性をもちます
11
  さらに Rank/Alpha についても動的スケーリング的な効果を発揮します
12
  Kahan補償の上位互換性
13
+ 低精度量子化において、Kahan補償を超えて誤差を吸収します、動的LR、動的スケジューリングによる滑らかさは柔軟です
14
  自律的知性と中枢神経系
15
  開発者の解放と学習の理想郷、これはパラダイスへのパラダイムであり、シンギュラリティの最初の1歩です
16
  emo系は、観察、判断、決定、行動、記憶、反省、という自律サイクルを行うことで外部依存しません
 
23
  ハイパーパラメータの自律調整、信頼度フィルタ、更新ステップの有界性、構造的耐性、自己停止、
24
  動的学習率、動的スケジューラ、動的Rank/Aplha、履歴補償、などを含めた多機能性を、
25
  追加テンソル不要、計算負荷ほぼなし、step毎に完全適用、時間的積算で実現します
26
+ これらをワンパッケージで実現した高効率性と集積度は安定と安全を最優先します
27
+ ※ 高次momentは近似的、動的Rank/Alphaも近似的な効果です
28
+ ※ LoRA系技術はノイズをなくしますが微小データも失う場合があります
29
+ ※ emo系はノイズを作らず既存ノイズを見つけて修正し微小データを保護します
30
+ ※ 量子化補償は今後実用化されるさらに低精度な環境でも柔軟に対応できます
31
 
32
  ---emo系の履歴まとめ---
33
  emonavi 最終進化の概要とまとめ