YAML Metadata Warning:empty or missing yaml metadata in repo card

Check out the documentation for more information.

archived_old_hybrid_base_models (and other)

説明

計算量が少ないアーキテクチャならご家庭のgpuでも作れるよ、
中華勢だって計算資源節約してるよ、
今の時代、個人でも作れるよ、計算資源が少なくて悲観している人も成果が出てない人も、
現代基準では作れるよ、2023年より必要スペックが低いよ!大丈夫だよ!
ということを証明したいのと、  
もうベンチマークすら測ってないベースモデルはハイブリッドモデルに移行し始めよう。  
という動機で作り始めたモデル群です。

しかし、基盤モデル作成値意味が薄くなり、、、
sentence encoder用途=>
nilタスクモデルでいいし、ruri-v3-30mが存在する以上より小さいサイズでないと実用化できない。
20k~60kで作れたし、基盤モデルを作る意味が薄くなった。

chat lm用途=>
bonsai2が出たことにより、大きいモデルに後から3値量子化したほうが強い。
その際、lora sftだけで十分なのではないか。
また、
mnn-pocketやminicpm5 1b, 2bの登場や、
hybrid アーキテクチャのため同サイズfull attnモデルより速度やメモリ効率の良いlfmシリーズの登場により、
1から作る場合体力に大して作る手間が大変粗を感じていました。

その他分類器=>
decoder lmで作ることによる通語に対するzero shot推論が魅力的でしたが、
既知語の分類はbertに任せて未知語だけ処理すればよく、
またそのタスクにはllmは過剰性能でした。

勢いで作ったので、恥ずかしくて消したかったのですが、
もったいないので練習の記録として残すことにしました。
ノウハウは役に立っていますし。
Downloads last month

-

Downloads are not tracked for this model. How to track
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Collection including WariHima/archived_old_hybrid_base_models