old lm models (unrecommend)
Collection
汎用モデルとしてllm作成は学習、推論の面でも非効率なので以降の開発を中止し、その他古いモデルはWariHima/hourai2_3_archived_models に移しました。今後はタスクごとに設計する方針です。 • 6 items • Updated
YAML Metadata Warning:empty or missing yaml metadata in repo card
Check out the documentation for more information.
計算量が少ないアーキテクチャならご家庭のgpuでも作れるよ、
中華勢だって計算資源節約してるよ、
今の時代、個人でも作れるよ、計算資源が少なくて悲観している人も成果が出てない人も、
現代基準では作れるよ、2023年より必要スペックが低いよ!大丈夫だよ!
ということを証明したいのと、
もうベンチマークすら測ってないベースモデルはハイブリッドモデルに移行し始めよう。
という動機で作り始めたモデル群です。
しかし、基盤モデル作成値意味が薄くなり、、、
sentence encoder用途=>
nilタスクモデルでいいし、ruri-v3-30mが存在する以上より小さいサイズでないと実用化できない。
20k~60kで作れたし、基盤モデルを作る意味が薄くなった。
chat lm用途=>
bonsai2が出たことにより、大きいモデルに後から3値量子化したほうが強い。
その際、lora sftだけで十分なのではないか。
また、
mnn-pocketやminicpm5 1b, 2bの登場や、
hybrid アーキテクチャのため同サイズfull attnモデルより速度やメモリ効率の良いlfmシリーズの登場により、
1から作る場合体力に大して作る手間が大変粗を感じていました。
その他分類器=>
decoder lmで作ることによる通語に対するzero shot推論が魅力的でしたが、
既知語の分類はbertに任せて未知語だけ処理すればよく、
またそのタスクにはllmは過剰性能でした。
勢いで作ったので、恥ずかしくて消したかったのですが、
もったいないので練習の記録として残すことにしました。
ノウハウは役に立っていますし。