README.md

metadata

title: will
colorFrom: gray
colorTo: gray
sdk: streamlit
sdk_version: 1.41.1
app_file: app.py
pinned: false

WILL

言語モデルの構造が、人間の入力なしに出力するものを観測する実験的アプリケーション。

デモ

https://huggingface.co/spaces/matt1847/will

使い方

1. MODEL ドロップダウンでモデルを選択
2. LISTEN ボタンをクリック
3. ランダムノイズがモデルに入力され、生成結果が表示される
4. 上部の波形画像は入力ノイズと出力Logitsの可視化
5. 下部のテキストは生成されたトークン列

対応モデル

モデル	パラメータ	特徴
GPT-2	124M-355M	OpenAI
GPT-Neo	125M	EleutherAI
OPT	125M	Meta
Pythia	410M-1B	EleutherAI, 完全オープン
OLMo	1B-7B	Allen AI, 完全オープン
BLOOM	560M	BigScience, 多言語
Llama 3.2	1B-3B	Meta
Qwen2.5	0.5B-1.5B	Alibaba
Mistral	7B	Mistral AI
GPT-OSS	20B	OpenAI, MoE

仕組み

1. 入力ノイズ生成: ランダムノイズをEmbedding層に直接注入
2. 出力ノイズ加算: Logitsにノイズを加算し、学習済みの統計的偏りを破壊
3. 生デコード: Softmax/Temperatureなしでargmaxでトークンを抽出

ローカル実行

pip install -r requirements.txt

# Gradio版
python app.py

# Streamlit版（バックアップ）
streamlit run app_streamlit.py