---
title: will
colorFrom: gray
colorTo: gray
sdk: streamlit
sdk_version: 1.41.1
app_file: app.py
pinned: false
---

# WILL

言語モデルの構造が、人間の入力なしに出力するものを観測する実験的アプリケーション。

## デモ

https://huggingface.co/spaces/matt1847/will

## 使い方

1. **MODEL** ドロップダウンでモデルを選択
2. **LISTEN** ボタンをクリック
3. ランダムノイズがモデルに入力され、生成結果が表示される
4. 上部の波形画像は入力ノイズと出力Logitsの可視化
5. 下部のテキストは生成されたトークン列

## 対応モデル

| モデル | パラメータ | 特徴 |
|--------|-----------|------|
| GPT-2 | 124M-355M | OpenAI |
| GPT-Neo | 125M | EleutherAI |
| OPT | 125M | Meta |
| Pythia | 410M-1B | EleutherAI, 完全オープン |
| OLMo | 1B-7B | Allen AI, 完全オープン |
| BLOOM | 560M | BigScience, 多言語 |
| Llama 3.2 | 1B-3B | Meta |
| Qwen2.5 | 0.5B-1.5B | Alibaba |
| Mistral | 7B | Mistral AI |
| GPT-OSS | 20B | OpenAI, MoE |

## 仕組み

1. **入力ノイズ生成**: ランダムノイズをEmbedding層に直接注入
2. **出力ノイズ加算**: Logitsにノイズを加算し、学習済みの統計的偏りを破壊
3. **生デコード**: Softmax/Temperatureなしでargmaxでトークンを抽出

## ローカル実行

```bash
pip install -r requirements.txt

# Gradio版
python app.py

# Streamlit版（バックアップ）
streamlit run app_streamlit.py
```