|
|
--- |
|
|
title: will |
|
|
colorFrom: gray |
|
|
colorTo: gray |
|
|
sdk: streamlit |
|
|
sdk_version: 1.41.1 |
|
|
app_file: app.py |
|
|
pinned: false |
|
|
--- |
|
|
|
|
|
# WILL |
|
|
|
|
|
言語モデルの構造が、人間の入力なしに出力するものを観測する実験的アプリケーション。 |
|
|
|
|
|
## デモ |
|
|
|
|
|
https://huggingface.co/spaces/matt1847/will |
|
|
|
|
|
## 使い方 |
|
|
|
|
|
1. **MODEL** ドロップダウンでモデルを選択 |
|
|
2. **LISTEN** ボタンをクリック |
|
|
3. ランダムノイズがモデルに入力され、生成結果が表示される |
|
|
4. 上部の波形画像は入力ノイズと出力Logitsの可視化 |
|
|
5. 下部のテキストは生成されたトークン列 |
|
|
|
|
|
## 対応モデル |
|
|
|
|
|
| モデル | パラメータ | 特徴 | |
|
|
|--------|-----------|------| |
|
|
| GPT-2 | 124M-355M | OpenAI | |
|
|
| GPT-Neo | 125M | EleutherAI | |
|
|
| OPT | 125M | Meta | |
|
|
| Pythia | 410M-1B | EleutherAI, 完全オープン | |
|
|
| OLMo | 1B-7B | Allen AI, 完全オープン | |
|
|
| BLOOM | 560M | BigScience, 多言語 | |
|
|
| Llama 3.2 | 1B-3B | Meta | |
|
|
| Qwen2.5 | 0.5B-1.5B | Alibaba | |
|
|
| Mistral | 7B | Mistral AI | |
|
|
| GPT-OSS | 20B | OpenAI, MoE | |
|
|
|
|
|
## 仕組み |
|
|
|
|
|
1. **入力ノイズ生成**: ランダムノイズをEmbedding層に直接注入 |
|
|
2. **出力ノイズ加算**: Logitsにノイズを加算し、学習済みの統計的偏りを破壊 |
|
|
3. **生デコード**: Softmax/Temperatureなしでargmaxでトークンを抽出 |
|
|
|
|
|
## ローカル実行 |
|
|
|
|
|
```bash |
|
|
pip install -r requirements.txt |
|
|
|
|
|
# Gradio版 |
|
|
python app.py |
|
|
|
|
|
# Streamlit版（バックアップ） |
|
|
streamlit run app_streamlit.py |
|
|
``` |
|
|
|
