Spaces:
Sleeping
Sleeping
| title: LLMView Multi-Model | |
| emoji: 🌳 | |
| colorFrom: yellow | |
| colorTo: yellow | |
| sdk: gradio | |
| sdk_version: "4.43.0" | |
| app_file: app.py | |
| pinned: false | |
| # LLMView Multi-Model - Hugging Face Spaces版 | |
| 複数のAIモデルに対応した単語ツリー構築ツール（Gradio版） | |
| ## 特徴 | |
| - ✅ **マルチモデル対応**: Transformersモデル（Llama、Qwen、Mistral、Gemma等）に対応 | |
| - ✅ **Hugging Face Spaces対応**: GradioでHFSにデプロイ可能 | |
| - ✅ **GPU対応**: ZeroGPUを使用してGPUリソースを要求 | |
| - ✅ **完全なトークン確率**: ローカルモデルで完全なトークン確率情報を取得 | |
| ## Hugging Face Spacesでのデプロイ | |
| ### 1. リポジトリの作成 | |
| 1. Hugging Face Spacesで新しいSpaceを作成 | |
| 2. SDK: **Gradio** を選択 | |
| 3. Hardware: **GPU** を選択（推奨） | |
| ### 2. 環境変数の設定 | |
| Spaceの設定で以下の環境変数を設定： | |
| ```bash | |
| # モデルタイプ（transformers推奨） | |
| MODEL_TYPE=transformers | |
| # 使用するモデル（Hugging FaceリポジトリID） | |
| HF_MODEL_REPO=meta-llama/Llama-3.2-3B-Instruct | |
| # HF_TOKEN（gatedモデルの場合のみ必要） | |
| # 以下のモデルはHF_TOKENが必要です： | |
| # - meta-llama/* (Llama 3.2等) - Metaの承認とHF_TOKENが必要 | |
| # - elyza/ELYZA-japanese-Llama-2-7b-instruct - Llama-2ベースのため必要 | |
| # - bigcode/starcoder2-7b - gatedモデルの可能性あり | |
| # その他のモデル（Qwen、Mistral、Gemma、Phi-3等）は不要 | |
| HF_TOKEN=your_hf_token | |
| ``` | |
| **HF_TOKENが必要なモデル**: | |
| - ⚠️ **meta-llama/Llama-3.2-3B-Instruct**: Metaの承認とHF_TOKENが必要（gatedモデル） | |
| - ⚠️ **elyza/ELYZA-japanese-Llama-2-7b-instruct**: Llama-2ベースのため必要 | |
| **HF_TOKENが不要なモデル**: | |
| - ✅ **Qwen/Qwen2.5-3B-Instruct**: パブリックモデル | |
| - ✅ **mistralai/Mistral-7B-Instruct-v0.2**: パブリックモデル | |
| - ✅ **google/gemma-2b-it**, **google/gemma-7b-it**: パブリックモデル | |
| - ✅ **microsoft/Phi-3-mini-4k-instruct**: パブリックモデル | |
| - ✅ **TinyLlama/TinyLlama-1.1B-Chat-v1.0**: パブリックモデル | |
| - ✅ **stabilityai/japanese-stablelm-base-gamma-7b**: パブリックモデル | |
| - ✅ **rinna/weblab-10b-instruction-sft**: パブリックモデル | |
| ### 3. モデルの切り替え | |
| 環境変数`HF_MODEL_REPO`を変更するだけで、他のモデルに切り替え可能： | |
| ```bash | |
| # Qwen 2.5 | |
| HF_MODEL_REPO=Qwen/Qwen2.5-3B-Instruct | |
| # Mistral 7B | |
| HF_MODEL_REPO=mistralai/Mistral-7B-Instruct-v0.2 | |
| # Gemma 2B | |
| HF_MODEL_REPO=google/gemma-2b-it | |
| ``` | |
| ## 使用方法 | |
| 1. **プロンプトを入力**: 質問や指示を入力 | |
| 2. **ルートテキスト（オプション）**: 既存のテキストの続きを生成する場合に指定 | |
| 3. **パラメータ調整**: | |
| - `top_k`: 取得する候補数（1-20） | |
| - `max_depth`: 最大探索深さ（1-50） | |
| 4. **「単語ツリーを構築」ボタンをクリック** | |
| ## ファイル構成 | |
| ``` | |
| LLMView_multi_model/ | |
| ├── app.py # Gradioアプリ（メイン） | |
| ├── requirements.txt # 依存パッケージ | |
| ├── README.md # このファイル | |
| ├── MULTI_MODEL_DESIGN.md # 設計ドキュメント | |
| └── package/ | |
| ├── __init__.py | |
| ├── adapter.py # ModelAdapter（マルチモデル対応） | |
| ├── config.py # 設定管理 | |
| ├── word_processor.py # 単語処理ロジック | |
| ├── word_counter.py # 単語数カウント | |
| └── ai/ | |
| ├── __init__.py # ファクトリー関数 | |
| ├── base.py # BaseAIインターフェース | |
| ├── transformers_ai.py # TransformersAI（ローカルモデル） | |
| ├── openai_ai.py # OpenAIAI（オプション） | |
| ├── anthropic_ai.py # AnthropicAI（オプション） | |
| └── google_ai.py # GoogleAI（オプション） | |
| ``` | |
| ## 依存パッケージ | |
| 主要な依存パッケージ： | |
| - `gradio>=4.43.0`: Web UI（最新版でセキュリティ脆弱性を修正） | |
| - `spaces`: Hugging Face Spaces用 | |
| - `transformers>=4.30.0`: Transformersモデル | |
| - `torch>=2.0.0`: PyTorch | |
| - `fugashi>=1.3.0`: 形態素解析（日本語） | |
| - `sudachipy>=0.6.7`: Sudachi形態素解析（オプション） | |
| 詳細は`requirements.txt`を参照してください。 | |
| ## 注意事項 | |
| 1. **GPU推奨**: モデルのロードと推論にはGPUが推奨されます | |
| 2. **モデルサイズ**: 大きなモデル（7B以上）はメモリとロード時間がかかります | |
| 3. **初回起動**: モデルのダウンロードに時間がかかる場合があります | |
| 4. **API非推奨**: Hugging Face Spacesでは、Transformersモデル（ローカルロード）を使用してください | |
| ## トラブルシューティング | |
| ### モデルがロードされない | |
| - **gatedモデルの場合**: `HF_TOKEN`が正しく設定されているか確認 | |
| - `meta-llama/*`モデルはMetaの承認とHF_TOKENが必要 | |
| - Hugging Faceのモデルページで承認を申請してください | |
| - モデルリポジトリIDが正しいか確認 | |
| - Spaceのログを確認 | |
| - パブリックモデル（Qwen、Mistral、Gemma等）はHF_TOKEN不要 | |
| ### GPUが利用できない | |
| - SpaceのHardware設定でGPUが有効になっているか確認 | |
| - `spaces`パッケージがインストールされているか確認 | |
| ### 形態素解析エラー | |
| - `fugashi`がインストールされているか確認 | |
| - HFSでは通常、デフォルト設定で動作します | |
| ## ライセンス | |
| MIT License | |