|
|
--- |
|
|
license: apache-2.0 |
|
|
datasets: |
|
|
- izumi-lab/oscar2301-ja-filter-ja-normal |
|
|
- wikimedia/wikipedia |
|
|
language: |
|
|
- ja |
|
|
tags: |
|
|
- text-generation-inference |
|
|
- RAG |
|
|
- japanese |
|
|
- faiss |
|
|
- gradio |
|
|
- sentence-transformers |
|
|
--- |
|
|
|
|
|
# RAG (Retrieval Augmented Generation) デモ |
|
|
|
|
|
このプロジェクトは、Retrieval Augmented Generation (RAG) システムのデモンストレーションです。 |
|
|
|
|
|
# RAG (Retrieval Augmented Generation) デモ |
|
|
|
|
|
このプロジェクトは、Retrieval Augmented Generation (RAG) システムのデモンストレーションです。大規模言語モデル (LLM) の「幻覚」問題や情報鮮度の課題を解決するため、外部の知識ベースから関連情報を検索し、それを基に回答を生成します。 |
|
|
|
|
|
## 特徴 |
|
|
|
|
|
* **RAGシステムの実装:** SentenceTransformer を用いたセマンティック検索と、FAISS を用いた高速なベクトル検索を統合しています。 |
|
|
* **日本語LLMの利用:** `rinna/japanese-gpt-neox-3.6b-instruction-sft` モデルを推論に使用しています。 |
|
|
* **カスタム知識ベース:** ユーザーが独自のJSONファイルをアップロードし、RAGシステムの知識ベースを動的に更新できます。 |
|
|
* **Gradio UI:** 直感的で使いやすいWebインターフェースを提供し、RAGシステムの動作を視覚的に確認できます。 |
|
|
* **永続化機能:** アップロードされた文書と構築されたインデックスは、アプリケーションが再起動しても維持されます。 |
|
|
|
|
|
## システム構成 |
|
|
|
|
|
* **`app.py`**: Gradio UI の定義と、RAGSystem および LLM パイプラインの統合を管理するメインアプリケーションファイルです。 |
|
|
* **`ragsys03.py`**: RAGシステムのコアロジック（文書のエンベディング、FAISSインデックスの構築と検索、文書管理、永続化）をカプセル化したモジュールです。 |
|
|
* **`rag_data/`**: RAGシステムが生成するFAISSインデックスファイル、ロードされた文書データ、およびメタデータが保存されるディレクトリです。 |
|
|
|
|
|
``` |
|
|
. |
|
|
├── app.py |
|
|
├── ragsys03.py |
|
|
├── requirements.txt |
|
|
└── rag_data/ (RAGシステムが生成するインデックスや文書の保存先) |
|
|
└── (日付_UUID)/ |
|
|
├── faiss_index.bin |
|
|
├── documents.json |
|
|
└── metadata.json |
|
|
``` |
|
|
|
|
|
## 必要なライブラリ |
|
|
|
|
|
以下のライブラリが必要です。`requirements.txt` ファイルに記載されています。 |
|
|
|
|
|
``` |
|
|
torch |
|
|
transformers |
|
|
sentence-transformers |
|
|
faiss-cpu |
|
|
gradio |
|
|
numpy |
|
|
sentencepiece |
|
|
accelerate |
|
|
``` |
|
|
|
|
|
インストールするには、以下のコマンドを実行します。 |
|
|
|
|
|
```bash |
|
|
pip install -r requirements.txt |
|
|
``` |
|
|
|
|
|
**注:** GPU環境で高速化したい場合は、`faiss-cpu` の代わりに `faiss-gpu` をインストールしてください。 |
|
|
|
|
|
## 実行方法 |
|
|
|
|
|
1. GitHubリポジトリをクローンするか、Hugging Face Space のファイルをダウンロードします。 |
|
|
2. `app.py` と `ragsys03.py` を同じディレクトリに配置します。 |
|
|
3. 上記の「必要なライブラリ」をインストールします。 |
|
|
4. ターミナルで以下のコマンドを実行し、アプリケーションを起動します。 |
|
|
|
|
|
```bash |
|
|
python app.py |
|
|
``` |
|
|
|
|
|
5. 表示されたURL（通常は `http://127.0.0.1:7860` または Hugging Face Spaces のURL）をブラウザで開きます。 |
|
|
|
|
|
## 使用方法 (Gradio UI) |
|
|
|
|
|
1. **「文書管理」タブに移動します。** |
|
|
2. **「文書JSONファイルをアップロード」:** |
|
|
* `documents` というキーに文字列のリストを持つJSONファイルを選択してアップロードします。 |
|
|
* 例: |
|
|
|
|
|
```json |
|
|
{ |
|
|
"documents": [ |
|
|
"RAG（Retrieval Augmented Generation）は、大規模言語モデルの課題、特に幻覚や情報鮮度の問題を解決するために考案された強力なAIフレームワークです。", |
|
|
"LLMの幻覚（Hallucination）は、大規模言語モデルが事実と異なる情報を生成してしまう問題です。" |
|
|
] |
|
|
} |
|
|
``` |
|
|
|
|
|
* アップロードが完了すると、ステータスが表示されます。 |
|
|
3. **「インデックスを構築」ボタンをクリックします。** |
|
|
* アップロードされた文書から検索インデックスが構築されます。この処理には時間がかかる場合があります。 |
|
|
* 構築が完了すると、インデックスの統計情報が表示されます。 |
|
|
4. **「RAG質問」タブに移動します。** |
|
|
5. **「質問を入力してください」:** 質問を入力します。 |
|
|
6. **「取得文書数 (top_k)」と「類似度閾値」:** 必要に応じてスライダーを調整します。 |
|
|
7. **「質問を送信」ボタンをクリックします。** |
|
|
* RAGシステムが関連文書を検索し、LLMがそれに基づいて回答を生成します。 |
|
|
* 「LLMの回答」と「検索された関連文書」が表示されます。 |
|
|
|
|
|
## 注意事項 |
|
|
|
|
|
* このデモはCPU環境でも動作しますが、`rinna/japanese-gpt-neox-3.6b-instruction-sft` モデルは比較的大規模であるため、応答に時間がかかる場合があります。 |
|
|
* より高速な応答が必要な場合は、GPU環境での実行を推奨します。 |
|
|
* アップロードする文書の内容は、公開に適したものであることを確認してください。プライバシーや機密情報を含む文書はアップロードしないでください。 |
|
|
* LLMの回答は、提供された文書とモデルの知識に基づいています。常に正確であるとは限らず、「幻覚」を完全に排除するものではありません。 |
|
|
|
|
|
## 貢献 |
|
|
|
|
|
このプロジェクトはデモンストレーションを目的としていますが、改善提案やバグ報告は歓迎します。 |
|
|
``` |
