File size: 3,833 Bytes
7767876 2aa9275 a327f7b f333515 a327f7b 2aa9275 a327f7b 8b32594 2aa9275 f333515 8b32594 2aa9275 f333515 8b32594 2aa9275 691edc1 f333515 2aa9275 c266967 2aa9275 8b32594 2aa9275 c266967 2aa9275 c266967 a327f7b 8b32594 f333515 8b32594 a327f7b 2aa9275 c266967 2aa9275 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 |
import gradio as gr
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
import warnings
warnings.filterwarnings("ignore")
"""
Sarashinaモデルを使用したGradioチャットボット
Hugging Face Transformersライブラリを使用してローカルでモデルを実行
"""
# モデルとトークナイザーの初期化
MODEL_NAME = "sbintuitions/sarashina2.2-3b-instruct-v0.1"
print("モデルを読み込み中...")
tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
MODEL_NAME,
torch_dtype=torch.float16 if torch.cuda.is_available() else torch.float32,
device_map="auto" if torch.cuda.is_available() else None,
trust_remote_code=True
)
print("モデルの読み込みが完了しました。")
# グローバル設定変数
SYSTEM_MESSAGE = "あなたは親切で知識豊富な日本語アシスタントです。ユーザーの質問に丁寧に答えてください。"
MAX_TOKENS = 512
TEMPERATURE = 0.7
TOP_P = 0.95
def respond(message, history):
"""
チャットボットの応答を生成する関数
Gradio ChatInterfaceの標準形式に対応
"""
try:
# システムメッセージと会話履歴を含むプロンプトを構築
conversation = ""
if SYSTEM_MESSAGE.strip():
conversation += f"システム: {SYSTEM_MESSAGE}\n"
# 会話履歴を追加
for user_msg, bot_msg in history:
if user_msg:
conversation += f"ユーザー: {user_msg}\n"
if bot_msg:
conversation += f"アシスタント: {bot_msg}\n"
# 現在のメッセージを追加
conversation += f"ユーザー: {message}\nアシスタント: "
# トークン化
inputs = tokenizer.encode(conversation, return_tensors="pt")
# GPU使用時はCUDAに移動
if torch.cuda.is_available():
inputs = inputs.cuda()
# 応答生成
with torch.no_grad():
outputs = model.generate(
inputs,
max_new_tokens=MAX_TOKENS,
temperature=TEMPERATURE,
top_p=TOP_P,
do_sample=True,
pad_token_id=tokenizer.eos_token_id,
eos_token_id=tokenizer.eos_token_id,
repetition_penalty=1.1
)
# 生成されたテキストをデコード
generated = tokenizer.decode(outputs[0], skip_special_tokens=True)
# 応答部分のみを抽出
full_response = generated[len(conversation):].strip()
# 不要な部分を除去
if "ユーザー:" in full_response:
full_response = full_response.split("ユーザー:")[0].strip()
return full_response
except Exception as e:
return f"エラーが発生しました: {str(e)}"
# Gradio ChatInterfaceを使用したシンプルなチャットボット
demo = gr.ChatInterface(
respond,
title="🤖 Sarashina Chatbot",
description="Sarashina2.2-3b-instruct モデルを使用した日本語チャットボットです。",
theme=gr.themes.Soft(),
examples=[
["こんにちは！今日はどんなことを話しましょうか？"],
["日本の文化について教えてください。"],
["簡単なレシピを教えてもらえますか？"],
["プログラミングについて質問があります。"],
],
cache_examples=False,
)
if __name__ == "__main__":
demo.launch(
server_name="0.0.0.0",
server_port=7860,
share=True, # パブリックリンクを作成
show_api=True,
debug=True
) |