Update app.py

app.py

@@ -1,44 +1,61 @@
-import gradio as gr
-import time
+# -*- coding: utf-8 -*-
+"""gradio_chat_codeinter4.ipynb
+
+Automatically generated by Colaboratory.
+
+Original file is located at
+    https://colab.research.google.com/drive/1wcp7vIMxSn44xLuI49FtY9kUYGvnS8yv
+"""
+
+!pip install gradio
+!pip install openai
+
 import os
+
+os.environ["TEST_OPENAI_KEY"] = "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"
+os.environ["ASSIST_ID"] = "asst_KHpzJRBEgONhDf6cIpxr1Avt"
+os.environ["MAX_TRIAL"] = "50"
+os.environ["INTER_SEC"] = "3"
+
+import os
+import time
 import datetime
-# from zoneinfo import ZoneInfo
+import gradio as gr
 from openai import OpenAI
-
-from openai.types.beta.threads.runs import (
-    ToolCallsStepDetails,
-)
+from openai.types.beta.threads.runs import ToolCallsStepDetails
 
 # GPT用設定
 SYS_PROMPT_DEFAULT = "あなたは優秀なアシスタントです。質問をされた場合は、質問に答えるコードを作成して実行します。回答は日本語でお願いします。"
 DUMMY = "********************"
-file_format = {".txt", ".csv", ".pdf"}
+# file_format = {".txt", ".csv", ".pdf"}
+file_format = {".txt", ".csv"}
 
 # 各種出力フォルダ
-IMG_FOLDER = "sample_data"
-ANT_FOLDER = "sample_data"
+IMG_FOLDER = "images"
+ANT_FOLDER = "annotations"
 
 # 各種メッセージ
-IMG_MSG = "(画像ファイルを追加しました。送信ボタンの下に表示されています。)"
+PLACEHOLDER = "これは東京都の年別人口データです、折れ線グラフでデータの可視化をお願いします… など"
+IMG_MSG = "(画像ファイルを追加しました。リセットボタンの上に表示されています。)"
 ANT_MSG = "（下部の[出力ファイル]にファイルを追加しました。）"
 
 # 各種設定値
-MAX_TRIAL = 50  # メッセージ取得最大試行数
-INTER_SEC = 3   # 試行間隔（秒）
+MAX_TRIAL = int(os.environ["MAX_TRIAL"])  # メッセージ取得最大試行数
+INTER_SEC = int(os.environ["INTER_SEC"])   # 試行間隔（秒）
 
 # サンプル用情報
-examples = ["sample_data/東京都年別人口.csv", "sample_data/練馬区年齢別人口.csv", "sample_data/桃太郎あらすじ.txt"]
+examples = ["sample_data/東京都年別人口.csv", "sample_data/世界の人口2023年.csv", "sample_data/練馬区年齢別人口.csv", "sample_data/桃太郎あらすじ.txt"]
+
 example_toid = {"東京都年別人口.csv" : "file-GOEk4X4WpU5gBJAuHCMtiJrn"
+                ,"世界の人口2023年.csv" : "file-t0GurmfZixyDKZw2y14yfgbN"
                 , "練馬区年齢別人口.csv" : "file-YAFPMMqG3Zl5DRx5hTLjCfFa"
                 , "桃太郎あらすじ.txt" : "file-oDjAzL3G4ktwAUEkcGDCQMuQ"}
 
-# file_id = "file-0Ly64DA2jzE9mOFYayOKJJK0"
-# file_id = "file-aVnVcpEVpsy77xQ8SlTp1WoX"   # ライ麦
-# file_id = "file-HFCaJbf3k7j0fhBqh1Rwf2VV"   # 練馬区
-
 # コード出力用
 code_mode = {'ON': True, 'OFF': False}
 
+
+# 各関数
 def set_state(openai_key, sys_prompt, code_output, state):
     """ 設定タブの情報をセッションに保存する関数 """
 
@@ -53,6 +70,8 @@ def init(state, text, file):
     """ 入力チェックを行う関数
         ※ここで例外を起こすと入力できなくなるので次の関数でエラーにする """
 
+    print(state)
+
     err_msg = ""
     file_id = None
 
@@ -66,7 +85,7 @@ def init(state, text, file):
         # テキスト未入力
         err_msg = "テキストを入力して下さい。"
 
-        return state, text, file, file_id, err_msg
+        return state, file_id, err_msg
 
     elif file:
 
@@ -78,20 +97,40 @@ def init(state, text, file):
             # ファイル形式チェック
             err_msg = "指定した形式のファイルをアップしてください。（注意事項タブに記載）"
 
-            return state, text, gr.Image(value=None,type="filepath", interactive=False), file_id, err_msg
+            return state, file_id, err_msg
+
 
     if state["client"] is None:
 
         # 初回起動時は初期処理をする
         os.environ["OPENAI_API_KEY"] = os.environ["TEST_OPENAI_KEY"]   # テスト時
-
         # os.environ["OPENAI_API_KEY"] = state["openai_key"]
 
+        # クライアント新規作成
         client = OpenAI()
 
         # client作成後は消す
         os.environ["OPENAI_API_KEY"] = ""
 
+        # セッションにセット
+        state["client"] = client
+
+    else:
+
+        # 既存のクライアントをセット
+        client = state["client"]
+
+
+    if state["thread_id"] == "":
+
+        # スレッド作成
+        thread = client.beta.threads.create()
+
+        state["thread_id"] = thread.id
+
+
+    if state["assistant_id"] == "":
+
         # アシスタント作成
         # assistant = client.beta.assistants.create(
         #   name="codeinter_test",
@@ -100,17 +139,10 @@ def init(state, text, file):
         #   model="gpt-3.5-turbo-1106",
         #   tools=[{"type": "code_interpreter"}]
         # )
-
-        # print(assistant.id)
-
-        # スレッド作��
-        thread = client.beta.threads.create()
-
-        # セッションにセット
-        state["client"] = client
         # state["assistant_id"] = assistant.id
+
         state["assistant_id"] = os.environ["ASSIST_ID"]   # テスト中アシスタントは固定
-        state["thread_id"] = thread.id
+
 
     if file:
 
@@ -119,35 +151,30 @@ def init(state, text, file):
 
         if example_toid.get(basename):
 
-            # サンプルの場合は用意したIDをセット
-            file_id = example_toid.get(basename)
+              # サンプルの場合は用意したIDをセット
+              file_id = example_toid.get(basename)
 
         else:
 
-        # ファイルのアップ
-        # file_response = client.files.create(
-        #     purpose="assistants",
-        #     file=open(file,"rb"),
-        # )
-
-        # if file_response.status != 'processed':
+            # ファイルのアップ
+            file_response = client.files.create(
+                purpose="assistants",
+                file=open(file,"rb"),
+            )
 
-        #     # 失敗時
-        #     err_msg = "ファイルのアップロードに失敗しました"
+            if file_response.status != "processed":
 
-        # else
-        #     # ファイルのIDをセット
-        #     file_id = file_response.id
+                # 失敗時
+                err_msg = "ファイルのアップロードに失敗しました"
 
-        # file_id = "file-0Ly64DA2jzE9mOFYayOKJJK0"
-        # file_id = "file-aVnVcpEVpsy77xQ8SlTp1WoX"   # ライ麦
+            else:
+                # ファイルのIDをセット
+                file_id = file_response.id
 
-          # file_id = "file-HFCaJbf3k7j0fhBqh1Rwf2VV"   # 練馬区
-          file_id = ""
+    print(file_id)
 
-    # print(file_id)
+    return state, file_id, err_msg
 
-    return state, text, file, file_id, err_msg
 
 def raise_exception(err_msg):
     """ エラーの場合例外を起こす関数 """
@@ -161,51 +188,24 @@ def raise_exception(err_msg):
 def add_history(history, text, file_id):
     """ Chat履歴"history"に追加を行う関数 """
 
-    # print("前：")
-    # print(history)
-
     err_msg = ""
-    new_row_flg = False
-
-    # 新しい行を追加するか判定
-    # if len(history) == 0:
-
-    #     new_row_flg = True
-
-    # elif history[-1][0] is not None:
-
-    #     # 前回がアシスタントでない場合も追加
-    #     new_row_flg = True
-
-    new_row_flg = True
 
     if file_id is None or file_id == "":
 
-        if new_row_flg:
-
-            # テキストだけの場合そのまま追加
-            history = history + [(text, None)]
-        else:
-            history[-1][0] = text
+        # テキストだけの場合そのまま追加
+        history = history + [(text, None)]
 
     elif file_id is not None:
 
-      if new_row_flg:
-
-          # ファイルがあればファイルIDとテキストを追加
-          history = history + [("file:" + file_id, DUMMY)]
-          history = history + [(text, None)]
-
-      else:
-          history[-1][0] = "file:" + file_id
-          history = history + [(text, None)]
+        # ファイルがあればファイルIDとテキストを追加
+        history = history + [("file:" + file_id, DUMMY)]
+        history = history + [(text, None)]
 
-    print(history)
+    # テキスト・ファイルを初期化し利用不可に
+    update_text = gr.update(value="", placeholder = "",interactive=False)
+    update_file = gr.update(value=None, interactive=False)
 
-    # テキストだけ初期化
-    new_text = gr.Textbox(value="", interactive=True)
-
-    return history, new_text, err_msg
+    return history, update_text, update_file, err_msg
 
 
 def bot(state, history, file_id):
@@ -213,7 +213,6 @@ def bot(state, history, file_id):
     err_msg = ""
     image_file = None
     ant_file = None
-    # new_row_flg = False
 
     # セッション情報取得
     system_prompt = state["system_prompt"]
@@ -223,8 +222,6 @@ def bot(state, history, file_id):
     last_msg_id = state["last_msg_id"]
     code_mode = state["code_mode"]
 
-    print("system_prompt")
-
     if file_id is None or file_id == "":
 
         # ファイルがない場合
@@ -271,22 +268,19 @@ def bot(state, history, file_id):
         order="asc"
       )
 
-      print(last_msg_id)
-      # print(messages.data)
-
       msg_log = client.beta.threads.messages.list(
         thread_id=thread_id,
         # after=last_msg_id,
         order="asc"
       )
 
+      # デバッグ用
+      print(run.status)
       print(msg_log)
 
       # messageを取り出す
       for msg in messages:
 
-          # msg_id = msg.id
-
           if msg.role == "assistant":
 
             for content in msg.content:
@@ -354,8 +348,6 @@ def bot(state, history, file_id):
                               # 参照ファイルがある旨のメッセージを追加
                               res_text = res_text + "\n\n" + ANT_MSG
 
-                    print(res_text)
-
                     if res_text != "":
 
                         # Chat画面更新
@@ -370,9 +362,10 @@ def bot(state, history, file_id):
                         # 最終メッセージID更新
                         last_msg_id = msg.id
 
-                # yield gr.Chatbot(label=run.status ,value=history), image_file, ant_file, err_msg
+            # Chatbotを返す（labelとhistoryを更新）
+            yield gr.Chatbot(label=run.status ,value=history), image_file, ant_file, err_msg
 
-      print(run.status)
+      # メッセージIDを保存
       state["last_msg_id"] = last_msg_id
 
       # 完了なら終了
@@ -410,23 +403,25 @@ def bot(state, history, file_id):
 
           # エラーとして終了
           err_msg = "※メッセージ取得に失敗しました。"
-          return gr.Chatbot(label=run.status ,value=history), image_file, ant_file, err_msg
+          yield gr.Chatbot(label=run.status ,value=history), image_file, ant_file, err_msg
+          break
 
       elif i == MAX_TRIAL:
 
           # エラーとして終了
           err_msg = "※メッセージ取得の際にタイムアウトしました。"
-          return gr.Chatbot(label=run.status ,value=history), image_file, ant_file, err_msg
+          yield gr.Chatbot(label=run.status ,value=history), image_file, ant_file, err_msg
+          break
 
       else:
           if i > 3:
 
               # 作業中とわかるようにする
-              # history = history + [[None, "………"]]
               yield gr.Chatbot(label=run.status + " (Request:" + str(i) + ")" ,value=history), image_file, ant_file, err_msg
 
 
 def get_code(run_steps):
+    """ 生成過程のコードを全てを返す """
 
     input_code = []
 
@@ -434,6 +429,7 @@ def get_code(run_steps):
 
         if isinstance(data.step_details, ToolCallsStepDetails):
 
+            # コードが存在するときだけ取得
             for tool_call in data.step_details.tool_calls:
 
                 input_code.append(tool_call.code_interpreter.input)
@@ -443,6 +439,7 @@ def get_code(run_steps):
 
 def file_download(client, file_id, folder, ext):
     """ OpenAIからファイルをダウンロードしてパスを返す """
+
     api_response = client.files.with_raw_response.retrieve_content(file_id)
 
     if api_response.status_code == 200:
@@ -463,24 +460,43 @@ def file_download(client, file_id, folder, ext):
 def finally_proc():
     """ 最終処理用関数 """
 
-    new_up_file = gr.File(value=None, interactive = True)
+    # テキスト・ファイルを使えるように
+    interactive = gr.update(interactive = True)
+
+    # ファイルIDはリセット
     new_file_id = gr.Textbox(value="")
 
-    return new_up_file, new_file_id
+    return interactive, interactive, new_file_id
 
 
+def clear_click(state):
+    """ クリアボタンクリック時 """
+
+    # セッションの一部をリセット（）
+    # state["assistant_id"] = ""
+    state["thread_id"] = ""
+    state["last_msg_id"] = ""
+
+    return state
+
+# 画面構成
 with gr.Blocks() as demo:
 
-    gr.Markdown("<h2>GPT Code Interpreter対応チャット</h2>")
+    title = "<h2>GPT Code Interpreter対応チャット</h2>"
+    message = "<h3>・テスト中でAPIKEY無しで動きます  ※機密ファイルはアップしないでください<br>"
+    message += "・こういうときにエラーになるなどフィードバックあればお待ちしています。<br>"
+    message += "※動いているかわかりづらいですが、左上の""in_progress(Request:XX)が止まっていなければ回答の生成中となります。""<br></h3>"
+
+    gr.Markdown(title + message)
 
     # セッションの宣言
     state = gr.State({
         "system_prompt": SYS_PROMPT_DEFAULT,
-        "openai_key" : None,
+        "openai_key" : "",
         "code_mode" : False,
         "client" : None,
-        "assistant_id" : None,
-        "thread_id" : None,
+        "assistant_id" : "",
+        "thread_id" : "",
         "last_msg_id" : ""
     })
 
@@ -488,7 +504,7 @@ with gr.Blocks() as demo:
 
       # 各コンポーネント定義
       chatbot = gr.Chatbot(label="チャット画面")
-      text_msg = gr.Textbox(label="テキスト")
+      text_msg = gr.Textbox(label="テキスト", placeholder = PLACEHOLDER)
       with gr.Row():
         up_file = gr.File(label="ファイルアップロード", type="filepath",interactive = True)
         result_image = gr.Image(label="出力画像", type="filepath", interactive = False)
@@ -496,7 +512,8 @@ with gr.Blocks() as demo:
       with gr.Row():
         btn = gr.Button(value="送信")
         # btn_download = gr.Button(value="画像のダウンロード")  # 保留中
-        btn_clear = gr.ClearButton(value="リセット", components=[chatbot, text_msg, up_file, state])
+        # btn_clear = gr.ClearButton(value="リセット", components=[chatbot, text_msg, up_file, file_id, result_image, sys_msg, result_file])
+        btn_clear = gr.ClearButton(value="リセット", components=[chatbot, text_msg, up_file])
       sys_msg = gr.Textbox(label="システムメッセージ", interactive = False)
       result_file = gr.File(label="出力ファイル", type="filepath",interactive = False)
 
@@ -504,30 +521,37 @@ with gr.Blocks() as demo:
       file_id = gr.Textbox(visible=False)
 
       # 送信ボタンクリック時の処理
-      bc = btn.click(init, [state, text_msg, up_file], [state, text_msg, up_file, file_id, sys_msg], queue=False).success(
+      bc = btn.click(init, [state, text_msg, up_file], [state, file_id, sys_msg], queue=False).success(
           raise_exception, sys_msg, None).success(
-          add_history, [chatbot, text_msg, file_id], [chatbot, text_msg, sys_msg], queue=False).success(
+          add_history, [chatbot, text_msg, file_id], [chatbot, text_msg, up_file, sys_msg], queue=False).success(
           bot, [state, chatbot, file_id],[chatbot, result_image, result_file, sys_msg]).then(
-          finally_proc, None, [up_file, file_id], queue=False
+          finally_proc, None, [text_msg, up_file, file_id], queue=False
       )
 
-      # クリア時でもOpenAIKeyなどは再セット
-      # btn_clear.click(set_state, [openai_key, system_prompt, code_output, state], state)
+      # クリア時でもセッションの設定（OpenAIKeyなどは残す）
+      btn_clear.click(clear_click, state, state)
 
       # テキスト入力Enter時の処理
       # txt_msg = text_msg.submit(respond, inputs=[text_msg, image, chatbot], outputs=[text_msg, image, chatbot])
 
     with gr.Tab("設定") as set:
-      openai_key = gr.Textbox(label="OpenAI API Key")
+      openai_key = gr.Textbox(label="OpenAI API Key", visible=False)   # テスト中は表示せず
       # language = gr.Dropdown(choices=["Japanese", "English"], value = "Japanese", label="Language", interactive = True)
       system_prompt = gr.Textbox(value = SYS_PROMPT_DEFAULT,lines = 5, label="Custom instructions", interactive = True)
-      # Enter不使用
       code_output = gr.Dropdown(label="コード出力", choices=["OFF", "ON"], value = "OFF", interactive = True)
 
       # 設定タブからChatタブに戻った時の処理
       chat.select(set_state, [openai_key, system_prompt, code_output, state], state)
 
-demo.queue()
+    with gr.Tab("注意事項") as notes:
+            caution = "現在Assistant APIはβ版でのリリースとなっています。<br>"
+            caution += "そのためか一部のファイルのアップロードが上手くいかないため、制限をかけています。<br>"
+            caution += "（現在アップできるファイル形式は.txtと.csvのみ）<br>"
+            caution += "本来はPDFなども利用できるはずなので、今後更新したいと思います。また日本語文字化けも調査中です。"
+
+            gr.Markdown("<h3>" + caution + "</h3>")
 
+
+demo.queue()
 demo.launch(debug=True)