app.py

import gradio as gr
from gradio import ChatMessage
#from crewai.tools import tool, BaseTool
from groq import Groq
import requests
import uvicorn
import os
import mysql.connector
from qdrant_client import QdrantClient

from autogen import AssistantAgent, UserProxyAgent, GroupChat, GroupChatManager
from autogen.agentchat.contrib.retrieve_user_proxy_agent import RetrieveUserProxyAgent

# MySQLに接続
conn = mysql.connector.connect(
    host="www.ryhintl.com",
    user="smairuser",
    password="smairuser",
    port=36000,
    database="smair"
)

# カーソルを取得
cursor = conn.cursor(dictionary=True)

# List API Keys
select_one_data_query = "SELECT * FROM agentic_apis"
cursor.execute(select_one_data_query)
result = cursor.fetchall()
# JSONをパースしてkeyを抽出
keys = [item['key'] for item in result]

os.environ["GROQ_API_KEY"] = keys[2]
os.environ["COHERE_API_KEY"] = keys[3]

js = """
function createGradioAnimation() {
    var container = document.createElement('div');
    container.id = 'gradio-animation';
    container.style.fontSize = '2em';
    container.style.fontWeight = 'bold';
    container.style.textAlign = 'center';
    container.style.marginBottom = '20px';

    var text = 'プロジェクト・マッチング候補者のガイドライン';
    for (var i = 0; i < text.length; i++) {
        (function(i){
            setTimeout(function(){
                var letter = document.createElement('span');
                var randomColor = "#" + Math.floor(Math.random() * 16777215).toString(16);
                letter.style.color = randomColor;
                letter.style.opacity = '0';
                letter.style.transition = 'opacity 0.5s';
                letter.innerText = text[i];

                container.appendChild(letter);

                setTimeout(function() {
                    letter.style.opacity = '1';
                }, 50);
            }, i * 250);
        })(i);
    }

    var gradioContainer = document.querySelector('.gradio-container');
    gradioContainer.insertBefore(container, gradioContainer.firstChild);

    return 'Animation created';
}
"""

sel_method = "COHERE"

def on_change(selected_option):
    global sel_method
    sel_method = selected_option
    return f"選択されたオプション: {selected_option}"

async def autogen(qry: str):
    # Prompts
    userPrompt=qry
    assistant="あなたはヘッドハンティング会社のアナリストです。"
    ragproxyagent="あなたは高度な知識を持つヘッドハンティング会社の上席コンサルタントです。assistantによる応答を分析し、詳細情報を提供します。"

    global sel_method
    
    if sel_method == "COHERE":
        # Cohere config
        config_list = [
            {
                "model": "command-r-plus-08-2024",
                "api_key": os.environ["COHERE_API_KEY"],
                "api_type": "cohere",
            }
        ]
    else:
        # GROQ config
        config_list = [
            {
                "model": "llama-3.3-70b-versatile",
                "api_key": os.environ["GROQ_API_KEY"],
                "api_type": "groq",
            }
        ]

    assistant = AssistantAgent(
    name="assistant",
    system_message="You are a helpful assistant.",
    llm_config={
        "timeout": 600,
        "cache_seed": 42,
        "config_list": config_list,
    },
    )

    client = QdrantClient(url="https://02cbe366-829e-43a6-adf5-3b712a886c21.us-west-1-0.aws.cloud.qdrant.io", api_key="eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJhY2Nlc3MiOiJtIn0.hWu5_qKaYHUhuMAjUScqw1R_1kkXiidv337wuGKcu9o")
    # Create user proxy agent RetrieveUserProxyAgent(
    ragproxyagent = RetrieveUserProxyAgent(
    name="ragproxyagent",
    human_input_mode="NEVER",
    max_consecutive_auto_reply=3,
    retrieve_config = {
        "task": "qa",
        "docs_path": [
            "https://www.ryhintl.com/hunting.md"
        ],
        "chunk_token_size": 2000,
        "model": config_list[0]["model"],
        "vector_db": "qdrant",  # Qdrant Cloud database
        "collection_name": "scouter_base",
        #"db_config": {
            #"connection_string": "https://02cbe366-829e-43a6-adf5-3b712a886c21.us-west-1-0.aws.cloud.qdrant.io",  # Qdrant Cloud connection string
            #"api_key": "eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJhY2Nlc3MiOiJtIn0.hWu5_qKaYHUhuMAjUScqw1R_1kkXiidv337wuGKcu9o",  # Qdrant Cloud API key
            #"database_name": "human_database",  # Qdrant Cloud database (if applicable)
            #"index_name": "scout_index",
            #"wait_until_index_ready": 120.0,  # Setting to wait 120 seconds or until index is constructed before querying
            #"wait_until_document_ready": 120.0,  # Setting to wait 120 seconds or until document is properly indexed after insertion/update
        #},
        "db_config": {"client": client},
        "get_or_create": True,  # set to False if you don't want to reuse an existing collection
        "overwrite": True,  # set to True if you want to overwrite an existing collection, each overwrite will force a index creation and reupload of documents
        },
        code_execution_config=False,  # set to False if you don't want to execute the code
    )


    # Create a group chat between all agents
    groupChat = GroupChat(
        agents=[assistant, ragproxyagent],
        messages=[],
        max_round=3,
    )

    groupChatManager = GroupChatManager(
        groupchat=groupChat,
        llm_config={"config_list": config_list}
    )

    # Initiate the chat using the User Proxy Agent and pass the user prompt
    #chat_result = ragproxyagent.initiate_chat(
        #groupChatManager,
        #message=userPrompt
    #)
    chat_result = ragproxyagent.initiate_chat(assistant, message=ragproxyagent.message_generator, problem=userPrompt)
    #user_contents = [entry['content'] for entry in chat_result['chat_history'] if entry['role'] == 'user']
    
    #chat_result = ragproxyagent.initiate_chat(assistant, message=userPrompt)
    #print(chat_result)

    chat_result_dict = vars(chat_result)
    user_contents = [entry['content'] for entry in chat_result_dict['chat_history'] if entry['role'] == 'user']
    #print("user_contents")
    #print(user_contents)
    #print("\n\n")
    
    #print(user_contents[0])
    #return user_contents[0]

    basic_content = [entry["content"] for entry in chat_result_dict["chat_history"] if entry["role"] == "assistant"]
    #print("basic_content")
    #print(basic_content)
    #return basic_content
    return user_contents[0]+"\n\n"+basic_content[0]

    
    #user_contents = [entry['content'] for entry in chat_result['chat_history'] if entry['role'] == 'user']

    

    #basic_content = [entry["content"] for entry in chat_result_dict["chat_history"] if entry["name"] == "Basic_Assistant_Agent"]
    #professional_content = [entry["content"] for entry in chat_result_dict["chat_history"] if entry["name"] == "Professional_Assistant_Agent"]

    #professional_content = [entry['content'] for entry in chat_result['chat_history'] if entry['name'] == 'Professional_Assistant_Agent']
    #summary = chat_result['summary']
    
    #return chat_result
    #comments = "Basic Assitant: \n"+str(basic_content[0])+"\n\nProfessional Assistant: \n"+str(professional_content[0])
    #return comments
    #return professional_content[0]

def process_rag(prompt):

    if prompt == "":
        return "プロンプトを入力してください。", "プロンプトは必須です。"
    else:
        url = 'http://www.ryhintl.com/eprag-be/llm?query='+prompt
        res = requests.get(url)
        rtn = res.content.decode('utf-8')
    
        return rtn


def process_eprag(prompt):
    
    if prompt == "":
        return "プロンプトを入力してください。", "プロンプトは必須です。"
    else:
        client = Groq(api_key=os.environ["GROQ_API_KEY"])

        # Set the system prompt
        system_prompt = {
            "role": "system",
            "content": "あなたは便利なアシスタントです。質問には簡潔に答えてください。"
        }

        # Set the user prompt
        user_input = prompt
        user_prompt = {
            "role": "user", "content": user_input
        }

        # Initialize the chat history
        chat_history = [system_prompt, user_prompt]

        response = client.chat.completions.create(
            #model="llama3-70b-8192",
            model="llama-3.3-70b-versatile",
            messages=chat_history,
            max_tokens=1024,
            temperature=0)

        return response.choices[0].message.content  

with gr.Blocks(js=js,title="人材スカウトのガイドライン") as llm:
    
    with gr.Tab("LLM"):
        
        gr.Markdown("# 🗞️ LLM")
        gr.Text(label="AIプロジェクト計画の実施の人材スカウト",value="弊社（スカウトファーム）は株式会社トータルソリューションズのAIプロジェクトの立ち上げに必要な専門知識を持っている人材が不足して悩んでいます。AIに関する専門知識を持っている専門家とPYTHONやAGENTの経験を持っている技術者を候補者リストDBから取得、分析し、AIプロジェクトの立ち上げをするための候補者をアドバイスします。",lines=3)
        
        with gr.Row():
            eprag_input = gr.Textbox(value="トータルソリューションズのAIプロジェクトの立ち上げに必要な専門知識を持っている人材が不足して悩んでいます。AIに関する専門知識を持っている専門家とPYTHONやAGENTの経験を持っている技術者をリスティングして、アドバイスしてください。",lines=5,label="プロンプト", type="text")
            
        with gr.Row():
            eprag_output = gr.Textbox(label="AIアシスタントの応答")
            
        submit_button = gr.Button("LLM プロセス", variant="primary")
        submit_button.click(
            process_eprag,
            inputs=[eprag_input],
            outputs=[eprag_output]
        )

    with gr.Tab("RAG"):
        
        gr.Markdown("# 🗞️ RAG")
        gr.Text(label="AIプロジェクト計画の実施の人材スカウト",value="弊社（スカウトファーム）は株式会社トータルソリューションズのAIプロジェクトの立ち上げに必要な専門知識を持っている人材が不足して悩んでいます。AIに関する専門知識を持っている専門家とPYTHONやAGENTの経験を持っている技術者を候補者リストDBから取得、分析し、AIプロジェクトの立ち上げをするための候補者をアドバイスします。",lines=3)
        
        with gr.Row():
            rag_input = gr.Textbox(value="トータルソリューションズのAIプロジェクトの立ち上げに必要な専門知識を持っている人材が不足して悩んでいます。AIに関する専門知識を持っている専門家とPYTHONやAGENTの経験を持っている技術者をリスティングして、アドバイスしてください。",lines=5,label="プロンプト", type="text")
            
        with gr.Row():
            rag_output = gr.Textbox(label="AIアシスタントの応答")
            
        submit_button = gr.Button("RAG プロセス", variant="primary")
        submit_button.click(
            process_rag,
            inputs=[rag_input],
            outputs=[rag_output]
        )

    with gr.Tab("AGENT AUTOGEN"):
        gr.Markdown("# 🗞️ AGENTIC RAG AUTOGEN")
        gr.Text(label="AIプロジェクト計画の実施の人材スカウト",value="弊社（スカウトファーム）は株式会社トータルソリューションズのAIプロジェクトの立ち上げに必要な専門知識を持っている人材が不足して悩んでいます。AIに関する専門知識を持っている専門家とPYTHONやAGENTの経験を持っている技術者を候補者リストDBから取得、分析し、AIプロジェクトの立ち上げをするための候補者をアドバイスします。",lines=3)
        
        with gr.Row():
            auto_input = gr.Textbox(value="トータルソリューションズのAIプロジェクトの立ち上げに必要な専門知識を持っている人材が不足して悩んでいます。AIに関する専門知識を持っている専門家とPYTHONやAGENTの経験を持っている技術者をリスティングして、アドバイスしてください。",lines=5,label="プロンプト", type="text")
            
        with gr.Row():
            method = gr.Dropdown(
                ["COHERE", "GROQ"], label="LLM", info="LLMを選んでください"
            )
            selected_method = gr.Text(label="Method", visible=False)
            method.change(on_change, inputs=method, outputs=selected_method)
            
        with gr.Row():
            auto_output = gr.Textbox(label="AIアシスタントの応答")
       
        submit_button = gr.Button("AUTOGEN プロセス", variant="primary")
        submit_button.click(
            autogen,
            inputs=[auto_input],
            outputs=[auto_output]
        )

if __name__ == "__main__":
    llm.launch()