""" PDF-based chatbot with Retrieval-Augmented Generation """ import os import gradio as gr from dotenv import load_dotenv import indexing import retrieval # default_persist_directory = './chroma_HF/' list_llm = [ "mistralai/Mistral-7B-Instruct-v0.3", "microsoft/Phi-3.5-mini-instruct", "meta-llama/Llama-3.2-3B-Instruct", "meta-llama/Llama-3.2-1B-Instruct", "meta-llama/Meta-Llama-3-8B-Instruct", "HuggingFaceH4/zephyr-7b-beta", "HuggingFaceH4/zephyr-7b-gemma-v0.1", "TinyLlama/TinyLlama-1.1B-Chat-v1.0", "google/gemma-2-2b-it", "google/gemma-2-9b-it", "Qwen/Qwen2.5-1.5B-Instruct", "Qwen/Qwen2.5-3B-Instruct", "Qwen/Qwen2.5-7B-Instruct", ] list_llm_simple = [os.path.basename(llm) for llm in list_llm] # Load environment file - HuggingFace API key def retrieve_api(): """Retrieve HuggingFace API Key""" _ = load_dotenv() global huggingfacehub_api_token huggingfacehub_api_token = os.environ.get("HUGGINGFACE_API_KEY") # Initialize database def initialize_database( list_file_obj, chunk_size, chunk_overlap, progress=gr.Progress() ): """Initialize database""" # Create list of documents (when valid) list_file_path = [x.name for x in list_file_obj if x is not None] # Create collection_name for vector database progress(0.1, desc="Создаю название базы...") collection_name = indexing.create_collection_name(list_file_path[0]) progress(0.25, desc="Загружаю документ...") # Load document and create splits doc_splits = indexing.load_doc(list_file_path, chunk_size, chunk_overlap) # Create or load vector database progress(0.5, desc="Создаю векторную базу данных...") # global vector_db vector_db = indexing.create_db(doc_splits, collection_name) return vector_db, collection_name, "Готово!" # Initialize LLM def initialize_llm( llm_option, llm_temperature, max_tokens, top_k, vector_db, progress=gr.Progress() ): """Initialize LLM""" # print("llm_option",llm_option) llm_name = list_llm[llm_option] print("Языковая модель: ", llm_name) qa_chain = retrieval.initialize_llmchain( llm_name, huggingfacehub_api_token, llm_temperature, max_tokens, top_k, vector_db, progress ) return qa_chain, "Готово!" # Chatbot conversation def conversation(qa_chain, message, history): """Chatbot conversation""" qa_chain, new_history, response_sources = retrieval.invoke_qa_chain( qa_chain, message, history ) # Format output gradio components response_source1 = response_sources[0].page_content.strip() response_source2 = response_sources[1].page_content.strip() response_source3 = response_sources[2].page_content.strip() # Langchain sources are zero-based response_source1_page = response_sources[0].metadata["page"] + 1 response_source2_page = response_sources[1].metadata["page"] + 1 response_source3_page = response_sources[2].metadata["page"] + 1 return ( qa_chain, gr.update(value=""), new_history, response_source1, response_source1_page, response_source2, response_source2_page, response_source3, response_source3_page, ) SPACE_TITLE = """

PDF-чатбот

Спрашивайте о ваших загруженных PDF

""" SPACE_INFO = """ Описание: Чатбот, который использует загруженные документы и делает ссылки на них для сверки информации.

Предупреждение: Используются бесплатные модели, может работать медленно. Не загружайте конфиденциальные данные!
""" # Gradio User Interface def gradio_ui(): """Gradio User Interface""" with gr.Blocks(theme="base") as demo: vector_db = gr.State() qa_chain = gr.State() collection_name = gr.State() gr.Markdown(SPACE_TITLE) gr.Markdown(SPACE_INFO) with gr.Tab("Шаг 1 - загрузка PDF"): with gr.Row(): document = gr.File( height=200, file_count="multiple", file_types=[".pdf"], interactive=True, label="Загрузите ваши PDF (можно сразу несколько)", ) with gr.Tab("Шаг 2 - обработка документа"): with gr.Row(): db_btn = gr.Radio( ["ChromaDB"], label="Тип векторной базы данных", value="ChromaDB", type="index", info="Выберите векторную базу данных", ) with gr.Accordion("Тонкая настройка - разбивка на смысловые фрагменты - 'чанки'", open=False): with gr.Row(): slider_chunk_size = gr.Slider( minimum=100, maximum=1000, value=600, step=20, label="Размер чанка", info="Размер чанка", interactive=True, ) with gr.Row(): slider_chunk_overlap = gr.Slider( minimum=10, maximum=200, value=80, step=10, label="Наложение чанков", info="Наложение чанков", interactive=True, ) with gr.Row(): db_progress = gr.Textbox( label="Создание векторной базы данных", value="None" ) with gr.Row(): db_btn = gr.Button("Сгенерировать векторную базу данных") with gr.Tab("Шаг 3 - Создание QA-цепочки"): with gr.Row(): llm_btn = gr.Radio( list_llm_simple, label="Языковые модели", value=list_llm_simple[0], type="index", info="Выберите языковую модель", ) with gr.Accordion("Тонкая настройка модели (необязательно)", open=False): with gr.Row(): slider_temperature = gr.Slider( minimum=0.01, maximum=1.0, value=0.7, step=0.1, label="Температура", info="Температура модели (разнообразие ответов)", interactive=True, ) with gr.Row(): slider_maxtokens = gr.Slider( minimum=224, maximum=4096, value=1024, step=32, label="Максимум токенов", info="Максимум токенов модели (объем выводимого текста)", interactive=True, ) with gr.Row(): slider_topk = gr.Slider( minimum=1, maximum=10, value=3, step=1, label="top-k сэмплы (выборка вероятных вариантов)", info="количество вероятных вариантов для выборки", interactive=True, ) with gr.Row(): llm_progress = gr.Textbox(value="Ничего", label="Создание QA-цепочки") with gr.Row(): qachain_btn = gr.Button("Создать QA-цепочку") with gr.Tab("Шаг 4 - чатбот"): chatbot = gr.Chatbot(height=300) with gr.Accordion("Дополнительно - Ссылки на документ", open=False): with gr.Row(): doc_source1 = gr.Textbox( label="Ссылка 1", lines=2, container=True, scale=20 ) source1_page = gr.Number(label="Страница", scale=1) with gr.Row(): doc_source2 = gr.Textbox( label="Ссылка 2", lines=2, container=True, scale=20 ) source2_page = gr.Number(label="Страница", scale=1) with gr.Row(): doc_source3 = gr.Textbox( label="Ссылка 3", lines=2, container=True, scale=20 ) source3_page = gr.Number(label="Страница", scale=1) with gr.Row(): msg = gr.Textbox( placeholder="Введите запрос (например, 'о чем документ?')", container=True, ) with gr.Row(): submit_btn = gr.Button("Отправить") clear_btn = gr.ClearButton( components=[msg, chatbot], value="Удалить диалог" ) # Preprocessing events db_btn.click( initialize_database, inputs=[document, slider_chunk_size, slider_chunk_overlap], outputs=[vector_db, collection_name, db_progress], ) qachain_btn.click( initialize_llm, inputs=[ llm_btn, slider_temperature, slider_maxtokens, slider_topk, vector_db, ], outputs=[qa_chain, llm_progress], ).then( lambda: [None, "", 0, "", 0, "", 0], inputs=None, outputs=[ chatbot, doc_source1, source1_page, doc_source2, source2_page, doc_source3, source3_page, ], queue=False, ) # Chatbot events msg.submit( conversation, inputs=[qa_chain, msg, chatbot], outputs=[ qa_chain, msg, chatbot, doc_source1, source1_page, doc_source2, source2_page, doc_source3, source3_page, ], queue=False, ) submit_btn.click( conversation, inputs=[qa_chain, msg, chatbot], outputs=[ qa_chain, msg, chatbot, doc_source1, source1_page, doc_source2, source2_page, doc_source3, source3_page, ], queue=False, ) clear_btn.click( lambda: [None, "", 0, "", 0, "", 0], inputs=None, outputs=[ chatbot, doc_source1, source1_page, doc_source2, source2_page, doc_source3, source3_page, ], queue=False, ) demo.queue().launch(debug=True) if __name__ == "__main__": retrieve_api() gradio_ui()