GPT-4_PDF_summary.py

#!/usr/bin/env python
# coding: utf-8

#! pip install langchain openai chromadb tiktoken pypdf panel

# 注释1:首先，代码导入了所需的库和模块。这包括用于处理 PDF 文件、创建文本嵌入、搜索、问答等的模块。

import os
from langchain.chains import RetrievalQA
from langchain.llms import OpenAI
from langchain.document_loaders import TextLoader
from langchain.document_loaders import PyPDFLoader
from langchain.indexes import VectorstoreIndexCreator
from langchain.text_splitter import CharacterTextSplitter
from langchain.embeddings import OpenAIEmbeddings
from langchain.vectorstores import Chroma
import panel as pn
import tempfile


# In[ ]:


pn.extension('texteditor', template="bootstrap", sizing_mode='stretch_width')
pn.state.template.param.update(
    main_max_width="690px",
    header_background="#F08080",
)


# 注释2:然后，代码设置了一些 Panel 库的参数和小部件，用于创建用户界面。这些小部件包括文件输入框、密码输入框、文本编辑器、按钮、滑块等。这些小部件被组织在一个列中，方便用户输入。


file_input = pn.widgets.FileInput(width=300)

openaikey = pn.widgets.PasswordInput(
    value="", placeholder="Enter your OpenAI API Key here...", width=300
)
prompt = pn.widgets.TextEditor(
    value="", placeholder="Enter your questions here...", height=160, toolbar=False
)
run_button = pn.widgets.Button(name="Run!")

select_k = pn.widgets.IntSlider(
    name="Number of relevant chunks", start=1, end=5, step=1, value=2
)
select_chain_type = pn.widgets.RadioButtonGroup(
    name='Chain type',
    options=['stuff', 'map_reduce', "refine", "map_rerank"]
)

widgets = pn.Row(
    pn.Column(prompt, run_button, margin=5),
    pn.Card(
        "Chain type:",
        pn.Column(select_chain_type, select_k),
        title="Advanced settings", margin=10
    ), width=600
)


#注释3:qa 函数定义了处理 PDF 文件、创建向量嵌入、执行搜索和返回答案的主要逻辑。它接受一个 PDF 文件、查询问题、搜索类型和返回的结果数量作为输入。
#然后，使用 OpenAI 的模型为每个文本块创建一个向量嵌入，这些嵌入被用来创建一个向量存储，用于后续的搜索。接着，使用这个向量存储创建一个检索器，然后使用这个检索器和 OpenAI 的模型创建一个问答链来回答问题。
#最后，函数打印出结果并返回。


def qa(file, query, chain_type, k):
    # load document  加载PDF文件
    loader = PyPDFLoader(file)
    documents = loader.load()
    # split the documents into chunks 将PDF文件分割成小块。
    text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
    texts = text_splitter.split_documents(documents)
    # select which embeddings we want to use 使用 OpenAI 的embeddings模型为每个文本块创建一个向量嵌入
    embeddings = OpenAIEmbeddings()
    # create the VectorStore to use as the index 这些嵌入被用来创建一个向量存储VectorStore，用于后续的搜索。
    db = Chroma.from_documents(texts, embeddings)
    # expose this index in a retriever interface 接着，使用这个向量存储创建一个检索器retriever
    retriever = db.as_retriever(
        search_type="similarity", search_kwargs={"k": k})
    # create a chain to answer questions 然后使用这个检索器和 OpenAI 的模型创建一个问答链来回答问题。
    qa = RetrievalQA.from_chain_type(
        llm=OpenAI(), chain_type=chain_type, retriever=retriever, return_source_documents=True)
    result = qa({"query": query})
    # 最后，函数打印出结果并返回。
    print(result['result'])
    return result


# In[6]:


convos = []  # store all panel objects in a list convos是对话列表的意思

#qa_result 函数是用于处理用户界面输入和调用 qa 函数的函数。它首先从环境变量中获取 OpenAI 的 API 密钥，然后保存用户上传的 PDF 文件。如果用户输入了问题，函数将调用 qa 函数，并将结果添加到对话列表中。
def qa_result(_):
    #首先从环境变量中获取 OpenAI 的 API 密钥
    os.environ["OPENAI_API_KEY"] = openaikey.value

    # save pdf file to a temp file 保存用户上传的 PDF文件为temp.pdf
    if file_input.value is not None:
        file_input.save("/.cache/temp.pdf")

        prompt_text = prompt.value
        if prompt_text:
            result = qa(file="/.cache/temp.pdf", query=prompt_text,
                        chain_type=select_chain_type.value, k=select_k.value)
            convos.extend([
                pn.Row(
                    pn.panel("\U0001F60A", width=10),
                    prompt_text,
                    width=600
                ),
                pn.Row(
                    pn.panel("\U0001F916", width=10),
                    pn.Column(
                        result["result"],
                        "Relevant source text:",
                        pn.pane.Markdown('\n--------------------------------------------------------------------\n'.join(
                            doc.page_content for doc in result["source_documents"]))
                    )
                )
            ])
            # return convos
    return pn.Column(*convos, margin=15, width=575, min_height=400)


# In[7]:创建了一个交互式的 Panel 小部件，当用户点击运行按钮时，会调用 qa_result 函数。
qa_interactive = pn.panel(
    pn.bind(qa_result, run_button),
    loading_indicator=True,
)


# In[8]:创建输出框
output = pn.WidgetBox('*Output will show up here:*',
                      qa_interactive, width=630, scroll=True)


# 界面设计
pn.Column(
    pn.panel.Markdown("""
    ##你可以问我关于你上传的PDF文件的任何信息！
    1) 上传一个PDF文件. 2)输入你的OpenAI API key.这将产生费用  3) 输入问题然后点击"Run".
    """),
    pn.Row(file_input, openaikey),
    output,
    widgets

).servable()