Update app.py

app.py

@@ -1,57 +1,71 @@
 import gradio as gr
-from langchain_community.chat_models import ChatOllama
-from langchain_community.embeddings import GPT4AllEmbeddings
+# from langchain_community.chat_models import ChatOllama
+# from langchain_community.embeddings import GPT4AllEmbeddings
+
+# from langchain.prompts import ChatPromptTemplate
+# from langchain.schema.runnable import RunnablePassthrough
+# from langchain_community.vectorstores import FAISS
+from langchain_community.llms import LlamaCpp
 
-from langchain.prompts import ChatPromptTemplate
-from langchain.schema.runnable import RunnablePassthrough
-from langchain_community.vectorstores import FAISS
 # import os
 # os.system("ollama pull alen_ox/llama_3_fin")
 
 vector_db_path = "vectorstores/db_faiss"
 
+llm = LlamaCpp(
+    model_path="Qwen2-7B-Instruct.Q5_K_M.gguf",
+    temperature=0.75,
+    max_tokens=2000,
+    top_p=1,
+    # callback_manager=callback_manager,
+    verbose=True,  # Verbose is required to pass to the callback manager
+)
 # embeddings = OllamaEmbeddings(model="nomic-embed-text", show_progress=False)
-embeddings = GPT4AllEmbeddings(model_name = "all-MiniLM-L6-v2.gguf2.f16.gguf", gpt4all_kwargs = {'allow_download': 'True'})
+# embeddings = GPT4AllEmbeddings(model_name = "all-MiniLM-L6-v2.gguf2.f16.gguf", gpt4all_kwargs = {'allow_download': 'True'})
 
-db = FAISS.load_local(vector_db_path, embeddings, allow_dangerous_deserialization=True)
+# db = FAISS.load_local(vector_db_path, embeddings, allow_dangerous_deserialization=True)
 
-# # Create retriever
-retriever = db.as_retriever(
-    search_type="similarity",
-    search_kwargs= {"k": 3}
-)
-local_llm = 'llama3.1'
+# # # Create retriever
+# retriever = db.as_retriever(
+#     search_type="similarity",
+#     search_kwargs= {"k": 3}
+# )
+# local_llm = 'llama3.1'
 
-llm = ChatOllama(model=local_llm,
-                 keep_alive="3h", 
-                 max_tokens=512,  
-                 temperature=0)
+# llm = ChatOllama(model=local_llm,
+#                  keep_alive="3h", 
+#                  max_tokens=512,  
+#                  temperature=0)
 
 # Create prompt template
 
 def respond(message, history, system_message, path_document):
-    print(message, history, system_message, path_document)
-    respon = ''
-    print("Answer:\n\n", end=" ", flush=True)
-    template = """Bạn là trợ lý ảo vì vậy bạn hãy sử dụng dữ liệu dưới đây để trả lời câu hỏi, 
-        nếu không có thông tin hãy đưa ra câu trả lời sát nhất với câu hỏi từ các thông tin tìm được
-        Content: {content}
-        Question: {question}
-        Chỉ đưa ra các câu trả lời hữu ích.
-        Helpful answer:
-        """
-    prompt = ChatPromptTemplate.from_template(template)
+    # print(message, history, system_message, path_document)
+    # respon = ''
+    # print("Answer:\n\n", end=" ", flush=True)
+    # template = """Bạn là trợ lý ảo vì vậy bạn hãy sử dụng dữ liệu dưới đây để trả lời câu hỏi, 
+    #     nếu không có thông tin hãy đưa ra câu trả lời sát nhất với câu hỏi từ các thông tin tìm được
+    #     Content: {content}
+    #     Question: {question}
+    #     Chỉ đưa ra các câu trả lời hữu ích.
+    #     Helpful answer:
+    #     """
+    # prompt = ChatPromptTemplate.from_template(template)
 
-    rag_chain = (
-        {"content": retriever, "question": RunnablePassthrough()}
-        | prompt
-        | llm
-    )
-    for chunk in rag_chain.stream(message):
-        respon += chunk.content
+    # rag_chain = (
+    #     {"content": retriever, "question": RunnablePassthrough()}
+    #     | prompt
+    #     | llm
+    # )
+    # for chunk in rag_chain.stream(message):
+    #     respon += chunk.content
+    #     print(chunk.content, end="", flush=True)
+    #     yield respon
+    
+    for chunk in llm.stream(message):
+        respon += chunk
         print(chunk.content, end="", flush=True)
         yield respon
-    
 demo = gr.ChatInterface(
     respond,
     additional_inputs=[