Update app.py

app.py

@@ -1,91 +1,56 @@
-import os
-from langchain_community.document_loaders import PyPDFLoader
+# app.py
+from langchain.document_loaders import PyPDFLoader
 from langchain.text_splitter import CharacterTextSplitter
-from langchain_community.embeddings import HuggingFaceEmbeddings # Sử dụng Sentence Transformers qua wrapper của Langchain
-from langchain_community.vectorstores import FAISS
+from langchain.embeddings import SentenceTransformerEmbeddings
+from langchain.vectorstores import FAISS
 from langchain.chains import RetrievalQA
-# Chọn một LLM từ Langchain Community (ví dụ: chạy mô hình GGML/GGUF cục bộ)
-from langchain_community.llms import CTransformers # Hoặc LlamaCpp nếu bạn muốn dùng Llama.cpp
-from langchain_community.llms import HuggingFaceHub
-import os
-
-# --- Cấu hình ---
-pdf_path = "duong_dan_den_file_pdf_cua_ban.pdf" # <-- THAY ĐỔI ĐƯỜNG DẪN NÀY
-embedding_model_name = "all-MiniLM-L6-v2" # Model embedding phổ biến từ Sentence Transformers
-# Cấu hình cho LLM chạy cục bộ (sử dụng CTransformers với model định dạng GGUF)
-# Bạn cần tải về một model phù hợp, ví dụ từ TheBloke trên Hugging Face
-# Ví dụ: https://huggingface.co/TheBloke/Mistral-7B-Instruct-v0.1-GGUF
-# Thay đổi đường dẫn và tên file model nếu cần
-llm_model_path = "./models/mistral-7b-instruct-v0.1.Q4_K_M.gguf" # <-- THAY ĐỔI ĐƯỜNG DẪN ĐẾN MODEL GGUF
-llm_model_type = "mistral" # Loại model (ví dụ: llama, gpt2, mistral, etc.)
-
-# --- Các bước thực hiện ---
-
-# 1. Tải tài liệu PDF
-print(f"Đang tải tài liệu từ: {pdf_path}")
-loader = PyPDFLoader(pdf_path)
-documents = loader.load()
-if not documents:
-    print("Lỗi: Không thể tải hoặc không có nội dung trong file PDF.")
-    exit()
-print(f"Đã tải {len(documents)} trang.")
-
-# 2. Chia tài liệu thành các đoạn nhỏ (chunks)
-print("Đang chia tài liệu thành các chunks...")
-text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=100) # Điều chỉnh kích thước chunk nếu cần
-docs = text_splitter.split_documents(documents)
-print(f"Đã chia thành {len(docs)} chunks.")
-
-# 3. Tạo Embeddings cho các chunks và lưu vào Vector Store (FAISS)
-print(f"Đang tạo embeddings bằng model: {embedding_model_name}")
-# Sử dụng HuggingFaceEmbeddings, nó sẽ tự động tải model sentence-transformer
-embeddings = HuggingFaceEmbeddings(model_name=embedding_model_name)
-
-print("Đang xây dựng cơ sở dữ liệu vector FAISS...")
-# Tạo vector store từ các documents và embeddings
-vectorstore = FAISS.from_documents(docs, embeddings)
-print("Đã tạo xong FAISS index.")
-
-# 4. Khởi tạo LLM (Sử dụng CTransformers để chạy model GGUF cục bộ)
-print(f"Đang khởi tạo LLM từ model: {llm_model_path}")
-# Tham khảo tài liệu CTransformers để biết các tham số cấu hình khác
-# https://python.langchain.com/docs/integrations/llms/ctransformers
-llm = HuggingFaceHub(
-    repo_id="google/flan-t5-large", # Chọn một model trên Hub
-    model_kwargs={"temperature": 0.7, "max_length": 512}
-)
-print("Đã khởi tạo LLM.")
-
-# 5. Tạo chuỗi RetrievalQA
-# Chuỗi này sẽ lấy câu hỏi, tìm kiếm chunks liên quan trong vector store,
-# và đưa chunks đó cùng câu hỏi cho LLM để tạo câu trả lời.
-print("Đang tạo chuỗi RetrievalQA...")
-qa_chain = RetrievalQA.from_chain_type(
-    llm=llm,
-    chain_type="stuff", # Các loại chain khác: "map_reduce", "refine", "map_rerank"
-    retriever=vectorstore.as_retriever(search_kwargs={'k': 3}), # Lấy 3 chunks liên quan nhất
-    return_source_documents=True # Tùy chọn: trả về các chunks nguồn đã sử dụng
-)
-print("Chatbot đã sẵn sàng!")
-
-# 6. Vòng lặp hỏi đáp
-while True:
-    query = input("\nNhập câu hỏi của bạn (hoặc gõ 'quit' để thoát): ")
-    if query.lower() == 'quit':
-        break
-    if not query:
-        continue
-
-    print("Đang xử lý câu hỏi...")
-    # Chạy chuỗi để nhận câu trả lời
-    result = qa_chain.invoke({"query": query}) # Sử dụng invoke thay vì __call__ hoặc run
-
-    print("\nCâu trả lời:")
-    print(result['result'])
-
-    # Tùy chọn: In ra các source documents được sử dụng
-    # print("\nCác đoạn văn bản nguồn được sử dụng:")
-    # for source_doc in result.get('source_documents', []):
-    #     print(f"- Trang {source_doc.metadata.get('page', 'N/A')}: ...{source_doc.page_content[:100]}...")
-
-print("Tạm biệt!")
+from langchain.llms import HuggingFacePipeline
+from transformers import AutoTokenizer, AutoModelForSeq2SeqLM, pipeline
+
+import streamlit as st
+import tempfile
+
+# Load FLAN-T5 model
+model_name = "google/flan-t5-base"
+tokenizer = AutoTokenizer.from_pretrained(model_name)
+model = AutoModelForSeq2SeqLM.from_pretrained(model_name)
+
+pipe = pipeline("text2text-generation", model=model, tokenizer=tokenizer, max_length=512)
+llm = HuggingFacePipeline(pipeline=pipe)
+
+# Streamlit UI
+st.title("Chat with PDF (FLAN-T5, no OpenAI)")
+
+uploaded_file = st.file_uploader("Upload a PDF", type="pdf")
+if uploaded_file:
+    with tempfile.NamedTemporaryFile(delete=False, suffix=".pdf") as tmp_file:
+        tmp_file.write(uploaded_file.read())
+        pdf_path = tmp_file.name
+
+    # Load PDF
+    loader = PyPDFLoader(pdf_path)
+    documents = loader.load()
+
+    # Split text
+    splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=200)
+    docs = splitter.split_documents(documents)
+
+    # Embed & Store
+    embedding = SentenceTransformerEmbeddings(model_name="all-MiniLM-L6-v2")
+    db = FAISS.from_documents(docs, embedding)
+    retriever = db.as_retriever()
+
+    # RetrievalQA chain
+    qa_chain = RetrievalQA.from_chain_type(
+        llm=llm,
+        chain_type="stuff",
+        retriever=retriever,
+        return_source_documents=True
+    )
+
+    # Chat input
+    query = st.text_input("Ask a question about the PDF:")
+    if query:
+        result = qa_chain(query)
+        st.write("### Answer:")
+        st.write(result["result"])