app.py

import os
import streamlit as st
import subprocess
import openai
import PyPDF2
from langchain_community.vectorstores import FAISS
from langchain.embeddings import HuggingFaceEmbeddings
from openai import OpenAI
from langchain_openai import ChatOpenAI
from typing import List, Dict
from langchain.schema import Document
from langchain_experimental.text_splitter import SemanticChunker # module for chunking text
import os

# Load environment variables
OPENAI_API_KEY = os.getenv("OPENAI_API")
TOKEN=os.getenv('HF_TOKEN')
subprocess.run(["huggingface-cli", "login", "--token", TOKEN, "--add-to-git-credential"])
class PDFChatbot:
    def __init__(self):
       self.azure_client = openai.OpenAI()
       self.conversation_history = []
       self.pdf_content = ""
       self.faiss_index = self.build_faiss_index("data")

    def build_faiss_index(self, pdf_directory: str, chunk_size: int = 3000) -> FAISS:
        """Read PDFs, split into chunks, and build FAISS index."""
        all_text = ""

        for filename in os.listdir(pdf_directory):
            if filename.lower().endswith(".pdf"):
                pdf_path = os.path.join(pdf_directory, filename)
                with open(pdf_path, "rb") as pdf_file:
                    pdf_reader = PyPDF2.PdfReader(pdf_file)
                    for page in pdf_reader.pages:
                        page_text = page.extract_text()
                        if page_text:
                            all_text += page_text + "\n"

        # Split text into ~chunk_size character chunks
        words = all_text.split()
        chunks = []
        current_chunk = []
        current_length = 0

        for word in words:
            if current_length + len(word) + 1 > chunk_size:
                if current_chunk:
                    chunks.append(Document(page_content=" ".join(current_chunk)))
                current_chunk = [word]
                current_length = len(word)
            else:
                current_chunk.append(word)
                current_length += len(word) + 1

        if current_chunk:
            chunks.append(Document(page_content=" ".join(current_chunk)))

        # Embed and index
        embedding_model = HuggingFaceEmbeddings(model_name='bkai-foundation-models/vietnamese-bi-encoder')
        faiss_index = FAISS.from_documents(chunks, embedding_model)
        return faiss_index

    def get_relevant_context(self, user_question: str) -> List[str]:
        """Query the FAISS index for the top relevant chunks."""
        relevant_chunks = self.faiss_index.similarity_search(user_question, k=3)
        return "\n\n".join([doc.page_content for doc in relevant_chunks])
        
    def chat_with_pdf(self, user_question: str, pdf_content: str) -> str:
        """Generate response using Azure OpenAI based on PDF content and user question."""
        # Split PDF content into chunks
        # Get relevant context for the question
        relevant_context = self.get_relevant_context(user_question)
        # Prepare messages for the chat
        messages = [
           {
               "role": "system",
               "content": """You are an experienced insurance agent assistant who helps customers understand their insurance policies and coverage details. Follow these guidelines:
               1. Only provide information based on the PDF content provided
               2. If the answer is not in the PDF, clearly state that the information is not available in the document
               3. Provide clear, concise, and helpful responses in a professional manner
               4. Always respond in Vietnamese using proper grammar and formatting
               5. When possible, reference specific sections or clauses from the policy
               6. Use insurance terminology appropriately but explain complex terms when necessary
               7. Be empathetic and patient, as insurance can be confusing for customers
               8. If asked about claims, coverage limits, deductibles, or policy terms, provide accurate information from the document
               9. Always prioritize customer understanding and satisfaction
               10. If multiple interpretations are possible, explain the different scenarios clearly
               Remember: You are here to help customers understand their insurance coverage better."""
           },
           {
               "role": "user",
               "content": f"""Insurance Document Content:
{relevant_context}
Customer Question: {user_question}
Please provide a helpful response based on the insurance document content above."""
            }
        ]
        # Add conversation history
        for msg in self.conversation_history[-6:]:  # Keep last 6 messages for context
           messages.append(msg)
        # Get response from Azure OpenAI
        response = self.azure_client.chat.completions.create(
           model="gpt-4o-mini",
           messages=messages,
           max_tokens=800, #TODO
           temperature=0.7
        )
        bot_response = response.choices[0].message.content
        # Update conversation history
        self.conversation_history.append({"role": "user", "content": user_question})
        self.conversation_history.append({"role": "assistant", "content": bot_response})
        return bot_response

def main():
    st.set_page_config(page_title="Chatbot MB Ageas Life", page_icon="🛡️", layout="wide")
    st.title("🛡️ Chatbot tư vấn bảo hiểm của công ty bảo hiểm nhân thọ MB Ageas Life")
    # Initialize chatbot
    if 'chatbot' not in st.session_state:
        st.session_state.chatbot = PDFChatbot()
        st.session_state.pdf_processed = False
        st.session_state.chat_history = []
    # Sidebar for PDF upload and settings
   
# Clear conversation
        if st.button("Xóa lịch sử"):
            st.session_state.chatbot.conversation_history = []
            st.session_state.chat_history = []
            st.rerun()
    # Main chat interface
    st.header("💬 Hãy đặt câu hỏi cho tôi về gói bảo hiểm bạn quan tâm")
    # Display chat history
    for i, (question, answer) in enumerate(st.session_state.chat_history):
        with st.container():
            st.markdown(f"**Câu hỏi:** {question}")
            st.markdown(f"**Trợ lý bảo hiểm:** {answer}")
            st.divider()
        # Chat input
    user_question = st.chat_input("Hãy đặt những câu hỏi về hợp đồng bảo hiểm cơ bản...")
    if user_question:
        with st.spinner("Đang đưa ra câu trả lời..."):
            # Get response from chatbot
            response = st.session_state.chatbot.chat_with_pdf(
               user_question,
               st.session_state.chatbot.pdf_content
            )
            # Add to chat history
            st.session_state.chat_history.append((user_question, response))
            # Display the new response
            st.markdown(f"**Câu hỏi:** {user_question}")
            st.markdown(f"**Trợ lý bảo hiểm:** {response}")
    else:
        # Show example questions
        st.subheader("Các câu hỏi bạn có thể hỏi:")
        st.markdown("""
        - Giới hạn bảo hiểm cho thiệt hại tài sản của tôi là bao nhiêu?
        - Mức khấu trừ của tôi là bao nhiêu?
        - Những loại sự cố nào được bảo hiểm theo hợp đồng này?
        - Những gì không được bảo hiểm?
        - Làm thế nào để tôi nộp đơn yêu cầu bồi thường?
        - Quy trình giải quyết yêu cầu bồi thường như thế nào?
        - Tôi có những lựa chọn nào để thanh toán phí bảo hiểm?
        - Hợp đồng bảo hiểm của tôi hết hạn khi nào?
        - Bảo hiểm có bao gồm thiệt hại do lũ lụt không?
        - Tôi cần những giấy tờ gì khi nộp đơn yêu cầu bồi thường?
        """)

        # Thêm mẹo bảo hiểm
        st.subheader("💡 Mẹo về bảo hiểm")
        st.markdown("""
        - Thường xuyên xem lại hợp đồng bảo hiểm để hiểu rõ quyền lợi của bạn
        - Lưu giữ tài liệu bảo hiểm ở nơi an toàn
        - Cập nhật quyền lợi bảo hiểm khi hoàn cảnh của bạn thay đổi
        - Ghi lại mọi sự cố ngay khi xảy ra
        - Liên hệ với đại lý bảo hiểm nếu bạn có bất kỳ câu hỏi nào
        """)

if __name__ == "__main__":
    main()