Final: Menggunakan model ringan dan database baru

Dockerfile

@@ -2,4 +2,7 @@ FROM python:3.9-slim
 WORKDIR /code
 COPY . .
 RUN pip install --no-cache-dir --upgrade -r requirements.txt
+RUN python download_model.py
+RUN mkdir -p /app/.cache
+ENV SENTENCE_TRANSFORMERS_HOME=/app/.cache
 CMD ["gunicorn", "--bind", "0.0.0.0:7860", "--workers", "1", "app:app"]

app.py

@@ -1,39 +1,96 @@
-from flask import Flask, render_template, request, jsonify
+from flask import Flask, render_template, request, jsonify, session
 from langchain_google_genai import ChatGoogleGenerativeAI
+from langchain_huggingface import HuggingFaceEmbeddings
+from langchain_chroma import Chroma
+from langchain_core.prompts import ChatPromptTemplate, MessagesPlaceholder
+from langchain.chains import create_history_aware_retriever, create_retrieval_chain
+from langchain.chains.combine_documents import create_stuff_documents_chain
+from langchain_core.messages import HumanMessage, AIMessage
 from dotenv import load_dotenv
 import os
 
+# Memuat variabel lingkungan (untuk testing lokal dan kunci API di server)
 load_dotenv()
 
 app = Flask(__name__, template_folder='templates')
+app.secret_key = os.urandom(24)
+
+# --- Inisialisasi Komponen Utama ---
+vectorstore = None
 llm = None
+retriever = None
+rag_chain = None
 
 try:
+    # 1. Menyiapkan Model Embedding yang Ringan
+    # Model ini akan mengambil data dari cache yang sudah di-download saat build
+    embedding_model = HuggingFaceEmbeddings(model_name="all-MiniLM-L6-v2")
+    
+    # 2. Memuat Vectorstore (Database Chroma)
+    vectorstore = Chroma(
+        persist_directory="data",
+        embedding_function=embedding_model
+    )
+    retriever = vectorstore.as_retriever(search_kwargs={"k": 5})
+    print("Vectorstore berhasil dimuat dan retriever dibuat.")
+    
+    # 3. Menyiapkan Model AI (LLM)
     llm = ChatGoogleGenerativeAI(model="gemini-1.5-flash", temperature=0.2)
     print("Model AI (Gemini) berhasil diinisialisasi.")
+
+    # 4. Membuat RAG Chain (Logika Inti Aplikasi)
+    contextualize_q_prompt = ChatPromptTemplate.from_messages([
+        ("system", "Mengingat riwayat percakapan dan pertanyaan terbaru, formulasikan ulang pertanyaan menjadi pertanyaan yang berdiri sendiri."),
+        MessagesPlaceholder("chat_history"),
+        ("human", "{input}"),
+    ])
+    history_aware_retriever = create_history_aware_retriever(llm, retriever, contextualize_q_prompt)
+    
+    qa_prompt = ChatPromptTemplate.from_messages([
+        ("system", "Anda adalah asisten AI untuk BPVP Kota Sorong. Gunakan potongan konteks berikut untuk menjawab pertanyaan. Jika tidak tahu jawabannya, katakan saja Anda tidak tahu. Jawab dalam bahasa Indonesia.\n\nKonteks:\n{context}"),
+        MessagesPlaceholder("chat_history"),
+        ("human", "{input}"),
+    ])
+    question_answer_chain = create_stuff_documents_chain(llm, qa_prompt)
+    rag_chain = create_retrieval_chain(history_aware_retriever, question_answer_chain)
+    print("RAG Chain berhasil dibuat.")
+
 except Exception as e:
-    print(f"GALAT PENTING: Gagal menginisialisasi model Gemini: {e}")
+    print(f"GALAT PENTING SAAT INISIALISASI: {e}")
+
+# --- Rute Aplikasi Flask ---
 
 @app.route('/')
 def home():
+    session.pop("chat_history", None)
     return render_template('index.html')
 
 @app.route('/get', methods=['GET'])
 def get_response():
-    if not llm:
-        return jsonify({"error": "Server belum siap. Model AI tidak terinisialisasi."}), 503
+    if not rag_chain:
+        return jsonify({"error": "Server belum siap. Periksa log untuk galat inisialisasi."}), 503
 
     user_message = request.args.get('msg')
     if not user_message:
         return jsonify({"error": "Pesan tidak boleh kosong."}), 400
-    
+
+    chat_history_from_session = session.get("chat_history", [])
+    chat_history = [HumanMessage(content=msg["message"]) if msg.get("sender") == "user" else AIMessage(content=msg["message"]) for msg in chat_history_from_session]
+
     try:
-        response = llm.invoke(user_message)
-        answer = response.content
+        response = rag_chain.invoke({"input": user_message, "chat_history": chat_history})
+        answer = response.get("answer", "Maaf, saya tidak dapat menemukan jawaban untuk itu.")
+
+        new_history = session.get("chat_history", [])
+        new_history.append({"sender": "user", "message": user_message})
+        new_history.append({"sender": "ai", "message": answer})
+        session["chat_history"] = new_history
+        
         return jsonify(answer)
+
     except Exception as e:
-        print(f"GALAT saat memanggil LLM: {e}")
-        return jsonify({"error": "Maaf, terjadi masalah saat memproses permintaan Anda."}), 500
+        print(f"GALAT saat menjalankan RAG Chain: {e}")
+        return jsonify({"error": "Maaf, terjadi masalah internal saat memproses permintaan Anda."}), 500
 
 if __name__ == '__main__':
-    app.run(debug=True, host='0.0.0.0', port=7860)
+    app.run(debug=True)

vector_embeddings.py

@@ -0,0 +1,79 @@
+import os
+from langchain_community.document_loaders import PyPDFLoader
+from langchain.text_splitter import RecursiveCharacterTextSplitter
+from langchain_chroma import Chroma
+from langchain_huggingface import HuggingFaceEmbeddings
+from dotenv import load_dotenv
+
+# Memuat variabel lingkungan dari file .env
+load_dotenv()
+
+# --- KONFIGURASI ---
+SOURCE_DIRECTORY = "source_data"
+PERSIST_DIRECTORY = "data"
+# ✅ MODEL SUDAH DIGANTI KE VERSI YANG LEBIH RINGAN
+EMBEDDING_MODEL = "all-MiniLM-L6-v2"
+CHUNK_SIZE = 1000
+CHUNK_OVERLAP = 100
+
+def create_vector_store():
+    """
+    Fungsi untuk memuat PDF, membaginya menjadi potongan,
+    dan membuat database vektor Chroma yang persisten.
+    """
+    # 1. Memuat semua dokumen PDF dari direktori sumber
+    pdf_files = [f for f in os.listdir(SOURCE_DIRECTORY) if f.endswith('.pdf')]
+    if not pdf_files:
+        print(f"Tidak ada file PDF yang ditemukan di folder '{SOURCE_DIRECTORY}'.")
+        return
+
+    all_docs = []
+    print("Memulai proses memuat dokumen PDF...")
+    for pdf_file in pdf_files:
+        try:
+            file_path = os.path.join(SOURCE_DIRECTORY, pdf_file)
+            loader = PyPDFLoader(file_path)
+            data = loader.load()
+            all_docs.extend(data)
+            print(f"-> Berhasil memuat {len(data)} halaman dari '{pdf_file}'")
+        except Exception as e:
+            print(f"-> GAGAL memuat PDF '{pdf_file}': {e}")
+
+    if not all_docs:
+        print("Tidak ada data yang berhasil dimuat dari PDF. Proses dihentikan.")
+        return
+
+    # 2. Membagi dokumen menjadi potongan-potongan kecil (chunks)
+    print("\nMembagi dokumen menjadi potongan teks...")
+    text_splitter = RecursiveCharacterTextSplitter(
+        chunk_size=CHUNK_SIZE,
+        chunk_overlap=CHUNK_OVERLAP
+    )
+    docs_split = text_splitter.split_documents(all_docs)
+    print(f"Total potongan dokumen yang dibuat: {len(docs_split)}")
+
+    # 3. Menginisialisasi model embedding
+    print(f"\nMenginisialisasi model embedding: {EMBEDDING_MODEL}...")
+    try:
+        embeddings = HuggingFaceEmbeddings(model_name=EMBEDDING_MODEL)
+    except Exception as e:
+        print(f"GALAT: Gagal menginisialisasi model embedding: {e}")
+        print("Pastikan Anda memiliki koneksi internet dan library 'sentence-transformers' terinstal.")
+        return
+
+    # 4. Membuat dan menyimpan database vektor Chroma
+    print(f"\nMembuat dan menyimpan vector store di direktori '{PERSIST_DIRECTORY}'...")
+    try:
+        vectorstore = Chroma.from_documents(
+            documents=docs_split,
+            embedding=embeddings,
+            persist_directory=PERSIST_DIRECTORY
+        )
+        print("\n--- PROSES SELESAI ---")
+        print("Database vektor berhasil dibuat dan disimpan.")
+        print("Anda sekarang dapat menjalankan 'app.py' untuk memulai chatbot.")
+    except Exception as e:
+        print(f"GALAT: Gagal membuat vector store Chroma: {e}")
+
+if __name__ == '__main__':
+    create_vector_store()