Upload 7 files

.gitattributes

@@ -1,35 +1,35 @@
-*.7z filter=lfs diff=lfs merge=lfs -text
-*.arrow filter=lfs diff=lfs merge=lfs -text
-*.bin filter=lfs diff=lfs merge=lfs -text
-*.bz2 filter=lfs diff=lfs merge=lfs -text
-*.ckpt filter=lfs diff=lfs merge=lfs -text
-*.ftz filter=lfs diff=lfs merge=lfs -text
-*.gz filter=lfs diff=lfs merge=lfs -text
-*.h5 filter=lfs diff=lfs merge=lfs -text
-*.joblib filter=lfs diff=lfs merge=lfs -text
-*.lfs.* filter=lfs diff=lfs merge=lfs -text
-*.mlmodel filter=lfs diff=lfs merge=lfs -text
-*.model filter=lfs diff=lfs merge=lfs -text
-*.msgpack filter=lfs diff=lfs merge=lfs -text
-*.npy filter=lfs diff=lfs merge=lfs -text
-*.npz filter=lfs diff=lfs merge=lfs -text
-*.onnx filter=lfs diff=lfs merge=lfs -text
-*.ot filter=lfs diff=lfs merge=lfs -text
-*.parquet filter=lfs diff=lfs merge=lfs -text
-*.pb filter=lfs diff=lfs merge=lfs -text
-*.pickle filter=lfs diff=lfs merge=lfs -text
-*.pkl filter=lfs diff=lfs merge=lfs -text
-*.pt filter=lfs diff=lfs merge=lfs -text
-*.pth filter=lfs diff=lfs merge=lfs -text
-*.rar filter=lfs diff=lfs merge=lfs -text
-*.safetensors filter=lfs diff=lfs merge=lfs -text
-saved_model/**/* filter=lfs diff=lfs merge=lfs -text
-*.tar.* filter=lfs diff=lfs merge=lfs -text
-*.tar filter=lfs diff=lfs merge=lfs -text
-*.tflite filter=lfs diff=lfs merge=lfs -text
-*.tgz filter=lfs diff=lfs merge=lfs -text
-*.wasm filter=lfs diff=lfs merge=lfs -text
-*.xz filter=lfs diff=lfs merge=lfs -text
-*.zip filter=lfs diff=lfs merge=lfs -text
-*.zst filter=lfs diff=lfs merge=lfs -text
-*tfevents* filter=lfs diff=lfs merge=lfs -text
+*.7z filter=lfs diff=lfs merge=lfs -text
+*.arrow filter=lfs diff=lfs merge=lfs -text
+*.bin filter=lfs diff=lfs merge=lfs -text
+*.bz2 filter=lfs diff=lfs merge=lfs -text
+*.ckpt filter=lfs diff=lfs merge=lfs -text
+*.ftz filter=lfs diff=lfs merge=lfs -text
+*.gz filter=lfs diff=lfs merge=lfs -text
+*.h5 filter=lfs diff=lfs merge=lfs -text
+*.joblib filter=lfs diff=lfs merge=lfs -text
+*.lfs.* filter=lfs diff=lfs merge=lfs -text
+*.mlmodel filter=lfs diff=lfs merge=lfs -text
+*.model filter=lfs diff=lfs merge=lfs -text
+*.msgpack filter=lfs diff=lfs merge=lfs -text
+*.npy filter=lfs diff=lfs merge=lfs -text
+*.npz filter=lfs diff=lfs merge=lfs -text
+*.onnx filter=lfs diff=lfs merge=lfs -text
+*.ot filter=lfs diff=lfs merge=lfs -text
+*.parquet filter=lfs diff=lfs merge=lfs -text
+*.pb filter=lfs diff=lfs merge=lfs -text
+*.pickle filter=lfs diff=lfs merge=lfs -text
+*.pkl filter=lfs diff=lfs merge=lfs -text
+*.pt filter=lfs diff=lfs merge=lfs -text
+*.pth filter=lfs diff=lfs merge=lfs -text
+*.rar filter=lfs diff=lfs merge=lfs -text
+*.safetensors filter=lfs diff=lfs merge=lfs -text
+saved_model/**/* filter=lfs diff=lfs merge=lfs -text
+*.tar.* filter=lfs diff=lfs merge=lfs -text
+*.tar filter=lfs diff=lfs merge=lfs -text
+*.tflite filter=lfs diff=lfs merge=lfs -text
+*.tgz filter=lfs diff=lfs merge=lfs -text
+*.wasm filter=lfs diff=lfs merge=lfs -text
+*.xz filter=lfs diff=lfs merge=lfs -text
+*.zip filter=lfs diff=lfs merge=lfs -text
+*.zst filter=lfs diff=lfs merge=lfs -text
+*tfevents* filter=lfs diff=lfs merge=lfs -text

Dockerfile

@@ -1,21 +1,42 @@
-FROM python:3.9-slim
-
-WORKDIR /app
-
-RUN apt-get update && apt-get install -y \
-    build-essential \
-    curl \
-    software-properties-common \
-    git \
-    && rm -rf /var/lib/apt/lists/*
-
-COPY requirements.txt ./
-COPY src/ ./src/
-
-RUN pip3 install -r requirements.txt
-
-EXPOSE 8501
-
-HEALTHCHECK CMD curl --fail http://localhost:8501/_stcore/health
-
-ENTRYPOINT ["streamlit", "run", "src/streamlit_app.py", "--server.port=8501", "--server.address=0.0.0.0"]
+# Use the official Python image from the Docker Hub
+FROM python:3.10-slim
+
+# Set up a new user named "user" with user ID 1000
+RUN useradd -m -u 1000 user
+
+# Set environment variables for the cache directory (use a writable directory)
+ENV TRANSFORMERS_CACHE=/home/user/.cache/huggingface
+
+# Create and set the cache directory so the user can write to it
+RUN mkdir -p /home/user/.cache/huggingface && chown -R user:user /home/user/.cache
+
+# Switch to the "user" user
+USER user
+
+# Set home to the user's home directory
+ENV HOME=/home/user \
+    PATH=/home/user/.local/bin:$PATH
+
+# Set the working directory to the user's home directory
+WORKDIR $HOME/app
+
+# Upgrade pip to the latest version to avoid issues with outdated pip
+RUN pip install --no-cache-dir --upgrade pip
+
+# Copy the current directory contents into the container at $HOME/app setting the owner to the user
+COPY --chown=user . $HOME/app
+
+# Install dependencies
+RUN pip install --no-cache-dir -r requirements.txt
+
+# Download any necessary assets
+RUN mkdir content
+ADD --chown=user https://huggingface.co/datasets/manhteky123/LawVietnamese/resolve/main/data.csv content/data.csv
+ADD --chown=user https://huggingface.co/datasets/manhteky123/LawVietnamese/resolve/main/faiss_index.bin content/faiss_index.bin
+ADD --chown=user https://huggingface.co/datasets/manhteky123/LawVietnamese/resolve/main/vectors.npy content/vectors.npy
+
+# Expose the port the app runs on
+EXPOSE 5000
+
+# Define the command to run the application
+CMD ["python", "app.py"]

README.md

@@ -1,19 +1,10 @@
----
-title: LAWCHAT
-emoji: 🚀
-colorFrom: red
-colorTo: red
-sdk: docker
-app_port: 8501
-tags:
-- streamlit
-pinned: false
-short_description: Streamlit template space
----
-
-# Welcome to Streamlit!
-
-Edit `/src/streamlit_app.py` to customize this app to your heart's desire. :heart:
-
-If you have any questions, checkout our [documentation](https://docs.streamlit.io) and [community
-forums](https://discuss.streamlit.io).
+---
+title: VN Law Chat
+emoji: 👁
+colorFrom: indigo
+colorTo: green
+sdk: docker
+pinned: false
+---
+
+Check out the configuration reference at https://huggingface.co/docs/hub/spaces-config-reference

app.py

@@ -0,0 +1,38 @@
+from flask import Flask, request, jsonify, render_template, session
+from retrieval import retrieve_documents
+from generation import generate_response
+import os
+
+app = Flask(__name__)
+app.secret_key = os.urandom(24)  # Set a secret key for session management
+
+@app.route('/')
+def index():
+    return render_template('index.html')
+
+@app.route('/retrieve', methods=['POST'])
+def retrieve():
+    query = request.json.get('query')
+    documents = retrieve_documents(query)
+    return jsonify(documents)
+
+@app.route('/generate', methods=['POST'])
+def generate():
+    context = request.json.get('context')
+    retrieved_data = request.json.get('retrieved_data', [])
+
+    # Get the conversation history from the session
+    conversation_history = session.get('conversation_history', [])
+    conversation_history.append(context)
+    session['conversation_history'] = conversation_history
+
+    response = generate_response(context, retrieved_data, conversation_history)
+    return jsonify(response)
+
+@app.route('/reset', methods=['POST'])
+def reset():
+    session.pop('conversation_history', None)
+    return jsonify({"message": "Conversation history reset."})
+
+if __name__ == "__main__":
+    app.run(host="0.0.0.0", port=7860)

generation.py

@@ -0,0 +1,78 @@
+import google.generativeai as genai
+
+# Configure the API key
+genai.configure(api_key="AIzaSyBHAbEv8rMAbhAoBWXsubsUHqwP-EAlp6I")
+
+from google.generativeai.types import HarmCategory, HarmBlockThreshold
+
+safe = {
+    "HARM_CATEGORY_HARASSMENT": "BLOCK_NONE",
+    "HARM_CATEGORY_HATE_SPEECH": "BLOCK_NONE",
+    "HARM_CATEGORY_SEXUALLY_EXPLICIT": "BLOCK_NONE",
+    "HARM_CATEGORY_DANGEROUS_CONTENT": "BLOCK_NONE",
+}
+
+def generate_response(context, retrieved_data, conversation_history):
+    """
+    Generate a response using a generative AI model in a Retrieval-Augmented Generation (RAG) setup.
+
+    Parameters:
+        context (str): The user's question or query.
+        retrieved_data (str): Relevant information retrieved from the database.
+        conversation_history (list): List of previous questions in the conversation.
+
+    Returns:
+        str: The response generated by the model.
+    """
+    # Select the appropriate model
+    model = genai.GenerativeModel("gemini-2.0-flash")
+
+    # Construct the prompt based on the availability of retrieved data
+    if conversation_history:
+        history = "\n".join(conversation_history)
+        if retrieved_data:
+            prompt = (
+                "Bạn là một chuyên gia tư vấn luật pháp hàng đầu tại Việt Nam với kiến thức sâu rộng và kinh nghiệm thực tiễn. "
+                "Dựa trên các thông tin được cung cấp dưới đây, hãy đưa ra câu trả lời chi tiết, dễ hiểu và có tính chuyên nghiệp cao để hỗ trợ người dùng:\n"
+                "--- Thông tin tham khảo ---\n"
+                f"{retrieved_data}\n\n"
+                "--- Lịch sử cuộc trò chuyện ---\n"
+                f"{history}\n\n"
+                "--- Câu hỏi hiện tại của người dùng ---\n"
+                f"{context}\n\n"
+                "Hãy đảm bảo câu trả lời được trình bày một cách rõ ràng, chính xác, và phù hợp với ngữ cảnh pháp lý tại Việt Nam."
+            )
+        else:
+            prompt = (
+                "Bạn là một chuyên gia tư vấn luật pháp hàng đầu tại Việt Nam. "
+                "Hiện tại, không có thông tin cụ thể nào để hỗ trợ trả lời câu hỏi của người dùng. "
+                "Vui lòng yêu cầu người dùng cung cấp thêm thông tin chi tiết hoặc hướng dẫn họ tập trung vào các khía cạnh cụ thể hơn liên quan đến luật pháp Việt Nam."
+            )
+    else:
+        if retrieved_data:
+            prompt = (
+                "Bạn là một chuyên gia tư vấn luật pháp hàng đầu tại Việt Nam với kiến thức sâu rộng và kinh nghiệm thực tiễn. "
+                "Dựa trên các thông tin được cung cấp dưới đây, hãy đưa ra câu trả lời chi tiết, dễ hiểu và có tính chuyên nghiệp cao để hỗ trợ người dùng:\n"
+                "--- Thông tin tham khảo ---\n"
+                f"{retrieved_data}\n\n"
+                "--- Câu hỏi hiện tại của người dùng ---\n"
+                f"{context}\n\n"
+                "Hãy đảm bảo câu trả lời được trình bày một cách rõ ràng, chính xác, và phù hợp với ngữ cảnh pháp lý tại Việt Nam."
+            )
+        else:
+            prompt = (
+                "Bạn là một chuyên gia tư vấn luật pháp hàng đầu tại Việt Nam. "
+                "Hiện tại, không có thông tin cụ thể nào để hỗ trợ trả lời câu hỏi của người dùng. "
+                "Vui lòng yêu cầu người dùng cung cấp thêm thông tin chi tiết hoặc hướng dẫn họ tập trung vào các khía cạnh cụ thể hơn liên quan đến luật pháp Việt Nam."
+            )
+
+    # Generate the response using the model
+    
+    try:
+        response = model.generate_content(prompt, safety_settings=safe)
+        if response and response.text:
+            return response.text.strip()
+        else:
+            return "Lỗi: Không có phản hồi từ mô hình."
+    except Exception as e:
+        return f"Đã xảy ra lỗi khi gọi mô hình: {str(e)}"

requirements.txt

@@ -1,3 +1,11 @@
-altair
-pandas
-streamlit
+Flask==2.1.2
+google-generativeai
+faiss-cpu==1.7.2
+pandas==1.3.3
+numpy==1.21.2
+tqdm==4.62.3
+pyngrok==5.1.0
+requests==2.26.0
+Werkzeug==2.2.2
+sentence-transformers==2.2.2
+huggingface-hub==0.11.0

retrieval.py

@@ -0,0 +1,69 @@
+import os
+import pandas as pd
+from sentence_transformers import SentenceTransformer
+import numpy as np
+from tqdm import tqdm
+import csv
+import faiss
+import requests
+
+os.environ['TRANSFORMERS_CACHE'] = '/tmp/huggingface_cache'
+
+# URLs of files from Hugging Face
+base_url = "https://huggingface.co/datasets/manhteky123/LawVietnamese/resolve/main/"
+data_url = f"{base_url}data.csv"
+faiss_index_url = f"{base_url}faiss_index.bin"
+vectors_url = f"{base_url}vectors.npy"
+
+# Function to download files to disk
+def download_to_disk(url, filename):
+    response = requests.get(url)
+    if response.status_code == 200:
+        with open(filename, 'wb') as f:
+            f.write(response.content)
+        print(f"Downloaded {url} to {filename}.")
+    else:
+        raise Exception(f"Failed to download {url}: {response.status_code}")
+
+# Download the necessary files to disk
+data_file_path = 'data.csv'
+faiss_index_file_path = 'faiss_index.bin'
+vectors_file_path = 'vectors.npy'
+
+download_to_disk(data_url, data_file_path)
+download_to_disk(faiss_index_url, faiss_index_file_path)
+download_to_disk(vectors_url, vectors_file_path)
+
+# Read the CSV data from the downloaded file
+with open(data_file_path, 'r', encoding='utf-8') as file:
+    reader = csv.reader(file)
+    next(reader)  # Skip the header row
+    data = [row[0].split(',', 2) for row in reader]
+    df = pd.DataFrame(data, columns=['so_hieu', 'dieu', 'truncated_text'])
+
+print(df.head())
+
+# Use the correct column name
+column_name = 'truncated_text'
+
+# Use the 'truncated_text' column
+column_name = 'truncated_text'
+
+# Load SentenceTransformer
+model = SentenceTransformer('intfloat/multilingual-e5-small')
+
+# Read FAISS index from file
+index = faiss.read_index(faiss_index_file_path)
+
+# Load vectors
+vectors = np.load(vectors_file_path)
+
+def retrieve_documents(query, k=5, threshold=0.7):
+    query_vector = model.encode([query], convert_to_tensor=True).cpu().numpy()
+    D, I = index.search(query_vector, k)
+    similarities = 1 / (1 + D[0])
+    filtered_documents = []
+    for i, similarity in enumerate(similarities):
+        if similarity >= threshold:
+            filtered_documents.append(df.iloc[I[0][i]][column_name])
+    return filtered_documents