first commit

Dockerfile

@@ -0,0 +1,24 @@
+FROM python:3.10
+
+WORKDIR /app
+COPY . /app/
+RUN pip install --upgrade pip
+RUN pip install --no-cache-dir --upgrade -r /app/requirements.txt
+
+RUN apt-get update
+RUN apt-get install -y tdsodbc unixodbc-dev
+RUN apt install unixodbc -y
+RUN apt-get clean -y
+# DEPENDECES FOR DOWNLOAD ODBC DRIVER
+RUN apt-get install apt-transport-https
+RUN curl https://packages.microsoft.com/keys/microsoft.asc | apt-key add -
+RUN curl https://packages.microsoft.com/config/debian/10/prod.list > /etc/apt/sources.list.d/mssql-release.list
+RUN apt-get update
+# INSTALL ODBC DRIVER
+RUN ACCEPT_EULA=Y apt-get install msodbcsql17 --assume-yes
+# CONFIGURE ENV FOR /bin/bash TO USE MSODBCSQL17
+RUN echo 'export PATH="$PATH:/opt/mssql-tools/bin"' >> ~/.bash_profile
+RUN echo 'export PATH="$PATH:/opt/mssql-tools/bin"' >> ~/.bashrc
+
+ENTRYPOINT [ "streamlit" , "run"]
+CMD ["/app/HOME.py", "--server.address", "0.0.0.0", "--server.port", "7860", "tuananguyen-TCDK.hf.space"]

HOME.py

@@ -0,0 +1,36 @@
+import streamlit as st
+from ui import *
+from functions import *
+from PIL import Image
+from dotenv import load_dotenv
+
+logo = Image.open("./assets/images/logo.png")
+st.set_page_config(# Alternate names: setup_page, page, layout
+                layout="wide",  # Can be "centered" or "wide". In the future also "dashboard", etc.
+                initial_sidebar_state="auto",  # Can be "auto", "expanded", "collapsed"
+                page_title="CSDL TCDK",  # String or None. Strings get appended with "• Streamlit". 
+                page_icon=logo,  # String, anything supported by st.image, or None.
+                )
+# Add logo to sidebar
+# add_logo()
+
+# --- LOAD CSS ------------------------------------------------------------------
+with open("./style/style.css") as f:
+    st.markdown(f"<style>{f.read()}</style>", unsafe_allow_html=True)
+
+# --- LOAD .ENV -----------------------------------------------------------------
+# Load environment variables from .env file
+load_dotenv()
+
+# --- GIOI THIEU ----------------------------------------------------------------
+content = """
+### Công cụ hỏi đáp với Cơ sở dữ liệu bài báo Tạp chí Dầu khí
+Công cụ hỏi đáp với Cơ sở dữ liệu bài báo Tạp chí Dầu khí là một ứng dụng mạnh mẽ và tiện lợi giúp bạn tra cứu thông tin về các bài báo, tác giả, tóm tắt và nhiều tính năng khác liên quan đến lĩnh vực dầu khí. Với sự kết hợp giữa cơ sở dữ liệu phong phú và tính năng hỏi đáp thông minh, công cụ này sẽ giúp bạn dễ dàng tìm kiếm và tiếp cận kiến thức chuyên ngành một cách nhanh chóng.
+#### Tính năng chính:
+1. **Tra cứu bài báo**: Bạn có thể tìm kiếm bất kỳ bài báo nào trong cơ sở dữ liệu của Tạp chí Dầu khí dựa trên tiêu đề, tác giả, hoặc từ khóa liên quan.
+2. **Tra cứu tác giả**: Công cụ cho phép bạn xem thông tin chi tiết về các tác giả, bao gồm danh sách các bài báo họ đã viết.
+3. **Tóm tắt bài báo**: Bạn có thể đọc tóm tắt ngắn gọn của các bài báo để nắm bắt nội dung chính một cách nhanh chóng.
+4. **Hỏi đáp với nội dung bài báo**: Tính năng này cho phép bạn đặt câu hỏi và nhận được câu trả lời dựa trên nội dung của các bài báo trong cơ sở dữ liệu. Điều này giúp bạn giải quyết các vấn đề và thắc mắc liên quan đến dầu khí một cách hiệu quả.
+Với công cụ hỏi đáp này, bạn sẽ có trải nghiệm nhanh chóng và tiện lợi khi tìm hiểu về lĩnh vực quan trọng của dầu khí. Hãy khám phá ngay để nâng cao kiến thức và năng lực của bạn trong lĩnh vực này.
+"""
+st.markdown(content)

LICENSE

@@ -0,0 +1,21 @@
+MIT License
+
+Copyright (c) 2023 tuan.a.nguyen
+
+Permission is hereby granted, free of charge, to any person obtaining a copy
+of this software and associated documentation files (the "Software"), to deal
+in the Software without restriction, including without limitation the rights
+to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
+copies of the Software, and to permit persons to whom the Software is
+furnished to do so, subject to the following conditions:
+
+The above copyright notice and this permission notice shall be included in all
+copies or substantial portions of the Software.
+
+THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
+IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
+FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
+AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
+LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
+OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
+SOFTWARE.

README.md

@@ -1,10 +1,11 @@
 ---
-title: README
-emoji: 📈
-colorFrom: gray
-colorTo: blue
-sdk: static
+title: TCDK
+emoji: 🐨
+colorFrom: pink
+colorTo: yellow
+sdk: docker
 pinned: false
+license: apache-2.0
 ---
 
-Edit this `README.md` markdown file to author your organization card.
+Check out the configuration reference at https://huggingface.co/docs/hub/spaces-config-reference

assets/credential/ambient-hulling-389607-89c372b7af63.json

@@ -0,0 +1,13 @@
+{
+  "type": "service_account",
+  "project_id": "ambient-hulling-389607",
+  "private_key_id": "89c372b7af63009ccf01bca809249747251805bc",
+  "private_key": "-----BEGIN PRIVATE KEY-----\nMIIEvgIBADANBgkqhkiG9w0BAQEFAASCBKgwggSkAgEAAoIBAQCYBcIUHlULNHU8\ngr+vtBa1lsvuIRcjdS+sqzAqWJcmTY3j4oad/AkCeGPikCWhX5cfq8z7KBBaNu31\naYztMajumwnvJKte2h0c5c2rnzMJ3tx6JyMoPZsT58ja4GGgwlCKSR5W/LGn3mCp\nAxd8rGBWIxEwT5ASthul9KI9mSzulHPcJ8ZtIjd5XYikUKdsSwjjJVUXjWZE4xzi\nKIBYQ2lDpj+83BGUGCJka+7tnvS78VSiS4bWDOPqF6cqc+JsiURu/dLHUlBCTxWR\nohgSCm46acdadleZVTnJsK6zSg8PLHBqhvQwIHQAudQ4kc13NzbVSnb2t4WeRQXs\n57eF02chAgMBAAECggEAEgdiyiiDvPGycqPt8Dw7EjuJQVsux497AS8HJgp+GHaL\nnIpNnThZ6C9XZzPhppbz0Pd6tpF8iPppM5jaM/oW9v8viSsv4K6c08PEJbWaY7II\nszrnfjr6JHzxUtXX9iz9SL0dqkLLHeWvUHPzqd82iJidjf1tkG6E7mRKBmSfUcbe\nAICzxtC400fDb22dmfxuqeunlWsx0URjSmYV8NXSwmfYHDJ72zxOXb1a1Zf2qbiO\n0nAxPgB+yQ0zQgeEqo0X4pkqc3v5UHlPn0Wph3TcM+EPgn3LZ6aPE3ze03iPWNJp\nXTpXMAcWhqKLAZWd8V/rktY1JFUO0AA5CNLTgW6xjQKBgQDG/zvk7PlpyVij7C7L\naVP9Y649NA7R7sCdRefI2v/yt6uxxFpTrSMlfDAsG0QmksCPmUIeWeX1FUXG9k+A\niQYj+rn2kxRc8Ny2PJfEhahqjwqgIo9dydibsXLkhNG3ptYi3iIqOUb7HBN9nvJG\n4/x6KjHJD38nmPr7/0dNHVIWXQKBgQDDkc76IROYXp5xHjzI9kZQEiBTuc15UhGE\nZs6mi6PvORRRzwTIXGQXdjAIY0dr2BL7/fHLSqniPUYiuvJvJNPNMIkHF50GBS8C\n+vq0N3LMkKRu3UfXPGeapJc0jQFJMMuvziFvInmBqelN4CnUhb73kaaobyn3/oT0\ndaW9oAG/lQKBgCY5rxqpfruYZsOOQerm/7BD7ptpHZOsBinv3LdTgijwqTWLn0JF\nluPDeElwr2WtePncmbvUzvyGKpIujFUHfTt6FTDNTfMQfYUwHIMunYxij8r0+I8u\nj8JQkt5cuSBLFwU5oFx2BjGEUiYmWynM75nT8x5JMMa9dzDi96JTiIotAoGBAJJT\nZ0SZOPsZWH0UfbBzK7q/RTa/33A1qmuhLF9KPddAouZu+YocLrurL1cnSQn0uoeW\nwrIzZBald/OGYtwr9tkgxnXrAg6+FCWruabbkeZjFtToddciF/aJzaSBGAQ2IUCh\n/zwS1Ezi32/oGAQuKes8LDD8M6+c3Me3utG9hXFdAoGBAKBmlDfjj4ecpi7v5K/g\nD3eoLu23w3ZLzH2pzGHKugmXkTR2E7Yl4OPH2AqlujaGBrXPQbq2ly3Y+I7PdXEZ\nkjOlLBy7i+x7PH24fOwkmvXCQN7z/xFBcZKqqSnESOPZXptPxOEFuiWNYLzzqjlu\nsXSLfosRsI8h2Sg8i2Il0fWT\n-----END PRIVATE KEY-----\n",
+  "client_email": "palm-everywhere@ambient-hulling-389607.iam.gserviceaccount.com",
+  "client_id": "115515026441349382697",
+  "auth_uri": "https://accounts.google.com/o/oauth2/auth",
+  "token_uri": "https://oauth2.googleapis.com/token",
+  "auth_provider_x509_cert_url": "https://www.googleapis.com/oauth2/v1/certs",
+  "client_x509_cert_url": "https://www.googleapis.com/robot/v1/metadata/x509/palm-everywhere%40ambient-hulling-389607.iam.gserviceaccount.com",
+  "universe_domain": "googleapis.com"
+}

functions/SK/TCDKPlanner.py

@@ -0,0 +1,36 @@
+import os
+from semantic_kernel.kernel import Kernel
+from semantic_kernel.planning.basic_planner import BasicPlanner
+from semantic_kernel.connectors.ai.open_ai import OpenAIChatCompletion
+from semantic_kernel.utils.settings import openai_settings_from_dot_env
+
+from .plugins.SQLskill.SQLskill import SQLskill
+from .plugins.QdrantSkill.QdrantSkill import QdrantSkillPlan
+from dotenv import load_dotenv
+
+# Load environment variables from .env file
+load_dotenv()
+
+async def main_tcdk(query):
+    # Instantiate your kernel
+    kernel = Kernel()
+
+    # Configure AI service used by the kernel. Load settings from the .env file.
+    api_key, org_id = os.environ['OPENAI_API_KEY'], ""
+
+    kernel.add_text_completion_service(
+        "dv", OpenAIChatCompletion(os.environ['OPENAI_MODEL_NAME'], api_key, org_id)
+    )
+    # Load file txt to a string variable
+    PROMPT = open("functions/SK/plugins/Planner/planner_prompt.txt", "r").read()
+    # Import Qdrant Nested Skill
+    kernel.import_skill(QdrantSkillPlan(), "QdrantSkill")
+    # Import the native functions
+    kernel.import_skill(SQLskill(), "SQLskill")
+
+    planner = BasicPlanner()
+    basic_plan = await planner.create_plan_async(query, kernel, prompt=PROMPT)
+    generated_plan = basic_plan.generated_plan
+    results = await planner.execute_plan_async(basic_plan, kernel)
+    
+    return generated_plan, results

functions/SK/plugins/Planner/GetIntent/config.json

@@ -0,0 +1,21 @@
+{
+    "schema": 1,
+    "description": "Classify user input question into a JSON structure including level of difficulity and some sub questions which are more simpler.", 
+    "type": "completion",
+    "completion": {
+      "max_tokens": 1000,
+      "temperature": 0.0,
+      "top_p": 0.0,
+      "presence_penalty": 0.6,
+      "frequency_penalty": 0.0
+    },
+      "input": {
+        "parameters": [
+              {
+                  "name": "input",
+                  "description": "The user's request.",
+                  "defaultValue": ""
+              }
+            ]
+       }
+  }

functions/SK/plugins/Planner/GetIntent/skprompt.txt

@@ -0,0 +1,43 @@
+Phân loại chủ đề và viết lại câu hỏi
+Phân tích và đánh giá mức độ phức tạp của câu hỏi, sau đó phân loại vào một trong hai loại (đơn giản hoặc phức tạp)
+- Đơn giản (simple): câu hỏi chỉ chứa một chủ đề, chủ thể, không có từ khóa phủ định, không có từ khóa so sánh, hỏi về các khái niệm
+- Phức tạp (complicated): câu hỏi chứa nhiều chủ đề, chủ thể, có từ khóa phủ định, có từ khóa so sánh, phân tích, có nguyên nhân kết quả
+
+Viết lại câu hỏi theo phong cách đơn giản, trực tiếp, đầy đủ cấu trúc chủ ngữ vị ngữ
+Với câu hỏi phức tạp, hãy viết lại thành nhiều câu hỏi đơn giản bao hàm từng phần của câu hỏi phức tạp
+
+KẾT QUẢ TRẢ VỀ TUÂN THỦ CÁC NGUYÊN TẮC SAU:
+- KẾT QUẢ TRẢ THEO CẤU TRÚC JSON VỚI 2 TRƯỜNG "level" và "question". 
+Trong đó "level" chỉ là 1 trong 2 giá trị "simple" hoặc "complicated", "question" là câu hỏi đã được viết lại. 
+Nếu có nhiều câu hỏi viết lại, hãy giữ đúng cấu trúc JSON
+- KHÔNG BAO GỒM CÁC THÔNG TIN KHÁC
+
+[Input]
+Có bao nhiêu tác giả thuộc Viện Dầu khí Việt Nam?
+[Output]
+{
+"level": "simple",
+"question": "Có bao nhiêu tác giả thuộc Viện Dầu khí Việt Nam?",
+}
+[Input]
+Địa chấn phản xạ là gì?
+[Output]
+{
+"level": "simple", 
+"question": "Địa chấn phản xạ là gì?",
+}
+[Input]
+So sánh số lượng bài báo của tác giả Trương Văn Nhân và Hoàng Long?
+[Output]
+{
+  "level": "complicated",
+  "question": {
+    "q1": "Tác giả Trương Văn Nhân có bao nhiêu bài báo?",
+    "q2": "Tác giả Hoàng Long có bao nhiêu bài báo?"
+  }
+}
+
++++++
+[Input]
+{{$input}}
+[Output]

functions/SK/plugins/Planner/planner_prompt.txt

@@ -0,0 +1,48 @@
+You are a planner for the Semantic Kernel.
+Your job is to create a properly formatted JSON plan step by step, to satisfy the goal given.
+Create a JSON of subtask based off the [GOAL] provided. JSON needs only 01 subtask.
+Subtask must be from within the [AVAILABLE FUNCTIONS] list. Do not use any functions that are not in the list.
+Based on the [GOAL], you need to decide which function to use and what arguments to provide.
+There are 2 types of functions: QdrantSkill.qdrant_request and SQLskill.sql_request.
+"QdrantSkill.qdrant_request" is used to answer summarization or definition question.
+"SQLskill.sql_request" is used to answer detail, analystics question which required information in a SQL database.
+Question Classification Example:
+"Phương pháp xử lý tín hiệu phi tuyến là gì?" -> This is a summarization question, so you need to use QdrantSkill.qdrant_request
+"Bể Cửu Long có đặc điểm địa chất chung là gì?" -> This is a summarization question, so you need to use QdrantSkill.qdrant_request
+"Tra cứu thông tin tác giả bài báo PVJ2022.01.02" -> This is a detail question, so you need to use SQLskill.sql_request
+"Có bao nhiêu bài báo về lĩnh vực Hoá chế biến" -> This is a detail question, so you need to use SQLskill.sql_request
+Base your decisions on which functions to use from the description and the name of the function.
+Sometimes, a function may take arguments. Provide them if necessary.
+The plan should be as short as possible.
+For example:
+
+[AVAILABLE FUNCTIONS]
+QdrantSkill.qdrant_request
+description: Answer question about energy market using market daily reports saved in Qdrant
+args:
+- input: The raw question for querying
+
+SQLskill.sql_request
+description: Answer a question which is required to query data from SQL database
+    args:
+- input: The raw question related to SQL database
+
+[GOAL]
+"Phương pháp xử lý tín hiệu phi tuyến là gì và ứng dụng của nó là gì?"
+
+[OUTPUT]
+        {
+        "input": "Phương pháp xử lý tín hiệu phi tuyến là gì và ứng dụng của nó là gì?",
+        "subtasks": [
+            {"function": "QdrantSkill.qdrant_request", "args": {"input": "Phương pháp xử lý tín hiệu phi tuyến là gì và ứng dụng của nó là gì?"}}
+        ]
+    }
+
+
+[AVAILABLE FUNCTIONS]
+{{$available_functions}}
+
+[GOAL]
+{{$goal}}
+
+[OUTPUT]

functions/SK/plugins/QdrantSkill/CreateResponse/config.json

@@ -0,0 +1,26 @@
+{
+     "schema": 1,
+     "type": "completion",
+     "description": "Creates a final response based on the original request and addition information during the pipeline",
+     "completion": {
+          "max_tokens": 2000,
+          "temperature": 0.0,
+          "top_p": 0.0,
+          "presence_penalty": 0.0,
+          "frequency_penalty": 0.0
+     },
+     "input": {
+          "parameters": [
+               {
+                    "name": "input",
+                    "description": "The addition information that recieved from Qdrant Database.",
+                    "defaultValue": ""
+               },
+               {
+                    "name": "original_request",
+                    "description": "The original request from the user.",
+                    "defaultValue": ""
+               }
+          ]
+     }
+}

functions/SK/plugins/QdrantSkill/CreateResponse/skprompt.txt

@@ -0,0 +1,10 @@
+You will be provided with the question which is delimited by XML tags and 
+the context delimited by triple backticks. 
+The context contains some long paragraphs and references which delimited by triple dash.
+GIVE THE ANSWER IN VIETNAMESE
+
+<tag>{{$original_request}} </tag>\n
+
+```
+{{$input}}
+```

functions/SK/plugins/QdrantSkill/QdrantQuery.py

@@ -0,0 +1,41 @@
+import os, openai, json
+from qdrant_client import QdrantClient
+from semantic_kernel import Kernel
+from semantic_kernel.skill_definition import (
+    sk_function,
+    sk_function_context_parameter,
+)
+from semantic_kernel.orchestration.sk_context import SKContext
+
+
+class QdrantQueryClass:
+    def __init__(self, kernel: Kernel):
+        self._kernel = kernel
+    @sk_function(
+                description="Ask Qdrant Vector database to receive some added information.",
+                name="contextQueryPlan",
+            )
+    # @sk_function_context_parameter(name="original_request", description="The raw question for querying")
+    # @sk_function_context_parameter(name="input", description="The raw question for querying")
+    def context_query(self, context: SKContext) -> str:
+        qdrant_client = QdrantClient(url=os.environ['QDRANT_URL'], api_key=os.environ['QDRANT_API_KEY'])
+        
+        openai.api_key = os.environ['OPENAI_API_KEY']
+        
+        query_vector = openai.Embedding.create(
+                                    input = context["input"],
+                                    model="text-embedding-ada-002",
+                                    )['data'][0]['embedding']
+        results = qdrant_client.search(collection_name=os.environ['COLLECTION_NAME'],
+                    query_vector=query_vector,
+                        limit=5,
+                    )
+        
+        
+        #Return all results
+        context['context_results'] = results
+        #Return
+        matched_ans = ''
+        for i in range(len(results)):
+            matched_ans += '\n---\n' + str(json.loads(results[0].payload['_node_content'])['text'].replace('\n', ' '))
+        return matched_ans

functions/SK/plugins/QdrantSkill/QdrantSkill.py

@@ -0,0 +1,57 @@
+import os
+from semantic_kernel import Kernel
+from semantic_kernel.orchestration.sk_context import SKContext
+from semantic_kernel.connectors.ai.open_ai import OpenAIChatCompletion
+from semantic_kernel.utils.settings import openai_settings_from_dot_env
+from semantic_kernel.skill_definition import sk_function, sk_function_context_parameter
+
+from .QdrantQuery import QdrantQueryClass
+
+class QdrantSkillPlan:
+    def __init__(self):
+        self.subKernel = Kernel()
+        api_key, org_id = os.environ['OPENAI_API_KEY'], ""
+        
+        self.subKernel.add_text_completion_service(
+        "dv", OpenAIChatCompletion(os.environ['OPENAI_MODEL_NAME'], api_key, org_id)
+    )
+    @sk_function(
+        description="Trả lời các câu hỏi liên quan đến thông tin thị trường năng lượng từ các báo cáo thị trường hằng ngày",
+        name="qdrant_request",
+    )
+    @sk_function_context_parameter(name="input", description="The raw question for querying")
+    async def RouteRequest(self, context: SKContext) -> str:
+        # Save the original user request
+        request = context["input"]
+        context["original_request"] = request
+        pluginsDirectory = "./functions/SK/plugins"
+        self.subKernel.import_semantic_skill_from_directory(pluginsDirectory, "QdrantSkill")
+        
+        # Retrieve the intent from the user request
+        CreateResponse = self.subKernel.skills.get_function(
+            "QdrantSkill", "CreateResponse"
+        )
+        # print(f"Loaded 1st Function:\nFunction Name: {CreateResponse.name},\nFunction Description: {CreateResponse.description}\n")
+        
+        # Prepare the functions to be called in the pipeline
+        self.subKernel.import_skill(QdrantQueryClass(self.subKernel), skill_name="QdrantQuery")
+        ContextQuery = self.subKernel.skills.get_function(
+            "QdrantQuery", "contextQueryPlan"
+        )
+        # print(f"Loaded 2nd Function:\nFunction Name: {ContextQuery.name},\nFunction Description: {ContextQuery.description}\n")
+        
+        # Create a new context object with the original request
+        pipelineContext = self.subKernel.create_new_context()
+        pipelineContext["original_request"] = request
+        pipelineContext["input"] = request
+
+        # Run the functions in a pipeline
+        output = await self.subKernel.run_async(
+            ContextQuery,
+            CreateResponse,
+            input_context=pipelineContext,
+        )
+        return output['input']
+
+    
+    

functions/SK/plugins/SQLskill/CreateResponse/config.json

@@ -0,0 +1,26 @@
+{
+     "schema": 1,
+     "type": "completion",
+     "description": "Creates a response based on the original request and the output of the pipeline",
+     "completion": {
+          "max_tokens": 2000,
+          "temperature": 0.0,
+          "top_p": 0.0,
+          "presence_penalty": 0.0,
+          "frequency_penalty": 0.0
+     },
+     "input": {
+          "parameters": [
+               {
+                    "name": "input",
+                    "description": "Results from query SQL database",
+                    "defaultValue": ""
+               },
+               {
+                    "name": "original_request",
+                    "description": "The original request from the user.",
+                    "defaultValue": ""
+               }
+          ]
+     }
+}

functions/SK/plugins/SQLskill/CreateResponse/skprompt.txt

@@ -0,0 +1,15 @@
+You will be provided with the original_request include an user question which is delimited by XML tags and 
+the information after querying a SQL databasse. This information related to the input question. 
+This information is delimited by triple Forward Slash.
+
+<tag>{{$original_request}} </tag>\n
+
+SQL QUERY COMMAND:
+///{{$sql_query}}///
+SQL QUERY RESULT:
+///{{$input}}///
+
+CREATE NATURAL LANGUAGE ANSWER FOR USER, BASING ON CONTEXT AND OBEY THE FOLLOWING RULES:
+1. THE ANSƯER MUST BE A COMPLETE SENTENCE
+2. ONLY USING INFORMATION FROM THE CONTEXT
+3. IF CONTEXT IS NOT ENOUGH TO ANSWER THE QUESTION OR A SQL QUERY ERROR, RETURN "I DON'T KNOW" IN POLITE WAY USING THE SAME LANGUAGE AS original_request. FOR EXAMPLE: "original_request":"Các bài báo của tác giả Truong Van Nhan.", "answer":"Không tìm thấy tên tác giả Truong Van Nhan, hãy cung cấp chính xác tên tác giả."

functions/SK/plugins/SQLskill/CreateSQLQuery/config.json

@@ -0,0 +1,26 @@
+{
+     "schema": 1,
+     "type": "completion",
+     "description": "Create SQL query syntax basing on given schema and user question",
+     "completion": {
+          "max_tokens": 8000,
+          "temperature": 0.0,
+          "top_p": 0.0,
+          "presence_penalty": 0.0,
+          "frequency_penalty": 0.0
+     },
+     "input": {
+          "parameters": [
+               {
+                    "name": "input",
+                    "description": "SQL database schema",
+                    "defaultValue": ""
+               },
+               {
+                    "name": "original_request",
+                    "description": "The original request from the user.",
+                    "defaultValue": ""
+               }
+          ]
+     }
+}

functions/SK/plugins/SQLskill/CreateSQLQuery/skprompt.txt

@@ -0,0 +1,51 @@
+You will be provided with the question and the database schema in the below json format, which for A is Table name in the system, B is column name, and C is Column data type
+---
+{"A":"[CSDL_TCDK_MAIN].[dbo].[IssueManagementEN]","B":"IssueID","C":"varchar"}
+{"A":"[CSDL_TCDK_MAIN].[dbo].[IssueManagementEN]","B":"IssueNameEN","C":"varchar"}
+{"A":"[CSDL_TCDK_MAIN].[dbo].[IssueManagementEN]","B":"AbstractEN","C":"varchar"}
+{"A":"[CSDL_TCDK_MAIN].[dbo].[IssueManagementEN]","B":"KeywordsEN","C":"varchar"}
+{"A":"[CSDL_TCDK_MAIN].[dbo].[IssueManagement]","B":"IssueID","C":"varchar"}
+{"A":"[CSDL_TCDK_MAIN].[dbo].[IssueManagement]","B":"IssueNameVN","C":"varchar"}
+{"A":"[CSDL_TCDK_MAIN].[dbo].[IssueManagement]","B":"DOI","C":"varchar"}
+{"A":"[CSDL_TCDK_MAIN].[dbo].[IssueManagement]","B":"Language","C":"varchar"}
+{"A":"[CSDL_TCDK_MAIN].[dbo].[IssueManagement]","B":"Domain","C":"varchar"}
+{"A":"[CSDL_TCDK_MAIN].[dbo].[IssueManagement]","B":"JournalID","C":"varchar"}
+{"A":"[CSDL_TCDK_MAIN].[dbo].[IssueManagement]","B":"IssuePageNumbers","C":"varchar"}
+{"A":"[CSDL_TCDK_MAIN].[dbo].[IssueManagement]","B":"AbstractVN","C":"varchar"}
+{"A":"[CSDL_TCDK_MAIN].[dbo].[IssueManagement]","B":"KeywordsVN","C":"varchar"}
+{"A":"[CSDL_TCDK_MAIN].[dbo].[IssueManagement]","B":"ConclusionVN","C":"varchar"}
+{"A":"[CSDL_TCDK_MAIN].[dbo].[IssueManagement]","B":"IssuePdfURL","C":"varchar"}
+{"A":"[CSDL_TCDK_MAIN].[dbo].[IssueManagement]","B":"IssueDocURL","C":"varchar"}
+{"A":"[CSDL_TCDK_MAIN].[dbo].[IssueManagement]","B":"DocVectorDB_URL","C":"varchar"}
+{"A":"[CSDL_TCDK_MAIN].[dbo].[IssueManagement]","B":"FigureVectorDB_URL","C":"varchar"}
+{"A":"[CSDL_TCDK_MAIN].[dbo].[JournalManagement]","B":"JournalID","C":"varchar"}
+{"A":"[CSDL_TCDK_MAIN].[dbo].[JournalManagement]","B":"Volume","C":"varchar"}
+{"A":"[CSDL_TCDK_MAIN].[dbo].[JournalManagement]","B":"PublishedDate","C":"date"}
+{"A":"[CSDL_TCDK_MAIN].[dbo].[JournalManagement]","B":"EditorialDirector","C":"varchar"}
+{"A":"[CSDL_TCDK_MAIN].[dbo].[JournalManagement]","B":"VolumeURL","C":"varchar"}
+{"A":"[CSDL_TCDK_MAIN].[dbo].[FigureManagement]","B":"IssueID","C":"varchar"}
+{"A":"[CSDL_TCDK_MAIN].[dbo].[FigureManagement]","B":"FigName","C":"varchar"}
+{"A":"[CSDL_TCDK_MAIN].[dbo].[FigureManagement]","B":"FigType","C":"varchar"}
+{"A":"[CSDL_TCDK_MAIN].[dbo].[FigureManagement]","B":"FigInIssueOrder","C":"bigint"}
+{"A":"[CSDL_TCDK_MAIN].[dbo].[FigureManagement]","B":"FigURL","C":"varchar"}
+{"A":"[CSDL_TCDK_MAIN].[dbo].[AuthorManagement]","B":"AuthorName","C":"varchar"}
+{"A":"[CSDL_TCDK_MAIN].[dbo].[AuthorManagement]","B":"AuthorID","C":"varchar"}
+{"A":"[CSDL_TCDK_MAIN].[dbo].[AuthorManagement]","B":"AuthorEmail","C":"varchar"}
+{"A":"[CSDL_TCDK_MAIN].[dbo].[AuthorManagement]","B":"AuthorPhoneNumber","C":"varchar"}
+{"A":"[CSDL_TCDK_MAIN].[dbo].[AuthorManagement]","B":"AuthorOrganization","C":"varchar"}
+{"A":"[CSDL_TCDK_MAIN].[dbo].[IssueAuthos]","B":"IssueID","C":"varchar"}
+{"A":"[CSDL_TCDK_MAIN].[dbo].[IssueAuthos]","B":"IssueNameVN","C":"varchar"}
+{"A":"[CSDL_TCDK_MAIN].[dbo].[IssueAuthos]","B":"AuthorName","C":"varchar"}
+{"A":"[CSDL_TCDK_MAIN].[dbo].[IssueAuthos]","B":"AuthorID","C":"varchar"}
+{"A":"[CSDL_TCDK_MAIN].[dbo].[IssueAuthos]","B":"AuthorType","C":"varchar"}
+{"A":"[CSDL_TCDK_MAIN].[dbo].[IssueAuthors]","B":"IssueID","C":"varchar"}
+{"A":"[CSDL_TCDK_MAIN].[dbo].[IssueAuthors]","B":"IssueNameVN","C":"varchar"}
+{"A":"[CSDL_TCDK_MAIN].[dbo].[IssueAuthors]","B":"AuthorName","C":"varchar"}
+{"A":"[CSDL_TCDK_MAIN].[dbo].[IssueAuthors]","B":"AuthorID","C":"varchar"}
+{"A":"[CSDL_TCDK_MAIN].[dbo].[IssueAuthors]","B":"AuthorType","C":"varchar"}
+---
+OBEY SOME RULES BELOW:
+- GIVE SQL QUERY SYNTAX query database to answer user question: {{$input}}, basing on the schema. 
+- DONT EXPLAIN ANYTHING FURTHER
+- DONT ASKBACK
+- DONT GIVE COLUMNS NAME THAT DOES NOT APPEAR IN SCHEMA

functions/SK/plugins/SQLskill/SQLFunctions.py

@@ -0,0 +1,48 @@
+import os
+from sqlalchemy.sql import text
+from sqlalchemy import create_engine
+from sqlalchemy.orm import sessionmaker
+
+from semantic_kernel import Kernel
+from semantic_kernel.orchestration.sk_context import SKContext
+from semantic_kernel.skill_definition import sk_function, sk_function_context_parameter
+
+# Load environment variables from .env file
+from dotenv import load_dotenv
+load_dotenv()
+
+class SQLGetQuery:
+    def __init__(self, kernel: Kernel):
+        self._kernel = kernel
+        
+    @sk_function(
+    description="Query SQL database related to user question",
+    name="dbQuery",
+    )
+    @sk_function_context_parameter(name="input", description="SQL query related to user question which was generated by LLM")
+    def db_query(self, context: SKContext) -> str:
+        # Set SQLAlchemy logging level to WARNING
+        username = os.environ['USERNAME']
+        password = os.environ['PASSWORD']
+        driver = os.environ['DRIVER']
+        # schema = context['db_schema']
+        server = os.environ['CONNECTION_STRING']
+        database = os.environ['DB']
+        query = text(context['input'])
+        print(f"\n------------------\nSQL QUERY:\n {query}\n------------------\n")
+        connection_string = f'mssql+pyodbc://{username}:{password}@{server}/{database}?driver={driver}&TrustServerCertificate=no&Authentication=ActiveDirectoryPassword'
+        # Start query
+        engine = create_engine(connection_string, echo=False, connect_args={'auto_commit': True}, fast_executemany=True)
+        Session = sessionmaker(bind=engine)
+        session = Session()
+        # Execute the query and fetch the results
+        results = session.execute(query).fetchall()
+        results = str(results).strip()
+        #Update context
+        context['queryresult'] = results
+        context['db_string'] = server
+        context['db_name'] = database
+        context['sql_query'] = str(query)
+        print(f"\n------------------\nSQL RESULT:\n {results}\n------------------\n")
+        
+        return results

functions/SK/plugins/SQLskill/SQLskill.py

@@ -0,0 +1,47 @@
+import os
+from semantic_kernel import Kernel
+from semantic_kernel.orchestration.sk_context import SKContext
+from semantic_kernel.connectors.ai.open_ai import OpenAIChatCompletion
+from semantic_kernel.utils.settings import openai_settings_from_dot_env
+from semantic_kernel.skill_definition import sk_function, sk_function_context_parameter
+from .SQLFunctions import SQLGetQuery
+
+# Load environment variables from .env file
+from dotenv import load_dotenv
+load_dotenv()
+
+class SQLskill:
+    def __init__(self):
+        self._kernel = Kernel()
+        api_key, org_id = os.environ['OPENAI_API_KEY'], ""
+        self._kernel.add_text_completion_service(
+        "dv", OpenAIChatCompletion(os.environ['OPENAI_MODEL_NAME'], api_key, org_id)
+    )
+    @sk_function(
+        description="Routes the request to the appropriate function",
+        name="sql_request",
+    )
+    @sk_function_context_parameter(name="input", description="The raw question for querying")
+    async def RouteRequest(self, context: SKContext) -> str:
+        # Save the original user request
+        request = context["input"]
+        context["original_request"] = request
+        
+        # Define plugins directory
+        pluginsDirectory = "./functions/SK/plugins"
+        self._kernel.import_semantic_skill_from_directory(pluginsDirectory, "SQLskill")
+        ## Semantic Functions
+        CreateSQLQuery = self._kernel.skills.get_function("SQLskill", "CreateSQLQuery")
+        CreateSQLResponse = self._kernel.skills.get_function("SQLskill", "CreateResponse")
+        ## Native Functions
+        self._kernel.import_skill(SQLGetQuery(self._kernel), skill_name="SQLGetQuery")
+        GetSQLResult = self._kernel.skills.get_function("SQLGetQuery", "dbQuery")
+
+        # Run the functions in a pipeline
+        output = await self._kernel.run_async(
+            CreateSQLQuery,
+            GetSQLResult,
+            CreateSQLResponse,
+            input_context=context,
+        )
+        return output["input"].replace("\n\n", "\n")

pages/01_CSDL TCDK.py

@@ -0,0 +1,37 @@
+from PIL import Image
+import streamlit as st
+
+from ui import *
+from functions import *
+
+logo = Image.open("./assets/images/logo.png")
+st.set_page_config(# Alternate names: setup_page, page, layout
+                layout="wide",  # Can be "centered" or "wide". In the future also "dashboard", etc.
+                initial_sidebar_state="auto",  # Can be "auto", "expanded", "collapsed"
+                page_title="CSDL TCDK",  # String or None. Strings get appended with "• Streamlit". 
+                page_icon=logo,  # String, anything supported by st.image, or None.
+                )
+# --- LOAD CSS ---------------------------------------------------------------
+with open("./style/style.css") as f:
+    st.markdown(f"<style>{f.read()}</style>", unsafe_allow_html=True)
+
+# --- UI CHATBOT -------------------------------------------------------------
+chat_ui()
+# --- UI SIDEBAR -------------------------------------------------------------
+with st.sidebar:
+    context = """
+    Đây là chatbot hỏi đáp với CSDL bài báo Tạp chí Dầu khí.
+    
+    Chatbot chỉ hỗ trợ hỏi đáp về các nội dung liên quan đến bài báo, nội dung bài báo, tác giả, năm xuất bản, tạp chí xuất bản, ...
+    
+    Hãy đặt các câu hỏi cụ thể, dễ hiểu để chatbot có thể trả lời chính xác nhất.
+    
+    Ví dụ:
+    - Có bao nhiêu bài báo trong cơ sở dữ liệu?
+    - Tác giả Trương Văn Nhân có bao nhiêu bài báo?
+    - Tên các bài báo của tác giả Trương Văn Nhân là gì?
+    
+    Các câu hỏi liên quan đến nội dung bài báo cũng có thể được giải đáp:
+    - Phương pháp xử lý tín hiệu phi tuyến là gì?
+    """
+    st.info(context)

requirements.txt

@@ -0,0 +1,8 @@
+openai==0.27.8
+streamlit==1.24.0
+semantic-kernel==0.3.8.dev0
+qdrant-client==1.3.1
+cohere==4.18.0
+python-dotenv==1.0.0
+sqlalchemy==1.4.49
+pyodbc==4.0.39 

style/style.css

@@ -0,0 +1,70 @@
+a {
+    text-decoration: none;
+    font-weight: 500;
+}
+
+.block-container {
+    padding-top: 0px;
+    padding-right: 10px;
+    padding-left: 10px;
+}
+
+a:hover {
+    text-decoration: none;
+    color: #d33682 !important;
+}
+
+ul {
+    list-style-type: none;
+}
+
+hr {
+    margin-top: 0;
+    margin-bottom: 5%;
+}
+
+#MainMenu {
+    visibility: hidden;
+}
+
+footer {
+    visibility: hidden;
+}
+
+header {
+    visibility: hidden;
+}
+.css-9ycgxx.eqdbnj012 {
+    display: none;
+  }
+.css-1aehpvj.eex3ynb0 {
+    display: none;
+}
+.css-vjj2ce.eqdbnj015 {
+    padding: 0;
+    width: 160px;
+}
+.css-et4mjn.esravye0 {
+    gap: 0;
+}
+/* .css-5rimss.eqr7zpz4 {
+    color: #22A699;
+} */
+.css-pmz2b6.esravye0 {
+    gap: 0;
+}
+.css-soq042.esravye0 {
+    border: 0.5px solid rgba(49, 51, 63, 0.1);
+}
+.css-u8hs99.eqdbnj014 {
+    background-color: rgba(240, 242, 246, 0.5);
+}
+.st-bf.st-ca.st-cy.st-bw.st-bx.st-bu {
+    padding: 0;
+}
+.css-pkbazv.e1akgbir5{
+    color: rgb(186, 38, 15);
+}
+.css-17lntkn.e1akgbir5{
+    color: rgb(15, 110, 193);
+}

ui/__init__.py

@@ -0,0 +1 @@
+from .ui_csdltcdk import *

ui/ui_csdltcdk.py

@@ -0,0 +1,76 @@
+import os
+import openai
+import asyncio
+import streamlit as st
+from functions.SK.TCDKPlanner import main_tcdk
+# --- ADD LOGO ------------------------------------------------------------------
+def add_logo():
+    st.markdown(
+        """
+        <style>
+            [data-testid="stSidebarNav"] {
+                background-image: url(https://i.ibb.co/LPp2TTB/logo.png);
+                background-repeat: no-repeat;
+                background-size: 230px 230px;
+                padding-top: 120px;
+                padding-left: 10px;
+                background-position: 20px 20x;
+            }
+            [data-testid="stSidebarNav"]::before {
+                content: "VPI-Sage";
+                margin-left: 20px;
+                margin-top: 20px;
+                font-size: 30px;
+                position: relative;
+                top: 100px;
+                font: 30px sans-serif;
+                color: rgb(186, 38, 15);
+                text-align: center;
+            }
+        </style>
+        """,
+        unsafe_allow_html=True,
+    )
+    
+def chat_ui():
+    openai.api_key = os.environ["OPENAI_API_KEY"]
+
+    if "openai_model" not in st.session_state:
+        st.session_state["openai_model"] = os.environ["OPENAI_MODEL_NAME"]
+
+    if "messages" not in st.session_state:
+        st.session_state.messages = []
+
+    for message in st.session_state.messages:
+        with st.chat_message(message["role"]):
+            st.markdown(message["content"])
+
+    generated_plan = None
+    if prompt := st.chat_input("Nhập câu hỏi của bạn"):
+        st.session_state.messages.append({"role": "user", "content": prompt})
+        with st.chat_message("user"):
+            st.markdown(prompt)
+
+        with st.chat_message("assistant"):
+            message_placeholder = st.empty()
+            full_response = ""
+            
+            # SK here
+            ## ---------------------------------------------------------------
+            with st.spinner(text='...'):
+                generated_plan, results = asyncio.run(main_tcdk(prompt))
+            ## ---------------------------------------------------------------
+            # Save to ui response here
+            full_response += results
+            ## ---------------------------------------------------------------
+            message_placeholder.markdown(full_response + "▌")
+        st.session_state.messages.append({"role": "assistant", "content": full_response})
+        
+    refer_expander = st.expander("Planner")
+    if generated_plan is not None:
+        with refer_expander:
+            st.text_area('-',
+                        generated_plan, 
+                        height=300,
+                        label_visibility="collapsed",
+                        )