initial commit

.gitattributes

@@ -33,3 +33,4 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
 *.zip filter=lfs diff=lfs merge=lfs -text
 *.zst filter=lfs diff=lfs merge=lfs -text
 *tfevents* filter=lfs diff=lfs merge=lfs -text
+*.pdf filter=lfs diff=lfs merge=lfs -text

.gitignore

@@ -0,0 +1,2 @@
+__pycache__/
+venv/

README.md

@@ -1,12 +1,193 @@
----
-title: Thesizer
-emoji: 🏃
-colorFrom: red
-colorTo: yellow
-sdk: gradio
-sdk_version: 5.3.0
-app_file: app.py
-pinned: false
----
-
-Check out the configuration reference at https://huggingface.co/docs/hub/spaces-config-reference
+# HAMK Thesis Assistant (Thesizer)
+
+AI Project - 10.2024
+
+```
+              .----.
+  .---------. | == |
+  |.-"""""-.| |----|
+  ||  THE  || | == |
+  || SIZER || |----|
+  |'-.....-'| |::::|
+  `"")---(""` |___.|
+ /:::::::::::\" _  "
+/:::=======:::\`\`\
+`"""""""""""""`  '-'
+```
+
+**Thesizer** is a fine-tuned LLM that is trained to assist with authoring Thesis'.
+It is specifically trained and tuned to guide the user using HAMK's thesis 
+standards and guidelines [Thesis - HAMK](https://www.hamk.fi/en/student-pages/planning-your-studies/thesis/).
+The goal of this is to make the process of writing a thesis easier, by helping
+the user using spoken language, so that it will be easier for the user to find
+help on the more technical aspects of writing a thesis. This way the user can
+focus on what is the most important. The actual content of the Thesis.
+
+This project is part of HAMK's `Development of AI Applications` -course. The
+idea for the project spawned from the overwhelming feeling that all of the
+different guidelines and learning documents there are for writing a thesis using
+the standards of HAMK. Thesizer takes those documents and fine-tunes itself so
+that it will be able to provide useful information and help the user. It is kind
+of like a spoken language search engine for thesis writing technicalities.
+
+
+## Table of contents
+
+1. [Running the model](#Running-the-model)
+2. [Documentation](#Documentation)
+
+    1. [The development process](#The-development-process)
+        - [Planning](#Planning)
+        - [Creating the model](#Creating-the-model)
+    2. [Tools used](#Tools-used)
+    3. [Challenges](#Challenges)
+
+3. [Dependencies](#Dependencies)
+3. [Helpful links](#Helpful-links)
+
+
+### Running the model
+
+1. **Install all of the dependencies**
+
+The guide to this is in the [Dependencies](#Dependencies)-section.
+
+2. **Run the model**
+
+```bash
+python3 thesizer_rag.py
+# give a prompt
+python3 thesizer_rag.py "mikä on abstract sivu?"
+```
+
+![thesizer web interface](./readme_images/helpWithThesis2.png)
+
+## Documentation
+
+
+### 1. The development process
+
+#### Planning
+
+The development process started after we had come to an agreement on the project.
+We then tasked everyone to go and research what Hugging Face transformers would
+be suitable as a base for our Fine-Tuned model.
+
+Some of the models considered:
+
+_General LLMs_
+
+- [google-bert/bert-base-multilingual-cased](https://huggingface.co/google-bert/bert-base-multilingual-cased)
+- [meta-llama/Llama-3.2-11B-Vision-Instruct](https://huggingface.co/meta-llama/Llama-3.2-11B-Vision-Instruct)
+- [google/gemma-2-2b](https://huggingface.co/google/gemma-2-2b)
+
+_Translation models_
+
+- [facebook/mbart-large-50-one-to-many-mmt](https://huggingface.co/facebook/mbart-large-50-one-to-many-mmt) 
+
+#### Creating the model
+
+As a base for the RAG model, we used this learning material from the Hugging 
+Face documentation: [Simple RAG for GitHub issues using Hugging Face Zephyr and LangChain](https://huggingface.co/learn/cookbook/rag_zephyr_langchain)
+
+
+### 2. Tools used
+
+**LangChain**
+
+Thesizer uses [LangChain](https://www.langchain.com/langchain) as the base 
+framework for our RAG application. It provided easy and straight forward
+way for us to give a pre-trained llm model context awareness. 
+
+The documents that were used for the context awareness are all located in the 
+[learning_material](./learning_material/) -folder. They are mostly in finnish,
+with some being in english. You can clone this repository and use your own
+documents instead if you would like to see how it works and adapts to the
+contents of the folder.
+
+**Hugging Face**
+
+The models used by thesizer are fetched from [HuggingFace](https://huggingface.co/models). 
+They are then used with `HuggingFacePipeline` package, which provides very easy
+interaction with the models.
+
+**FAISS**
+
+FAISS is a highly efficient vector database, that also provides fast similiarity
+searching of the data inside of it. FAISS supports CUDA and is written in C++.
+Because of this, it also needs to be downloaded specifically to the user's
+hardware, in the same way that pytorch needs to be.
+[FAISS - ai.meta.com](https://ai.meta.com/tools/faiss/)
+
+Thesizer uses FAISS for managing all of the documentation. It also uses 
+similiarity searching to find content from these files that match the user's query.
+
+All of the FAISS processing is done asynchronously, so that theoretically it could
+be passed more documentation during runtime without affecting the other users
+processing time.
+
+### 3. Challenges
+
+
+## Dependencies
+
+If the requirements.txt does not work, you can try installing the dependcies 
+using the following commands.
+
+0. **Create a virtual environment**
+
+```bash
+# linux
+python3 -m venv venv
+source venv/bin/activate
+# windows
+python -m venv venv
+.\venv\Scripts\Activate.ps1
+```
+
+1. **Install Pytorch that matches your machine**
+
+Get the installation command from this website: [Start Locally | PyTorch](https://pytorch.org/get-started/locally/)
+
+2. **Install FAISS**
+
+```bash
+# if you have a gpu
+pip install faiss-gpu-cu12 # CUDA 12.x
+pip install faiss-gpu-cu11 # CUDA 11.x
+# if you only have a cpu
+pip install faiss-cpu
+```
+
+3. **Install universal pip packages**
+
+```bash
+pip install transformers accelerate bitsandbytes sentence-transformers langchain \
+langchain-community langchain-huggingface pypdf bs4 lxml nltk gradio "unstructured[md]"
+```
+
+4. **Log into your Hugging Face account**
+
+If you are prompted to log in, follow the instructions of the prompt.
+You can figure it out.
+
+> [!NOTE]
+> If there are problems or the process feels complicated, add your own
+> guide right here and replace this note.
+
+
+## Helpful links
+
+Are you interested in finding out more and digging deeper? Here are some of the
+sources that we used when creating this project.
+
+Some links can also be found within the code comments, so that you can find them
+near where they are used. Locality of behaviour babyyy.
+
+**RAG & LangChain**
+
+- Loading PDF files with LangChain and PyPDF | [How to load PDFs - LangChain](https://python.langchain.com/docs/how_to/document_loader_pdf/)
+- Loading HTML files with LangChain and BeautifulSoup4 | [How to load HTML - LangChain](https://python.langchain.com/docs/how_to/document_loader_html/)
+- Loading Markdown files with LangChain and unstructured | [How to load Markdown](https://python.langchain.com/docs/how_to/document_loader_markdown/)
+- Asynchronous FAISS | [Faiss \(async\) - LangChain](https://python.langchain.com/docs/integrations/vectorstores/faiss_async/)
+- Retriving data from a vectorstore | [How to use a vectorstore as a retriever - LangChain](https://python.langchain.com/docs/how_to/vectorstore_retriever/)

app.py

@@ -0,0 +1,207 @@
+# the following code is collected from this hugging face tutorial
+# https://huggingface.co/learn/cookbook/rag_zephyr_langchain
+# langchain
+from typing import TypedDict
+from langchain_core.prompts import ChatPromptTemplate, MessagesPlaceholder
+from langchain_core.messages import AIMessage, HumanMessage, SystemMessage
+from langchain_core.output_parsers import StrOutputParser
+from langchain_core.runnables import RunnablePassthrough
+from langchain_huggingface import HuggingFacePipeline
+# huggingface
+from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
+from transformers import pipeline
+# pytorch
+import torch
+# gradio
+import gradio as gr
+# stdlib
+from asyncio import sleep
+# local
+from vector_store import get_document_database
+
+
+class ChatMessage(TypedDict):
+    role: str
+    metadata: dict
+    content: str
+
+
+# MODEL_NAME = "meta-llama/Llama-3.2-3B"
+# MODEL_NAME = "google/gemma-7b"
+MODEL_NAME = "google/gemma-2-2b-it"
+
+# bnb_config = BitsAndBytesConfig(
+#     load_in_4bit=True,
+#     bnb_4bit_use_double_quant=True,
+#     bnb_4bit_quant_type="nf4",
+#     bnb_4bit_compute_dtype=torch.bfloat16
+# )
+
+model = AutoModelForCausalLM.from_pretrained(
+    MODEL_NAME,
+    # quantization_config=bnb_config,
+    device_map="auto",
+    torch_dtype=torch.bfloat16
+)
+
+tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
+
+text_generation_pipeline = pipeline(
+    model=model,
+    tokenizer=tokenizer,
+    task="text-generation",
+    temperature=0.2,
+    do_sample=True,
+    repetition_penalty=1.1,
+    return_full_text=True,
+    max_new_tokens=400,
+)
+
+llm = HuggingFacePipeline(pipeline=text_generation_pipeline)
+
+
+def generate_prompt(message_history: list[ChatMessage], max_history=5):
+    # creating the prompt template in the shape of a chat prompt
+    # this is done so that it could be easily expanded
+    # https://www.mirascope.com/post/langchain-prompt-template
+    prompt_template = ChatPromptTemplate([
+        ("system", """You are 'thesizer', a HAMK thesis assistant.
+        You will help the user with technicalities on writing a thesis
+        for hamk. If you can't find the answer from the context given to you,
+        you will tell the user that you cannot assist with the specific topic.
+        You speak both Finnish and English by following the user's language.
+        Continue the conversation with a single response from the AI."""),
+        ("system", "{context}"),
+    ])
+
+    # include the examples in the prompt if the conversation is starting
+    if len(message_history) < 4:
+        prompt_template.append(
+            ("assistant", "Hei! Kuinka voin auttaa opinnäytetyösi kanssa?"),
+        )
+        prompt_template.append(
+            ("assistant", "Hello! How can I help you with authoring your thesis?"),
+        )
+
+    # add chat messages here (only include up to the max amount)
+    for message in message_history[-max_history:]:
+        prompt_template.append(
+            (message["role"], message["content"])
+        )
+
+    # this is here so that the stupid thing wont start roleplaying as the user
+    # and therefore making up the conversation
+    prompt_template.append(
+        ("assistant", "<RESPONSE>:")
+    )
+
+    return prompt_template
+
+
+async def generate_answer(message_history: list[ChatMessage]):
+    # generate a vector store
+    db = await get_document_database("learning_material/*/*/*")
+
+    # initialize the similarity search
+    n_of_best_results = 4
+    retriever = db.as_retriever(
+        search_type="similarity", search_kwargs={"k": n_of_best_results})
+
+    prompt = generate_prompt(message_history, max_history=5)
+
+    # create the pipeline for generating a response
+    # RunnablePassthrough handles the invoke parameters
+    retrieval_chain = (
+        {"context": retriever, "user_input": RunnablePassthrough()}
+        | prompt
+        | llm
+        | StrOutputParser()
+    )
+
+    # fetch the context using the latest message as the fetch string
+    user_input = message_history[-1]["content"]
+    response = retrieval_chain.invoke(user_input)
+
+    # # debugging
+    # print("=====raw response=====")
+    # print(response)
+
+    # get the next response from the AI
+    # first parse until the last user input and then get the first response
+    parsed_answer = response.split(
+        str(user_input)
+    ).pop().split("<RESPONSE>:", 1).pop().strip()
+
+    print(repr(parsed_answer))
+
+    # replace newlines with br tags, since the gr.chatbot does not work
+    # well with newlines
+    return parsed_answer.replace("\n\n", "<br>")
+
+
+def update_chat(user_message: str, history: list):
+    return "", history + [{"role": "user", "content": user_message}]
+
+
+async def handle_conversation(
+    history: list[ChatMessage],
+    characters_per_second=80
+):
+    bot_message = await generate_answer(history)
+    new_message: ChatMessage = {"role": "assistant",
+                                "metadata": {"title": None},
+                                "content": ""}
+    history.append(new_message)
+    for character in bot_message:
+        history[-1]['content'] += character
+        yield history
+        await sleep(1 / characters_per_second)
+
+
+def create_interface():
+    with gr.Blocks() as interface:
+        gr.Markdown("# 📄 Thesizer: HAMK Thesis Assistant")
+        gr.Markdown("Ask for help with authoring the HAMK thesis!")
+
+        gr.Markdown("## Chat interface")
+
+        with gr.Column():
+            chatbot = gr.Chatbot(type="messages")
+
+            with gr.Row():
+                user_input = gr.Textbox(
+                    label="You:",
+                    placeholder="Type your message here...",
+                    show_label=False
+                )
+                send_button = gr.Button("Send")
+
+        # handle the messages being sent
+        send_button.click(
+            fn=update_chat,
+            inputs=[user_input, chatbot],
+            outputs=[user_input, chatbot],
+            queue=False
+        ).then(
+            fn=handle_conversation,
+            inputs=chatbot,
+            outputs=chatbot
+        )
+
+        # pressing enter instead of the button
+        user_input.submit(
+            fn=update_chat,
+            inputs=[user_input, chatbot],
+            outputs=[user_input, chatbot],
+            queue=False
+        ).then(
+            fn=handle_conversation,
+            inputs=chatbot,
+            outputs=chatbot
+        )
+
+    return interface
+
+
+if __name__ == "__main__":
+    create_interface().launch()

learning_material/README.md

@@ -0,0 +1,38 @@
+# Lähteet
+
+Lähteitä opinnäytetyöhön ohjaavaan materiaaliin ja HAMKin ohjeistuksiin.
+Lähteissä myös yleisiä ohjeita sekä word pohjien PDF kopiot.
+
+## HAMK ohjeistus
+
+- [Raportin_rakenne_paivitetty_kevät2022](https://app.widgets.thinglink.com/accessibility/1510308362439360513)*
+- [Opinnäyetyö pikalinkit](https://www.hamk.fi/opiskelijalle/opintojen-suunnittelu/opinnaytetyo/)
+- [Tutkimusraportin ja opinnäytetyön kirjoittajan tarkistuslista](https://hameenamk-my.sharepoint.com/:p:/g/personal/lmustonen_hamk_fi/EURjvZwdtRpGtPrraY7tXtgBZ-ywpp39CjfseKQUnAMaWQ?e=q0TJrB)
+- [Kielenhuollon tarkistuslista](https://hameenamk-my.sharepoint.com/:p:/g/personal/lmustonen_hamk_fi/Ee1wmt9G26NJt2GH_PsjBtMBs-ql62l511QIT5Pv57zqKQ?e=vUNInc)
+
+## Teknisiä yksityiskohtia
+
+- [HAMK Lähdeviiteopas Osa 1: Perusteet](https://www.hamk.fi/wp-content/uploads/2023/11/Lahdeviiteopas-osa-1-perusteet-1.pdf)
+- [HAMK Lähdeviiteopas Osa 2: Esimerkit](https://www.hamk.fi/wp-content/uploads/2023/11/Lahdeviiteopas-osa-2-esimerkit-1.pdf)
+- [Taulukot, kuviot ja kuvat tekstissä](https://hameenamk-my.sharepoint.com/:p:/g/personal/lmustonen_hamk_fi/EbjU1CG6SMBGvx--NVo2t4UBVFtPvRa3UDoZBxO-UkEsWQ?e=Pr7HmY)
+- [Ohjeita ja esimerkkejä kuvien merkintään](https://hameenamk-my.sharepoint.com/:w:/g/personal/lmustonen_hamk_fi/EZq3oBSYzDVAhUirgcGK6bMBKKGTGCUiqwToPdheUx79hw?e=0e7XmH)
+
+## Opinnäytetyön prosessi
+
+- [Ennen opinnäytetyön aloittamista](https://www.hamk.fi/opiskelijalle/opintojen-suunnittelu/opinnaytetyo/ennen-opinnaytetyon-aloittamista/)*
+- [Opinnäytetyön suunnittelu ja toteutus](https://www.hamk.fi/opiskelijalle/opintojen-suunnittelu/opinnaytetyo/opinnaytetyon-suunnittelu-ja-toteutus/)*
+- [Opinnäytetyön viimeistely](https://www.hamk.fi/opiskelijalle/opintojen-suunnittelu/opinnaytetyo/opinnaytetyon-viimeistely/)*
+
+## Yleisiä opinnäytetyö ohjeita
+
+- [Tieteellinen teksti](https://hameenamk-my.sharepoint.com/:p:/g/personal/lmustonen_hamk_fi/Ed9tXZIP_FZMlbcOg5LiYkMBqSNIRDB6kwPf1qhGARW0SA?e=jvPdan)
+- [JAMKin ohjeita opinnäytetyöhön, kirjoittamisesta, tiedonhankinnasta, yms. hyödyllistä](https://help.jamk.fi/raportointiohje/fi/)*
+- [APA style referencing guidelines](https://apastyle.apa.org/style-grammar-guidelines/references)*
+
+## Word pohjat
+
+- [Opinnäytetyö-pohja](https://www.hamk.fi/wp-content/uploads/2024/01/Thesis-Template.dotx)
+- [Opinnäytetyön liitepohja](https://www.hamk.fi/wp-content/uploads/2024/10/HAMK-thesis-appendix-template-2024-1.dotx)
+
+Linkit jotka ovat merkattuna merkillä "*" eivät ole tiedostoina tallessa, sillä ne ovat digitaalisia lähteitä.
+Nämä lähteet voidaan kopioida myöhemmin markdown tiedostoihin.

learning_material/english/pdf/clear-english-tips-translators_en.pdf

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:08b9a099cdd9f8cc77710ba2563c1bbb1744478a9a4fecebbfd646d6ff8b973f
+size 577492

learning_material/english/pdf/thesis_appendix_template_2024.pdf

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:1c78ca102b46d45083a62002732802a7e2a1c919290c002c699c3232f918e3dc
+size 23643

learning_material/english/pdf/thesis_template.pdf

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:08ef1ead4e8e1f7d6168e2b834237ef27890dc821998845ddf811bbebffae367
+size 200698

learning_material/english/thesis_process_stages.md

@@ -0,0 +1,74 @@
+# Stages of the Thesis Process
+
+[The link to the graphic](https://www.thinglink.com/scene/1649820289044840451)
+
+## Wihi
+
+The thesis process progresses with the Wihi system in Pakki. You start your thesis
+in Wihi by creating a topic proposal. After you have been assigned a supervisor,
+you can use Wihi to plan your schedule for completing the thesis. You use Wihi
+to send messages to the thesis supervisor and the commissioner, so the different
+stages of the process are stored in one place. The work will also be published
+and evaluated in Wihi. Read the 
+[Wihi instructions for students](https://www.hamk.fi/wp-content/uploads/2024/01/student-Wihi-instructions.pdf) 
+for more information. 
+
+## Open Badge of a thesis expert
+
+An Open Badge of a thesis expert is completed at the beginning of the thesis
+process at the latest, and a screen capture of the badge is sent to the 
+supervisor via a Wihi message. The badge is completed in the 
+[Thesis Open Badge Moodle](https://learn.hamk.fi/course/view.php?id=7618).
+
+## Seminars
+
+You will hold three presentations i.e. seminars related to your work: 
+
+- a planning seminar, where you present the framework of your work, a preliminary table
+of contents and the knowledge base
+- an interim seminar, where the reporting process is well underway, and you have written
+the main contents
+- a final seminar, where you present your finished thesis.
+
+The practicalities for the planning and interim seminars, such as the presentation
+method and the audience, are determined by the degree programme. Towards the end
+of your studies, you will familiarise yourself in advance with interim and final
+seminar events. This includes your degree programme’s seminar and registration
+practices as well as scheduling. 
+
+## Acting as an opponent
+
+Each thesis will have an opponent, and each student will in turn act as an opponent
+for another student’s thesis. This usually takes place at the interim seminar stage.
+The opponents focus on both the produced text and the presentation. See your degree
+programme's instructions regarding opponent selection and scheduling for more information.
+
+## English language check
+
+The thesis will be submitted to the English teacher for comments via Wihi already at
+the interim stage. In addition, the English teacher will give a numerical assessment
+of the finished thesis in Wihi. The English teacher will check the abstract,
+which is delivered together with the Finnish summary via Wihi in the final stage of
+the process. Reserve three weeks for the evaluation of the thesis and the inspection
+of the abstract. 
+
+Send the file for commenting by downloading the file and clicking "Send for external comments".
+You can find the feedback you received in the section "Statements by interest groups".
+See the contact details of your degree programme’s  English teachers in the programme-specific
+instructions. 
+
+## Maturity test
+
+Instructions for the maturity test can be found on 
+[HAMK’s thesis page](https://www.hamk.fi/planning-studies/final-thesis/?lang=en)
+(Appendix 6). You must register for the maturity test in accordance with your own degree programme.
+
+## Feedback
+
+It is important that you give the student's feedback on the thesis process after
+completing your work. Once your thesis has been evaluated, you will receive an
+email with a link to the feedback survey via Wihi.
+
+_Last modified: Friday, 9 February 2024, 2:56 PM_
+
+[link to the original moodle page](https://learn.hamk.fi/mod/page/view.php?id=430392)

learning_material/english/thesis_template_instructions.md

@@ -0,0 +1,46 @@
+# Instructions for Using HAMK Thesis Template
+
+This page contains a collection of Word instructions produced by Microsoft
+to help you use the document template for HAMK’s thesis. The Microsoft Web
+site provides instructions on the same issues for versions of Windows and
+iOS operating systems.
+
+HAMK Thesis template, [Final Thesis page](https://www.hamk.fi/planning-studies/final-thesis/?lang=en)
+
+## Styles and Table of Contents
+
+- [Apply styles](https://support.microsoft.com/en-us/office/apply-styles-f8b96097-4d25-4fac-8200-6139c8093109)
+- [Insert a table of contents](https://support.microsoft.com/en-us/office/insert-a-table-of-contents-882e8564-0edb-435e-84b5-1d8552ccf0c0)
+- [Update a table of contents](https://support.microsoft.com/en-us/office/update-a-table-of-contents-6c727329-d8fd-44fe-83b7-fa7fe3d8ac7a)
+
+## Sections and Different Headers
+
+[Insert, delete, or change a section break](https://support.microsoft.com/en-us/office/insert-delete-or-change-a-section-break-0eeae2d6-b906-42d3-a1bd-7e77ca8ea1f3)
+[Different page numbers to different sections](https://support.microsoft.com/en-us/office/add-different-page-numbers-or-number-formats-to-different-sections-bb4da2bd-1597-4b0c-9e91-620615ed8c05)
+[Add page numbers](https://support.microsoft.com/en-us/office/insert-page-numbers-9f366518-0500-4b45-903d-987d3827c007)
+[Remove page numbers](https://support.microsoft.com/en-us/office/remove-page-numbers-d79e5090-c8f7-4e24-ab97-c36cfeb8d85b)
+[Start page numbering later in your document](https://support.microsoft.com/en-us/office/start-page-numbering-later-in-your-document-c73e3d55-d722-4bd0-886e-0b0bd0eb3f02)
+
+## Better Usability
+
+[Add alternative text to a picture, chart, or other object](https://support.microsoft.com/en-us/office/add-alternative-text-to-a-shape-picture-chart-smartart-graphic-or-other-object-44989b2a-903c-4d9a-b742-6a75b451c669)
+[Improve accessibility](https://support.microsoft.com/en-us/office/improve-accessibility-with-the-accessibility-checker-a16f6de0-2f39-4a2b-8bd8-5ad801426c7f)
+[Check document properties](https://support.microsoft.com/en-us/office/view-or-change-the-properties-for-an-office-file-21d604c2-481e-4379-8e54-1dd4622c6b75)
+
+## Finishing Your Document
+
+[If you have extra pages in your document](https://support.microsoft.com/en-us/office/remove-a-page-break-e696a217-adc7-4ef3-977b-de0c3d87b762?redirectSourcePath=%252ffi-fi%252foffice%252fsivunvaihtojen-poistaminen-wordissa-9c3a7916-7d10-4cac-b4ab-ea8a671fe3c9&ui=en-US&rs=en-001&ad=US)
+
+## References, Citations and Sources
+
+[Add, format, and delete captions](https://support.microsoft.com/en-us/office/add-format-or-delete-captions-in-word-82fa82a4-f0f3-438f-a422-34bb5cef9c81)
+[Create a cross-reference](https://support.microsoft.com/en-us/office/create-a-cross-reference-300b208c-e45a-487a-880b-a02767d9774b)
+[Create a bibliography, citations and references](https://support.microsoft.com/en-us/office/create-a-bibliography-citations-and-references-17686589-4824-4940-9c69-342c289fa2a5)
+
+## Combining PDF files
+
+[Combining PDF files in Adobe online service](https://acrobat.adobe.com/link/acrobat/combine-pdf?x_api_client_id=adobe_com&x_api_client_location=combine_pdf)
+
+Source:
+
+[Original URL to the guide](https://digipedaohjeet.hamk.fi/ohje/instructions-for-using-hamk-thesis-template/?lang=en)

learning_material/finnish/pdf/asiakirjamallin_kayttoohje.pdf

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:44cecd5b97a2b2cb596935f1299ffcb443d7ed3c8aa74798b0791d22b3f8929d
+size 1086855

learning_material/finnish/pdf/kielenhuollon_tarkistuslista.pdf

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:0170322c8ffaa0b4a788655dc56f650fe9c997a69cdf26bbbedb55a5b2ef19be
+size 640914

learning_material/finnish/pdf/kuvat_taulukot_koodit_ohje.pdf

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:6cb4ce237e8f167b6bbb753660846d8a964af71532e57904c4e853ef6d1c6e97
+size 8325445

learning_material/finnish/pdf/lahdeviiteopas-esimerkit.pdf

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:74d78f023fce43b3e30dc45f817fe54c4f69ebb1b76a73822a0d701e444b4110
+size 746962

learning_material/finnish/pdf/lahdeviiteopas-perusteet.pdf

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:211fa6fa93dd04618ea3852610bb6c74260e2300002c8ae4d4eab6c82445e6f6
+size 427503

learning_material/finnish/pdf/opinnäytetyön_kirjoittajan_tarkistuslista.pdf

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:f889763d9f5162cb0f59aa9f437c2a703493d217c41ac16c458869666aeef726
+size 745702

learning_material/finnish/pdf/taulukot_kuvat_ja_numerotulokset_tekstissa.pdf

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:b77fec84c0ad60f78343c4a6b4e19d508a63601e2edccaea8db465b26a52693a
+size 274476

learning_material/finnish/pdf/tieteellinen_kirjoittaminen_lyhennetty.pdf

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:bf34748caae0f693013a48f6d5f2235c6913b12d3bc5e963d0faed53af756d6d
+size 2737060

learning_material/finnish/raportin_rakenne.md

@@ -0,0 +1,234 @@
+# Opinnäytetyön esimerkki (TEOS)
+
+## Otsikko ja alaotsikko
+
+Työlle annetaan aina otsikko. Jos otsikkoa haluaa tarkentaa, työlle voidaan
+antaa alaotsikko. Jollei alaotsikkoa kirjoiteta, rivi poistetaan asiakirjasta.
+
+## \[Tutkinnon\] opinnäytetyö
+
+Tähän kirjoitetaan, mitä tutkintoa suoritetaan ja minkälaisesta työstä on kyse.
+Esimerkiksi: Ammattikorkeakoulututkinnon harjoitustyö tai Ylemmän
+ammattikorkeakoulututkinnon opinnäytetyö
+
+## Koulutuksen nimi, kampus
+
+Tähän kirjoitetaan suoritettavan koulutuksen nimi kokonaisuudessaan.
+Esimerkiksi: Tieto- ja viestintätekniikka, insinööri (AMK) Rakennus- ja
+yhdyskuntatekniikka, insinööri (AMK) Sähkö- ja automaatiotekniikka, insinööri
+(AMK)
+
+## Lukukausi vuosi ja tekijän/tekijöiden nimet
+
+Työn lukuvuosi tieto kirjoitetaan lyhyesti. Esimerkiksi Kevät 2021 Tämän
+jälkeen kirjoitetaan tekijän tai tekijöiden nimet. 
+
+## Tiivistelmäsivun tiedot
+
+Kirjoita tähän tiedot (tutkinnon nimi, tekijöiden nimet, työn nimi) samassa
+muodossa kuin kansilehdellä. 
+
+## Ohjaajat
+
+Tähän kirjoitetaan opinnäytetyön ohjaajan nimi. Ohjaajia voi olla useita ja
+HAMKin ulkopuolisista organisaatioista. Kirjoita ensin aina HAMKin opinnäytetyön
+ohjaaja ja sen jälkeen ulkopuolisen organisaation ohjaaja sekä tämän
+organisaation nimi. Muista kysyä ulkopuolisen ohjaajan lupa nimen merkitsemiseen. 
+
+## Tiivistelmä
+
+Tiivistelmän pituus on 1 sivu ja se tiivistää koko työn sisällön. Tiivistelmä
+kirjoitetaan passiivissa ja menneessä aikamuodossa (imperfektissä).
+Johtopäätöksistä voi kertoa preesensissä.
+
+## Avainsanat
+
+Avainsanat kirjoitetaan aakkosjärjestykseen tai tärkeysjärjestykseen ja ne
+erotetaan toisistaan pilkulla. Vain ensimmäinen avainsana alkaa isolla
+alkukirjaimella. Avainsanojen löytämiseen voi hyödyntää verkkosivua ai.finto.fi
+
+[ai.into.fi](https://ai.finto.fi/?locale=en)
+
+## Sivut
+
+Ensin merkitään sivumäärä ja sen jälkeen liitteiden määrä. Lähdeluettelon
+viimeinen sivu on työn viimeinen numeroitava sivu. Näet sivumäärän siis
+lähdeluettelon viimeisen sivun sivunumerosta. 
+
+## Abstract-sivu
+
+Abstract on tiivistelmän englanninkielinen versio. Jos työhön ei tule
+abstract-sivua, se poistetaan asiakirjasta. Muutoin siihen kirjoitetaan
+vastaavat tiedot englanniksi. 
+
+## Sisällysluettelo
+
+Sisällysluettelosta näkee otsikoiden nimestä työn keskeisen sisällön ja
+rakenteen. On tärkeää varmistaa, että pääotsikot ja alaotsikot liittyvät
+loogisesti toisiinsa. Asiakirjamallissa on valmiina Word-työkalulla luotu 
+sisällysluettelo. Tämä luettelo päivitetään, kun työ on valmis eikä sitä siis
+kirjoiteta käsin.
+
+## Otsikot ja sivunumerot
+
+Jokainen otsikko on numeroitu ja nimetty. Lähteet on ainoa numeroimaton otsikko.
+Jos otsikkosi ei näy päivittämisen jälkeen sisällysluettelossa, tarkista että
+sillä on oikea otsikkotyyli. Mikäli sisällysluettelossa näkyy numeroimattomia 
+otsikoita, olet joko muokannut otsikkotyyliä tai kopioinut tyylin muusta
+asiakirjasta omaan työhösi. Tässä tapauksessa tarkista, että käytät oikeanlaisia
+tyyleja otsikoissa ja korjaa virheelliset tyylit tekstistäsi.
+
+## Liiteluettelo
+
+Lopuksi listataan vielä työn liitteet. Mikäli liitteitä ei ole, liiteluettelo
+poistetaan.
+
+## Johdanto
+
+Työn ensimmäinen luku on Johdanto. Sitä ei ole yleensä tarpeen jakaa alalukuihin.
+Johdannon tarkoitus on johdattaa lukija tutkimusraportin tai opinnäytetyön 
+aihepiiriin. Johdannossa kerrotaan työn tavoitteet ja tarkoitus, muttei kerrota
+tuloksia tai arvioida prosessia. Jos työssä on mukana useita tekijöitä,
+johdannossa kerrotaan jokaisen osallisen vastuualueet.
+
+## Pääotsikko
+
+Pääotsikko koostuu numerosta ja nimestä. Numeron jälkeen ei tule pistettä ja
+otsikko alkaa isolla kirjaimella. 
+
+## Toisen tason otsikko
+
+Toisen tason otsikossa on kaksiosainen numerointi ja nimi. Tässä 2.1 tarkoittaa 
+toisen pääluvun ensimmäistä alalukua. Väliotsikoiden tulee selkeästi kuulua 
+pääotsikon alle.
+
+## Tekstiviite
+
+Tekstiviitteen muoto on (tekijä, vuosi) Tekijällä tarkoitetaan kirjoittajaa, 
+organisaatiota tai julkaisijaa ja vuosi on lähteen julkaisuvuosi. Jos 
+viitataan koko kappaleeseen, viite tulee kappaleen jälkeen sulkuihin, eikä 
+siihen merkitä pistettä. Jos viitataan vain yhteen virkkeeseen, viite 
+kirjoitetaan sulkeisiin virkkeen sisään. Tekstiviitteen voi kirjoittaa myös 
+tekijäkeskeisesti. Tutustu huolellisesti HAMKin lähdeviiteoppaaseen 
+tekstiviitteiden ja lähteiden oikeinmerkitsemiseen.
+
+## Luvut
+
+Jokainen luku muodostuu vähintään kahdesta kappaleesta. Työssä voi olla 
+päälukuja ilman alalukuja. Jos pääluvun alla halutaan käyttää alalukuja, niitä 
+täytyy olla vähintään kaksi.
+
+## Tyylit
+
+Tyylipaletista löytyy valmiina eri tarkoituksiin muotoillut tekstit. Älä luo 
+tyylejä itse, vaan käytä asiakirjamallin valmiita tyylejä. Otsikko 1 on 
+päätason otsikko ja Otsikko 2 toisen tason otsikko. Leipäteksti kirjoitetaan 
+tyylillä Perusteksti tai Normaali.
+
+## Kuvat
+
+Kaikilla kuvilla on numero ja otsikko. Numerointi tapahtuu automaattisesti 
+otsikoinnin yhteydessä. Otsikoinnin yhteydessä on hyvä muistaa, että 
+kuvaotsikon paikka on kohteen yläpuolella ja otsikon jälkeen tulee merkitä 
+myös kuvan lähdeviite. Ennen kuvan esiintymistä asiakirjassa, siitä täytyy 
+olla maininta tekstissä. Muista myös kirjoittaa kuvalle vaihtoehtoinen kuvaus.
+
+## Kuvaluettelo
+
+Sisällysluettelon alle voi lisätä luettelon kuvista, taulukoista tai kaavoista.
+Se voi olla hyödyllinen, jos raportissa on paljon kuvia, ja ne ovat 
+olennainen osa raportin sisältöä. Se ei kuitenkaan ole pakollinen. 
+
+## Taulukko
+
+Taulukon tulee olla hyvin yksinkertaistettu ja helppolukuinen. Ylimääräisten 
+tyhjien ruutujen esiintymistä tulee välttää. Taulukko tulee tehdä Wordin 
+taulukko työkalulla tai liittää esimerkiksi Excelistä linkitettynä. Taulukkoa 
+ei tule liittää kuvana asiakirjaan. Kuvien tapaan taulukolla on numero ja nimi.
+Otsikointi tapahtuu samalla tavalla kuin kuville. Valitaan taulukko ja 
+Viittaukset välilehdeltä valitaan Lisää Otsikko. Otsikon paikka on valitun 
+kohteen yläpuolella. Muista merkitä myös taulukkoon lähde, mikäli taulukko ei 
+ole omaa tuotostasi. Lisää ohjeita taulukon tekemisestä löytyy 
+KvantiMOTV-sivuilta. Linkki alla. 
+
+[fsd.tuni.fi](https://www.fsd.tuni.fi/menetelmaopetus/raportointi/numerotulokset.html)
+
+## Kaavat
+
+Myös kaavat numeroidaan ja otsikoidaan. Noudata samoja ohjeita kuin kuvien ja 
+taulukoiden kanssa. Kaavasta mainitaan ennen sen esiintymistä ja otsikon 
+paikka on kohteen yläpuolella.
+
+## Luettelot
+
+Luetteloiden kirjoittamiseen käytetään luettelotyylejä. Tyylipaletista löytyy 
+tyylit numeroimattomalle ja numeroidulle luettelolle. Muista, että luetelma ei 
+voi aloittaa lukua tai muodostaa lukua yksinään.
+
+## Lopetusluku
+
+Raportin viimeinen luku on kokoava lopetusluku. Sen otsikko voi olla 
+esimerkiksi Yhteenveto, Pohdinta tai Päätelmät. Lopetusluvussa kerrataan 
+tavoitteet, tulokset ja työn keskeinen sisältö. Peilaa johdannossa 
+kirjoittamaasi johdantoon.
+
+## Asiakirjamalli
+
+Kaikki opintoihin kuuluvat raportit tehdään opinnäytetyön asiakirjamalliin. 
+
+[Hamkin opinnäytetyöohjeet](https://www.hamk.fi/opiskelijan-ohjeet/opinnaytetyo/)
+
+## Sivunumerointi
+
+Sivunumerointi alkaa johdantosivulta ja päättyy lähdeluettelon viimeiseen 
+sivuun. Tämä tapahtuu asiakirjamallissa automaattisesti. Lisätessä ja 
+poistaessa sivuja on kuitenkin hyvä tarkistaa, ettei asiakirjan rakenteeseen 
+ja sivunumerointiin tule muutoksia.
+
+## Lähteet
+
+Lähdeviiteopas löytyy samasta paikasta HAMKin nettisivuilta,kuin 
+asiakirjamallikin. Katso ohjeet lähdeluettelon, tekstiviitteiden ja 
+kuvaviitteiden tekemiseen lähdeviiteoppaasta.
+
+[hamk.fi](https://www.hamk.fi/opiskelijan-ohjeet/opinnaytetyo/) 
+
+
+## Viite
+
+Kuviin ja taulukoihin merkitään lähdeviitteet aivan kuten referoituun 
+tekstiinkin. Jos kuva on oma, lähdettä ei tarvitse merkitä. 
+
+## Lähteet
+
+Lähteet aakkostetaan tekijän sukunimen tai tekijäorganisaation nimen mukaan. 
+Lähdeluettelossa olevat linkit tehdään toimiviksi, eli hyperlinkeiksi. Tutustu 
+tarkasti HAMKin lähdeviiteoppaaseen, kun teet lähdeluetteloa ja tekstiviitteitä.
+Voit kirjoittaa lähdeluettelon käsin tai käyttämällä Wordin omaa 
+lähdeluettelotyökalua. Käytä työkalua vain, jos tunnet osaavasti käyttää sitä 
+oikein. Julkaisemattomat lähteet jätetään pois lähdeluettelosta. Niillä tulee 
+kuitenkin olla tekstiviite ja lähde tulee avata tekstissä selkeästi. 
+Julkaisemattomia lähteitä ovat esimerkiksi haastattelut, luennot, sähköpostit 
+ja intranetissä olevat tiedosto, sekä esimerkiksi suljetut oppimisympäristöt 
+kuten Moodle.
+
+## Liitteet
+
+Liitteet numeroidaan ja nimetään. Liitteitä ei merkitä sisällysluetteloon, 
+mutta niiden oma luettelo löytyy sisällysluettelosivulta. Mikäli työhön ei 
+tule liitteitä, liiteluettelo poistetaan. Poista myös tyhjät liitesivut tai 
+jätä ne pois, kun viet asiakirjan PDF-tiedostoksi. Jokaiseen liitteeseen 
+viitataan tekstissä ja siihen viitataan numerolla. Esimerkiksi. "Kaikille 
+kyselyyn osallistuville opiskelijoille jaettiin liitteen 1 mukainen kysely 
+vapaa-ajan vietosta."
+
+## Liitteen ylätunniste
+
+Ylätunnisteessa näkyy liitteen numero / liitteen sivu. Jos liitteessä yksi 
+olisi kaksi sivua, ensimmäisellä sivulla lukisi "Liite 1 / 1" ja toisella 
+sivulla "Liite 1 / 2". Esimerkin liitteessä on vain yksi sivu. Liite voi olla 
+vaakasuuntainen tai suurempi kuin A4-kokoinen.
+
+
+_Tekijät: Taija Karppinen, Lea Mustonen, Katja Ruunaniemi, Sanna Tapiola_
+[Alkuperäinen linkki](https://app.widgets.thinglink.com/accessibility/1503007817408184323)

requirements.txt

@@ -0,0 +1,17 @@
+torch --index-url https://download.pytorch.org/whl/cpu
+torchvision --index-url https://download.pytorch.org/whl/cpu
+torchaudio --index-url https://download.pytorch.org/whl/cpu
+faiss-cpu
+transformers
+accelerate
+bitsandbytes
+sentence-transformers
+langchain
+langchain-community
+langchain-huggingface
+pypdf
+bs4
+lxml
+nltk
+unstructured[md]
+gradio

vector_store.py

@@ -0,0 +1,117 @@
+from langchain_community.document_loaders import TextLoader, PyPDFLoader
+from langchain_community.document_loaders import BSHTMLLoader, UnstructuredMarkdownLoader
+from langchain.text_splitter import RecursiveCharacterTextSplitter
+from langchain_community.vectorstores import FAISS, VectorStore
+from langchain_huggingface import HuggingFaceEmbeddings
+from langchain_core.documents import Document
+from pypdf.errors import PyPdfError
+# stdlib
+from glob import glob
+import pathlib
+
+
+async def load_text(file_path: str) -> list[Document] | None:
+    """Loads text documents (.txt) asynchronously from a passed file_path."""
+    assert file_path != ""
+    assert pathlib.Path(file_path).suffix == ".txt"
+
+    try:
+        loader = TextLoader(file_path)
+        return await loader.aload()
+    except UnicodeError or RuntimeError as err:
+        print(f"could not load file: {file_path}")
+        print(f"error: {err}")
+
+
+# https://python.langchain.com/docs/how_to/document_loader_markdown/
+async def load_markdown(file_path: str) -> list[Document] | None:
+    """Loads markdown files asynchronously from a passed file_path."""
+    assert file_path != ""
+    assert pathlib.Path(file_path).suffix == ".md"
+
+    try:
+        # use the mode elements to keep metadata about if the information is
+        # a paragraph, link or a heading for example
+        loader = UnstructuredMarkdownLoader(file_path, mode="elements")
+        return await loader.aload()
+    except UnicodeError or RuntimeError as err:
+        print(f"could not load file: {file_path}")
+        print(f"error: {err}")
+
+
+# https://python.langchain.com/docs/how_to/document_loader_pdf/
+async def load_pdf(file_path: str) -> list[Document] | None:
+    """Loads pdf documents (.pdf) asynchronously from a passed file_path."""
+    assert file_path != ""
+    assert pathlib.Path(file_path).suffix == ".pdf"
+
+    loader = PyPDFLoader(file_path)
+    try:
+        return await loader.aload()
+    except PyPdfError as err:
+        print(f"could not read file: {file_path}")
+        print(f"error: {err}")
+
+
+async def load_html(file_path: str) -> list[Document]:
+    """Loads html documents (.html) asynchronously from a passed file_path."""
+    assert file_path != ""
+    assert pathlib.Path(file_path).suffix == ".html" or ".htm"
+
+    loader = BSHTMLLoader(file_path)
+    return await loader.aload()
+
+
+# hold all of the loader functions for easy 0(1) fetching
+LOADER_MAP = {
+    ".pdf": load_pdf,
+    ".html": load_html,
+    ".htm": load_html,
+    ".txt": load_text,
+    ".md": load_markdown,
+}
+
+
+# https://python.langchain.com/v0.1/docs/modules/data_connection/retrievers/vectorstore/
+async def get_document_database(
+    data_folder="learning_material/*/*/*",
+    embedding_model="BAAI/bge-base-en-v1.5",
+    chunk_size=1028, chunk_overlap=0,
+) -> VectorStore:
+
+    # get all the filepaths of the learning materials
+    files = glob(data_folder)
+
+    all_docs = []
+    for file_path in files:
+        extension = pathlib.Path(file_path).suffix
+        if not extension:
+            print(f"{file_path} is a folder, skipping")
+            continue
+
+        load_fn = LOADER_MAP.get(extension)
+        if not load_fn:
+            print(f"no document loader for file extension '{extension}'")
+            print(f"file {file_path} will be skipped")
+            continue
+
+        # load the document with a filetype specific loader
+        result_documents = await load_fn(file_path)
+
+        if not result_documents:
+            print(f"file {file_path} does not include any content, skipping")
+            continue
+
+        all_docs.extend(result_documents)
+
+    splitter = RecursiveCharacterTextSplitter(
+        chunk_size=chunk_size,
+        chunk_overlap=chunk_overlap
+    )
+
+    chunked_docs = splitter.split_documents(all_docs)
+
+    return await FAISS.afrom_documents(
+        chunked_docs,
+        HuggingFaceEmbeddings(model_name=embedding_model)
+    )