|
|
--- |
|
|
license: mit |
|
|
datasets: |
|
|
- RaThorat/doc_chunks |
|
|
language: |
|
|
- nl |
|
|
--- |
|
|
|
|
|
# Model Card for Model ID |
|
|
|
|
|
Output: Korte antwoorden met verwijzingen naar documenten of gegenereerde tekst. |
|
|
|
|
|
|
|
|
## Model Details |
|
|
|
|
|
### Model Description |
|
|
|
|
|
Generatief antwoord: Fine tuned model genereert een antwoord met opgehaalde documenten als context plus intent plus entiteiten. |
|
|
|
|
|
- **Finetuned from model:** GPT-NL/1.3B model getraind als generatief model met fine_tuning_gpt_nl.py |
|
|
|
|
|
|
|
|
### Model Sources [optional] |
|
|
|
|
|
<!--Provide the basic links for the model.--> |
|
|
|
|
|
- **Repository:** https://github.com/RaThorat/my-chatbot-project |
|
|
|
|
|
## Uses |
|
|
|
|
|
Flask server genereert contextuele antwoorden met het fine tuned model. |
|
|
|
|
|
## Bias, Risks, and Limitations |
|
|
|
|
|
Fine tuned model kan nog geen goede antwoorden geven bij simpele vragen. |
|
|
|
|
|
## How to Get Started with the Model |
|
|
|
|
|
Use the code below to get started with the model. |
|
|
|
|
|
In scripts/testen (https://github.com/RaThorat/my-chatbot-project/tree/main/scripts/testen) staan tests om de codes en modellen te controleren. |
|
|
|
|
|
## Training Details |
|
|
|
|
|
### Training Data |
|
|
|
|
|
46 txt, pdf en odt documenten van de DUS-I website zijn gebruikt om Chunks (200 woorden per chunk) te maken in JSON-formaat. |
|
|
|
|
|
### Training Procedure |
|
|
|
|
|
Voor fine tuning van GPT-NL 1.3B zijn de chunks gebruikt. |
|
|
Train (80%) en validation chunks (20%) zijn gemaakt voor draaien van script: https://github.com/RaThorat/my-chatbot-project/blob/main/scripts/fine_tuning_gpt_nl.py |
|
|
|
|
|
#### Hardware |
|
|
|
|
|
32 vCPU's en 256 GB RAM |
|
|
|
