| | --- |
| | license: apache-2.0 |
| | language: |
| | - da |
| | --- |
| | # DanskGPT-tiny |
| | <img src="tiny-danskgpt.png" width="500" height="500"> |
| |
|
| | DanskGPT-tiny er en 1,1 milliard parametre LLaMA baseret LLM. Træningen er en fortsættelse af [TinyLLaMA](https://huggingface.co/TinyLlama/TinyLlama-1.1B-intermediate-step-1431k-3T). |
| |
|
| | Modellen er trænet på 8 milliarder tokens af dansk syntetisk tekst. |
| |
|
| | Denne model er en såkaldt "foundation/completion" model, og er derfor ikke beregnet til at chatte med. |
| |
|
| | ## Inferens |
| | Ved brug af vLLM. |
| |
|
| | ``` |
| | pip install vllm |
| | ``` |
| |
|
| | ```python |
| | from vllm import LLM, SamplingParams |
| | |
| | sampling_params = SamplingParams(temperature=0.8, top_p=0.95, max_tokens=512) |
| | llm = LLM(model="mhenrichsen/danskgpt-tiny") |
| | |
| | while True: |
| | prompt = input("Skriv: ") |
| | outputs = llm.generate(prompt, sampling_params) |
| | for output in outputs: |
| | prompt = output.prompt |
| | generated_text = output.outputs[0].text |
| | print(f"Prompt: {prompt!r}, Generated text: {generated_text!r}") |
| | |
| | ``` |
| |
|
| | ## Brug for hjælp? |
| | Har du spørgsmål eller brug for hjælp til LLM'er eller automatisering af tekstbaserede opgaver, så kontakt mig gerne. |
| |
|
| | /Mads |
| |
|
