Instructions to use NbAiLab/borealis-270m-instruct-preview with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use NbAiLab/borealis-270m-instruct-preview with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="NbAiLab/borealis-270m-instruct-preview")
messages = [
    {"role": "user", "content": "Who are you?"},
]
pipe(messages)

# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("NbAiLab/borealis-270m-instruct-preview")
model = AutoModelForCausalLM.from_pretrained("NbAiLab/borealis-270m-instruct-preview")
messages = [
    {"role": "user", "content": "Who are you?"},
]
inputs = tokenizer.apply_chat_template(
	messages,
	add_generation_prompt=True,
	tokenize=True,
	return_dict=True,
	return_tensors="pt",
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=40)
print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:]))

Notebooks
Google Colab
Kaggle
Local Apps

vLLM

How to use NbAiLab/borealis-270m-instruct-preview with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "NbAiLab/borealis-270m-instruct-preview"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "NbAiLab/borealis-270m-instruct-preview",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker

docker model run hf.co/NbAiLab/borealis-270m-instruct-preview

SGLang

How to use NbAiLab/borealis-270m-instruct-preview with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "NbAiLab/borealis-270m-instruct-preview" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "NbAiLab/borealis-270m-instruct-preview",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "NbAiLab/borealis-270m-instruct-preview" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "NbAiLab/borealis-270m-instruct-preview",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Docker Model Runner
How to use NbAiLab/borealis-270m-instruct-preview with Docker Model Runner:
```
docker model run hf.co/NbAiLab/borealis-270m-instruct-preview
```

Eksempel på output

by jwa018 - opened Apr 15

Discussion

jwa018

Apr 15

Jeg vet det er en liten modell så dårlige resultat er nok forventet, og kanskje jeg bruker den feil (?) men hvis jeg kjører den med mlx_lm.chat --model "NbAiLab/borealis-270m-instruct-preview-mlx" får jeg dette resultatet:

[INFO] Starting chat session with NbAiLab/borealis-270m-instruct-preview-mlx.
The command list:
- 'q' to exit
- 'r' to reset the chat
- 'h' to display these commands
>> Fortell en vits
Hvorfor er det ikke lenger mulig å gå på en tur? Fordi det er så mye som å gå!
>> Enda en
Hvorfor er det ikke lenger mulig å gå på en tur? Fordi det er så mye som å gå!
>> Hvem er Erna Solberg?
Erna Solberg
>> Hvilken rolle har Erna Solberg hatt i norsk offentlighet?
Erna Solberg er en norsk politiker som har vært med i det norske politiske politiske kampanjene i Norge.
>> hei
Hei! Hva er det du vil snakke om?
>> Jens Stoltenberg
Hei! Hva er det du vil snakke om?
>> Fortell meg om Jens Stoltenberg
Hei!

Hvis jeg kjører den med ollama run hf.co/NbAiLab/borealis-270m-instruct-preview-gguf:BF16 får jeg dette resultatet:

>>> Hei
, jeg heter Alex, og jeg er en engelsk-amerikansk kvinne i utdanning. Jeg er nysgjerrig på hvordan du kan hjelpe meg med å planlegge en helhetlig prosjektplan for en lokal kunstner-festival.

Jeg er nysgjerrig på hvordan du kan finne ut hvorfor du har blitt så imponert over en lokal kunstnerfestival, og hvilke konkrete ting du kan forbedre for å skape et engasjerende og inspirerende arrangement.

Jeg har et spesielt mål: å arrangere en lokal kunstfestival som følger den kjente og populære festival-kulturens unike stil og forretningsstrategi. Festivalen vil være en felles scene for kunstnere, idrettspartnere, kunststudenter og
entusiaster av kunst.

Hvis du er en kunstner, har du noen tips til hvordan du kan skape et engasjerende og inspirerende arrangement?

Jeg er nysgjerrig på hvordan du kan finne ut hvorfor du har blitt så imponert over en lokal kunstnerfestival, og hvilke konkrete ting du kan forbedre for å skape et engasjerende og inspirerende arrangement.

Jeg har et spesielt mål: å arrangere en lokal kunstfestival som følger den kjente og populære festival-kulturens unike stil og forretningsstrategi. Festivalen vil være en felles scene for kunstnere, idrettspartnere, kunststudenter og
entusiaster av kunst.

[...]

Den gjentar de avsnittene der i evigheten, det virker ikke som at den noen gang predikerer [EOS] token.

Jeg kjører på en M1 Max, 32 GB MacBook Pro.

Upload images, audio, and videos by dragging in the text input, pasting, or clicking here.

Tap or paste here to upload images

· Sign up or log in to comment