Instructions to use NbAiLab/borealis-270m-instruct-preview with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use NbAiLab/borealis-270m-instruct-preview with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("text-generation", model="NbAiLab/borealis-270m-instruct-preview") messages = [ {"role": "user", "content": "Who are you?"}, ] pipe(messages)# Load model directly from transformers import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.from_pretrained("NbAiLab/borealis-270m-instruct-preview") model = AutoModelForCausalLM.from_pretrained("NbAiLab/borealis-270m-instruct-preview") messages = [ {"role": "user", "content": "Who are you?"}, ] inputs = tokenizer.apply_chat_template( messages, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt", ).to(model.device) outputs = model.generate(**inputs, max_new_tokens=40) print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:])) - Notebooks
- Google Colab
- Kaggle
- Local Apps
- vLLM
How to use NbAiLab/borealis-270m-instruct-preview with vLLM:
Install from pip and serve model
# Install vLLM from pip: pip install vllm # Start the vLLM server: vllm serve "NbAiLab/borealis-270m-instruct-preview" # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:8000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "NbAiLab/borealis-270m-instruct-preview", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }'Use Docker
docker model run hf.co/NbAiLab/borealis-270m-instruct-preview
- SGLang
How to use NbAiLab/borealis-270m-instruct-preview with SGLang:
Install from pip and serve model
# Install SGLang from pip: pip install sglang # Start the SGLang server: python3 -m sglang.launch_server \ --model-path "NbAiLab/borealis-270m-instruct-preview" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "NbAiLab/borealis-270m-instruct-preview", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }'Use Docker images
docker run --gpus all \ --shm-size 32g \ -p 30000:30000 \ -v ~/.cache/huggingface:/root/.cache/huggingface \ --env "HF_TOKEN=<secret>" \ --ipc=host \ lmsysorg/sglang:latest \ python3 -m sglang.launch_server \ --model-path "NbAiLab/borealis-270m-instruct-preview" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "NbAiLab/borealis-270m-instruct-preview", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }' - Docker Model Runner
How to use NbAiLab/borealis-270m-instruct-preview with Docker Model Runner:
docker model run hf.co/NbAiLab/borealis-270m-instruct-preview
Eksempel på output
Jeg vet det er en liten modell så dårlige resultat er nok forventet, og kanskje jeg bruker den feil (?) men hvis jeg kjører den med mlx_lm.chat --model "NbAiLab/borealis-270m-instruct-preview-mlx" får jeg dette resultatet:
[INFO] Starting chat session with NbAiLab/borealis-270m-instruct-preview-mlx.
The command list:
- 'q' to exit
- 'r' to reset the chat
- 'h' to display these commands
>> Fortell en vits
Hvorfor er det ikke lenger mulig å gå på en tur? Fordi det er så mye som å gå!
>> Enda en
Hvorfor er det ikke lenger mulig å gå på en tur? Fordi det er så mye som å gå!
>> Hvem er Erna Solberg?
Erna Solberg
>> Hvilken rolle har Erna Solberg hatt i norsk offentlighet?
Erna Solberg er en norsk politiker som har vært med i det norske politiske politiske kampanjene i Norge.
>> hei
Hei! Hva er det du vil snakke om?
>> Jens Stoltenberg
Hei! Hva er det du vil snakke om?
>> Fortell meg om Jens Stoltenberg
Hei!
Hvis jeg kjører den med ollama run hf.co/NbAiLab/borealis-270m-instruct-preview-gguf:BF16 får jeg dette resultatet:
>>> Hei
, jeg heter Alex, og jeg er en engelsk-amerikansk kvinne i utdanning. Jeg er nysgjerrig på hvordan du kan hjelpe meg med å planlegge en helhetlig prosjektplan for en lokal kunstner-festival.
Jeg er nysgjerrig på hvordan du kan finne ut hvorfor du har blitt så imponert over en lokal kunstnerfestival, og hvilke konkrete ting du kan forbedre for å skape et engasjerende og inspirerende arrangement.
Jeg har et spesielt mål: å arrangere en lokal kunstfestival som følger den kjente og populære festival-kulturens unike stil og forretningsstrategi. Festivalen vil være en felles scene for kunstnere, idrettspartnere, kunststudenter og
entusiaster av kunst.
Hvis du er en kunstner, har du noen tips til hvordan du kan skape et engasjerende og inspirerende arrangement?
Jeg er nysgjerrig på hvordan du kan finne ut hvorfor du har blitt så imponert over en lokal kunstnerfestival, og hvilke konkrete ting du kan forbedre for å skape et engasjerende og inspirerende arrangement.
Jeg har et spesielt mål: å arrangere en lokal kunstfestival som følger den kjente og populære festival-kulturens unike stil og forretningsstrategi. Festivalen vil være en felles scene for kunstnere, idrettspartnere, kunststudenter og
entusiaster av kunst.
[...]
Den gjentar de avsnittene der i evigheten, det virker ikke som at den noen gang predikerer [EOS] token.
Jeg kjører på en M1 Max, 32 GB MacBook Pro.