Image-Text-to-Text
Transformers
Safetensors
Norwegian
Norwegian Bokmål
Norwegian Nynorsk
gemma3_text
text-generation
conversational
instruct
experimental
text-generation-inference
🇪🇺 Region: EU
Instructions to use NbAiLab/borealis-1b-instruct-preview with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use NbAiLab/borealis-1b-instruct-preview with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("image-text-to-text", model="NbAiLab/borealis-1b-instruct-preview") messages = [ { "role": "user", "content": [ {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/p-blog/candy.JPG"}, {"type": "text", "text": "What animal is on the candy?"} ] }, ] pipe(text=messages)# Load model directly from transformers import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.from_pretrained("NbAiLab/borealis-1b-instruct-preview") model = AutoModelForCausalLM.from_pretrained("NbAiLab/borealis-1b-instruct-preview") messages = [ { "role": "user", "content": [ {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/p-blog/candy.JPG"}, {"type": "text", "text": "What animal is on the candy?"} ] }, ] inputs = tokenizer.apply_chat_template( messages, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt", ).to(model.device) outputs = model.generate(**inputs, max_new_tokens=40) print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:])) - Inference
- Notebooks
- Google Colab
- Kaggle
- Local Apps
- vLLM
How to use NbAiLab/borealis-1b-instruct-preview with vLLM:
Install from pip and serve model
# Install vLLM from pip: pip install vllm # Start the vLLM server: vllm serve "NbAiLab/borealis-1b-instruct-preview" # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:8000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "NbAiLab/borealis-1b-instruct-preview", "messages": [ { "role": "user", "content": [ { "type": "text", "text": "Describe this image in one sentence." }, { "type": "image_url", "image_url": { "url": "https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg" } } ] } ] }'Use Docker
docker model run hf.co/NbAiLab/borealis-1b-instruct-preview
- SGLang
How to use NbAiLab/borealis-1b-instruct-preview with SGLang:
Install from pip and serve model
# Install SGLang from pip: pip install sglang # Start the SGLang server: python3 -m sglang.launch_server \ --model-path "NbAiLab/borealis-1b-instruct-preview" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "NbAiLab/borealis-1b-instruct-preview", "messages": [ { "role": "user", "content": [ { "type": "text", "text": "Describe this image in one sentence." }, { "type": "image_url", "image_url": { "url": "https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg" } } ] } ] }'Use Docker images
docker run --gpus all \ --shm-size 32g \ -p 30000:30000 \ -v ~/.cache/huggingface:/root/.cache/huggingface \ --env "HF_TOKEN=<secret>" \ --ipc=host \ lmsysorg/sglang:latest \ python3 -m sglang.launch_server \ --model-path "NbAiLab/borealis-1b-instruct-preview" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "NbAiLab/borealis-1b-instruct-preview", "messages": [ { "role": "user", "content": [ { "type": "text", "text": "Describe this image in one sentence." }, { "type": "image_url", "image_url": { "url": "https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg" } } ] } ] }' - Docker Model Runner
How to use NbAiLab/borealis-1b-instruct-preview with Docker Model Runner:
docker model run hf.co/NbAiLab/borealis-1b-instruct-preview
Eksempel på output
#1
by jwa018 - opened
Her er eksempel på output når jeg kjører modellen med ollama run hf.co/NbAiLab/borealis-270m-instruct-preview-gguf:BF16
>>> hei
Hei! Hva kan jeg hjelpe deg med i dag?
>>> Fortell meg en vits
Selvfølgelig! Her kommer en liten vits:
Hvorfor stoler ikke forskere på atomer?
Fordi de utgjør alt!
Håper den fikk deg til å smile! Vil du høre en annen vits?
>>> Ja
Selvfølgelig! Her kommer en til:
Hvorfor fikk skrekkfuglen en pris?
Fordi den var utmerket!
>>> Fortell meg hva "skrei" er
"Skrei" er et engelsk ord som brukes i hebraisk og jiddisch språk, og betyr «kvisk» eller «skrik». Uttrykket kommer fra det jiddiske ordet «skrei», som betyr «skrik» eller «skrik» (som ofte brukes om en skandale eller en narsissistisk
skandale). Skrei brukes ofte i hebraisk media for å beskrive noe som har skjedd i et offentlig rom, som en skandale, et brudd eller en forstyrrelse. Den skrikfulle tonen i ordet er typisk for jiddisch språkbruk, som har flere unike
trekk, blant annet en utstrakt bruk av skrekk- og skrikord og en egen dialekt med lydmønstre.
>>> Nei, i norsk fiske kontekst, hva er en "skrei"?
I norsk fiske sammenheng er en «skrei» vanligvis et uttrykk for en svært stor eller ekstremt stor fisk, ofte brukt for å vise at den er enorm. Det er et skrikord, så det høres veldig høyt ut. Eksempelvis kan en fisk som er så stor at den
nesten bryter overflaten regnes som en skrei. Bruken av skrekkord brukes for å gjøre merkelige eller imponerende ting mer levende, og ikke bare for skrekk eller skrik.
>>> Hvem er Erna Solberg?
Erna Solberg er en norsk politiker og tidligere statsminister som fungerte som landets 11. statsminister fra 2013 til 2021. Født 10. januar 1980 i Oslo, ble hun født inn i en norsk-sveitsisk-familie. Hun er medlem av Arbeiderpartiet.
Som statsminister spilte hun en sentral rolle i landets politiske utvikling fra 2013 til 2021, og hennes regjering preges av en pragmatisk og sosialdemokratisk tilnærming. Hun var også den første kvinnen som tok stilling til som
statsminister.
Siden sin tid som statsminister, har Solberg vært aktiv i offentlig politikk, og har vært en sterk forkjemper for sosial rettferdighet, rettigheter til bolig og miljø, og har også vært involvert i internasjonal politikk og diplomati.
>>> Hvem er Jens Stolteneberg?
Jens Stolteneberg er en norsk politikert. Han er kjent fra sin tid som president i Høyre-partiet, der han representerte regionen Innlandet.
Stolteneberg ble valgt inn i Det norske parlament (Riksmakten) i 2019 og er medlem av Folketinget. Som medlem av Høyre representerer han partiet i nasjonalforsamlingene.