Instructions to use Crad/Bielik-GGUF with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use Crad/Bielik-GGUF with llama-cpp-python:

# !pip install llama-cpp-python

from llama_cpp import Llama

llm = Llama.from_pretrained(
	repo_id="Crad/Bielik-GGUF",
	filename="Bielik.IQ1_M.gguf",
)

output = llm(
	"Once upon a time,",
	max_tokens=512,
	echo=True
)
print(output)

Notebooks
Google Colab
Kaggle
Local Apps

llama.cpp

How to use Crad/Bielik-GGUF with llama.cpp:

Install from brew

brew install llama.cpp
# Start a local OpenAI-compatible server with a web UI:
llama-server -hf Crad/Bielik-GGUF:IQ1_M
# Run inference directly in the terminal:
llama-cli -hf Crad/Bielik-GGUF:IQ1_M

Install from WinGet (Windows)

winget install llama.cpp
# Start a local OpenAI-compatible server with a web UI:
llama-server -hf Crad/Bielik-GGUF:IQ1_M
# Run inference directly in the terminal:
llama-cli -hf Crad/Bielik-GGUF:IQ1_M

Use pre-built binary

# Download pre-built binary from:
# https://github.com/ggerganov/llama.cpp/releases
# Start a local OpenAI-compatible server with a web UI:
./llama-server -hf Crad/Bielik-GGUF:IQ1_M
# Run inference directly in the terminal:
./llama-cli -hf Crad/Bielik-GGUF:IQ1_M

Build from source code

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
cmake -B build
cmake --build build -j --target llama-server llama-cli
# Start a local OpenAI-compatible server with a web UI:
./build/bin/llama-server -hf Crad/Bielik-GGUF:IQ1_M
# Run inference directly in the terminal:
./build/bin/llama-cli -hf Crad/Bielik-GGUF:IQ1_M

Use Docker

docker model run hf.co/Crad/Bielik-GGUF:IQ1_M

LM Studio
Jan
Ollama
How to use Crad/Bielik-GGUF with Ollama:
```
ollama run hf.co/Crad/Bielik-GGUF:IQ1_M
```

Unsloth Studio

How to use Crad/Bielik-GGUF with Unsloth Studio:

Install Unsloth Studio (macOS, Linux, WSL)

curl -fsSL https://unsloth.ai/install.sh | sh
# Run unsloth studio
unsloth studio -H 0.0.0.0 -p 8888
# Then open http://localhost:8888 in your browser
# Search for Crad/Bielik-GGUF to start chatting

Install Unsloth Studio (Windows)

irm https://unsloth.ai/install.ps1 | iex
# Run unsloth studio
unsloth studio -H 0.0.0.0 -p 8888
# Then open http://localhost:8888 in your browser
# Search for Crad/Bielik-GGUF to start chatting

Using HuggingFace Spaces for Unsloth

# No setup required
# Open https://huggingface.co/spaces/unsloth/studio in your browser
# Search for Crad/Bielik-GGUF to start chatting

Docker Model Runner
How to use Crad/Bielik-GGUF with Docker Model Runner:
```
docker model run hf.co/Crad/Bielik-GGUF:IQ1_M
```

Lemonade

How to use Crad/Bielik-GGUF with Lemonade:

Pull the model

# Download Lemonade from https://lemonade-server.ai/
lemonade pull Crad/Bielik-GGUF:IQ1_M

Run and chat with the model

lemonade run user.Bielik-GGUF-IQ1_M

List all available models

lemonade list

About

These are quantized Bielik models, from https://huggingface.co/speakleash

Keep in mind the original model license when using these models

Quantization process:

Under your llama.cpp/models/Bielik directory make sure, you have raw files from official repository (at the moment of writing, version 0.1: https://huggingface.co/speakleash/Bielik-7B-Instruct-v0.1):

-rw-r--r-- 1 root root         593 Apr 13 09:12 config.json
-rw-r--r-- 1 root root         111 Apr 13 09:12 generation_config.json
-rw-r--r-- 1 root root  4943162336 Mar 30 22:53 model-00001-of-00003.safetensors
-rw-r--r-- 1 root root  4999819336 Mar 30 22:53 model-00002-of-00003.safetensors
-rw-r--r-- 1 root root  4540516344 Mar 30 22:53 model-00003-of-00003.safetensors
-rw-r--r-- 1 root root     1795303 Apr 13 08:21 tokenizer.json
-rw-r--r-- 1 root root      493443 Mar 30 22:53 tokenizer.model

Execute python convert.py --outtype f16 models/Bielik
Generate imatrix (1st 8000 lines from pl-wiki dataset - see on my profile): ./imatrix -m models/Bielik/ggml-model-f16.gguf -f /root/wiki/wiki.small.txt -ngl 33 -o models/Bielik/imatrix.dat
Execute ./quantize --imatrix models/Bielik/imatrix.dat models/Bielik/ggml-model-f16.gguf models/Bielik.<quant option>.gguf <quant option>

Results:

All results presented using: ./main -m models/Bielik/Bielik.<quant option>.gguf -ngl 99 -p "[INST]Jakie są pory roku?[/INST]"

IQ1_M

[INST]Jakie są pory roku?[/INST] Pory roku to okresy rośnienda i wytracania słoiczka w wyniku obrotu Ziemi wokół Słośica. Miesiąc, w którym panuje na naszym niebosie "Słońce" jest okresem w którym przebywamy dłużej. [end of text]

IQ1_S

 [INST]Jakie są pory roku?[/INST]
Porów roku jest tyle co pór roku. Pory roku dzielą się na:
- porę monsanto
- porę dzieka wersa
- porę dornej
- porę monsanto
- porę konfitus
- porą odzyska
- porą gorzaki
- porą mnisty
- porę drzewa
- porą mnisty
- porą cmentomor
- porą monszun
- porą kaszo
- porą kalifator
- porą pólkra
- porą cmentatorską
- porą konkretn
- porą tajemnic
- porą odoror
- porą podsumowania [end of text]

IQ2_XXS

[INST]Jakie są pory roku?[/INST]  W Polsce wyróżnia się trzy pory roku: wiosnę, lato, jesień i zimę. [end of text]

IQ3_XXS

[INST]Jakie są pory roku?[/INST]  Podział na pory roku jest różny w zależności od strefy klimatycznej. W Polsce powszechnie przyjmuje się podział na cztery pory roku:

1. Wiosna (od 21 marca do 20 czerwca)
2. Lato (od 21 czerwca do 22 września)
3. Jesień (od 23 września do 21 grudnia)
4. Zima (od 21 grudnia do 20 marca)

Jednakże, te daty mogą się różnić w zależności od regionu i klimatu. [end of text]

IQ3_XS

[INST]Jakie są pory roku?[/INST]  W Polsce wyróżnia się cztery pory roku: wiosnę, lato, jesień i zimę. Wiosna rozpoczyna się w marcu, kiedy to przyroda zaczyna budzić się do życia. Latem temperatury są wysokie, a dni są długie i słoneczne. Jesień przychodzi we wrześniu i październiku, charakteryzuje się ona spadkiem temperatur i większą ilością opadów. Zima rozpoczyna się w grudniu i styczniu, jest to czas, kiedy temperatury są najniższe, a dni są krótsze. [end of text]

Q2_K_S

[INST]Jakie są pory roku?[/INST]  W Polsce wyróżniamy cztery pory roku:
1. Wiosna - od 1 marca do 20 maja
2. Lato - od 21 maja do 22 września
3. Jesień - od 23 września do 31 października
4. Zima - od 1 listopada do 28 lutego

Te daty są ruchome, co oznacza, że każdego roku pory roku mogą zaczynać się trochę wcześniej lub później. [end of text]

Q3_K_S (no imatrix)

[INST]Jakie są pory roku?[/INST]  W Polsce wyróżnia się cztery pory roku:

1. Wiosna: trwa od 21 marca do 20 czerwca. Charakteryzuje się rosnącymi temperaturami, kwitnieniem kwiatów i narodzinami nowego życia po zimie.
2. Lato: trwa od 21 czerwca do 22 września. Charakteryzuje się najwyższymi temperaturami w roku, pełnym słońcem i okresem wakacji.
3. Jesień: trwa od 23 września do 21 grudnia. Charakteryzuje się spadkiem temperatur, pojawieniem się liści w jesiennych kolorach i zbiorami plonów.
4. Zima: trwa od 22 grudnia do 20 marca. Charakteryzuje się najniższymi temperaturami w roku, spadkiem liści i dłuższą nocą.

Te daty mogą się różnić w zależności od regionu i kraju, ale generalnie odzwierciedlają typowe zmiany w przyrodzie. [end of text]

Favourite hallucinations from IQ2_XXS

 [INST]Jakie są pory roku?[/INST]  W Polsce pory roku to:
- wiosna
- lato
- jesień
- zima

KaGETKA DZIUPA Z KAMER KIJI:

Dobo Tengo Kijilka Wiecej O:

Wiecej informacji na ten temat mozna znalezc w materiale filmowym zrealizowanym przez TVP Krotko:

<url> [end of text]

[INST]Jakie są pory roku?[/INST]  W Polsce pory roku są:
-jesień
-zima
-wiosna
-lato

W Czechach jest jedna więcej pora roku - jesien (zimovy)

W USA jest jedna więcej pora - pora deszczowa


P [end of text]

Important note

Model likes to respond in English when given math questions.

[INST]Ile to 2+2?[/INST]  Ile to 2+2 means: "How does 2 plus 2 add?", which would be 4. [end of text]

However, prepending the query with some longer initial message seems to fix this behaviour:

[INST]Hejka, mam na imię Radek. Mógłbyś mi powiedzieć ile to 2+2?[/INST]  Hej, Radek. Odpowiedź na pytanie 2+2 to 4. [end of text]

and

[INST]Jak stara jest Ziemia?[/INST]  Ziemia jest starsza, niż jakiekolwiek sztuczne koncepty mówią. W rzeczywistości Ziemia ma około 4.5 do 5 miliardów lat. W 1920 roku, brytyjski chemik i paleontolog dr. M.C.K. Birsig zidentyfikował trinoblaster w skamieniałym zlepie z RPA, i to wskazuje na to, że organizm ten miał komórki z jądami, i że było to 300 do 400 milionów lat temu. Dzisiaj mamy technologię, która może potwierdzić, że Ziemia jest o wiele starsza.
[INST]A ile to 2+2?[/INST]
Dwa plus dwa równa się cztery.

Downloads last month: 78

GGUF

Model size

7B params

Architecture

llama

Hardware compatibility

1-bit

2-bit

3-bit

Inference Providers NEW

This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Crad
/

Bielik-GGUF