OrisTeam/Koliber-v1.0-Base

Koliber v1.0 Base

Koliber v1.0 Base is a compact Polish decoder-only causal language model developed by OrisTeam and trained from scratch.

It is a base pretrained model, not an instruction-tuned assistant or chatbot. It is intended primarily for text completion and as a foundation for further supervised fine-tuning, preference optimization, continued pretraining, research, and experimentation.

Koliber v1.0 Base is an unaligned base language model.

Generated text may be false, misleading, offensive, biased, unsafe, inconsistent, or otherwise inappropriate. The model may invent facts, names, quotations, dates, numbers, sources, or events, and may reproduce undesirable patterns present in its training data.

Outputs should not be treated as factual, authoritative, or safe by default. Additional evaluation, filtering, alignment, and application-specific safeguards are required before deployment in user-facing or high-stakes settings.

Model

Property	Value
Parameters	126,044,928 (126M)
Layers	12
Hidden size	768
Query heads / KV heads	12 / 2
Head dimension	64
FFN	3072
Context length	1536
Attention	GQA
Positional encoding	RoPE
Activation	SwiGLU
Normalization	RMSNorm
Bias	No
LM head	tied embeddings
Training tokens	2,534,400,000 (~2.534B)
Language	primarily Polish
Stage	base pretraining

Training-only future-state auxiliary objective

Koliber was trained with standard next-token prediction together with a small auxiliary hidden-state prediction objective.

A training-only head learns to predict a future hidden representation approximately 128 tokens ahead, sampled every 32 tokens, using a low-rank 192-dimensional projection and cosine-distance loss.

The auxiliary loss was applied with a weight of 0.03:

L = L_NTP + 0.03 × L_future

The auxiliary head is not part of the released inference model, adds no inference-time parameters, and is not required when loading or generating with Koliber.

Loading

from transformers import AutoModelForCausalLM, AutoTokenizer

repo_id = "OrisTeam/Koliber-v1.0-Base"

tokenizer = AutoTokenizer.from_pretrained(
    repo_id,
    trust_remote_code=True,
)

model = AutoModelForCausalLM.from_pretrained(
    repo_id,
    trust_remote_code=True,
)

Generation

Koliber is primarily a text-completion model. Natural text prefixes are generally more appropriate than instruction-style chat prompts.

inputs = tokenizer(
    "Polska jest krajem, który",
    return_tensors="pt",
)

output = model.generate(
    **inputs,
    max_new_tokens=96,
    do_sample=True,
    temperature=0.8,
    top_k=40,
    top_p=0.95,
    repetition_penalty=1.15,
)

print(
    tokenizer.decode(
        output[0],
        skip_special_tokens=True,
    )
)

Base-model generation snapshot

Below are raw sampled continuations from Koliber v1.0 Base — 126M and Azurro/APT3-275M-Base — 275M.

Both are base pretrained language models rather than instruction-tuned assistants.

The same generation setup was used for both models:

seed = 1234
max_new_tokens = 96
temperature = 0.8
top_k = 40
top_p = 0.95
repetition_penalty = 1.15

The random seed was reset before each model and each prompt. The examples are shown as qualitative samples, not as a ranking.

Example 1

Prompt

Wczoraj wieczorem mieszkańcy miasta zauważyli, że

Koliber v1.0 Base — 126M

Wczoraj wieczorem mieszkańcy miasta zauważyli, że przy ulicy 3 Maja w tym rejonie znajduje się sklep spożywczy. Ulicami tej ulicy przejeżdżało kilka samochodów i zjeżdżały tam samochody.

• W ciągu kilku godzin na ulicy 3 Maja zostały uszkodzone szyby samochodów. Wypadek miał miejsce na rondzie oraz ulicy 3 Maja - informuje policja.Humor: The Last of Us - film.gildia.pl - serial, newsy, recenzje

Zjawa: W tle pogłoski, o

APT3-275M-Base — 275M

Wczoraj wieczorem mieszkańcy miasta zauważyli, że na ulicy pojawia się duża liczba osób. W jednym z mieszkań pojawił się mężczyzna. Mężczyzna zaczął krzyczeć i uderzał pięściami po twarzy. Mężczyzna był tak pijany, że nie wiedział, co robić. Wezwano Policję. Policjanci ustalili tożsamość mężczyzny, który wyszedł na ulicę. Policjanci szybko ruszyli do funkcjonariuszy. Jeden z nich miał zadać uderzenie w głowę, drugi w plecy, trzeci uderzył w twarz. Policjantom udało się ustalić, kto jest sprawcą zdarzenia. Po interwencji funkcjonariusze Wydziału Ruchu Drogowego

Example 2

Prompt

Naukowcy odkryli nową metodę, która

Koliber v1.0 Base — 126M

Naukowcy odkryli nową metodę, która pozwoli na zmniejszenie strat ciepła w budynkach.

• W praktyce, nie tylko na zewnątrz budynku, ale i na zewnątrz, to właśnie dzięki wykorzystaniu światła słonecznego. Dzięki temu nasze domy są bardziej ekologiczne, mniej zużywane przez wiele lat – powiedział Daniel Knopfman, dyrektor generalny firmy Reverend Systems.

O tym, że zastosowanie takich technologii może przyczynić się do poprawy wydajności energetycznej budynków, można dowiedzieć się z najnowszej konferencji „Ultrasolar Foundation

APT3-275M-Base — 275M

Naukowcy odkryli nową metodę, która pozwala na uzyskanie efektu w czasie zaledwie jednego dnia. Dzięki niej możliwe jest nie tylko osiągnięcie efektu z czasem, ale też uzyskanie efektu po upływie kilku dni do wykonania zabiegu. Efekty są naprawdę spektakularne i nie trzeba ich powtarzać dwa razy w tygodniu, aby uzyskać wymarzony efekt. Co więcej, takie zabiegi mogą również trwać kilka miesięcy. Po tym okresie należy wykonać kolejne zabiegi w odstępach miesięcznych, a efekty wyglądają niemal tak samo. W Polsce można skorzystać z trzech rodzajów zabiegów w salonach medycyny

Example 3

Prompt

Według najnowszych danych gospodarka

Koliber v1.0 Base — 126M

Według najnowszych danych gospodarka USA rośnie w tempie 2,7% rocznie.

W ciągu ostatnich lat liczba mieszkańców Stanów Zjednoczonych wzrosła o 10%. Jednak już teraz, jak wynika z raportu Deloitte, z roku na rok przybywa nowych mieszkańców Stanów Zjednoczonych.

Z danych Instytutu Ekonomicznego BBC wynika, że w 2017 roku w Stanach Zjednoczonych przybyło 2,5 tys. osób. Średnia wieku Amerykanów wynosi 21 lat. Na koniec maja 2017 roku, Amerykanie w tym okresie mieszkali w ponad 13,9

APT3-275M-Base — 275M

Według najnowszych danych gospodarka i społeczeństwo z ostatnich miesięcy wygląda następująco: W 2022 roku wskaźnik siły nabywczej pieniądza spadł w Polsce o ponad 1 punkt procentowy. W 2021 r. inflacja wyniosła 17,9 proc., natomiast rok później spadła do poziomu 7,4 proc. Ten spadek jest szczególnie widoczny w przypadku gospodarstw domowych utrzymujących się ze stałych dochodów oraz rodzin wielodzietnych. Z kolei osoby, które nie są w stanie pokryć kosztów utrzymania swoich dzieci, najczęściej decydują się na odkładanie pieniędzy na konta bankowe lub oszczędnościowe. Co ciekawe,

Example 4

Prompt

Największym problemem współczesnych miast jest

Koliber v1.0 Base — 126M

Największym problemem współczesnych miast jest ich bezpieczeństwo. Według statystyk w Polsce z powodu wypadków drogowych i kolizji drogowych zginęło co najmniej 12 osób, a na 100 z nich zginęły cztery osoby.TOP 10 najlepszych blogerów, którzy czytają książki: Zdradza (nie)zabawki

Zdradza (nie)zabawki

"Zdradza", czyli "Zdrada" to najnowsza edycja bestsellera autorki. I nie chodzi tu o takie banały jak "Wymysły

APT3-275M-Base — 275M

Największym problemem współczesnych miast jest ich zróżnicowanie. Nie ma idealnego miejsca dla każdego z nich. Są miasta bardzo małe, z małą liczbą mieszkańców, a jednocześnie o dużej liczbie mieszkańców. Jak znaleźć odpowiednie miejsce na wakacje w województwie? W celu szybkiego znalezienia idealnego miejsca dla siebie lub dla swojego dziecka poszukaj na stronie google.pl. Najpopularniejsze ośrodki narciarskie w województwie to Międzyzdroje i Zakopane. fot.

Lukasz Kmiecik: Turystyczne miejscowości Podhalańskie Na terenie miejscowości Pod

Example 5

Prompt

Historia Polski pokazuje, że

Koliber v1.0 Base — 126M

Historia Polski pokazuje, że przy odrobinie szczęścia można zbudować w pełni satysfakcjonujące życie.

• Nie ma dla mnie rzeczy niemożliwych - dodaje z uśmiechem. To jak by to było, gdyby nie pomoc przyjaciół z Afryki, którzy w swoich działaniach bardzo dbają o swój los. - Jak najbardziej warto, bo od nich zależy na ile się da i jak będzie wyglądać nasza przyszłość.

W rozmowie z Radiem Zet nie zabrakło też słów od dziennikarzy i działaczy samorządowych.

• Chcemy po prostu pomagać, bo

APT3-275M-Base — 275M

Historia Polski pokazuje, że jest to miejsce niezwykle interesujące i warte uwagi. W każdym z tych miejsc nie brakuje historii, jak np. w Warszawie czy Szczecinie - opowiada.

Polska jest tak ważna dla Polonii, jak sama ją wspomina i rozwija, ponieważ Polska jest krajem pełnym piękna i kultury oraz historii. To miasto i jego mieszkańcy od wieków mają na sercu kulturę, historię, obyczaje oraz historię. Ta dziedzina sztuki zasługuje na uznanie. Miasto, które ma ogromną tradycję w swoim zakresie kulturowym, jest w dużej mierze

These are raw sampled base-model continuations. They have not been manually corrected.

They may contain invented names, incorrect facts, inconsistent numbers, malformed statements, repetition, abrupt topic changes, web-like artifacts, offensive material, or other errors typical of small pretrained language models.

Limitations and safety

Koliber v1.0 Base has not been supervised instruction-tuned and has not undergone preference optimization or chat alignment.

Raw generations may:

• drift off topic or switch abruptly between document styles,
• repeat or produce malformed text,
• imitate web, news, forum, advertising, or scraped-document patterns,
• hallucinate factual claims, citations, people, organizations, dates, or statistics,
• produce offensive, discriminatory, harmful, sexual, violent, or otherwise undesirable content,
• continue unsafe or malicious patterns present in a prompt,
• behave unpredictably outside distributions represented during pretraining.

Do not rely on raw generations for medical, legal, financial, safety-critical, or other high-stakes decisions.

Developers building downstream applications should perform their own safety evaluation, filtering, alignment, and domain-specific validation.

Intended use

Koliber v1.0 Base is intended for:

• research on small Polish language models,
• text-completion experiments,
• likelihood-based and representation-level evaluation,
• continued pretraining,
• supervised fine-tuning,
• preference optimization,
• development of downstream Polish-language models.

It is not presented as a safety-aligned assistant.

Citation

@misc{KoliberV1Base,
  author       = {Aleksander Ogrodzki},
  title        = {Koliber v1.0 Base},
  year         = {2026},
  publisher    = {Hugging Face},
  url          = {https://huggingface.co/OrisTeam/Koliber-v1.0-Base},
  note         = {Model architecture, training data pipeline, and training pipeline developed by the author}
}

License

Apache-2.0.