Update README.md

README.md

@@ -1 +1,287 @@
-Koliber v1.0 Base - Preview
+---
+license: apache-2.0
+language:
+- pl
+library_name: transformers
+pipeline_tag: text-generation
+tags:
+- polish
+- causal-lm
+- base-model
+- from-scratch
+- gqa
+- rope
+- swiglu
+---
+
+# Koliber v1.0 Base
+
+**Koliber v1.0 Base** is a compact Polish decoder-only causal language model developed by **OrisTeam** and trained from scratch.
+
+It is a **base pretrained model**, not an instruction-tuned assistant or chatbot. It is intended primarily for text completion and as a foundation for further supervised fine-tuning, preference optimization, continued pretraining, research, and experimentation.
+
+> [!WARNING]
+> **Koliber v1.0 Base is an unaligned base language model.**
+>
+> Generated text may be false, misleading, offensive, biased, unsafe, inconsistent, or otherwise inappropriate. The model may invent facts, names, quotations, dates, numbers, sources, or events, and may reproduce undesirable patterns present in its training data.
+>
+> Outputs should not be treated as factual, authoritative, or safe by default. Additional evaluation, filtering, alignment, and application-specific safeguards are required before deployment in user-facing or high-stakes settings.
+
+## Model
+
+| Property | Value |
+| --- | --- |
+| Parameters | **126,044,928 (126M)** |
+| Layers | 12 |
+| Hidden size | 768 |
+| Query heads / KV heads | 12 / 2 |
+| Head dimension | 64 |
+| FFN | 3072 |
+| Context length | 1536 |
+| Attention | GQA |
+| Positional encoding | RoPE |
+| Activation | SwiGLU |
+| Normalization | RMSNorm |
+| Bias | No |
+| LM head | tied embeddings |
+| Training tokens | **2,534,400,000 (~2.534B)** |
+| Language | primarily Polish |
+| Stage | base pretraining |
+
+## Training-only future-state auxiliary objective
+
+Koliber was trained with standard next-token prediction together with a small auxiliary hidden-state prediction objective.
+
+A training-only head learns to predict a future hidden representation approximately **128 tokens ahead**, sampled every **32 tokens**, using a low-rank **192-dimensional** projection and cosine-distance loss.
+
+The auxiliary loss was applied with a weight of **0.03**:
+
+```text
+L = L_NTP + 0.03 × L_future
+```
+
+The auxiliary head is **not part of the released inference model**, adds no inference-time parameters, and is not required when loading or generating with Koliber.
+
+## Loading
+
+```python
+from transformers import AutoModelForCausalLM, AutoTokenizer
+
+repo_id = "OrisTeam/Koliber-v1.0-Base"
+
+tokenizer = AutoTokenizer.from_pretrained(
+    repo_id,
+    trust_remote_code=True,
+)
+
+model = AutoModelForCausalLM.from_pretrained(
+    repo_id,
+    trust_remote_code=True,
+)
+```
+
+## Generation
+
+Koliber is primarily a **text-completion model**. Natural text prefixes are generally more appropriate than instruction-style chat prompts.
+
+```python
+inputs = tokenizer(
+    "Polska jest krajem, który",
+    return_tensors="pt",
+)
+
+output = model.generate(
+    **inputs,
+    max_new_tokens=96,
+    do_sample=True,
+    temperature=0.8,
+    top_k=40,
+    top_p=0.95,
+    repetition_penalty=1.15,
+)
+
+print(
+    tokenizer.decode(
+        output[0],
+        skip_special_tokens=True,
+    )
+)
+```
+
+## Base-model generation snapshot
+
+Below are raw sampled continuations from **Koliber v1.0 Base — 126M** and **Azurro/APT3-275M-Base — 275M**.
+
+Both are base pretrained language models rather than instruction-tuned assistants.
+
+The same generation setup was used for both models:
+
+```text
+seed = 1234
+max_new_tokens = 96
+temperature = 0.8
+top_k = 40
+top_p = 0.95
+repetition_penalty = 1.15
+```
+
+The random seed was reset before each model and each prompt. The examples are shown as qualitative samples, not as a ranking.
+
+### Example 1
+
+**Prompt**
+
+```text
+Wczoraj wieczorem mieszkańcy miasta zauważyli, że
+```
+
+**Koliber v1.0 Base — 126M**
+
+> Wczoraj wieczorem mieszkańcy miasta zauważyli, że przy ulicy 3 Maja w tym rejonie znajduje się sklep spożywczy. Ulicami tej ulicy przejeżdżało kilka samochodów i zjeżdżały tam samochody.
+>
+> - W ciągu kilku godzin na ulicy 3 Maja zostały uszkodzone szyby samochodów. Wypadek miał miejsce na rondzie oraz ulicy 3 Maja - informuje policja.Humor: The Last of Us - film.gildia.pl - serial, newsy, recenzje
+>
+> Zjawa: W tle pogłoski, o
+
+**APT3-275M-Base — 275M**
+
+> Wczoraj wieczorem mieszkańcy miasta zauważyli, że na ulicy pojawia się duża liczba osób. W jednym z mieszkań pojawił się mężczyzna. Mężczyzna zaczął krzyczeć i uderzał pięściami po twarzy. Mężczyzna był tak pijany, że nie wiedział, co robić. Wezwano Policję. Policjanci ustalili tożsamość mężczyzny, który wyszedł na ulicę. Policjanci szybko ruszyli do funkcjonariuszy. Jeden z nich miał zadać uderzenie w głowę, drugi w plecy, trzeci uderzył w twarz. Policjantom udało się ustalić, kto jest sprawcą zdarzenia. Po interwencji funkcjonariusze Wydziału Ruchu Drogowego
+
+### Example 2
+
+**Prompt**
+
+```text
+Naukowcy odkryli nową metodę, która
+```
+
+**Koliber v1.0 Base — 126M**
+
+> Naukowcy odkryli nową metodę, która pozwoli na zmniejszenie strat ciepła w budynkach.
+>
+> - W praktyce, nie tylko na zewnątrz budynku, ale i na zewnątrz, to właśnie dzięki wykorzystaniu światła słonecznego. Dzięki temu nasze domy są bardziej ekologiczne, mniej zużywane przez wiele lat – powiedział Daniel Knopfman, dyrektor generalny firmy Reverend Systems.
+>
+> O tym, że zastosowanie takich technologii może przyczynić się do poprawy wydajności energetycznej budynków, można dowiedzieć się z najnowszej konferencji „Ultrasolar Foundation
+
+**APT3-275M-Base — 275M**
+
+> Naukowcy odkryli nową metodę, która pozwala na uzyskanie efektu w czasie zaledwie jednego dnia. Dzięki niej możliwe jest nie tylko osiągnięcie efektu z czasem, ale też uzyskanie efektu po upływie kilku dni do wykonania zabiegu. Efekty są naprawdę spektakularne i nie trzeba ich powtarzać dwa razy w tygodniu, aby uzyskać wymarzony efekt. Co więcej, takie zabiegi mogą również trwać kilka miesięcy. Po tym okresie należy wykonać kolejne zabiegi w odstępach miesięcznych, a efekty wyglądają niemal tak samo. W Polsce można skorzystać z trzech rodzajów zabiegów w salonach medycyny
+
+### Example 3
+
+**Prompt**
+
+```text
+Według najnowszych danych gospodarka
+```
+
+**Koliber v1.0 Base — 126M**
+
+> Według najnowszych danych gospodarka USA rośnie w tempie 2,7% rocznie.
+>
+> W ciągu ostatnich lat liczba mieszkańców Stanów Zjednoczonych wzrosła o 10%. Jednak już teraz, jak wynika z raportu Deloitte, z roku na rok przybywa nowych mieszkańców Stanów Zjednoczonych.
+>
+> Z danych Instytutu Ekonomicznego BBC wynika, że w 2017 roku w Stanach Zjednoczonych przybyło 2,5 tys. osób. Średnia wieku Amerykanów wynosi 21 lat. Na koniec maja 2017 roku, Amerykanie w tym okresie mieszkali w ponad 13,9
+
+**APT3-275M-Base — 275M**
+
+> Według najnowszych danych gospodarka i społeczeństwo z ostatnich miesięcy wygląda następująco: W 2022 roku wskaźnik siły nabywczej pieniądza spadł w Polsce o ponad 1 punkt procentowy. W 2021 r. inflacja wyniosła 17,9 proc., natomiast rok później spadła do poziomu 7,4 proc. Ten spadek jest szczególnie widoczny w przypadku gospodarstw domowych utrzymujących się ze stałych dochodów oraz rodzin wielodzietnych. Z kolei osoby, które nie są w stanie pokryć kosztów utrzymania swoich dzieci, najczęściej decydują się na odkładanie pieniędzy na konta bankowe lub oszczędnościowe. Co ciekawe,
+
+### Example 4
+
+**Prompt**
+
+```text
+Największym problemem współczesnych miast jest
+```
+
+**Koliber v1.0 Base — 126M**
+
+> Największym problemem współczesnych miast jest ich bezpieczeństwo. Według statystyk w Polsce z powodu wypadków drogowych i kolizji drogowych zginęło co najmniej 12 osób, a na 100 z nich zginęły cztery osoby.TOP 10 najlepszych blogerów, którzy czytają książki: Zdradza (nie)zabawki
+>
+> Zdradza (nie)zabawki
+>
+> "Zdradza", czyli "Zdrada" to najnowsza edycja bestsellera autorki. I nie chodzi tu o takie banały jak "Wymysły
+
+**APT3-275M-Base — 275M**
+
+> Największym problemem współczesnych miast jest ich zróżnicowanie. Nie ma idealnego miejsca dla każdego z nich. Są miasta bardzo małe, z małą liczbą mieszkańców, a jednocześnie o dużej liczbie mieszkańców. Jak znaleźć odpowiednie miejsce na wakacje w województwie? W celu szybkiego znalezienia idealnego miejsca dla siebie lub dla swojego dziecka poszukaj na stronie google.pl. Najpopularniejsze ośrodki narciarskie w województwie to Międzyzdroje i Zakopane. fot.
+>
+> Lukasz Kmiecik: Turystyczne miejscowości Podhalańskie Na terenie miejscowości Pod
+
+### Example 5
+
+**Prompt**
+
+```text
+Historia Polski pokazuje, że
+```
+
+**Koliber v1.0 Base — 126M**
+
+> Historia Polski pokazuje, że przy odrobinie szczęścia można zbudować w pełni satysfakcjonujące życie.
+>
+> - Nie ma dla mnie rzeczy niemożliwych - dodaje z uśmiechem. To jak by to było, gdyby nie pomoc przyjaciół z Afryki, którzy w swoich działaniach bardzo dbają o swój los. - Jak najbardziej warto, bo od nich zależy na ile się da i jak będzie wyglądać nasza przyszłość.
+>
+> W rozmowie z Radiem Zet nie zabrakło też słów od dziennikarzy i działaczy samorządowych.
+>
+> - Chcemy po prostu pomagać, bo
+
+**APT3-275M-Base — 275M**
+
+> Historia Polski pokazuje, że jest to miejsce niezwykle interesujące i warte uwagi. W każdym z tych miejsc nie brakuje historii, jak np. w Warszawie czy Szczecinie - opowiada.
+>
+> Polska jest tak ważna dla Polonii, jak sama ją wspomina i rozwija, ponieważ Polska jest krajem pełnym piękna i kultury oraz historii. To miasto i jego mieszkańcy od wieków mają na sercu kulturę, historię, obyczaje oraz historię. Ta dziedzina sztuki zasługuje na uznanie. Miasto, które ma ogromną tradycję w swoim zakresie kulturowym, jest w dużej mierze
+
+These are **raw sampled base-model continuations**. They have not been manually corrected.
+
+They may contain invented names, incorrect facts, inconsistent numbers, malformed statements, repetition, abrupt topic changes, web-like artifacts, offensive material, or other errors typical of small pretrained language models.
+
+## Limitations and safety
+
+Koliber v1.0 Base has **not** been supervised instruction-tuned and has **not** undergone preference optimization or chat alignment.
+
+Raw generations may:
+
+- drift off topic or switch abruptly between document styles,
+- repeat or produce malformed text,
+- imitate web, news, forum, advertising, or scraped-document patterns,
+- hallucinate factual claims, citations, people, organizations, dates, or statistics,
+- produce offensive, discriminatory, harmful, sexual, violent, or otherwise undesirable content,
+- continue unsafe or malicious patterns present in a prompt,
+- behave unpredictably outside distributions represented during pretraining.
+
+Do not rely on raw generations for medical, legal, financial, safety-critical, or other high-stakes decisions.
+
+Developers building downstream applications should perform their own safety evaluation, filtering, alignment, and domain-specific validation.
+
+## Intended use
+
+Koliber v1.0 Base is intended for:
+
+- research on small Polish language models,
+- text-completion experiments,
+- likelihood-based and representation-level evaluation,
+- continued pretraining,
+- supervised fine-tuning,
+- preference optimization,
+- development of downstream Polish-language models.
+
+It is **not** presented as a safety-aligned assistant.
+
+## Citation
+
+```bibtex
+@misc{KoliberV1Base,
+  author       = {Aleksander Ogrodzki},
+  title        = {Koliber v1.0 Base},
+  year         = {2026},
+  publisher    = {Hugging Face},
+  url          = {https://huggingface.co/OrisTeam/Koliber-v1.0-Base},
+  note         = {Model architecture, training data pipeline, and training pipeline developed by the author}
+}
+```
+
+## License
+
+Apache-2.0.