Update README.md

README.md

@@ -24,14 +24,14 @@ tags:
 > [!WARNING]
 > **This is a preview base checkpoint, not the final Koliber model.**
 >
-> The published weights have seen **974,730,240 training tokens (~0.975B)**.  
-> The model has **not been SFT/instruction-tuned** and is not intended to behave like a chatbot yet.
+> The published weights have seen **1,601,095,680 training tokens (~1.601B)**.  
+> The model has **not been SFT/instruction-tuned** and is not intended to behave like a chatbot.
 >
 > This checkpoint was selected as a currently well-balanced point of the ongoing pretraining run rather than as the final training endpoint.
 
 **Koliber v1.0 Base - Preview** is a compact Polish decoder-only causal language model developed by **OrisTeam** and trained from scratch.
 
-It is primarily a **text-completion model**: give it a natural text prefix and it continues the sequence. Instruction following is not expected to be reliable before a later SFT stage.
+It is primarily a **text-completion model**: provide a natural text prefix and the model continues the sequence.
 
 ## Model
 
@@ -50,7 +50,7 @@ It is primarily a **text-completion model**: give it a natural text prefix and i
 | Normalization | RMSNorm |
 | Bias | No |
 | LM head | tied embeddings |
-| Training tokens | **974,730,240 (~0.975B)** |
+| Training tokens | **1,601,095,680 (~1.601B)** |
 | Language | primarily Polish |
 | Stage | base pretraining preview |
 
@@ -113,7 +113,24 @@ print(
 
 ## Base-model generation snapshot
 
-The examples below use the same prompt and sampling setup for **Koliber 126M** and **Azurro/APT3-275M-Base**. They are shown only as a qualitative reference; neither model is instruction-tuned.
+Below are raw sampled continuations from **Koliber 126M** and **Azurro/APT3-275M-Base**.
+
+Both are base pretrained language models rather than instruction-tuned assistants.
+
+For the examples below, the same generation setup was used:
+
+```text
+seed = 1234
+max_new_tokens = 96
+temperature = 0.8
+top_k = 40
+top_p = 0.95
+repetition_penalty = 1.15
+```
+
+The examples are provided as qualitative samples rather than as a ranking of the models.
+
+### Example 1
 
 **Prompt**
 
@@ -121,31 +138,104 @@ The examples below use the same prompt and sampling setup for **Koliber 126M** a
 Wczoraj wieczorem mieszkańcy miasta zauważyli, że
 ```
 
-| Koliber v1.0 Base - Preview — 126M | APT3-275M-Base — 275M |
-| --- | --- |
-| Wczoraj wieczorem mieszkańcy miasta zauważyli, że przy ulicy Chopina w centrum nie ma oznakowania. W niedzielę doszło do kradzieży mienia i kradzieży z włamaniem do jednego z mieszkań. Na początku lipca policjanci zabezpieczyli dwie kolejne osoby z terenu posesji... | Wczoraj wieczorem mieszkańcy miasta zauważyli, że na ulicy pojawia się duża liczba osób. W jednym z mieszkań pojawił się mężczyzna. Mężczyzna zaczął krzyczeć i uderzał pięściami po twarzy. Mężczyzna był tak pijany, że nie wiedział, co robić... |
+**Koliber v1.0 Base - Preview — 126M**
+
+> Wczoraj wieczorem mieszkańcy miasta zauważyli, że przy ulicy Piłsudskiego w centrum miasta wjechał samochód ciężarowy. W tym momencie na miejsce wysłano patrol policji i pogotowie.
+>
+> W niedzielę rano policjanci ruchu drogowego ze stróżów prawa zatrzymali do kontroli auto marki BMW, którym kierował kierowca BMW. Miał 2,8 promila alkoholu we krwi i 1,2 promila alkoholu w wydychanym powietrzu. Policjanci zabezpieczyli u kierowcy wszystkie samochody osobowe, które były uszkodzone i nie posiadały żadnych uszkodzeń.
+
+**APT3-275M-Base — 275M**
 
-Another continuation prompt:
+> Wczoraj wieczorem mieszkańcy miasta zauważyli, że na ulicy pojawia się duża liczba osób. W jednym z mieszkań pojawił się mężczyzna. Mężczyzna zaczął krzyczeć i uderzał pięściami po twarzy. Mężczyzna był tak pijany, że nie wiedział, co robić. Wezwano pogotowie ratunkowe. Policjanci znaleźli ciało mężczyzny w wannie. Prokuratura Rejonowa Poznań-Śródmieście prowadzi śledztwo w sprawie usiłowania zabójstwa mężczyzny, który dokonał tego w nocy z 22 na 23 lutego 2014 roku.
+
+### Example 2
+
+**Prompt**
 
 ```text
 Naukowcy odkryli nową metodę, która
 ```
 
-| Koliber v1.0 Base - Preview — 126M | APT3-275M-Base — 275M |
-| --- | --- |
-| Naukowcy odkryli nową metodę, która pozwoli na zmniejszenie strat spowodowanych przez mikroorganizmy oraz polepszenie jakości życia. W skład systemu wchodzą... | Naukowcy odkryli nową metodę, która pozwala na uzyskanie efektu w czasie zaledwie jednego dnia. Dzięki niej możliwe jest nie tylko osiągnięcie efektu z czasem, ale też uzyskanie efektu po upływie kilku dni... |
+**Koliber v1.0 Base - Preview — 126M**
+
+> Naukowcy odkryli nową metodę, która ma pomóc w walce z nowotworem.
+>
+> - W tym przypadku nie mamy możliwości zastosowania metod naturalnych - powiedział dr Tomasz Rojek, kierownik Kliniki Ginekologii i Położnictwa z Centrum Zdrowia Dziecka w Warszawie.
+>
+> "Mamy nadzieję, że dzięki temu będziemy mogli uniknąć śmierci naszego dziecka. To jest dobra decyzja i warto ją podjąć. Na tym etapie możemy bardzo szybko przygotować się do walki z chorobą nowotworową i zapewnić sobie bezpieczeństwo."
+
+**APT3-275M-Base — 275M**
+
+> Naukowcy odkryli nową metodę, która pozwala na uzyskanie efektu w czasie zaledwie jednego dnia. Dzięki niej możliwe jest nie tylko osiągnięcie efektu z czasem, ale też uzyskanie efektu po upływie kilku dni do wykonania zabiegu. Efekty są naprawdę spektakularne i nie trzeba ich powtarzać dwa razy w tygodniu, aby uzyskać wymarzony efekt. Co więcej, takie zabiegi mogą również trwać kilka miesięcy.
+
+### Example 3
 
-These outputs are raw sampled continuations and may contain invented or incorrect information.
+**Prompt**
+
+```text
+Według najnowszych danych gospodarka
+```
+
+**Koliber v1.0 Base - Preview — 126M**
+
+> Według najnowszych danych gospodarka USA utrzymuje się na poziomie z końca lat 90. W latach 1998-1999 średnia temperatura w tym kraju wynosiła 8,3 °C.
+>
+> Bibliografia
+>
+> Gminy w stanie Indiana
+
+**APT3-275M-Base — 275M**
+
+> Według najnowszych danych gospodarka i społeczeństwo z ostatnich miesięcy wygląda następująco: W 2022 roku wskaźnik siły nabywczej pieniądza spadł w Polsce o ponad 1 punkt procentowy. W 2021 r. inflacja wyniosła 17,9 proc., natomiast rok później spadła do poziomu 7,4 proc. Ten spadek jest szczególnie widoczny w przypadku gospodarstw domowych utrzymujących się ze stałych dochodów rodziny wielodzietnej oraz rodzin w których dochód na osobę nie przekracza miesięcznie 2 500 zł.
+
+### Example 4
+
+**Prompt**
+
+```text
+Największym problemem współczesnych miast jest
+```
+
+**Koliber v1.0 Base - Preview — 126M**
+
+> Największym problemem współczesnych miast jest, by w okresie przedpołudniowym i po nim poruszać się nie tylko na rowerze, ale również z rowerami. Jednak, gdy jesteśmy przekonani o tym, że nasze miasto będzie nam dobrze służyło, warto rozważyć skorzystanie z usług firm, które zajmują się dostarczaniem rozwiązań związanych z rowerzystów. Dzięki temu mamy pewność, że nasz rower stanie się bezpieczny dla nas oraz naszych bliskich.
+
+**APT3-275M-Base — 275M**
+
+> Największym problemem współczesnych miast jest ich zróżnicowanie. Nie ma idealnego miejsca dla każdego z nich. Są miasta bardzo małe, z małą liczbą mieszkańców, a jednocześnie o dużej liczbie mieszkańców. Jak znaleźć odpowiednie miejsce na wakacje w województwie? Z pewnością nie można przejść obojętnie obok miejsc, które oferują nam największe obłożnie - do tanich kurortów, egzotycznych miejscowości, czy klimatycznych plaż...
+
+### Example 5
+
+**Prompt**
+
+```text
+Historia Polski pokazuje, że
+```
+
+**Koliber v1.0 Base - Preview — 126M**
+
+> Historia Polski pokazuje, że jest to jeden z najważniejszych elementów polskiego sportu. Wymiana zawodników, którzy trenowali w naszym mieście, była bardzo owocna i przyniosła nam wiele sukcesów. Teraz mamy szansę na kolejne sukcesy w sporcie, ale również na podnoszenie swoich umiejętności. Mamy nadzieję, że nasza reprezentacja może pochwalić się tym sukcesem na arenie międzynarodowej i w tej kwestii będziemy kontynuować nasze starania – mówi trener Jacek Krawczyk.
+
+**APT3-275M-Base — 275M**
+
+> Historia Polski pokazuje, że jest to miejsce niezwykle interesujące i warte uwagi. W każdym z tych miejsc nie brakuje historii, jak np. w Warszawie czy Gdańsku - opowiada.
+>
+> Polska jest tak ważna dla Polonii, jak sama ją wspomina i rozwija, ponieważ Polska jest krajem pełnym różnorodności, ale także wyjątkowym dla ludzi i narodów. Odwiedzając stolicę naszego kraju, można spotkać wiele ciekawych postaci, które są równie ważne dla Polaków, jak również te, których historia liczy się w kraju.
+
+These are **raw sampled base-model continuations**.
+
+They have not been manually corrected and may contain invented names, incorrect facts, inconsistent numbers, malformed statements, repetition, web-like artifacts, or other errors typical of small pretrained language models.
 
 ## Current status
 
 Koliber is currently released as a **Base Preview**.
 
 - Pretraining is not considered finished.
+- The published checkpoint has seen approximately **1.601B training tokens**.
 - No supervised instruction fine-tuning (SFT) has been applied.
 - No preference optimization or chat alignment has been applied.
 - The current checkpoint was chosen for its balance in the evaluations performed during development.
-- A later Koliber release may use a newer checkpoint and an SFT stage.
+- A later Koliber release may use a newer pretrained checkpoint and/or an SFT stage.
 
 ## Access
 
@@ -155,7 +245,9 @@ This is not a manual approval process by the model author. Access does not imply
 
 ## Limitations
 
-This is a small base language model. It can drift off-topic, repeat text, imitate web/SEO patterns, hallucinate facts, and fail simple instructions or reasoning prompts.
+Koliber is a small pretrained causal language model.
+
+Generated continuations may drift off-topic, repeat text, imitate patterns present in web data, or invent facts, names, quotations, dates, numbers, and other details.
 
 Do not treat generated text as factual or authoritative.