Publikacja pollock-mini-lm

.gitattributes

@@ -33,3 +33,4 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
 *.zip filter=lfs diff=lfs merge=lfs -text
 *.zst filter=lfs diff=lfs merge=lfs -text
 *tfevents* filter=lfs diff=lfs merge=lfs -text
+assets/pollock-mini-lm-avatar-320.png filter=lfs diff=lfs merge=lfs -text

LICENSE.md

@@ -0,0 +1,29 @@
+# Informacja licencyjna / Licensing notice
+
+## Kod / Code
+
+Implementacja treningowa projektu bazuje na `karpathy/nanoGPT`, udostępnianym na licencji MIT:
+
+<https://github.com/karpathy/nanoGPT/blob/master/LICENSE>
+
+Elementy kodu rozpowszechniane razem z projektem pozostają objęte właściwymi informacjami licencyjnymi ich autorów. Licencja MIT dotycząca nanoGPT nie staje się automatycznie licencją danych treningowych ani wag modelu.
+
+The training implementation is based on `karpathy/nanoGPT`, which is distributed under the MIT License:
+
+<https://github.com/karpathy/nanoGPT/blob/master/LICENSE>
+
+Code components distributed with the project remain subject to their respective authors' license notices. The nanoGPT MIT License does not automatically become the license of the training data or model weights.
+
+## Korpus i wagi / Corpus and weights
+
+Model został wytrenowany na `SlayerLab/minimal-en-corpus-2.5b`, agregacie danych z wielu źródeł. Korpus nie nadaje dokumentom jednej wspólnej licencji; każdy dokument zachowuje identyfikator źródła i podlega warunkom, licencjom oraz ograniczeniom właściwego upstreamowego datasetu.
+
+Ze względu na mieszany charakter tych warunków repozytorium modelu używa metadanej Hugging Face `license: other`. Nie jest to przyznanie dodatkowych praw do materiałów źródłowych. Użytkownik powinien przed użyciem, redystrybucją lub zastosowaniem komercyjnym zapoznać się z kartą korpusu i warunkami wszystkich właściwych źródeł:
+
+<https://huggingface.co/datasets/SlayerLab/minimal-en-corpus-2.5b>
+
+The model was trained on `SlayerLab/minimal-en-corpus-2.5b`, an aggregate of multiple data sources. The corpus does not apply a single common license to its documents; each document retains its source identifier and remains subject to the terms, licenses, and restrictions of the applicable upstream dataset.
+
+Because these terms are mixed, the model repository uses the Hugging Face metadata value `license: other`. This notice does not grant additional rights to upstream materials. Before use, redistribution, or commercial application, users should review the corpus card and the terms of every applicable source:
+
+<https://huggingface.co/datasets/SlayerLab/minimal-en-corpus-2.5b>

README.md

@@ -1,5 +1,246 @@
 ---
+language:
+  - en
+library_name: transformers
+pipeline_tag: text-generation
 license: other
 license_name: mixed-upstream-dataset-terms
 license_link: https://huggingface.co/SlayerLab/pollock-mini-lm-125m/blob/main/LICENSE.md
+datasets:
+  - SlayerLab/minimal-en-corpus-2.5b
+tags:
+  - causal-lm
+  - gpt2
+  - nanogpt
+  - bpe
+  - educational
+model-index:
+  - name: pollock-mini-lm
+    results:
+      - task:
+          type: text-generation
+          name: Text Generation
+        dataset:
+          type: SlayerLab/minimal-en-corpus-2.5b
+          name: Minimal EN validation
+          split: validation
+        metrics:
+          - type: loss
+            value: 3.40875361
+          - type: perplexity
+            value: 30.227545
 ---
+
+# pollock-mini-lm
+
+![Avatar pollock-mini-lm](./assets/pollock-mini-lm-avatar-320.png)
+
+> **Wersja eksperymentalna / Experimental release.** Model nie jest przeznaczony do zastosowań produkcyjnych ani wysokiego ryzyka. / The model is not intended for production or high-risk use.
+
+## Polski
+
+### Opis
+
+`pollock-mini-lm` to niewielki, anglojęzyczny model przyczynowy stworzony jako czytelny eksperyment edukacyjny. Nazwa podkreśla miniaturowy charakter projektu. Implementacja bazuje na [nanoGPT](https://github.com/karpathy/nanoGPT), uproszczonym przepisaniu minGPT, oraz na własnym tokenizerze byte-level BPE.
+
+Nazwa modelu luźno nawiązuje do gestu malarskiego Jacksona Pollocka i idei kontrolowanego eksperymentu z przypadkiem. nanoGPT pełni tu rolę płótna, na którym różne dane, konfiguracje i decyzje treningowe tworzą odmienne wzorce zachowania modelu. Istotny jest nie tylko końcowy rezultat, ale również obserwacja procesu i wpływu poszczególnych składników eksperymentu.
+
+Prostota jest celowa: projekt ma pomagać osobom rozpoczynającym tworzenie modeli zrozumieć, które decyzje dotyczące architektury, danych i treningu wpływają na wynik, a następnie przenieść te metody do własnych eksperymentów.
+
+### Architektura i tokenizer
+
+| Właściwość | Wartość |
+|---|---:|
+| Typ | decoder-only Transformer, klasa GPT-2 small |
+| Parametry nanoGPT | 95 963 904 (około 96M) |
+| Warstwy / głowy / embedding | 12 / 12 / 768 |
+| Maksymalny kontekst | 2048 tokenów |
+| Słownik | 12 288 tokenów |
+| Tokenizer | byte-level BPE, pretokenizacja w stylu GPT-2 |
+| Tokeny specjalne | `<|endoftext|>`, `<|im_start|>`, `<|im_end|>` |
+
+### Dane
+
+Model wytrenowano na [`SlayerLab/minimal-en-corpus-2.5b`](https://huggingface.co/datasets/SlayerLab/minimal-en-corpus-2.5b): mieszance 15 anglojęzycznych źródeł dobranej subiektywnie na zasadzie „common sense”, a nie poprzez naukową optymalizację proporcji.
+
+- około 2,5 mld tokenów oszacowanych przed finalną tokenizacją;
+- 2 703 768 815 tokenów BPE w zbiorze treningowym;
+- 5 267 742 tokeny BPE w zbiorze walidacyjnym;
+- deduplikacja dokładna i przybliżona, filtrowanie języka oraz decontaminacja benchmarków zostały wykonane na etapie przygotowania datasetu.
+
+Karta datasetu zawiera pełną listę źródeł i informacje o ich licencjach. Mieszanka nie nadaje dokumentom jednej wspólnej licencji.
+
+### Trening
+
+| Parametr | Wartość |
+|---|---:|
+| Kroki optymalizatora | 41 257 |
+| Przetworzone tokeny | 10 815 275 008 (4 epoki) |
+| Effective batch | 262 144 tokeny |
+| Sekwencja / micro-batch / akumulacja | 2048 / 32 / 4 |
+| Optymalizator | fused AdamW, betas 0.9/0.95 |
+| Learning rate | 6e-4 → 6e-5, cosine decay |
+| Warmup / weight decay / grad clip | 500 / 0.1 / 1.0 |
+| Precyzja | BF16 |
+| Sprzęt | 1× NVIDIA GeForce RTX 5090 32 GB |
+| Framework | PyTorch 2.8.0+cu128, nanoGPT commit `3adf61e` |
+
+### Ewaluacja
+
+Wydanie wykorzystuje końcowy checkpoint, który uzyskał najlepszy wynik spośród wszystkich zachowanych checkpointów w deterministycznej ewaluacji pełnego `val.bin`.
+
+| Zbiór | Tokeny ocenione | Loss | Perplexity |
+|---|---:|---:|---:|
+| Minimal EN validation | 5 267 456 | 3.40875361 | 30.227545 |
+
+Ewaluacja użyła 2572 kolejnych, niepokrywających się okien po 2048 tokenów w BF16. Nie przeprowadzono benchmarków downstream. Podczas treningu wykryto błąd historycznej logiki `best_val_loss`; dlatego wszystkie zachowane checkpointy porównano ponownie tą samą deterministyczną metodą, zamiast ufać nazwie `checkpoint_best_val.pt`.
+
+### Użycie z Transformers
+
+```python
+from transformers import AutoModelForCausalLM, AutoTokenizer
+
+model_id = "SlayerLab/pollock-mini-lm-125m"
+tokenizer = AutoTokenizer.from_pretrained(model_id)
+model = AutoModelForCausalLM.from_pretrained(model_id)
+
+inputs = tokenizer("Once upon a time", return_tensors="pt")
+output = model.generate(
+    **inputs,
+    max_new_tokens=100,
+    do_sample=True,
+    temperature=0.7,
+    top_k=50,
+)
+print(tokenizer.decode(output[0], skip_special_tokens=True))
+```
+
+Model korzysta ze standardowego `GPT2LMHeadModel` i nie wymaga `trust_remote_code`.
+
+### Przykładowe generacje
+
+Poniższe próbki wygenerowano bez ręcznej selekcji wyników. Ustawienia: seed 1337 resetowany dla każdego promptu, temperature 0.7, top-k 50, maksymalnie 100 nowych tokenów. Prompt jest częścią pokazanego wyniku.
+
+#### Wiedza ogólna / General knowledge
+
+Prompt:
+
+```text
+The capital of France is
+```
+
+Wynik / Output:
+
+```text
+The capital of France is a first of the most important element in the construction of the Socket.
+
+Most of the socket is not a type of sandstone but it is generally a rocket.
+
+As a result, there is also an exception of the rocket site. The socket is called a rocket.
+
+The rocket is the only rocket.
+The rocket is the highest rocket.
+
+The rocket is the highest rocket.
+
+The rocket
+```
+
+#### Proste wyjaśnienie / Explanation
+
+Prompt:
+
+```text
+Photosynthesis is the process by which
+```
+
+Wynik / Output:
+
+```text
+Photosynthesis is the process by which the first two events are found. A key option is to do a function in some cases, so it is called the first two terms. This is what I want to think. The first one is to multiply the number by the number of digits. (The second one is to multiply the number by the first two terms. The first two terms are divided by the second one, so that is the first four terms. The third one is to multiply the number by the number of digits. The third
+```
+
+#### Narracja / Story
+
+Prompt:
+
+```text
+In a distant future, humanity discovered
+```
+
+Wynik / Output:
+
+```text
+In a distant future, humanity discovered to change, as well as the "coneurship and a continuance of the body.
+This is not a matter of the general sense, but a lot of things we call us to the body. If we feel the body is the body’s internal structure, we’re going to change the way. The body is the body’s potential structure, meaning that it is used for a body to balance and develop a sensory to control each other.
+What is the
+```
+
+#### Kod / Code
+
+Prompt:
+
+```text
+def fibonacci(n):
+```
+
+Wynik / Output:
+
+```text
+def fibonacci(n):)) = (n - 1) + (n - 1) + ( n - 1) + ( n - 2) + ( n - 1) + ( n - 1) + ( n - 1) + ( n - 1) + ( n - 1) + ( n - 1) + ( n - 1) + ( n - 1) + ( n - 1) + ( n - 1) + ( n - 1) + ( n - 1) + ( n
+```
+
+### Ograniczenia i odpowiedzialne użycie
+
+- Jest to surowy model bazowy bez instruction tuningu, RLHF ani alignmentu. Nie jest asystentem konwersacyjnym.
+- Może halucynować, zaprzeczać samemu sobie oraz generować treści toksyczne, stronnicze, niebezpieczne lub przypominające dane treningowe.
+- Rozmiar około 96M ogranicza wiedzę, rozumowanie, spójność długiego tekstu i jakość kodu.
+- Dane są głównie anglojęzyczne; działanie w innych językach nie było oceniane.
+- Nie należy używać modelu do porad medycznych, prawnych, finansowych, decyzji o ludziach ani innych zastosowań wysokiego ryzyka.
+- Użytkownik odpowiada za ocenę licencji i warunków źródeł danych dla swojego zastosowania.
+
+## English
+
+### Overview
+
+`pollock-mini-lm` is a small English causal language model built as a readable educational experiment. Its name emphasizes the project's miniature scope. The implementation is based on [nanoGPT](https://github.com/karpathy/nanoGPT), itself a simplified rewrite of minGPT, and uses a custom byte-level BPE tokenizer.
+
+The model's name loosely refers to Jackson Pollock's painterly gesture and to the idea of a controlled experiment with chance. nanoGPT serves as a canvas on which different data, configurations, and training decisions create distinct patterns of model behavior. What matters is not only the final result, but also observing the process and the influence of each component of the experiment.
+
+The simplicity is intentional. The project is meant to help newcomers understand how architecture, data, and training choices affect model quality and reuse the same methods in their own experiments.
+
+### Architecture and tokenizer
+
+The model is a roughly 96M-parameter GPT-2-small-class decoder with 12 layers, 12 attention heads, a hidden size of 768, a 2048-token context, and a 12,288-token vocabulary. The special tokens are `<|endoftext|>`, `<|im_start|>`, and `<|im_end|>`.
+
+### Data and training
+
+The model was trained for four epochs (10,815,275,008 tokens seen) on [`SlayerLab/minimal-en-corpus-2.5b`](https://huggingface.co/datasets/SlayerLab/minimal-en-corpus-2.5b). The 15-source mixture was chosen subjectively using a “common sense” heuristic rather than scientifically optimized proportions. It contains about 2.5B estimated pre-tokenization tokens and 2,703,768,815 final BPE training tokens.
+
+Training used one RTX 5090, BF16, fused AdamW, a 262,144-token effective batch, and cosine learning-rate decay from 6e-4 to 6e-5. See the Polish section above for the full configuration.
+
+### Evaluation
+
+The release checkpoint was selected by deterministic evaluation of every retained checkpoint over 5,267,456 validation tokens. It achieved loss **3.40875361** and perplexity **30.227545**. No downstream benchmarks were run. A historical checkpoint-selection bug was discovered, so retained checkpoints were reevaluated instead of trusting the `checkpoint_best_val.pt` filename.
+
+### Usage
+
+Use the standard `AutoTokenizer` and `AutoModelForCausalLM` example from the Polish section. No `trust_remote_code` flag is required.
+
+### Example generations
+
+The four samples shown in the Polish section were generated without cherry-picking. The seed was reset to 1337 for each prompt; temperature was 0.7, top-k was 50, and generation was limited to 100 new tokens. The prompt is included in each displayed output.
+
+### Limitations and responsible use
+
+This is an unaligned base model, not a conversational assistant. It can hallucinate, contradict itself, produce biased, toxic, unsafe, or training-like content, and perform poorly outside English. Its small size limits knowledge, reasoning, long-form coherence, and code quality. Do not use it for medical, legal, financial, high-impact, or production decisions. Users must assess upstream dataset terms for their intended use.
+
+## Licencja / License
+
+Kod nanoGPT jest udostępniany na licencji MIT. Korpus treningowy stanowi agregat źródeł o różnych warunkach i nie nadaje dokumentom jednej wspólnej licencji. Z tego powodu model oznaczono na Hugging Face jako `license: other`, a zastosowanie wag powinno uwzględniać warunki właściwych źródeł opisanych w karcie datasetu. Szczegóły znajdują się w [`LICENSE.md`](./LICENSE.md).
+
+nanoGPT code is distributed under the MIT License. The training corpus aggregates sources governed by different terms and does not assign a single common license to its documents. The model is therefore marked as `license: other` on Hugging Face, and use of the weights should account for the applicable upstream terms documented in the dataset card. See [`LICENSE.md`](./LICENSE.md) for details.
+
+## Pochodzenie / Attribution
+
+Model i dataset: Dawid Majewski / SlayerLab. Implementacja treningowa bazuje na [`karpathy/nanoGPT`](https://github.com/karpathy/nanoGPT).

config.json

@@ -0,0 +1,35 @@
+{
+  "activation_function": "gelu",
+  "add_cross_attention": false,
+  "architectures": [
+    "GPT2LMHeadModel"
+  ],
+  "attn_pdrop": 0.0,
+  "bos_token_id": 12285,
+  "dtype": "float32",
+  "embd_pdrop": 0.0,
+  "eos_token_id": 12285,
+  "initializer_range": 0.02,
+  "layer_norm_epsilon": 1e-05,
+  "model_type": "gpt2",
+  "n_ctx": 2048,
+  "n_embd": 768,
+  "n_head": 12,
+  "n_inner": null,
+  "n_layer": 12,
+  "n_positions": 2048,
+  "pad_token_id": 12285,
+  "reorder_and_upcast_attn": false,
+  "resid_pdrop": 0.0,
+  "scale_attn_by_inverse_layer_idx": false,
+  "scale_attn_weights": true,
+  "summary_activation": null,
+  "summary_first_dropout": 0.1,
+  "summary_proj_to_labels": true,
+  "summary_type": "cls_index",
+  "summary_use_proj": true,
+  "tie_word_embeddings": true,
+  "transformers_version": "5.15.1",
+  "use_cache": true,
+  "vocab_size": 12288
+}

generation_config.json

@@ -0,0 +1,9 @@
+{
+  "bos_token_id": 12285,
+  "do_sample": true,
+  "eos_token_id": 12285,
+  "pad_token_id": 12285,
+  "temperature": 0.7,
+  "top_k": 50,
+  "transformers_version": "5.15.1"
+}

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:acaa1531322cce78ddb919700f173d4c6ea371185bea5052a3ae4c30f57b368e
+size 384279168

release_manifest.json

@@ -0,0 +1,49 @@
+{
+  "schema_version": 1,
+  "model_id": "SlayerLab/pollock-mini-lm-125m",
+  "source_checkpoint": {
+    "filename": "checkpoint_final.pt",
+    "sha256": "b957195badd87e1980fbe2e91c2774177be7f4d8a569f7156d8a24775404a976",
+    "iteration": 41257,
+    "epoch": 4.00007387761812,
+    "tokens_seen": 10815275008
+  },
+  "artifacts": {
+    "README.md": {
+      "bytes": 11914,
+      "sha256": "e4e446e1417a5785621dee53622403d626e0ff43faaee051a1af60b2c18b940a"
+    },
+    "LICENSE.md": {
+      "bytes": 2257,
+      "sha256": "46cbe928ed0aa24875f02f774313b27ec9d8abdf41f0c9ef67e0adb4e0614de4"
+    },
+    "assets/pollock-mini-lm-avatar-320.png": {
+      "bytes": 132202,
+      "sha256": "eba4d381d7c750a0dc7e8ae9356cac1b54b07d8ec0c00f0da045fe8e747687aa"
+    },
+    "config.json": {
+      "bytes": 846,
+      "sha256": "683a3c7486296c007a7a36a45430d8e8c5ef7c36e6af887cfa24a0158d171b4d"
+    },
+    "generation_config.json": {
+      "bytes": 172,
+      "sha256": "d8ad5dfa82f75a9fc944e92b39036ed0794caf3088c610159ee5436b56aa883f"
+    },
+    "model.safetensors": {
+      "bytes": 384279168,
+      "sha256": "acaa1531322cce78ddb919700f173d4c6ea371185bea5052a3ae4c30f57b368e"
+    },
+    "special_tokens_map.json": {
+      "bytes": 99,
+      "sha256": "8b2257a17ea997bb038f43b133aefec82344ad2b8abc2b8a02a6c0a994ed624e"
+    },
+    "tokenizer.json": {
+      "bytes": 830547,
+      "sha256": "6cda4e5ec8293f3b821e02253f9c0e88e43ad4f7c6e1324763e1fb91749fef51"
+    },
+    "tokenizer_config.json": {
+      "bytes": 266,
+      "sha256": "39a075b24f05384c6d759521563d879cab4bb80b0fe94381e6e792966ab4c2ba"
+    }
+  }
+}

special_tokens_map.json

@@ -0,0 +1,5 @@
+{
+  "bos_token": "<|endoftext|>",
+  "eos_token": "<|endoftext|>",
+  "pad_token": "<|endoftext|>"
+}

tokenizer_config.json

@@ -0,0 +1,12 @@
+{
+  "backend": "tokenizers",
+  "bos_token": "<|endoftext|>",
+  "eos_token": "<|endoftext|>",
+  "extra_special_tokens": [
+    "<|im_start|>",
+    "<|im_end|>"
+  ],
+  "model_max_length": 2048,
+  "pad_token": "<|endoftext|>",
+  "tokenizer_class": "TokenizersBackend"
+}