dawidmajewski commited on
Commit
5b8f825
·
verified ·
1 Parent(s): 99df2d0

Popraw opis projektu i tokeny specjalne

Browse files
Files changed (2) hide show
  1. README.md +3 -3
  2. release_manifest.json +2 -2
README.md CHANGED
@@ -45,7 +45,7 @@ model-index:
45
 
46
  Nazwa modelu luźno nawiązuje do gestu malarskiego Jacksona Pollocka i idei kontrolowanego eksperymentu z przypadkiem. nanoGPT pełni tu rolę płótna, na którym różne dane, konfiguracje i decyzje treningowe tworzą odmienne wzorce zachowania modelu. Istotny jest nie tylko końcowy rezultat, ale również obserwacja procesu i wpływu poszczególnych składników eksperymentu.
47
 
48
- Prostota jest celowa: projekt ma pomagać osobom rozpoczynającym tworzenie modeli zrozumieć, które decyzje dotyczące architektury, danych i treningu wpływają na wynik, a następnie przenieść te metody do własnych eksperymentów.
49
 
50
  ### Architektura i tokenizer
51
 
@@ -57,7 +57,7 @@ Prostota jest celowa: projekt ma pomagać osobom rozpoczynającym tworzenie mode
57
  | Maksymalny kontekst | 2048 tokenów |
58
  | Słownik | 12 288 tokenów |
59
  | Tokenizer | byte-level BPE, pretokenizacja w stylu GPT-2 |
60
- | Tokeny specjalne | `<|endoftext|>`, `<|im_start|>`, `<|im_end|>` |
61
 
62
  ### Dane
63
 
@@ -207,7 +207,7 @@ def fibonacci(n):)) = (n - 1) + (n - 1) + ( n - 1) + ( n - 2) + ( n - 1) + ( n -
207
 
208
  The model's name loosely refers to Jackson Pollock's painterly gesture and to the idea of a controlled experiment with chance. nanoGPT serves as a canvas on which different data, configurations, and training decisions create distinct patterns of model behavior. What matters is not only the final result, but also observing the process and the influence of each component of the experiment.
209
 
210
- The simplicity is intentional. The project is meant to help newcomers understand how architecture, data, and training choices affect model quality and reuse the same methods in their own experiments.
211
 
212
  ### Architecture and tokenizer
213
 
 
45
 
46
  Nazwa modelu luźno nawiązuje do gestu malarskiego Jacksona Pollocka i idei kontrolowanego eksperymentu z przypadkiem. nanoGPT pełni tu rolę płótna, na którym różne dane, konfiguracje i decyzje treningowe tworzą odmienne wzorce zachowania modelu. Istotny jest nie tylko końcowy rezultat, ale również obserwacja procesu i wpływu poszczególnych składników eksperymentu.
47
 
48
+ Prostota jest celowa: projekt ma pomagać osobom rozpoczynającym tworzenie modeli — włączając w to autora — zrozumieć, które decyzje dotyczące architektury, danych i treningu wpływają na wynik, a następnie przenieść te metody do własnych eksperymentów.
49
 
50
  ### Architektura i tokenizer
51
 
 
57
  | Maksymalny kontekst | 2048 tokenów |
58
  | Słownik | 12 288 tokenów |
59
  | Tokenizer | byte-level BPE, pretokenizacja w stylu GPT-2 |
60
+ | Tokeny specjalne | <code>&lt;&#124;endoftext&#124;&gt;</code>, <code>&lt;&#124;im_start&#124;&gt;</code>, <code>&lt;&#124;im_end&#124;&gt;</code> |
61
 
62
  ### Dane
63
 
 
207
 
208
  The model's name loosely refers to Jackson Pollock's painterly gesture and to the idea of a controlled experiment with chance. nanoGPT serves as a canvas on which different data, configurations, and training decisions create distinct patterns of model behavior. What matters is not only the final result, but also observing the process and the influence of each component of the experiment.
209
 
210
+ The simplicity is intentional. The project is meant to help newcomers — including the author — understand how architecture, data, and training choices affect model quality and reuse the same methods in their own experiments.
211
 
212
  ### Architecture and tokenizer
213
 
release_manifest.json CHANGED
@@ -10,8 +10,8 @@
10
  },
11
  "artifacts": {
12
  "README.md": {
13
- "bytes": 11914,
14
- "sha256": "e4e446e1417a5785621dee53622403d626e0ff43faaee051a1af60b2c18b940a"
15
  },
16
  "LICENSE.md": {
17
  "bytes": 2257,
 
10
  },
11
  "artifacts": {
12
  "README.md": {
13
+ "bytes": 12057,
14
+ "sha256": "bc4300a7944d3e9ed2725478458266979a42e496e17a289fbd4737d95149d366"
15
  },
16
  "LICENSE.md": {
17
  "bytes": 2257,