Cat-v1-Ultra

Eksperymentalny, ultra-mały model językowy wytrenowany od zera na własnym słowniku.

Opis

Model powstał za pomocą skryptu w Google Colab. Jest to zabawkowy GPT-2 (2 warstwy, 64 wymiary, kontekst 64 tokenów) przeznaczony głównie do zabawy i nauki.

Słownik (vocab)

kot, kocur, kotka, kociak, mruczenie, miauczenie, pazury, poduszeczki, ogon, wąsy, wibrysy, futro, sierść, pręgi, cętki, szylkret, rudzielec, dachowiec, rasowiec, kuweta, żwirek, drapak, legowisko, miska, karma, chrupki, saszetka, woda, fontanna, zabawka, wędka, mysz, piórka, kocimiętka, trawa, polowanie, skok, upadek, zwinność, elastyczność, kręgosłup, łapy, tylne, przednie, zęby, kły, język, szorstkość, mycie, wylizywanie, kule, włosowe, rujka, kastracja, sterylizacja, szczepienie, odrobaczanie, weterynarz, klinika, transporter, obróżka, adresówka, chip, rodowód, hodowla, miot, matka, ojciec, ugniatanie, baranek, tarcie, ocieranie, zaufanie, terytorium, zapach, feromony, gruczoły, nocny, tryb, wzrok, źrenice, słuch, uszy, równowaga, błędnik, drzemka, spanie, lenistwo, słońce, parapet, okno, balkon, siatka, ucieczka, ciekawość, pudełko, karton, szeleszczenie, pogoń, przyczajka, syczenie, prychać, warczenie, stroszenie, ogona, puszysty, gładkowłosy, bezwłosy, sfinks, brytyjczyk, maine, coon, bengal, syjam, pers, ragdoll, norweski, leśny, abisyński, birmański, mruczek, pieszczoch, łowca, towarzysz, kocię, kocisko, kociamber, miau, mru, gruchanie, ćwierkanie, trzepotanie, łapoczyn, drapnięcie, ugryzienie, szrama, grzbiet, kark, brzuch, bok, szyja, pyszczek, nosek, różowy, czarny, łaty, biały, szary, niebieski, kremowy, liliowy, czekoladowy, cynamonowy, płowy, dymny, marmurkowy, klasyczny, cętkowany, point, maska, skarpetki, rękawiczki, podszerstek, okrywowy, kołtun, czesanie, szczotka, grzebień, furminator, obcinaczka, szelki, smycz, spacer, podwórko, ogród, stodoła, piwnica, dach, płot, krzaki, liście, motyl, ćma, ważka, ptak, wróbel, sikorka, jaszczurka, pająk, sznurówka, wstążka, laser, piłeczka, tunel, hamak, półka, słupek, sizal, plusz, waleria, matatabi, drapanie, znacznik, drapakowy, szczyt, kryjówka, nora, zasadzka, czajenie, machnięcie, pacnięcie, turlanie, przewrót, rozciąganie, ziewanie, przeciąganie, kłębek, rogalik, chlebek, bochniaczek, półsen, czuwanie, czujność, refleks, amortyzacja, pazurki, opuszki, wibrysowy, czuciowy, tapetum, lucidum, nocne, widzenie, pionowe, szczeliny, małżowina, obrotowe, sonar, polujący, drapieżnik, mięsożerca, tauryna, białko, mokra, sucha, przysmak, pastylka, pasta, słodowa, odrobaczacz, pchła, kleszcz, świerzb, grzybica, alergia, katar, koci, zapalenie, dziąseł, kamień, nazębny, szczoteczka, do, zębów, książeczka, zdrowia, paszport, szczepionka, wścieklizna, panleukopenia, kaliciwiroza, herpeswiroza, białaczka, FIV, FeLV, badanie, krwi, USG, RTG, stół, diagnostyczny, kołnierz, ochronny, kaftanik, rekonwalescencja, pieszczoty, głaskanie, po, brodzie, za, uszami, pod, szyją, mruczący, przytulanka, cieplutki, cichy, sprytny, bystry, niezależny, kapryśny, humorzasty, charakterek, zadziorny, leniuch, śpioch, akrobata, skoczek, tropiciel, szperacz, marek, domownik, pupil, przyjaciel, kotek, kociątko, miauk, mruczando, łapka, ogonek, wąsik, futerko, uszko, pazurek, drapanko, głaskanko, miziak, przytulas, kocurro, kociakowo, kocie, sprawy, świat, chartreux, kartuski, egzotyczny, devon, rex, cornish, selkirk, american, curl, scottish, fold, munchkin, balijskie, tonkijskie, somalijskie, rosyjski, korat, turecki, van, angora, turecka, manx, bobtail, japoński, kurylski, savannah, ocicat, havana, brown, bombay, singapura, nebelung, peterbald, don, sphynx, lykoi, wilkołak, drapakowa, wieża, domek, budka, kocyk, pled, poduszka, materacyk, posłanie, koszyk, wiklinowy, mata, chłodząca, grzewcza, ceramiczna, metalowa, spowalniająca, poidełko, dozownik, automatyczny, karmnik, silikonowy, bentonitowy, drewniany, kukurydziany, żelowy, krzemionkowy, łopatka, dywanik, kuwetę, neutralizator, zapachu, pochłaniacz, odświeżacz, szampon, pianka, chusteczki, nawilżane, ręcznik, suszarka, cicha, nożyczki, cęgi, kleszczyki, pęseta, strzykawka, aplikator, krople, maść, żel, witaminy, omega3, kwasy, tłuszczowe, probiotyk, elektrolity, mleko, bezlaktozowe, mleczko, smakołyk, liofilizowany, suszony, filet, kurczak, indyk, łosoś, pstrąg, tuńczyk, dorsz, wołowina, jagnięcina, królik, kaczka, przepiórka, wątróbka, serduszka, żołądki, chrząstki, sprężynka, z, dzwoneczkiem, pomponik, grzechotka, tor, piłką, karuzela, drapaczek, tekturowy, fala, kanapa, fotel, zasłona, firanka, doniczka, kwiatek, monstera, paprotka, trzykrotka, sukulent, ziemia, wykopki, oczy, ruchy, sen, apetyt, humor, pazur, wąs, nos, chód, pysk, głos, odruch, instynkt, charakter, styl, klimat, raj, azyl, hotel, fryzjer, behawiorysta, doktor, opiekun, miłośnik, kociara, kociarz, kociarnia, kociokwik, kocimi, krokami, kocią, łapą, ścieżką, figle, harce, psoty, zabawy, miny, spojrzenie, puch, relaks, bastet, egipt, bogini, bóstwo, amulet, posążek, faraon, maneki, neko, japonia, szczęście, machająca, figurka, przesąd, droga, pech, czarownica, wiedźma, miotła, magia, zaklęcie, chowaniec, demon, duch, tajemnica, zagadka, piramida, pustynia, felinoterapia, terapia, kotem, leczenie, mruczeniem, wibracje, częstotliwość, herce, spokój, odprężenie, stres, obniżenie, ciśnienia, serce, endorfiny, oksytocyna, przywiązanie, więź, przyjaźń, lojalność, towarzystwo, samotność, pocieszyciel, terapeuta, psycholog, zoopsycholog, socjalizacja, lęk, separacyjny, terytorializm, hierarchia, stado, kolonia, koty, wolno, żyjące, bezdomność, schronisko, fundacja, dom, tymczasowy, adopcja, wirtualna, wolontariat, dokarmianie, styropianowa, okienko, piwniczne, akcja, sterylizacyjna, bezdomniak, znajda, przybłęda, uratowany, kochany, zaadoptowany, domowy, niewychodzący, wychodzący, woliera, osiatkowanie, zabezpieczenie, uchylne, kratka, wentylacyjna, bezpieczeństwo, zagrożenie, trujące, rośliny, lilia, gwiazda, betlejemska, difenbachia, aloes, czekolada, cebula, czosnek, winogrona, rodzynki, ksylitol, leki, ludzkie, zatrucie, nagły, wypadek, pierwsza, pomoc, resuscytacja, kroplówka, cewnik, narkoza, zabieg, operacja, szwy, rana, gojenie, antybiotyk, lek, przeciwbólowy, przeciwzapalny, steryd, diagnoza, rokowanie, profilaktyka, higiena, pielęgnacja, linienie, wymiana, okrywy, włosowej, zakłaczenie, bezoar, wymioty, biegunka, zaparcie, odwodnienie, gorączka, apatia, brak, apetytu, chowanie, się, w, kącie, ból, cierpienie, ulga, powrót, witalność, energia, szaleństwo, głupawka, wieczorna, biegi, parkour, meblach, na, szafę, zrzucanie, przedmiotów, ze, stołu, kubek, długopis, klucze, zabawek, kolekcja, skarbów, złodziejaszek, psotnik, rozrabiaka, łobuziak, aniołek, słodziak, cukiereczek, słoneczko, skarbek, księżniczka, królewicz, władca, domu, pan, włościach, personel, służba, otwieracz, puszek, karmiciel, sprzątacz, kuwety, podnóżek, termofor, żywy, mrucząca, grzejnik, czterech, łapach, futrzak, sierściuch, koteł, kitku, pieseł, nie, memy, kotami, śmieszne, filmiki, internet, sieci, influencer, celebryta, wystawa, kotów, rasowych, sędzia, felinologiczny, ocena, puchar, rozeta, medal, tytuł, champion, grand, interchampion, federacja, FIFe, WCF, TICA, klub, hodowców, miłośników, wystawca, klatka, wystawowa, firanki, klatki, wystawowy, przygotowanie, kąpiel, pudrowanie, suszenie, włos, włosem, pełen, mruczenia, puchatek, mruczator, ugniatacz, kaloryfer, mop, odkurzacz, śmieciarka, żarłok, głodomór, żebrak, złodziej, włamywacz, ninja, komandos, kaskader, parkourowiec, sprinter, taran, buldożer, spychacz, niszczyciel, demolka, tornado, huragan, tajfun, katastrofa, sabotażysta, terrorysta, dyktator, tyran, król, cesarz, hrabia, baron, książę, jaśniepan, jaśniepani, panisko, szef, prezes, dyrektor, kierownik, nadzorca, strażnik, policjant, detektyw, szpieg, agent, obserwator, podglądacz, zwiadowca, myśliwy, bestia, potwór, tygrys, lew, pantera, puma, gepard, ryś, żbik, lampart, jaguar, ocelot, karakal, serwal, manul, pallas, grump, maruda, zrzęda, foch, obrażalski, nadąsany, złośnik, wredota, zołza, jędza, czort, diabeł, diabełek, szatan, lucyfer, belzebub, upiór, zjawa, widmo, straszydło, kosmita, ufoludek, obcy, mutant, gremlin, goblin, troll, skrzat, chochlik, łobuz, urwis, ancymon, gagatek, hultaj, nicpoń, wisus, szelma, cwaniak, spryciarz, kombinator, oszust, manipulant, aktor, dramatopisarz, hipokryta, kłamczuch, naciągacz, darmozjad, pasożyt, nierób, leń, leniwiec, chrapacz, ziewacz, przeciągacz, guma, sprężyna, ciecz, płyn, budyń, galaretka, kluska, klops, pulpet, pączek, bułeczka, rogal, precel, obwarzanek, naleśnik, omlet, jajecznica, parówka, kiełbaska, baleron, szynka, boczek, pasztet, konserwa, puszka, niewolnik, służący, lokaj, kamerdyner, kucharz, kelner, kuwetowy, łopatowy, materac, grzałka, szajba, odbicie, zryw, drift, poślizg, hamowanie, dachowanie, kraksa, zderzenie, klapa, porażka, wstyd, przypał, kompromitacja, udawanie, ignorowanie, olewanie, pogarda, wyższość, arogancja, bezczelność, tupet, odwaga, brawura, głupota, wścibskość, wszędobylskość, pudełkomania, kartonologia, grzebanie, kopanie, zakopywanie, rozsypywanie, tłuczenie, gryzienie, memłanie, ciumkanie, deptanie, masaż, akupunktura, igły, szpilki, noże, brzytwy, piły, hak, kotwica, rzep, przyssawka, klej, magnes, cień, antena, radar, peryskop, radary, czułki, wąsiska, pędzelki, frędzle, pompony, poduchy, fasolki, groszki, żelki, landrynki, różowe, czarne, łaciate, krówka, pingwin, garnitur, smoking, frak, muszka, krawat, kołnierzyk, śliniak, fartuszek, gacie, portki, majtki, futrzane, puchate, nastroszone, wycior, trzepaczka, kaktus, jeż, kulka, kula, kłębuszek, włochacz, kudłacz, filc, dredy, łysol, golas, nietoperz, szczur, kret, foka, wydra, borsuk, szop, lemur, małpka, sowa, puchacz, żaba, ropucha, kameleon, mruczysław, miauczek, miauczysław, pazurysław, ogonisław, futrzysław, sierściusław, prrr, brrr, syyy, phhh, khhh, ała, auć, ratunku, pomocy, koniec
  • tokeny specjalne: [UNK], [PAD], <|endoftext|>

Dane treningowe

Wygenerowane losowe zdania ze słownika użytkownika (200 przykładów)

Architektura

  • n_layer = 2
  • n_embd = 64
  • n_head = 2
  • n_positions = 64
  • vocab_size = 1055

Pliki GGUF (kwantyzacje)

  • (brak plików GGUF)

Użycie

Transformers (Python)

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("Cat-v1-Ultra")
tokenizer = AutoTokenizer.from_pretrained("Cat-v1-Ultra")

inputs = tokenizer("Miau", return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=20)
print(tokenizer.decode(outputs[0]))

llama.cpp / Ollama / LM Studio

Po prostu wskaż wybrany plik .gguf.

Ograniczenia

  • Model jest bardzo mały – generuje głównie sekwencje ze swojego wąskiego słownika.
  • Nie nadaje się do normalnych zadań językowych.
  • Przeznaczony wyłącznie do eksperymentów i edukacji.

Licencja

MIT

Downloads last month
-
Safetensors
Model size
172k params
Tensor type
F32
·
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support