aetherstory-space / tokenizer_bundle.json
wincode's picture
Upload folder using huggingface_hub
2608cc9 verified
Raw
History Blame Contribute Delete
5.4 kB
{"vocab": ["<pad>", "<bos>", "<eos>", "<unk>", "the", ".", "a", ",", "of", "-", "in", "to", "not", "was", "and", "end", "it", "with", "only", "who", "be", "did", "but", "old", "at", "seemed", "bargain", "wandering", "keeper", "for", "first", "could", "that", "what", "name", "would", "found", "cost", "understood", "this", "changed", "understand", "offered", "than", "into", "from", "quiet", "hollow", "years", "one", "forgotten", "longest", "river", "stranger", "those", "an", "stone", "path", "is", "lantern", "spoken", "key", "broken", "door", "more", "year", "home", "there", "mirror", "even", "you", "still", "slowly", "walked", "companion", "nothing", "once", "heart", "life", "while", "walking", "edges", "harmless", "quaint", "come", "near", "say", "why", "craft", "uncovered", "buried", "again", "when", "carried", "morning", "story", "trouble", "them", "tide", "boundary", "met", ":", "watched", "reeds", "said", "weighed", "way", "whatever", "decided", "both", "away", "few", "knew", "forget", "lived", "must", "on", "night", "folk", "know", "whether", "mourn", "or", "rejoice", "unsurprised", "waited", "patiently", "learn", "live", "new", "shape", "studied", "some", "changes", "made", "choose", "undone", "shared", "work", "then", "appeared", "confession", "answered", "anger", "mended", "long", "ago", "young", "kept", "set", "out", "across", "recover", "barred", "by", "guarded", "remembering", "art", "accepted", "though", "expected", "lighter", "before", "tongue", "child", "crown", "half", "blind", "archivist", "apothecary", "carver", "heir", "judge", "musician", "reader", "polisher", "wind", "listener", "hedge", "inventor", "toll", "dream", "stitched", "seamstress", "knot", "weaver", "clockwork", "tinkerer", "lonely", "reluctant", "ferryman", "translator", "glass", "exiled", "cartographer", "retired", "monster", "hunter", "comet", "watcher", "soft", "blacksmith", "storm", "marshes", "had", "reaches", "singing", "whispering", "'", "s", "loudest", "sunken", "wound", "binding", "sharpest", "blade", "swiftest", "winter", "brightest", "deepest", "cleverest", "lie", "song", "waits", "listen", "hope", "promise", "finds", "need", "stubborn", "grief", "outlives", "outwaits", "remembers", "redeems", "rewrites", "unspoken", "outlasts", "unmakes", "memory", "silence", "water", "names", "patient", "lies", "paper", "been", "seed", "safe", "passage", "true", "no", "their", "bridge", "bone", "sky", "indigo", "wilds", "field", "mountain", "caverns", "stargrove", "tidemarsh", "pale", "marshlands", "mossy", "city", "moth", "duskwood", "frozen", "tundra", "verdant", "mire", "ember", "steppes", "crystal", "vale", "lacquered", "lake", "coral", "glasslands", "copper", "hills", "saltwood", "fields", "bramblewilds", "glittering", "dunes", "ashen", "coast", "obsidian", "reach", "vexing", "cliffs", "like", "courage", "reading", "tides", "trading", "favours", "borrowing", "eyes", "birds", "roots", "folding", "distance", "summoning", "rain", "pouring", "map", "weighing", "hearts", "starlight", "weaving", "light", "thread", "iron", "sleep", "bargaining", "shadows", "promises", "candles", "knitting", "wounds", "freezing", "moments", "steaming", "air", "lost", "silver", "stolen", "never", "sold", "village", "fires", "hiding", "realm", "mortal", "begin", "shaping", "hero", "dreams", "wolf", "love", "someone", "remembered", "three", "questions", "less", "will", "salt", "rust", "where", "turn", "forest", "eats", "strangers", "shadow", "traded", "version", "themselves", "ten", "younger", "creature", "bark", "slow", "between", "two", "feuding", "villages", "single", "tree", "small", "impossible", "exchange", "answer", "woven", "apologies", "forgot", "how", "flow", "gate", "opens", "moss", "wyrm", "crane", "moon", "calf", "crow", "o", "wisp", "spider", "dusk", "serpent", "whisper", "hare", "sun", "bleached", "heron", "badger", "velvet", "viper", "bramble", "cat", "copperfin", "koi", "mist", "lynx", "hearted", "golem", "stag", "crab", "cinder", "rat", "owl", "mossback", "tortoise", "frost", "salamander", "vapour", "eel", "gilded", "beetle", "well", "whispered", "drawing", "place", "exist", "showing", "room", "glimmer", "fox", "thorn", "lizard", "sealed", "letter", "dead", "king", "clock", "running", "backwards", "standing", "middle", "empty", "we", "your", "cannot", "closed", "have", "are", "feeds", "kindness", "does", "road", ";", "most", "costs", "hooded", "traveller", "outrun", "earned", "preserves", "ruins", "equal", "measure", "brave", "seldom", "journey", "postponed", "lend", "piece", "truth", "travels", "travel", "patience", "quietest", "form", "tuition", "living", "pay", "smallest", "weighs", "hand", "took", "shattered", "held", "habit", "feeling", "direction", "simply", "ours", "beware", "thing", "rarely", "its", "price", "land", "can", "break", "twice", "same", "debts", "do", "ignored", "heal", "given", "secret", "returns", "needed", "forge", "also", "test", "truly", "keep", "mercy", "give"], "special_tokens": {"<pad>": 0, "<bos>": 1, "<eos>": 2, "<unk>": 3}, "config": {"vocab_size": 516, "d_model": 128, "n_layers": 4, "n_heads": 4, "ffn_dim": 512, "max_seq_len": 64, "dropout": 0.1, "tie_embeddings": true, "pad_token_id": 0, "bos_token_id": 1, "eos_token_id": 2, "unk_token_id": 3}, "summary": {"total_steps": "unknown (recovered)", "best_val_loss": 0.3103, "final_val_loss": 0.3103, "elapsed_sec": "unknown (recovered)", "params": 863492}}