palimpseste-max / palimpseste_encoder.json
thefinalboss's picture
Upload palimpseste_encoder.json with huggingface_hub
a8ac985 verified
Raw
History Blame Contribute Delete
12.6 kB
{
"D": 20000,
"n_atoms": 93,
"n_roles": 64,
"n_levels": 256,
"has_levels": false,
"atoms": [
[
"t",
{
"s": "s"
},
{
"s": "__char__<pad>"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__<bos>"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__<eos>"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__<unk>"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__b"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__o"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__n"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__j"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__u"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__r"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__!"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__ "
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__e"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__s"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__i"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__p"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__a"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__l"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__m"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__t"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__,"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__c"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__-"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__v"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__d"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__?"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__."
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__h"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__w"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__y"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__f"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__g"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__q"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__k"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__'"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__x"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__("
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__1"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__)"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__z"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__:"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__0"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__="
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__7"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__5"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__4"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__2"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__*"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__C"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__D"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__["
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__]"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__{"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__3"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__}"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__<"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__+"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__9"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__X"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__Y"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__8"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__&"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__6"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__/"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__\""
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__;"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__|"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__>"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__%"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__é"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__á"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char___"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__ร"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__ก"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__$"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__‘"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__ş"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__`"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__£"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__…"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__ó"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__í"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__‘"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__’"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__ă"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__¤"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__#"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__š"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__‰"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__“"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__”"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__–"
}
],
[
"t",
{
"s": "s"
},
{
"s": "__char__…"
}
]
],
"roles": [
[
"i",
0
],
[
"i",
1
],
[
"i",
2
],
[
"i",
3
],
[
"i",
4
],
[
"i",
5
],
[
"i",
6
],
[
"i",
7
],
[
"i",
8
],
[
"i",
9
],
[
"i",
10
],
[
"i",
11
],
[
"i",
12
],
[
"i",
13
],
[
"i",
14
],
[
"i",
15
],
[
"i",
16
],
[
"i",
17
],
[
"i",
18
],
[
"i",
19
],
[
"i",
20
],
[
"i",
21
],
[
"i",
22
],
[
"i",
23
],
[
"i",
24
],
[
"i",
25
],
[
"i",
26
],
[
"i",
27
],
[
"i",
28
],
[
"i",
29
],
[
"i",
30
],
[
"i",
31
],
[
"i",
32
],
[
"i",
33
],
[
"i",
34
],
[
"i",
35
],
[
"i",
36
],
[
"i",
37
],
[
"i",
38
],
[
"i",
39
],
[
"i",
40
],
[
"i",
41
],
[
"i",
42
],
[
"i",
43
],
[
"i",
44
],
[
"i",
45
],
[
"i",
46
],
[
"i",
47
],
[
"i",
48
],
[
"i",
49
],
[
"i",
50
],
[
"i",
51
],
[
"i",
52
],
[
"i",
53
],
[
"i",
54
],
[
"i",
55
],
[
"i",
56
],
[
"i",
57
],
[
"i",
58
],
[
"i",
59
],
[
"i",
60
],
[
"i",
61
],
[
"i",
62
],
[
"i",
63
]
],
"version": 1
}