cd_tokenizer / merges.txt
tuanio's picture
Upload tokenizer
a2834ba
raw
history blame
6.87 kB
#version: 0.2
Ġ t
e r
r e
o n
Ġ f
i n
Ġ s
v e
on e
Ġt h
Ġ one
re e
w o
Ġ z
Ġt wo
er o
Ġz ero
Ġth ree
a r
i g
ig h
o u
l e
igh t
Ġ c
n d
Ġ e
Ġ n
Ġ d
Ġ a
Ġs e
Ġf i
Ġs i
Ġfi ve
Ġe ight
ve n
a y
Ġsi x
ou r
Ġse ven
Ġn in
in g
Ġ r
a l
Ġf our
Ġd e
m b
o r
k y
Ġ le
ar k
l ark
re d
ky lark
a c
n w
Ġnin er
Ġt o
Ġ g
ve l
Ġ l
Ġ h
u r
Ġle vel
Ġ w
a nd
r o
a d
u nw
unw ay
s c
in d
l i
a p
Ġr unway
Ġ m
s kylark
Ġg o
a n
i r
mb er
Ġ er
u e
i s
e t
Ġf l
t ar
Ġ p
Ġ b
le a
lea red
c t
n o
m al
Ġfl ight
k e
Ġa nd
Ġ o
Ġc on
Ġ v
q ue
Ġf or
c h
Ġ re
li mb
e nd
ou s
ous and
Ġth ousand
u m
sc end
Ġ k
a t
a in
le tar
p ur
e d
um pur
o d
o w
s i
r a
Ġcon t
Ġc leared
Ġgo od
c i
s t
ci mal
Ġde cimal
Ġc limb
p ro
Ġde scend
Ġa p
ve mber
Ġap pro
Ġse letar
Ġf e
Ġfe et
Ġs kylark
i re
ac t
e ad
Ġr ad
Ġ y
u mber
Ġc ap
f f
Ġrad ar
b e
l y
Ġto w
Ġl umpur
Ġtow er
Ġcont act
ac e
ur f
urf ace
Ġs urface
no t
Ġw ind
i t
Ġk not
Ġknot s
g ree
x t
d e
o p
Ġ j
n in
sc ar
Ġnin e
f t
Ġde gree
Ġdegree s
ch o
i ed
que be
quebe c
ro t
o xt
oxt rot
Ġ quebec
Ġv i
Ġd ow
Ġo scar
ct or
nw ind
Ġl and
Ġe cho
Ġdow nwind
i l
o re
Ġf oxtrot
f ly
ead ing
nin er
v o
ing ap
ingap ore
ra vo
que st
s s
ire ct
ir m
Ġre quest
Ġb ravo
u nd
Ġn o
und red
Ġh undred
Ġh eading
no vember
o t
ac h
Ġw h
ou ch
ap a
g o
at e
ay si
t ain
ain tain
Ġy ou
Ġd ay
Ġm al
Ġappro ach
in al
a ir
ve d
Ġf inal
t a
Ġp apa
Ġ red
Ġn umber
Ġt ouch
Ġd irect
aysi an
Ġappro ved
Ġvi ctor
Ġ u
s e
c leared
Ġs t
Ġt a
a m
t i
Ġm aintain
Ġth e
l umpur
ou nd
Ġno vember
l k
Ġ i
Ġm i
Ġ q
lk air
op ied
Ġc h
Ġs ingapore
Ġa ir
Ġw e
Ġ on
o in
ke y
is key
il o
Ġta ke
Ġle ft
Ġa l
Ġk ilo
t h
o ff
u al
Ġwh iskey
Ġb y
Ġ ar
Ġtake off
l d
Ġv is
Ġ in
Ġp a
Ġu p
n umber
ven ing
ind o
Ġe vening
Ġ is
ac ate
e n
Ġa t
Ġvis ual
i c
f irm
q u
l ta
e l
Ġmi ke
ar li
arli e
o ld
Ġre ad
Ġpa ss
i a
Ġ x
ac k
Ġde lta
o ot
g er
oot er
c limb
Ġc opied
Ġch arlie
a w
or t
Ġread y
Ġt ur
Ġfi re
Ġfire fly
an go
r ound
aw k
qu awk
Ġcon firm
Ġv acate
ind ia
de n
Ġs quawk
a g
ft er
an k
r ay
Ġi den
in e
Ġpass ing
ti f
tif ied
Ġg round
Ġ india
Ġtur n
Ġiden tified
Ġh old
se letar
h a
ke e
p ha
f ire
fire fly
ff irm
er ra
i m
Ġj u
Ġa fter
p ort
v er
le ar
Ġal pha
i on
Ġmal aysian
de scend
ag on
Ġt ango
Ġo f
Ġre port
in ue
v i
Ġo ver
l f
Ġr o
Ġsi r
Ġsi erra
r i
et t
Ġgo lf
it h
li ett
or n
u l
Ġsi lkair
Ġw ith
Ġju liett
mal aysian
Ġvi a
c u
r ack
h ead
Ġa re
Ġclimb ing
vi ctor
x p
s ingapore
v is
Ġr ight
ir cu
ircu it
Ġn ow
ar t
Ġc ircuit
si a
si lkair
ot el
orn ing
p art
im a
Ġj et
Ġl ine
Ġde part
a v
Ġm orning
oin t
Ġp oint
s tar
Ġst op
Ġl ima
Ġc lear
Ġby e
Ġa d
Ġl ow
an kee
v al
Ġy ankee
Ġth ank
a ve
Ġar ri
Ġarri val
i ve
a ffirm
o b
Ġh otel
Ġcont inue
Ġmal indo
Ġb e
at h
Ġs c
Ġover head
Ġa sia
a tar
no on
Ġsc ooter
ff ic
Ġad vis
ra ffic
Ġafter noon
Ġj oin
Ġt raffic
Ġe xp
go od
c on
an g
ro ger
Ġwh en
li de
Ġs u
il l
Ġm a
ro l
Ġb ob
Ġhold ing
t wo
Ġh igh
Ġcont rol
c e
sc ooter
mal indo
Ġn or
Ġd ue
th ree
u re
e ight
Ġy our
Ġa g
Ġag ain
Ġw agon
ed ic
m e
Ġh ave
Ġfl y
Ġt rack
av ing
Ġle aving
atar i
ath er
Ġwe ather
Ġst and
l am
lam at
Ġbob is
ct ion
Ġse lamat
le s
Ġf ul
Ġg lide
Ġro ger
Ġth is
c opied
Ġw ill
Ġful l
con t
nin e
a k
ay a
d irect
e m
o h
me o
ate s
Ġn e
p e
re ss
oh or
ir ates
or re
w agon
at ive
ti on
at ion
Ġro meo
u n
orre ction
b ar
pe ed
Ġjet star
j et
am a
Ġdepart ure
Ġle bar
Ġadvis ed
Ġp aya
Ġz one
Ġc orrection
a x
Ġar ama
b le
s ky
g ative
Ġmi les
al l
o k
be k
Ġa ffirm
ul u
z ero
al ax
Ġwith in
kee p
m aintain
Ġar ound
Ġj ohor
Ġz ulu
si tion
Ġs alax
Ġsu k
r unway
Ġ keep
t rack
Ġno bek
jet star
r an
Ġc o
i al
y e
Ġne gative
ro ss
an ad
anad u
Ġc an
t e
h eading
f or
c ap
se ven
Ġnor th
m edic
Ġs peed
si x
Ġdescend ing
Ġb ack
l ine
cont inue
Ġs ay
q atari
u p
n ight
a st
b ye
c lear
e ct
Ġexp ress
Ġc ross
w ay
Ġc all
Ġare a
it ial
Ġal l
Ġapproach ing
Ġnor mal
for m
' re
Ġo b
Ġmaintain ing
Ġadvis e
t er
Ġp o
Ġexp ect
Ġo p
st op
Ġm edic
ow er
l o
l ight
Ġin itial
t ower
f oxtrot
Ġq atari
it ch
Ġturn s
Ġsquawk ing
c k
c o
f light
que n
ro m
Ġs h
em irates
an stop
aysi a
f our
Ġf rom
Ġth at
Ġt ran
t o
r il
Ġs w
op y
Ġf anstop
m en
ir d
th ank
ank an
Ġe m
t ouch
up ta
Ġa way
a s
Ġem irates
le vel
f ive
b ird
Ġdepart ing
Ġto p
Ġinitial ly
Ġback track
Ġpo sition
Ġg upta
Ġop s
Ġmal am
Ġw et
Ġco m
b ound
i an
st and
er s
e xp
v acate
e ck
w h
Ġu n
quen c
Ġgood night
Ġwe st
is h
ril ankan
Ġsw itch
t ango
Ġturn ing
x i
Ġch eck
ar ta
ak arta
Ġrequest ing
r u
ar ly
s h
b ang
j oin
re quenc
requenc y
c al
Ġf requency
l l
Ġl ate
Ġgo ing
h old
Ġm et
Ġa head
p apa
er n
o scar
Ġta xi
i d
Ġsuk ri
ar go
a b
et ang
Ġu h
Ġc a
Ġx anadu
Ġ or
Ġob st
Ġp etang
Ġe arly
on g
Ġw a
i ke
an ce
le d
Ġh and
Ġj akarta
Ġe st
Ġe xt
Ġsu bang
cont act
h ad
Ġtop or
Ġobst ac
ak o
g ako
Ġmet ers
Ġext end
e cho
exp ress
Ġp ro
Ġh eight
a u
o s
er e
Ġsuk at
Ġa n
Ġsh ort
g i
Ġo gako
Ġwa it
k ish
u s
on ian
led onian
ou t
Ġland ing
Ġhigh er
n t
Ġa ble
Ġca ledonian
Ġh e
t y
a h
t ur
Ġswitch ing
il co
con firm
Ġs ight
x anadu
' s
Ġch ang
Ġma ke
Ġd o
Ġju st
it e
Ġcom men
Ġair f
Ġair b
Ġre qu
i e
ed ite
th er
a ble
f a
Ġpa gi
Ġb atar
Ġin form
Ġth ere
Ġchang e
ap pro
gree n
im e
Ġinform ation
b ravo
em as
p t
ru ct
b o
er green
Ġc opy
Ġst ruct
ce ed
Ġstruct ure
l u
Ġm in
Ġa h
Ġre join
ur ther
Ġg emas
si erra
e el
g lide
Ġtran sition
i form
w e
Ġre cleared
a se
Ġst eel
r ad
Ġobstac les
Ġsi lo
Ġnorth ern
Ġf urther
mal aysia
Ġtrack ing
w ind
Ġan y
n e
Ġal fa
ar d
v a
Ġun iform
s peed
Ġb ase
orn e
Ġpro ceed
Ġt ime
Ġn au
Ġe ast
ti cal
Ġjoin ing
Ġairb orne
Ġnau tical
r y
a i
rad ar
Ġs rilankan
is e
Ġp ath
ap le
n av
li te
Ġexp edite
Ġlow er
e x
id ot
' ll
li sh
h otel
ab lish
Ġl o
Ġr nav
Ġmal aysia
un e
l ow
Ġ it
Ġest ablish
Ġextend ed
m ain
aple ss
Ġfl apless
speed bird
i p
u te
a fter
lea se
Ġspeed bird
i red
Ġg ra
Ġcommen ce
Ġrequ ired
Ġk idot
wh en
Ġmin ute
Ġs ky
r act
s ay
Ġgra ss
appro ved
ie ld
u t
c el
vis ta
m ike
ra ft
Ġin bound
Ġshort ly
Ġtran s
Ġairf ield
Ġp ract
c raft
Ġre main
Ġin ter
lu x
Ġc argo
j ohor
Ġeight y
Ġdow n
Ġthe n
Ġc re
et i
Ġp re
ran s
eti had
Ġair craft
Ġp lease
Ġthank s
Ġsu p
Ġstructure s
c opy
wh iskey
or ry
Ġcre w
Ġi f
Ġa s
pt une
Ġs tar
Ġvis ta
il able
Ġpract ise
s rilankan
Ġo ff
on d
Ġa va
v ing
Ġava ilable
t it
u de
Ġw ilco
Ġcall ing
Ġa c
Ġal tit
Ġaltit ude
Ġle ave
it os
b ack
Ġh ow
c argo
Ġm itos
tur kish
Ġi fly
Ġb el
al am
t en
Ġr ou
Ġt e
Ġup wind
ad em
Ġk ong
Ġrou te
Ġwest bound
Ġclear ance
adem y
Ġbob ag
r ight
Ġre ach
se nt
en ger
ave x
p a
t ing