Upload merges.txt with huggingface_hub

merges.txt

@@ -0,0 +1,329 @@
+#version: 0.2
+Ġ t
+i n
+e n
+Ġ a
+e r
+e s
+Ġ o
+Ġt o
+a n
+in g
+a r
+a t
+h e
+i s
+o r
+Ġ m
+Ġ s
+a l
+k en
+o n
+Ġto ken
+l e
+Ġo f
+Ġ b
+Ġ p
+i t
+o u
+Ġ c
+Ġ f
+Ġa n
+i c
+i z
+i on
+r o
+e d
+e l
+r e
+Ġ in
+Ġt he
+Ġ is
+Ġan d
+Ġ T
+Ġ u
+Ġb e
+Ġ d
+Ġt h
+a c
+m p
+o d
+Ġ w
+Ġ le
+en c
+en t
+Ġtoken iz
+a s
+e x
+t er
+Ġ l
+ar n
+Ġtoken s
+Ġp ro
+q u
+u l
+Ġ h
+Ġ v
+at ion
+Ġth at
+Ġle arn
+a in
+c es
+e c
+f ic
+g e
+i l
+r es
+u a
+y ou
+Ġ n
+Ġ re
+Ġ you
+Ġt r
+Ġt ex
+Ġu n
+ces s
+Ġtex t
+0 0
+a m
+d s
+e m
+e t
+g ua
+i fic
+o c
+p er
+s t
+u r
+v e
+Ġo n
+an gua
+or ds
+Ġm od
+enc e
+Ġtokeniz er
+ul ar
+Ġlearn ing
+ain ing
+a b
+c h
+f or
+h in
+h is
+i al
+i mp
+k s
+s e
+s u
+u s
+Ġ B
+Ġ [
+Ġ imp
+Ġa r
+Ġo r
+an s
+at e
+it h
+Ġc an
+Ġf or
+ac hin
+Ġw ords
+Ġl angua
+Ġpro cess
+Ġyou r
+ur al
+Ġmod el
+achin e
+L P
+N LP
+P E
+T he
+] ,
+a d
+d ed
+e v
+g h
+i d
+i m
+l d
+l p
+l u
+l y
+p l
+t e
+t ion
+t ific
+u m
+v is
+w n
+y te
+Ġ en
+Ġ he
+Ġ it
+Ġ qu
+ar t
+at a
+or p
+Ġm u
+Ġm an
+Ġs u
+on t
+it y
+ou t
+Ġc orp
+Ġc ont
+ion s
+el l
+Ġin t
+ĠT he
+Ġd ata
+Ġw ith
+Ġv al
+Ġv oc
+Ġtr aining
+Ġtr ans
+per vis
+ab ular
+for m
+Ġar tific
+Ġlangua ge
+Ġmodel s
+Ġvoc abular
+pervis ed
+Ġartific ial
+B PE
+B yte
+M achine
+T his
+a k
+a mp
+a ve
+c lu
+d ing
+d ded
+e en
+e qu
+e ural
+g r
+g ence
+h er
+h es
+i es
+i ve
+i gence
+k n
+l ions
+m s
+m al
+o m
+o o
+o p
+o mp
+o wn
+p p
+p ic
+p ec
+p res
+t s
+t w
+t en
+t an
+t ing
+u t
+u ter
+v er
+v el
+v id
+w or
+y pic
+Ġ (
+Ġ 2
+Ġ I
+Ġ L
+Ġ P
+Ġ r
+Ġ ex
+Ġ NLP
+Ġt as
+Ġa l
+Ġa t
+Ġa re
+Ġa dded
+an d
+at ural
+or tan
+Ġm achine
+Ġm ak
+Ġs iz
+Ġs ent
+Ġs amp
+Ġs equ
+Ġs mal
+al le
+le vel
+Ġof ten
+Ġb ro
+Ġp art
+ou s
+ou gh
+Ġc omp
+Ġf ro
+Ġf am
+Ġf oc
+Ġin clu
+ĠT his
+ĠT hes
+ĠT oo
+Ġu s
+Ġu se
+Ġbe tw
+Ġd i
+od ing
+enc es
+Ġtokeniz ation
+as ed
+Ġl ar
+Ġpro gr
+Ġpro vid
+Ġh um
+Ġh ave
+ec t
+il lions
+Ġn et
+Ġn eural
+Ġre pres
+Ġun kn
+00 0
+su pervised
+us es
+ĠB BPE
+Ġimp ortan
+pl ic
+Ġen su
+Ġhe lp
+Ġmu ch
+Ġman y
+Ġsu b
+Ġcorp us
+ell igence
+Ġint elligence
+Ġwith out
+Ġtrans form
+Ġvocabular y
+wor ks
+ypic al
+Ġtas ks
+Ġsamp le
+Ġsmal l
+Ġcomp uter
+Ġfro m
+Ġfoc uses
+ĠThes e
+Ġbetw een
+Ġprogr am
+Ġprovid es
+Ġnet works
+Ġrepres ent
+Ġunkn own
+Ġimportan t
+Ġtransform er