Duplicate from m-misiura-rh/nltk-punkt-tab

Co-authored-by: Mac Misiura <m-misiura-rh@users.noreply.huggingface.co>

.gitattributes

@@ -0,0 +1,35 @@
+*.7z filter=lfs diff=lfs merge=lfs -text
+*.arrow filter=lfs diff=lfs merge=lfs -text
+*.bin filter=lfs diff=lfs merge=lfs -text
+*.bz2 filter=lfs diff=lfs merge=lfs -text
+*.ckpt filter=lfs diff=lfs merge=lfs -text
+*.ftz filter=lfs diff=lfs merge=lfs -text
+*.gz filter=lfs diff=lfs merge=lfs -text
+*.h5 filter=lfs diff=lfs merge=lfs -text
+*.joblib filter=lfs diff=lfs merge=lfs -text
+*.lfs.* filter=lfs diff=lfs merge=lfs -text
+*.mlmodel filter=lfs diff=lfs merge=lfs -text
+*.model filter=lfs diff=lfs merge=lfs -text
+*.msgpack filter=lfs diff=lfs merge=lfs -text
+*.npy filter=lfs diff=lfs merge=lfs -text
+*.npz filter=lfs diff=lfs merge=lfs -text
+*.onnx filter=lfs diff=lfs merge=lfs -text
+*.ot filter=lfs diff=lfs merge=lfs -text
+*.parquet filter=lfs diff=lfs merge=lfs -text
+*.pb filter=lfs diff=lfs merge=lfs -text
+*.pickle filter=lfs diff=lfs merge=lfs -text
+*.pkl filter=lfs diff=lfs merge=lfs -text
+*.pt filter=lfs diff=lfs merge=lfs -text
+*.pth filter=lfs diff=lfs merge=lfs -text
+*.rar filter=lfs diff=lfs merge=lfs -text
+*.safetensors filter=lfs diff=lfs merge=lfs -text
+saved_model/**/* filter=lfs diff=lfs merge=lfs -text
+*.tar.* filter=lfs diff=lfs merge=lfs -text
+*.tar filter=lfs diff=lfs merge=lfs -text
+*.tflite filter=lfs diff=lfs merge=lfs -text
+*.tgz filter=lfs diff=lfs merge=lfs -text
+*.wasm filter=lfs diff=lfs merge=lfs -text
+*.xz filter=lfs diff=lfs merge=lfs -text
+*.zip filter=lfs diff=lfs merge=lfs -text
+*.zst filter=lfs diff=lfs merge=lfs -text
+*tfevents* filter=lfs diff=lfs merge=lfs -text

README

@@ -0,0 +1,98 @@
+Pretrained Punkt Models -- Jan Strunk (New version trained after issues 313 and 514 had been corrected)
+
+Most models were prepared using the test corpora from Kiss and Strunk (2006). Additional models have
+been contributed by various people using NLTK for sentence boundary detection.
+
+For information about how to use these models, please confer the tokenization HOWTO:
+http://nltk.googlecode.com/svn/trunk/doc/howto/tokenize.html
+and chapter 3.8 of the NLTK book:
+http://nltk.googlecode.com/svn/trunk/doc/book/ch03.html#sec-segmentation
+
+There are pretrained tokenizers for the following languages:
+
+File                Language            Source                             Contents                Size of training corpus(in tokens)           Model contributed by
+=======================================================================================================================================================================
+czech.pickle        Czech               Multilingual Corpus 1 (ECI)        Lidove Noviny                   ~345,000                             Jan Strunk / Tibor Kiss
+                                                                           Literarni Noviny
+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------
+danish.pickle       Danish              Avisdata CD-Rom Ver. 1.1. 1995     Berlingske Tidende              ~550,000                             Jan Strunk / Tibor Kiss
+                                        (Berlingske Avisdata, Copenhagen)  Weekend Avisen
+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------
+dutch.pickle        Dutch               Multilingual Corpus 1 (ECI)        De Limburger                    ~340,000                             Jan Strunk / Tibor Kiss
+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------
+english.pickle      English             Penn Treebank (LDC)                Wall Street Journal             ~469,000                             Jan Strunk / Tibor Kiss
+                    (American)
+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------
+estonian.pickle     Estonian            University of Tartu, Estonia       Eesti Ekspress                  ~359,000                             Jan Strunk / Tibor Kiss
+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------
+finnish.pickle      Finnish             Finnish Parole Corpus, Finnish     Books and major national        ~364,000                             Jan Strunk / Tibor Kiss
+                                        Text Bank (Suomen Kielen           newspapers
+                                        Tekstipankki)
+                                        Finnish Center for IT Science
+                                        (CSC)
+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------
+french.pickle       French              Multilingual Corpus 1 (ECI)        Le Monde                        ~370,000                             Jan Strunk / Tibor Kiss
+                    (European)
+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------
+german.pickle       German              Neue Zürcher Zeitung AG            Neue Zürcher Zeitung            ~847,000                             Jan Strunk / Tibor Kiss
+                    (Switzerland)       CD-ROM
+                    (Uses "ss"
+                     instead of "ß")
+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------
+greek.pickle        Greek               Efstathios Stamatatos              To Vima (TO BHMA)               ~227,000                             Jan Strunk / Tibor Kiss
+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------
+italian.pickle      Italian             Multilingual Corpus 1 (ECI)        La Stampa, Il Mattino           ~312,000                             Jan Strunk / Tibor Kiss
+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------
+norwegian.pickle    Norwegian           Centre for Humanities              Bergens Tidende                 ~479,000                             Jan Strunk / Tibor Kiss
+                    (Bokmål and         Information Technologies,
+                     Nynorsk)           Bergen
+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------
+polish.pickle       Polish              Polish National Corpus             Literature, newspapers, etc.  ~1,000,000                             Krzysztof Langner
+                                        (http://www.nkjp.pl/)
+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------
+portuguese.pickle   Portuguese          CETENFolha Corpus                  Folha de São Paulo              ~321,000                             Jan Strunk / Tibor Kiss
+                    (Brazilian)         (Linguateca)
+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------
+slovene.pickle      Slovene             TRACTOR                            Delo                            ~354,000                             Jan Strunk / Tibor Kiss
+                                        Slovene Academy for Arts
+                                        and Sciences
+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------
+spanish.pickle      Spanish             Multilingual Corpus 1 (ECI)        Sur                             ~353,000                             Jan Strunk / Tibor Kiss
+                    (European)
+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------
+swedish.pickle      Swedish             Multilingual Corpus 1 (ECI)        Dagens Nyheter                  ~339,000                             Jan Strunk / Tibor Kiss
+                                                                           (and some other texts)
+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------
+turkish.pickle      Turkish             METU Turkish Corpus                Milliyet                        ~333,000                             Jan Strunk / Tibor Kiss
+                                        (Türkçe Derlem Projesi)
+                                        University of Ankara
+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------
+
+The corpora contained about 400,000 tokens on average and mostly consisted of newspaper text converted to
+Unicode using the codecs module.
+
+Kiss, Tibor and Strunk, Jan (2006): Unsupervised Multilingual Sentence Boundary Detection.
+Computational Linguistics 32: 485-525.
+
+---- Training Code ----
+
+# import punkt
+import nltk.tokenize.punkt
+
+# Make a new Tokenizer
+tokenizer = nltk.tokenize.punkt.PunktSentenceTokenizer()
+
+# Read in training corpus (one example: Slovene)
+import codecs
+text = codecs.open("slovene.plain","Ur","iso-8859-2").read()
+
+# Train tokenizer
+tokenizer.train(text)
+
+# Dump pickled tokenizer
+import pickle
+out = open("slovene.pickle","wb")
+pickle.dump(tokenizer, out)
+out.close()
+
+---------

czech/abbrev_types.txt

@@ -0,0 +1,118 @@
+t
+množ
+např
+j.h
+man
+ú
+jug
+dr
+bl
+ml
+okr
+st
+uh
+šp
+judr
+u.s.a
+p
+arg
+žitě
+st.celsia
+etc
+p.s
+t.r
+lok
+mil
+ict
+n
+tl
+min
+č
+d
+al
+ravenně
+mj
+nar
+plk
+s.p
+a.g
+roč
+b
+zdi
+r.s.c
+přek
+m
+gen
+csc
+mudr
+vic
+š
+sb
+resp
+tzn
+iv
+s.r.o
+mar
+w
+čs
+vi
+tzv
+ul
+pen
+zv
+str
+čp
+org
+rak
+sv
+pplk
+u.s
+prof
+c.k
+op
+g
+vii
+kr
+ing
+j.o
+drsc
+m3
+l
+tr
+ceo
+ch
+fuk
+vl
+viii
+líp
+hl.m
+t.zv
+phdr
+o.k
+tis
+doc
+kl
+ard
+čkd
+pok
+apod
+r
+př
+a.s
+j
+jr
+i.m
+e
+kupř
+f
+tř
+xvi
+mir
+atď
+vr
+r.i.v
+hl
+kv
+t.j
+y
+q.p.r

czech/collocations.tab

@@ -0,0 +1,96 @@
+i	dejmala
+##number##	prosince
+h	steina
+##number##	listopadu
+a	dvořák
+v	klaus
+i	čnhl
+##number##	wladyslawowo
+##number##	letech
+a	jiráska
+a	dubček
+##number##	štrasburk
+##number##	juniorské
+##number##	století
+##number##	kola
+##number##	pád
+##number##	května
+##number##	týdne
+v	dlouhý
+k	design
+##number##	červenec
+i	ligy
+##number##	kolo
+z	svěrák
+##number##	mája
+##number##	šimková
+a	bělého
+a	bradáč
+##number##	ročníku
+##number##	dubna
+a	vivaldiho
+v	mečiara
+c	carrićre
+##number##	sjezd
+##number##	výroční
+##number##	kole
+##number##	narozenin
+k	maleevová
+i	čnfl
+##number##	pádě
+##number##	září
+##number##	výročí
+a	dvořáka
+h	g.
+##number##	ledna
+a	dvorský
+h	měsíc
+##number##	srpna
+##number##	tř.
+a	mozarta
+##number##	sudetoněmeckých
+o	sokolov
+k	škrach
+v	benda
+##number##	symfonie
+##number##	července
+x	šalda
+c	abrahama
+a	tichý
+##number##	místo
+k	bielecki
+v	havel
+##number##	etapu
+a	dubčeka
+i	liga
+##number##	světový
+v	klausem
+##number##	ženy
+##number##	létech
+##number##	minutě
+##number##	listopadem
+##number##	místě
+o	vlček
+k	peteraje
+i	sponzor
+##number##	června
+##number##	min.
+##number##	oprávněnou
+##number##	květnu
+##number##	aktu
+##number##	květnem
+##number##	října
+i	rynda
+##number##	února
+i	snfl
+a	mozart
+z	košler
+a	dvorskému
+v	marhoul
+v	mečiar
+##number##	ročník
+##number##	máje
+v	havla
+k	gott
+s	bacha
+##number##	ad

czech/sent_starters.txt

@@ -0,0 +1,54 @@
+já
+milena
+tomáš
+oznámila
+podle
+my
+vyplývá
+hlavní
+jelikož
+musíme
+kdyby
+foto
+rozptylové
+snad
+zároveň
+jaroslav
+po
+v
+kromě
+pokud
+toto
+jenže
+oba
+jak
+zatímco
+ten
+myslím
+navíc
+dušan
+zdá
+dnes
+přesto
+tato
+ti
+bratislava
+ale
+když
+nicméně
+tento
+mirka
+přitom
+dokud
+jan
+bohužel
+ta
+díky
+prohlásil
+praha
+jestliže
+jde
+vždyť
+moskva
+proto
+to

danish/abbrev_types.txt

@@ -0,0 +1,211 @@
+t
+tlf
+b.p
+evt
+j.h
+lenz
+mht
+gl
+bl
+stud.polit
+e.j
+st
+o
+dec
+mag
+h.b
+p
+adm
+el.lign
+e.s
+saalba
+styrt
+nr
+m.a.s.h
+etc
+pharm
+hg
+j.j
+dj
+mountainb
+f.kr
+h.r
+cand.jur
+sp
+osv
+s.g
+ndr
+inc
+b.i.g
+dk-sver
+sl
+v.s.o.d
+cand.mag
+d.v.s
+v.i
+bøddel
+fr
+ø«
+dr.phil
+chr
+p.d
+bj
+fhv
+tilskudsforhold
+m.a
+sek
+p.g.a
+int
+pokalf
+ik
+dir
+em-lodtrækn
+a.h
+o.lign
+p.t
+m.v
+n.j
+m.h.t
+m.m
+a.p
+pers
+4-bakketurn
+dr.med
+w.ø
+polit
+fremsættes
+techn
+tidl
+o.g
+i.c.i
+mill
+skt
+m.fl
+cand.merc
+kbh
+indiv
+stk
+dk-maked
+memorandum
+mestersk
+mag.art
+kitzb
+h
+lic
+fig
+dressurst
+sportsg
+r.e.m
+d.u.m
+sct
+kld
+bl.a
+hf
+g.a
+corp
+w
+konk
+zoeterm
+b.t
+a.d
+l.b
+jf
+s.b
+kgl
+ill
+beck
+tosset
+afd
+johs
+pct
+k.b
+sv
+verbalt
+kgs
+l.m.k
+j.l
+aus
+superl
+t.v
+mia
+kr
+pr
+præmien
+j.b.s
+j.o
+o.s.v
+edb-oplysninger
+o.m.a
+ca
+1b
+f.eks
+rens
+ch
+mr
+schw
+d.c
+utraditionelt
+idrætsgym
+hhv
+e.l
+s.s
+eks
+f.o.m
+dk-storbrit
+dk-jugo
+n.z
+derivater
+c
+pt
+vm-kval
+kl
+hr
+cand
+jur
+sav
+h.c
+arab.-danm
+d.a.d
+fl
+o.a
+a.s
+cand.polit
+grundejerform
+j
+faglærte
+cr
+a.a
+mou
+f.r.i
+årh
+o.m.m
+sve
+c.a
+engl
+sikkerhedssystemerne
+m.f
+j.k
+phil
+f
+vet
+mio
+k.e
+m.k
+atla
+idrætsg
+n.n
+4-bakketur
+dvs
+sdr
+s.j
+hol
+s.h
+pei
+kbhvn
+aa
+m.g.i
+fvt
+i«
+b.c
+th
+lrs

danish/collocations.tab

@@ -0,0 +1,101 @@
+##number##	skak
+##number##	speedway
+##number##	rally
+##number##	april
+##number##	dm-fin
+##number##	viceformand
+m	jensen
+##number##	kano/kajak
+##number##	bowling
+##number##	dm-finale
+##number##	årh.
+##number##	januar
+##number##	august
+##number##	marathon
+##number##	kamp
+##number##	skihop
+##number##	etage
+##number##	tennis
+##number##	cykling
+e	andersen
+##number##	december
+g	h.
+##number##	neb
+##number##	sektion
+##number##	afd.
+##number##	klasse
+##number##	trampolin
+##number##	bordtennis
+##number##	formel
+##number##	århundredes
+##number##	dm-semifin
+##number##	heks
+##number##	taekwondo
+##number##	galop
+##number##	basketball
+##number##	dm
+m	skræl
+##number##	trav
+##number##	provins
+##number##	triathlon
+k	axel
+##number##	rugby
+s	h.
+##number##	klaverkoncert
+a	p.
+e	løgstrup
+k	telefax
+##number##	gyldendal
+##number##	fodbold
+e	rosenfeldt
+##number##	oktober
+k	o.
+##number##	september
+##number##	dec.
+##number##	juledag
+##number##	badminton
+##number##	sejlsport
+##number##	håndbold
+r	førsund
+e	jørgensen
+d	##number##
+k	e
+##number##	alp.ski
+##number##	judo
+##number##	roning
+##number##	november
+##number##	atletik
+##number##	århundrede
+##number##	ridning
+##number##	marts
+m	andersen
+d	roosevelt
+##number##	brydning
+s	kr.
+##number##	runde
+##number##	division
+##number##	sal
+##number##	boksning
+##number##	minut
+##number##	golf
+##number##	juni
+##number##	symfoni
+##number##	hurtigløb
+k	jørgensen
+##number##	jörgen
+##number##	klasses
+e	jacobsen
+k	jensen
+##number##	februar
+k	nielsen
+##number##	volleyball
+##number##	maj
+##number##	verdenskrig
+##number##	juli
+##number##	ishockey
+##number##	kunstskøjteløb
+b	jørgensen
+##number##	gymnastik
+##number##	svømning
+##number##	tw
+i	pedersens

danish/sent_starters.txt

@@ -0,0 +1,64 @@
+kronik
+alligevel
+de
+først
+derfor
+vi
+selv
+hertil
+sådan
+dette
+sport
+man
+foto
+begge
+tag
+dertil
+reuter
+efter
+endelig
+ifølge
+lad
+når
+det
+desuden
+nu
+reuters
+årsagen
+tænk
+samtidig
+udover
+men
+endvidere
+rør
+rb
+udstillingen
+faktabox
+reception
+blandt
+hvad
+skær
+lilot
+derudover
+da
+tilsæt
+denne
+afp
+her
+hvis
+hæld
+problemet
+dermed
+jeg
+grafik
+anmeldelse
+den
+ebbe
+resultatet
+tværtimod
+hans
+måske
+feature
+tillæg
+hun
+han

dutch/abbrev_types.txt

@@ -0,0 +1,99 @@
+m.j
+t
+ph
+j.h
+p.a.m
+j.m
+dr
+st
+j.b.m
+p
+nr
+h.s
+e.d
+t.e
+a.v
+esb
+s.z
+drs
+b.b
+m.o
+inc
+n
+pensioenfonds
+s.v.p
+bod
+fr
+pk
+r.p
+c.p.j
+v.l.n.r
+chr
+m.v.d
+int
+o.m
+j.v.d
+u.o.m
+f.c
+k
+bijgebracht
+ontwaakte
+m
+j.w
+a.l
+a.v.d
+s.v
+s
+j.d
+binnengekomen
+ds
+schouwburg
+b.v
+h
+a
+j.a
+aanvielen
+h.g
+p.f
+j.l
+mgr
+c.j
+blz
+l.e.h
+w.k
+g
+m.g
+r.v.d
+ing
+v.d
+c.q
+l
+h.p
+mr
+gesch
+e.l
+p.j
+mm
+j.g
+j.f
+c
+f.m
+jl
+r
+o.a
+a.s
+ir
+v
+j
+jr
+e
+m.i.v
+l.a
+f.v.d
+aansluit
+c.c
+a.m
+f.o.j
+m.b
+y
+th

dutch/collocations.tab

@@ -0,0 +1,37 @@
+##number##	sotelo
+##number##	clas
+##number##	buckler
+##number##	carrera
+##number##	rmo
+##number##	orioli
+w	baron
+##number##	morales
+##number##	snotselelaank
+##number##	arcarons
+##number##	cavandoli
+##number##	pdm
+##number##	helvetia
+##number##	panasonic
+##number##	motorola
+w	bruinsma
+##number##	heer
+##number##	lotus
+##number##	banesto
+##number##	magnaldi
+w	jense
+w	heuvelmans
+w	spatje
+##number##	telekom
+f	kennedy
+##number##	gatorade
+##number##	mg-gb
+##number##	once
+##number##	peterhansel
+##number##	ariostea
+##number##	tvm
+##number##	höl
+##number##	castorama
+##number##	tulip
+b	situatie
+##number##	mas
+##number##	lotto

dutch/sent_starters.txt

@@ -0,0 +1,54 @@
+het
+daardoor
+de
+er
+hoewel
+wat
+urlings
+na
+ze
+alleen
+dat
+ik
+pijls
+wie
+daarna
+foto
+als
+boer
+hammes
+verder
+ook
+evers
+vandaar
+toen
+we
+langenberg
+naast
+want
+in
+wij
+zo
+hendrikx
+daar
+crouzen
+dit
+daarnaast
+anp
+zij
+behalve
+waarom
+daarom
+bovendien
+hij
+daarbij
+nee
+volgens
+daarmee
+bukkems
+dvnl
+eén
+pas
+tijdens
+vooral
+maar

english/abbrev_types.txt

@@ -0,0 +1,156 @@
+ct
+m.j
+t
+a.c
+n.h
+ms
+p.a.m
+dr
+pa
+p.m
+u.k
+st
+dec
+u.s.a
+lt
+g.k
+adm
+p
+h.m
+ga
+tenn
+yr
+sen
+n.c
+j.j
+d.h
+s.g
+inc
+vs
+s.p.a
+a.t
+n
+feb
+sr
+jan
+s.a.y
+n.y
+col
+g.f
+c.o.m.b
+d
+ft
+va
+r.k
+e.f
+chg
+r.i
+a.g
+minn
+a.h
+k
+n.j
+m
+l.f
+f.j
+gen
+i.m.s
+s.a
+aug
+j.p
+okla
+m.d.c
+ltd
+oct
+s
+vt
+r.a
+j.c
+ariz
+w.w
+b.v
+ore
+h
+w.r
+e.h
+mrs
+cie
+corp
+w
+n.v
+a.d
+r.j
+ok
+. . 
+e.m
+w.c
+ill
+nov
+u.s
+prof
+conn
+u.s.s.r
+mg
+f.g
+ph.d
+g
+calif
+messrs
+h.f
+wash
+tues
+sw
+bros
+u.n
+l
+wis
+mr
+sep
+d.c
+ave
+e.l
+co
+s.s
+reps
+c
+r.t
+h.c
+r
+wed
+a.s
+v
+fla
+jr
+r.h
+c.v
+m.b.a
+rep
+a.a
+e
+c.i.t
+l.a
+b.f
+j.b
+d.w
+j.k
+ala
+f
+w.va
+sept
+mich
+n.m
+j.r
+l.p
+s.c
+colo
+fri
+a.m
+g.d
+kan
+maj
+ky
+a.m.e
+n.d
+t.j
+cos
+nev

english/collocations.tab

@@ -0,0 +1,37 @@
+##number##	international
+##number##	rj
+##number##	commodities
+##number##	cooper
+b	stewart
+##number##	genentech
+##number##	wedgestone
+i	toussie
+##number##	pepper
+j	fialka
+o	ludcke
+##number##	insider
+##number##	aes
+i	magnin
+##number##	credit
+##number##	corrections
+##number##	financing
+##number##	henley
+##number##	business
+##number##	pay-fone
+b	wigton
+b	edelman
+b	levine
+##number##	leisure
+b	smith
+j	walter
+##number##	pegasus
+##number##	dividend
+j	aron
+##number##	review
+##number##	abreast
+##number##	who
+##number##	letters
+##number##	colgate
+##number##	cbot
+##number##	notable
+##number##	zimmer

english/sent_starters.txt

@@ -0,0 +1,39 @@
+most
+he
+since
+so
+both
+these
+it
+nevertheless
+this
+indeed
+however
+instead
+under
+similarly
+some
+though
+while
+when
+in
+despite
+although
+nonetheless
+thus
+there
+if
+the
+nor
+separately
+moreover
+but
+they
+yet
+many
+according
+sales
+among
+meanwhile
+even
+i

estonian/abbrev_types.txt

@@ -0,0 +1,48 @@
+eos
+c
+a.d
+t.a.s.s
+e.t
+päevapiltnikud
+c.h
+b.p
+amm
+ameerika-mees
+n.-ö
+cm
+b
+mhm
+a.s
+m.e
+j.l
+j
+u.t
+vm
+g.u.n
+hajutada
+p.s
+a.b
+c.h.-r
+i.q
+gr
+fido
+pankurit
+s.v
+l.l
+c.-h
+m.h
+h.l
+m.k
+j.r
+t.k
+k.h
+89/90
+h
+a
+dost
+v.k
+e.q
+t.j
+m.b
+d
+p.k

estonian/collocations.tab

@@ -0,0 +1,100 @@
+##number##	juuni
+##number##	novembril
+##number##	juulilt
+r	järve-vomm
+##number##	mida
+n	liidu
+##number##	milliseid
+##number##	oktoobri
+##number##	iidol
+m	e
+##number##	klassist
+##number##	millest
+##number##	august
+##number##	pariis
+##number##	septembrist
+##number##	oktoober
+##number##	märtsini
+##number##	kust
+k	mägi
+##number##	detsembrist
+##number##	jaanuari
+##number##	epee
+##number##	nimetage
+##number##	novembrini
+##number##	eluaasta
+s	mill
+##number##	helsingi
+##number##	jaanuarini
+##number##	aastail
+##number##	augustil
+##number##	millise
+##number##	juulist
+##number##	mai
+##number##	novembri
+##number##	oktoobrist
+##number##	juunini
+##number##	septembriks
+##number##	detsembril
+p	s
+##number##	jaanuar
+##number##	aastate
+##number##	milline
+##number##	kelle
+##number##	jaanuaril
+s	stadnikov
+##number##	aastaks
+##number##	stockholm
+##number##	suurim
+##number##	aasta
+##number##	sajandi
+##number##	millega
+##number##	aastast
+##number##	aastal
+##number##	kumb
+##number##	septembril
+##number##	korruselt
+##number##	septembri
+##number##	veebruarini
+##number##	london
+##number##	aastatel
+##number##	september
+##number##	veebruari
+##number##	oktoobrini
+##number##	mail
+m	kassovitz
+##number##	action-film
+##number##	mis
+k	herkül
+n	n
+##number##	detsembrini
+##number##	imre
+t	jõgeda
+##number##	casino
+##number##	septembrit
+##number##	augustini
+##number##	juulil
+##number##	november
+##number##	kuupäeval
+##number##	taevas
+##number##	septembrini
+##number##	detsember
+##number##	detsembri
+##number##	juunil
+##number##	augustist
+n	jurist
+##number##	missugust
+##number##	aastatesse
+##number##	aprillil
+##number##	augusti
+##number##	oktoobril
+##number##	märtsil
+##number##	a
+##number##	the
+##number##	sajandil
+##number##	aastani
+##number##	juuli
+##number##	septembrile
+##number##	millist
+##number##	millised
+##number##	veebruaril

estonian/sent_starters.txt

@@ -0,0 +1,89 @@
+kalad
+õnneks
+selle
+maimu
+teisipäeval
+ma
+skorpion
+aga
+lisaks
+selleks
+maitse
+esiteks
+erinevalt
+pealegi
+praegu
+kas
+tegelikult
+neitsi
+nädalavahetus
+tema
+kui
+seega
+täna
+lugupidamisega
+miks
+teiseks
+väldi
+pohlak
+osades
+sõnn
+samas
+nimelt
+juhtkiri
+krimi
+nädalavahetusel
+näiteks
+kuidas
+ambur
+telgmaa
+laupäeval
+seetõttu
+rezhissöör
+kahjuks
+ent
+samuti
+ehkki
+veevalaja
+seepärast
+muidugi
+kuna
+tänaseks
+mina
+loomulikult
+ometi
+arvamus
+lõvi
+ee
+niisiis
+mul
+kaksikud
+tõsi
+hinnete
+sestap
+tõenäoliselt
+samal
+see
+paraku
+jäär
+kokkuvõttes
+küllap
+muide
+nüüd
+kolmapäeval
+võibolla
+kuid
+nädalavahetuse
+kuigi
+võid
+lõpuks
+kaalud
+areen
+kirjad
+vähk
+esmaspäeval
+nii
+need
+uue
+ta
+minu

finnish/abbrev_types.txt

@@ -0,0 +1,81 @@
+t
+suom
+dr
+st
+970125090.jtun
+p
+sis
+t.h
+961221327.jtun
+a.i
+milj
+ski
+kp
+970131067.jtun
+970124030.jtun
+nk
+va
+pan
+yhteystiedot
+ruots
+jne
+t.a
+l.-g
+k
+j.w
+p2
+oik
+970102248.jtun
+hj
+s
+vt
+muistelmia
+o.s
+elo
+h
+ortod
+o.l
+w
+tms
+970120219.jtun
+pj
+ok
+toissapäiväinen
+28.t1
+pelintekijä
+970111011.jtun
+op
+os
+ns
+m.g
+o.-i
+m3
+pros
+mr
+970102171.jtun
+waller
+hels
+rotary-järjestössä
+ins
+esim
+apul
+fil
+id
+ym
+j
+rf
+v.o
+lis
+c.a
+em
+kand
+r.y
+valt
+dipl
+ö
+970111092.jtun
+ponteva
+y
+kapakoista
+970130160.jtun
+th

finnish/collocations.tab

@@ -0,0 +1,167 @@
+##number##	sm
+##number##	ohjelmassa
+##number##	a3
+##number##	rc3
+##number##	rxd4
+##number##	hxg4
+o	stenberg
+##number##	lg5
+##number##	tallitontun
+##number##	lähetysohjeet
+##number##	uimakoulu
+##number##	jaana
+##number##	alustuksen
+##number##	uppo-nallen
+##number##	anne
+##number##	rxf3
+a	sjögren
+##number##	kamarikuoro
+##number##	vetäjänä
+##number##	pääsymaksu
+##number##	kerros
+##number##	kurssi
+##number##	kuori
+##number##	g4
+##number##	h3
+##number##	tiede-teatterissa
+##number##	kh2
+##number##	kausimaksu
+##number##	tia
+##number##	gxf5
+##number##	täky-galleria
+##number##	le2
+##number##	te8+
+##number##	la4
+##number##	keitä
+##number##	huhtikuuta
+##number##	menotiedoissa
+##number##	valmista
+##number##	txb5
+##number##	maskeerauskurssin
+##number##	rd2
+##number##	re2
+##number##	solisteina
+##number##	esitelmä
+##number##	puupiirrossarja
+##number##	ta1
+##number##	vaahdota
+##number##	h4
+##number##	kesäkuuta
+##number##	liikkeitä
+##number##	tuolloin
+##number##	viikko
+##number##	mittaa
+a	sjögrenin
+##number##	exf6
+##number##	rc6+
+##number##	viimeistele
+##number##	ld1
+##number##	elokuuta
+##number##	dh5+
+##number##	syyskuuta
+##number##	opettajina
+##number##	b3
+##number##	rauhankatu
+c	clarke
+##number##	saakka
+##number##	elokuvat
+b	huggins
+g	gahmberg
+##number##	luento
+##number##	lf3
+##number##	tammikuuta
+##number##	ryömä
+##number##	meller
+##number##	jäsenkortti
+##number##	esiintyjinä
+##number##	maria
+##number##	lf4
+##number##	siirto
+##number##	aurinko
+##number##	lxg6
+##number##	marraskuuta
+##number##	harjoituksissa
+##number##	romantika-yhtye
+##number##	g3
+##number##	heinäkuuta
+##number##	rxd5
+##number##	kuumenna
+e	hämäläisen
+##number##	bxc4
+##number##	te1
+##number##	kg2
+##number##	osallistumismaksu
+##number##	re5
+##number##	ohjelma
+##number##	varapuheenjohtajaksi
+##number##	raisa
+##number##	päivään
+##number##	luokan
+##number##	sulata
+##number##	levitä
+##number##	kaustinen
+##number##	kuoroa
+##number##	df3
+v	helsingistä
+##number##	mieskuoro
+##number##	lokakuuta
+##number##	kerho
+##number##	helmikuuta
+##number##	kokkola
+##number##	suuruusluokan
+v	kaupungista
+##number##	krs
+##number##	tekstit
+##number##	menyy
+##number##	rf3
+##number##	ulkoasiainministeriön
+##number##	kaada
+##number##	cxd5
+##number##	ilmailumuseo
+e	waris
+##number##	kierros
+##number##	tunnille
+##number##	kh3
+##number##	ohjaus
+a	t.
+##number##	postimaksu
+##number##	pane
+##number##	th3
+##number##	joulukuuta
+##number##	vatkaa
+##number##	kokeessa
+l	j.
+##number##	asti
+##number##	opastajana
+##number##	kirsi
+##number##	lc2
+##number##	lh2
+##number##	e4
+##number##	sairaankuljetukset
+##number##	sekoita
+##number##	mervi
+##number##	de2
+a	pietilän
+##number##	kf1
+##number##	toukokuuta
+##number##	maaliskuuta
+##number##	leikkaa
+##number##	ryhmänäytökset
+v	maaseudulta
+##number##	de3-e1
+##number##	c4
+##number##	ta1-b1
+##number##	d5
+##number##	pia
+##number##	lxd6
+##number##	d4
+##number##	f3-f4
+##number##	dxg6+
+##number##	sari
+##number##	pelkkään
+##number##	ld3
+##number##	perkaa
+##number##	lg3
+##number##	kg3
+##number##	kvm
+##number##	tb1xb6

finnish/sent_starters.txt

@@ -0,0 +1,86 @@
+siinä
+lämpötila
+viiden
+he
+vapaa
+viime
+useimmat
+kansallisooppera
+rooleissa
+näin
+odotettavissa
+tiedustelut
+kansallisteatterin
+sen
+musiikki
+monet
+uusi
+avoinna
+pakkasta
+freeze
+tämä
+lämpö
+lautakunta
+vastaväittäjänä
+päivällä
+tällä
+esimerkiksi
+varoituksia
+merenkurkku
+meriennuste
+näyttelyssä
+kun
+pilvistä
+silloin
+selkämeren
+suurin
+se
+jos
+vaihtelevaa
+vastaväittäjinä
+sivu
+kaupunginteatterin
+pilvisyys
+siellä
+siksi
+kurssimaksu
+tämän
+kotimaa
+näiden
+teatteri
+kaikki
+puolipilvistä
+niiden
+maksimilämpötila
+lisäksi
+kaupunginhallitus
+helsingin
+nyt
+samalla
+hänen
+olen
+kaupunkikierros
+vastaväittäjä
+ne
+tästä
+enimmäkseen
+poika
+niinpä
+viirus
+me
+poliisi
+liput
+ilmoittautuminen
+tarjoa
+hän
+molemmat
+ulkomaat
+rock
+lääketieteen
+tanssi
+sainks
+näyttely
+lisätietoja
+ulkomaiden
+näyttelyn
+palo

french/abbrev_types.txt

@@ -0,0 +1,61 @@
+p.o.l
+pds
+3o
+inscr
+suè
+z
+abst
+g.-b
+tél
+r
+ed
+o
+b
+esp
+j.l
+v
+k
+e.p
+aus
+jap
+r.e
+gb-bel
+p
+aut
+usx
+arg
+g
+e
+etc
+fra
+p.s
+j.-l
+blu
+e.-u
+f.b
+msf
+e.d
+shi
+can
+j.b
+s.a
+f.o
+you
+mir
+inc
+ital
+expr
+tch
+g-b-bel
+cid
+c.u
+ctk
+j.-m.g
+bta
+p.-b
+cie
+ita
+equ
+corp
+vot
+w

french/collocations.tab

@@ -0,0 +1,18 @@
+##number##	shinozuka-magne
+##number##	ambrosino-baumgartner
+c	tanvier
+f	b.
+##number##	waldegaard-fenouil
+##number##	fermé
+a	dechaume
+i	demongeot
+s	motos
+##number##	rahier
+##number##	magnaldi
+##number##	orioli
+f	tél.
+##number##	cowan-delferrier
+##number##	vatanen-berglund
+##number##	picco
+##number##	masuoka-oligo
+##number##	medardo

french/sent_starters.txt

@@ -0,0 +1,48 @@
+c
+depuis
+la
+enfin
+certains
+selon
+cet
+car
+ces
+il
+cependant
+pour
+j
+alors
+un
+certes
+les
+nous
+dans
+le
+une
+si
+mais
+en
+dès
+or
+tout
+ils
+l
+mr
+malgré
+elles
+né
+je
+on
+quand
+pourtant
+cela
+a
+après
+puis
+ce
+elle
+voilà
+cette
+comment
+quant
+ainsi

german/abbrev_types.txt

@@ -0,0 +1,71 @@
+rfr
+t
+c
+a.d
+dk
+he
+mjm
+inkl
+bt
+69f
+crz
+dr
+st
+ib
+liv
+mrd
+n.r
+rg
+v
+vgl
+mgr
+cs
+prof
+j
+kfr
+bd
+fre
+gfh
+fon
+m
+rp
+nr
+chr
+etc
+hg
+sx
+rz
+48f
+kmu
+abs
+nkm
+z.b
+usw
+f
+d.h
+lz
+sc
+usf
+gir
+hag
+ff
+mio
+zr
+k
+h
+mey
+bst
+ne
+u.a
+fem
+bzw
+bü
+med
+u
+lts
+fr
+s.o.s
+w
+lib
+k.a
+th

german/collocations.tab

@@ -0,0 +1,28 @@
+##number##	oktober
+##number##	jahrhunderts
+##number##	geburtstag
+##number##	juni
+s	##number##
+##number##	september
+##number##	mai
+##number##	dezember
+##number##	april
+##number##	ahv-revision
+##number##	revision
+##number##	jahrhundert
+##number##	landwirtschaftsbericht
+##number##	altersjahr
+##number##	februar
+a	schumpeter
+##number##	freiheit
+##number##	august
+##number##	januar
+##number##	märz
+a	meyers
+##number##	november
+##number##	bauetappe
+##number##	ahv-
+##number##	eu-richtlinie
+##number##	juli
+a	meyer
+##number##	säule

german/sent_starters.txt

@@ -0,0 +1,107 @@
+das
+man
+es
+wir
+dabei
+ferner
+ähnliches
+während
+entscheidend
+ausserdem
+ein
+in
+der
+daraus
+obschon
+beide
+hier
+all
+neben
+solche
+hingegen
+selbstverständlich
+daneben
+hinzu
+vielmehr
+sie
+natürlich
+obwohl
+nun
+doch
+ob
+abgesehen
+überdies
+im
+zweitens
+darin
+erstens
+dieses
+nach
+wer
+da
+interessant
+seit
+zudem
+darüber
+umgekehrt
+ähnlich
+aber
+was
+nachdem
+insbesondere
+statt
+angesichts
+gefragt
+gleiches
+solange
+wenn
+dies
+dass
+wie
+damit
+allerdings
+denn
+letztere
+eine
+selbst
+gleichzeitig
+wo
+weder
+gerade
+unter
+problematischer
+wieso
+dennoch
+bei
+deshalb
+davon
+andernfalls
+er
+die
+anders
+auch
+ebenso
+so
+inzwischen
+sonst
+immerhin
+entsprechend
+danach
+am
+trotz
+trotzdem
+worum
+damals
+dafür
+schliesslich
+gemäss
+demgegenüber
+warum
+letzteres
+mit
+dazu
+anderseits
+ganz
+zwar
+dieser
+diese

greek/abbrev_types.txt

@@ -0,0 +1,100 @@
+κλ
+δημ
+χλμ
+σ.τ.ε
+ό.π
+δρχ
+κων
+χρ
+π.α
+ριχ
+π.χρ
+υγ
+tel
+ζ
+ο.π
+βασ
+γλ
+n.c
+d.j
+σωκ
+π
+ιω
+αχ
+βα
+γερ
+εκδ
+κλπ
+φ
+ελ
+οσ
+α
+σελ
+ευ
+ε.έ
+ρ
+ε.τ.α
+λ
+εβ
+θρ
+ν
+βλ
+ηλ
+γ
+αρ
+π.χ
+ε.μ
+κ.μ
+α.ε
+μιχ
+δισ
+ολ
+μ
+κ.ά
+κ
+δηλ
+ε.α.χ
+πρ
+αγ
+μac
+κ.ο.κ
+λ.χ
+θ
+αδσ
+εκατ
+δρη
+εμμ
+δ
+δεκ
+σ.σ
+55ο
+κκ
+αδ
+τ.μ
+ε.ε
+μ.χ
+ν.μ
+κτλ
+δολ
+κ.ά.π
+αγγ
+μ.κ
+δ.σ
+μπ
+έκδ
+ι
+v
+χαρ
+γρ
+μ.μ.ε
+σχ
+λεκ
+σπ
+πλι
+αθ
+χ
+τζ
+τρισ
+στ
+ευθ
+μ.μ

greek/collocations.tab

@@ -0,0 +1,7 @@
+β	δερτιλής
+##number##	φιλάρετος
+ο	gehry
+η	αβεε
+##number##	βλ.
+β	παπανδρέου
+σ	μ.

greek/sent_starters.txt

@@ -0,0 +1,54 @@
+οπως
+πάντως
+δεύτερον
+παράλληλα
+οχι
+ειδικότερα
+τι
+επίσης
+ωστόσο
+ενας
+ηδη
+σύμφωνα
+συγκεκριμένα
+ηταν
+εκεί
+αλλωστε
+πολλοί
+διότι
+οποιος
+τρίτον
+πώς
+ολοι
+ισως
+ο
+ολες
+οι
+γιατί
+αλλοι
+οσοι
+αυτό
+τα
+ολα
+ετσι
+ενα
+πράγματι
+αλλά
+επιπλέον
+δεν
+εχει
+αντίθετα
+οσον
+γι
+αντιθέτως
+ας
+η
+πρόκειται
+αρα
+οσο
+αν
+μετά
+εξάλλου
+το
+οταν
+πέρα

italian/abbrev_types.txt

@@ -0,0 +1,125 @@
+t
+b.p
+cer
+sik
+'ing
+dr
+p.m
+st
+t.t.c
+a.r
+p
+ecc
+t.b
+tel
+etc
+'on
+mb
+g.dol
+g.d.g
+sè»
+m.p
+b.b
+vs
+s.p.a
+g.b
+v6
+ipp
+s.r
+r.c
+moz
+n.f
+s.mr
+c.s
+g.i.p
+r.i
+a.g
+rc
+'è»
+1-o
+e.p
+m.g.b
+gen
+i.e
+s.a
+vic
+g.gi
+c»
+m.cas
+re.po
+giri/min
+e.i
+mrs
+w
+n.d.r
+l4ª
+bad
+p.l.f
+dur
+s.l
+t.s
+wwf
+u.q
+lod
+b.col
+prof
+n.s
+ii.dd
+a.f
+c.i
+op
+end
+g
+'u.s
+o.b
+t.t
+s.m
+ing
+shi
+oren
+m.l
+f.l.l
+mr
+jvp
+fia
+pag
+e.c
+g.p
+pp
+u
+p.d.v
+c.cer
+cod
+d.p.r
+e.t
+e.st
+h.c
+z
+r
+c.n.r
+o.r
+mons
+j
+jr
+kin
+v6»
+g.p.s
+l.z
+c.a
+m.f
+sig
+s.r.l
+riz
+f
+m.s
+c.c
+l.p
+f.ama
+pi
+s.c
+p.d.p
+ta
+di»
+r.e.s
+n.d
+p2»

italian/collocations.tab

@@ -0,0 +1,6 @@
+n	##number##
+s	pietro
+s	francisco
+c	wolf
+s	maria
+a	r.

italian/sent_starters.txt

@@ -0,0 +1,40 @@
+poi
+c
+la
+temperatura
+oggi
+ebbene
+infine
+ieri
+ecco
+il
+questo
+quando
+se
+anche
+e
+ma
+perciò
+in
+visibilità
+gli
+insomma
+le
+nel
+lo
+ora
+adesso
+venti
+l
+ci
+per
+inoltre
+ho
+secondo
+non
+così
+intanto
+certo
+dopo
+i
+eppure

malayalam/abbrev_types.txt

@@ -0,0 +1,285 @@
+പി.ജെ
+var
+ഡി.വൈ
+സിഹാനൂക്കാണ്
+എന്നാണറിയപ്പെട്ടത്
+മു
+ബി.ആർ
+സി.ടി
+വി.പി
+u.s
+എം.എം
+ഏ.ഓ
+എ.എം
+ജെ.ബി
+കെ.എൽ
+ഉയർത്തപ്പെട്ടു
+o8
+ജെ.ഡി
+പാരീസിലേക്കയച്ചു
+വിവാഹംകഴിച്ചു
+ഒ.എ
+മുസ്ലിങ്ങളാണ്
+ടി.പി
+ഒ.സി
+ആർ.എം
+കൃ
+മറിച്ചാണ്
+മാറ്റിയിരിക്കണം
+ജി.വി
+കെ.ജെ
+കെ.ബി
+സി.വി
+ഒ.ആർ
+വിഭജിക്കപ്പെട്ടു
+ജെ.ആർ.എം
+അഭിപ്രായപ്പെട്ടിരുന്നു
+എം.ഒ
+ശ
+എൽ.കെ
+കെ.ഇ
+ബി.എ.സി
+ടി.ഡി
+അക്രമോത്സുകരാക്കി
+എസ്.എൽ
+തെ
+എ.പി.ഐ
+ചലച്ചിത്രം,പുസ്തകം,സി.ഡി,ഡി.വി.ഡി
+ഡെ.റി
+എൽ.എ
+ഇ.എൻ
+k.n
+ഒ.എൻ
+വി.ഖു
+ഫെ
+eur
+vol
+d.c
+വി.എം.എസ്
+ജി.കെ
+സി.സി.ഡി
+എം.ജി.ആർ
+ഡോ.ടി
+മേൻമ
+എളുപ്പവഴിയാണിത്
+j.s
+കെ.ഡി
+ഇ.ഡി
+കൊ
+ഇ.വി
+a.k.a
+ആർ.സി
+ഐ.എസ്.പി
+ഇ.എ
+ബി.എൻ
+എ.ഇ
+ഡോ.എ
+വി.എം
+കലാശിച്ചുളളു
+എം.എൻ
+എ.ഒ
+എ.പി.ജെ
+പി.എ
+ഓ.എം
+ടി.എൻ
+ഘ.മീ
+ജൂല
+പി.ജി
+ഒക്കാറ
+സി.ഒ
+ജി.ഇ
+കെ.ആർ
+ഉ.സാ.ഘ
+ആഗ
+ഒ.ടി.ജി
+ആ.സാ
+സിംഹാസനമേറി
+എ.യു
+സി.എൽ
+സു
+ഐ.വി
+ജി.ഐ
+അവതരിപ്പിക്കാറുള്ള
+ഒ.ടി
+trin
+എൻ.വി
+രചനകളിലാണ്‌
+ഏ.കെ
+എ.ജെ
+ല.സാ.ഗു
+എൻ.ഡി.ആർ.എഫ്
+k.m
+എഫ്.ആർ
+തെ.കി
+എം.എൽ
+എൻ.ആർ
+ഐ.ഡി
+ജെ.ആർ
+അനുവാദമുണ്ടായിരുന്നു
+സി.എസ്.എസ്
+ആണ
+ടി.ടി
+etc
+കെ.എ
+എറിഞ്ഞുകളയപ്പെടുന്നു
+ട്
+നടപ്പായി
+നിരോധിച്ചിരിക്കുകയാണ്
+എൽ.എസ്.ഡി
+ഇ.ജെ
+ആരാഞ്ഞു
+എൽ.എൻ
+ജെ.കെ
+ജനു
+യു.ബി
+പുറ
+എസ്.വി.ജി
+പി.ഒ
+എഫ്.ടി.പി
+ഐ.സി
+വ.പ
+കെ.എൻ
+ജൂ
+ഖു
+എ.ആർ.എം
+യു.ആർ
+ഐ.എൻ.എ
+കലനം
+ഐ.ആർ.ഡി.പി
+ആവശ്യപ്പെടു
+ജെ.ആർ.ഡി
+ഒ.വി
+പി.എം
+എ.ബി
+ജി.എ
+എസ്.എഫ്.ടി.പി
+ജെ.ആർ.കെ
+ബി.ഇ.എം.എൽ
+ചേരൂ
+സി.ഇ
+ഡി.വി
+ജി.എം.പി
+7ൽ
+യു.സി
+എൽ.ജെ
+വി.ടി
+ഐ.കെ
+എം.ഐ
+പി.ഐ
+ടി.എസ്
+ഐ.ടി.ബി.പി
+മി.മീ
+കെ.എസ്
+എൽ.ടി
+ഇ.ബി
+യു.എ
+ഇ.ടി
+i.e
+ഇ.എ​
+വ്യക്തമാക്കുന്നത്
+എം.ഈ
+a.h
+ഇ.സി
+4k.m
+'എ.ആർ
+എ.ജി
+തി.ക
+ഇ.എം
+പി.എൻ
+പുസ്തകങ്ങളുണ്ട്
+എ.എൻ
+ഒത്തുതീർപ്പിലെത്തി
+ശ.ശ
+r.i
+mz+
+അക്ഷാ
+t.n
+രേഖാംശത്തിലാണ്
+m.b.b.s
+എസ്.എം.പി.എസ്
+ഈ.മ.യൌ
+ഡി.വി.ഡി
+സി.എൻ.ആർ
+ഇ.ഒ
+ലഫ്
+ഐ.ജി
+എ.ഐ.കെ.എസ്
+ബി.എഡ്
+റുദ്
+കെ.എസ്.യു
+apk
+എ.വി.എം
+ഏ.സി
+fol
+നല്ലതാണ്
+mt
+ഒ.കെ
+ബി.ഇ.എൽ
+എം.വി
+04മ.34.4മി
+പി.ഡി
+വി.ഐ
+എസ്.എസ്.ബി
+കോജ
+ഡി.എ.വി
+വ്യക്തമല്ല
+എ.എൽ
+ഏ.എൻ
+സൃഷ്ടിച്ചിരുന്നു
+ഡി.സി
+എ‌
+ഗ
+ഐ.എം
+ജെ.ഇ
+ഐ.എസ്.ഒ
+w.h
+oh
+നടുക
+ഏറ
+എൻ.സി.സി
+എ.ആർ
+സി.കെ
+സ്ഥാപിച്ചെടുത്തു
+എ.എ
+ഖ
+മി.ലി
+തെ.പ
+†y
+ടേൽ
+പി.ആർ
+ബി.ജെ
+ed
+ഒ.ഇ.എം
+15എ
+ഐ.ആർ
+എം.യു
+co
+എം.ആർ
+വി.എ
+ഡി.കെ
+എ​
+ശ.മാ
+നല
+വളരും
+ഐ.ആർ.ഡി
+mr
+ബി.സി.ഇ
+എച്ച്.എ.എൽ.,എൻ.എ.എൽ
+ടി.എ
+ജെ.ജെ
+ഓ.എസ്
+ആർ.ഒ
+ഇ.പി
+ഉപയോഗിച്ചുപോന്നിട്ടുണ്ടു്
+ഏ.ആർ
+അഡ്വ
+എസ്.പി.സി.കെ
+m.f
+ജി.സി
+ജി.പി
+എ.ഐ.എ.ഡി.എം.കെ
+ഒ.പി
+ബി.എച്ച്.ഇ.എൽ
+വി.ആർ
+6k.m
+a.a.k

malayalam/collocations.tab

@@ -0,0 +1,153 @@
+ഐ	എ
+ഇ	സുലൈമാൻ
+ഇ	ആർ
+##number##	ശേഖരിച്ചത്
+ഐ	ഐ
+##number##	രഹസ്യാത്മകത
+ന	20-ന്
+പ	പാർനസസ്
+ഇ	സന്തോഷ്
+h	asquith
+ഏ	29-ന്‌
+##number##	ക്ലയന്റ്
+എ	ഇബ്രാഹിം
+ഒ	മാധവൻ
+എ	ഡി
+##number##	ആർകിടെക്ചർ
+ഇ	കോളിയിൽ
+ഐ	ആസ്‌കാർ
+എ	താണുപിള്ളയുടെ
+c	camelus
+ഇ	എം
+##number##	മുതുമല
+ഇ	കോളി
+ഒ	അബ്ദുറഹ്മാൻ
+എ	രാമചന്ദ്രൻ
+ഐ	എം
+c	massaicus
+എ	രാമചന്ദ്രൻനായർ
+ഇ	വെബ്ബിന്റെ
+##number##	ml
+##number##	ഉമ്മാമ
+ഇ	സി
+##number##	ഏകീകരിക്കപ്പെട്ട
+ഐ	രണ്ടായി
+##number##	ജ്ഞാനകർമവിഭാഗയോഗം
+എ	എസ്
+ഐ	സി
+എ	എൻ
+##number##	ഖ്വള
+ഒ	അബ്ദുറഹ്മാന്
+##number##	പക്ഷിമനുഷ്യൻ
+e	see
+c	molybdophanes
+ഐ	ഷണ്മുഖദാസ്
+വ	കി.-തെ.
+c	syriacus
+ഏ	26-ന്
+പ	നിന്നു
+b	english
+ഒ	ഹെൻറിയുടെ
+വ	പ്രദേശങ്ങളിൽ
+എ	കോളേജ്
+വ	കിഴക്കൻ
+ഇ	ഒ,യും
+എ	ആഡംസാണ്
+ഐ	ബി.എം
+എ	ഐ
+എ	ആർ
+ഒ	അബ്ദുള്ളയുടെ
+##number##	അർജ്ജുനവിഷാദയോഗം
+n	sircar
+ഇ	പുന്നൻ‍
+ന	24-ന്
+വ	നിന്നു
+c	ronaldo
+c	whether
+v	prasad
+ഐ	ടി
+ച	കി.മീ
+എ	എൽ
+അ	ഉ
+ഇ	കെ
+വ	ഭാഗത്തുള്ള
+##number##	ഓട്ടോമൊബൈൽ
+എ	കണാരൻ
+ഒ	എൻ
+##number##	യാലല്ല
+വ	അമേരിക്കയിൽനിന്നും
+b	r
+f	salsa
+c	australus
+എ	വിൻസെന്റ്
+എ	കുഞ്ഞുകൃഷ്ണൻ
+എ	എം
+എ	കോളി
+ഒ	ഓലെസ്സും
+എ	ഷെരീഫ്
+ഒ	അബ്ദുറഹ്‌മാൻ
+എ	13-ആം
+l	v
+d	the
+##number##	വിവരാവകാശനിയമം
+##number##	naturally
+ഇ	ചന്ദ്രശേഖരൻ
+ഒ	കോരൻ
+ക	ഉത്തർപ്രദേശിന്റെ
+എ	സുബാസ്കാരൻ
+വ	ഭാഗത്ത്
+l	indicus
+ഒ	മാധവന്റെ
+ഇ	യോനാത്ത്
+h	h
+ച	കി
+വ	കി
+ഐ	എ‌.
+ഐ	ഇ
+##number##	നിർമ്മാണാവകാശം
+##number##	bibcode
+ഇ	ഒ
+b	n
+##number##	32-ബിറ്റുള്ള
+ഒ	എം
+ഇ	പത്മനാഭൻ
+p	p
+a	r
+ഐ	ഒ
+എ	സഹദേവൻ
+f	piliferus
+ഐ	ടി.കളും
+a	baileyana
+ഒ	രാജഗോപാൽ
+s	c
+ഐ	ആറിന്റെ
+എ	ടി
+പ	ദിശയിൽ
+പ	ഈഗാലിയോസ്
+എ	ഭീം
+g	kilgour
+ഒ	എ
+എ	അയ്യപ്പൻ
+##number##	മൂലതാളിൽ
+ഇ	ഒന്നാം
+ഒ	11-ന്‌
+r	chopra
+വ	പ
+എ	കെ
+എ	വി
+ഇ	എസ്
+##number##	c4
+എ	ഗ്രിഫിൻ
+d	ramanaidu
+എ	ഹൈൻലൈൻ
+r	rahman
+##number##	ജംദേന
+എ	ഗോപാലകൃഷ്ണൻ
+എ	എച്ച്
+എ	ഹേമചന്ദ്രൻ
+l	ഇംഗ്ലീഷിൽ
+ഏ	ആർ
+##number##	സൂക്തങ്ങൾ
+എ	അച്യുതൻവക്കീലിന്റെ
+ഏ	ശ്രീധരമേനോൻ
+ഇ	ബി

malayalam/sent_starters.txt

@@ -0,0 +1,14 @@
+പല
+ഇവ
+http
+അവ
+ആ
+ആൺ
+പഴയ
+ഏൽ
+ഈ
+coordinates
+അവർ
+helier
+പകൽ
+ഇവർ

norwegian/abbrev_types.txt

@@ -0,0 +1,106 @@
+t
+p.p
+bk
+cc
+pga
+e.e.o
+o.h
+dr
+st
+uh
+kk
+t.d
+h.m
+p
+adm
+nr
+etc
+t.h
+dæhlie-triumf
+ev
+udv
+anm
+ø
+osv
+dm
+hi
+b.b
+inc
+r.c
+d.v.s
+ce
+fr
+chr
+adm.dir
+m.a
+b
+p.t
+m.v
+k
+m.m
+i.l
+mill
+h.e
+d.å
+bl.a
+i.h.h.t
+mrs
+b.i.t
+sam.pol
+o.l
+w
+jfr
+h.g
+str
+mil.org
+c.j
+sifre
+l.t
+t.v
+ex
+gj.v
+pr
+d.y
+j.o
+g.c
+avd
+o.s.v
+pol
+ca
+f.eks
+tjenesteforsømmelse
+mr
+d.c
+sam
+.e
+h.h.v
+f.v
+fenomen
+kl
+hr
+c.h
+miljøvernavdelingen
+h.c
+startstreken
+r
+o.a
+mrd
+a.s
+j.v
+j
+jr
+f.w
+kfr
+l.h
+bås
+schlickernrieder
+f.-eks
+f
+5.n7
+c.c
+fung
+dvs
+d.e
+wc
+f.å
+th

norwegian/collocations.tab

@@ -0,0 +1,54 @@
+m	skjærstad
+##number##	plass
+##number##	omgang
+##number##	oktober
+h	rowe
+##number##	juni
+##number##	september
+##number##	klasse
+##number##	mai
+##number##	april
+##number##	nyttårsdag
+d	hillgaar
+##number##	etasje
+c	sundts
+o	henrik
+a	himle
+a	robinson
+m	bjelland
+##number##	d.å.
+##number##	runden
+h	spang
+##number##	etappen
+##number##	mars-tog
+##number##	februar
+##number##	divisjonslaget
+##number##	minutt
+g	larsen
+##number##	divisjon
+##number##	januar
+##number##	august
+m	pedersen
+m	lillebø
+##number##	november
+h	reimers
+a	hoffman
+##number##	jubileumsår
+##number##	desember
+d	hagesæther
+##number##	divisjonsnivå
+##number##	omgangen
+n	kristiansen
+##number##	skaff
+##number##	divisjonslag
+a	pettersen
+##number##	divisjonskamper
+##number##	plassen
+##number##	juli
+c	sjaastad
+##number##	runde
+##number##	viseformann
+i	eliassen
+##number##	mars
+##number##	nurmis
+i	hagen

norwegian/sent_starters.txt

@@ -0,0 +1,63 @@
+de
+først
+selv
+vi
+derfor
+dessutan
+njvi
+dette
+politiet
+nji
+njde
+hensikten
+totalt
+njnår
+ingen
+mannen
+då
+anmeldt
+foto
+begge
+difor
+njdet
+ifølge
+nå
+arkiv
+når
+det
+så
+no
+deretter
+samtidig
+side
+men
+både
+njden
+dersom
+dessverre
+årsaken
+da
+njmen
+dessuten
+denne
+her
+ho
+hvis
+tekst
+problemet
+dermed
+etter
+jeg
+den
+kanskje
+ørdag
+tanken
+foruten
+resultatet
+njjeg
+dei
+ntb
+nkjeg
+hun
+eg
+han