Upload 18 files

LICENSE

@@ -0,0 +1,21 @@
+MIT License
+
+Copyright 2023 New York University Abu Dhabi
+
+Permission is hereby granted, free of charge, to any person obtaining a copy
+of this software and associated documentation files (the "Software"), to deal
+in the Software without restriction, including without limitation the rights
+to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
+copies of the Software, and to permit persons to whom the Software is
+furnished to do so, subject to the following conditions:
+
+The above copyright notice and this permission notice shall be included in
+all copies or substantial portions of the Software.
+
+THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
+IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
+FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
+AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
+LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
+OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
+SOFTWARE.

api.py

@@ -0,0 +1,49 @@
+import os
+from fastapi import FastAPI, HTTPException
+from fastapi.middleware.cors import CORSMiddleware
+from pydantic import BaseModel
+
+
+from nlp import process_full_document_pipeline, build_knowledge_graph_json
+
+
+app = FastAPI(title="Text2Tale - Get Knowledge Graph From Text", version="1.0")
+
+app.add_middleware(
+    CORSMiddleware,
+    allow_origins=["*"], 
+    allow_credentials=True,
+    allow_methods=["*"],
+    allow_headers=["*"],
+)
+
+class GraphRequest(BaseModel):
+    text: str
+
+@app.post("/generate_graph")
+async def generate_graph_api(request: GraphRequest):
+    try:
+        camel_path = os.path.dirname(os.path.abspath(__file__))
+        
+        extracted_relations = process_full_document_pipeline(
+            full_text=request.text, 
+            camel_parser_path=camel_path
+        )
+        if not extracted_relations:
+            return {
+                "message": "لم يتم استخراج أي علاقات من النص.",
+                "triplets": [],
+                "graph": {"nodes": [], "edges": []}
+            }
+
+        graph_data = build_knowledge_graph_json(extracted_relations)
+
+        return {
+            "message": "تم بناء الغراف المعرفي بنجاح",
+            "triplets": extracted_relations,
+            "graph": graph_data
+        }
+
+    except Exception as e:
+        # التقاط أي خطأ وإرجاعه بشكل مقروء
+        raise HTTPException(status_code=500, detail=f"حدث خطأ : {str(e)}")

data/clitic_feats.csv

@@ -0,0 +1,78 @@
+deciding_feat,clitic,catib6,pos,gloss,prc3,prc2,prc1,prc0,per,asp,vox,mod,gen,num,stt,cas,enc0,rat
+enc0:1p_dobj,nA,NOM,pron,clitic,0,0,0,0,1,na,na,na,m,p,d,a,0,na
+enc0:1p_poss,nA,NOM,pron,clitic,0,0,0,0,1,na,na,na,m,p,d,g,0,na
+enc0:1p_pron,nA,NOM,pron,clitic,0,0,0,0,1,na,na,na,m,p,d,u,0,na
+enc0:1s_dobj,ny,NOM,pron,clitic,0,0,0,0,1,na,na,na,m,s,d,a,0,na
+enc0:1s_poss,y,NOM,pron,clitic,0,0,0,0,1,na,na,na,m,s,d,g,0,na
+enc0:1s_pron,ny,NOM,pron,clitic,0,0,0,0,1,na,na,na,m,s,d,u,0,na
+enc0:1s_pron,y,NOM,pron,clitic,0,0,0,0,1,na,na,na,m,s,d,u,0,na
+enc0:2d_dobj,kmA,NOM,pron,clitic,0,0,0,0,2,na,na,na,m,d,d,a,0,na
+enc0:2d_poss,kmA,NOM,pron,clitic,0,0,0,0,2,na,na,na,m,d,d,g,0,na
+enc0:2d_pron,kmA,NOM,pron,clitic,0,0,0,0,2,na,na,na,m,d,d,u,0,na
+enc0:2fp_dobj,kn,NOM,pron,clitic,0,0,0,0,2,na,na,na,f,p,d,a,0,na
+enc0:2fp_poss,kn,NOM,pron,clitic,0,0,0,0,2,na,na,na,f,p,d,g,0,na
+enc0:2fp_pron,kn,NOM,pron,clitic,0,0,0,0,2,na,na,na,f,p,d,u,0,na
+enc0:2fs_dobj,k,NOM,pron,clitic,0,0,0,0,2,na,na,na,f,s,d,a,0,na
+enc0:2fs_poss,k,NOM,pron,clitic,0,0,0,0,2,na,na,na,f,s,d,g,0,na
+enc0:2fs_pron,k,NOM,pron,clitic,0,0,0,0,2,na,na,na,f,s,d,u,0,na
+enc0:2mp_dobj,km,NOM,pron,clitic,0,0,0,0,2,na,na,na,m,p,d,a,0,na
+enc0:2mp_poss,km,NOM,pron,clitic,0,0,0,0,2,na,na,na,m,p,d,g,0,na
+enc0:2mp_pron,km,NOM,pron,clitic,0,0,0,0,2,na,na,na,m,p,d,u,0,na
+enc0:2ms_dobj,k,NOM,pron,clitic,0,0,0,0,2,na,na,na,m,s,d,a,0,na
+enc0:2ms_poss,k,NOM,pron,clitic,0,0,0,0,2,na,na,na,m,s,d,g,0,na
+enc0:2ms_pron,k,NOM,pron,clitic,0,0,0,0,2,na,na,na,m,s,d,u,0,na
+enc0:3d_dobj,hmA,NOM,pron,clitic,0,0,0,0,3,na,na,na,m,d,d,a,0,na
+enc0:3d_poss,hmA,NOM,pron,clitic,0,0,0,0,3,na,na,na,m,d,d,g,0,na
+enc0:3d_pron,hmA,NOM,pron,clitic,0,0,0,0,3,na,na,na,m,d,d,u,0,na
+enc0:3fp_dobj,hn,NOM,pron,clitic,0,0,0,0,3,na,na,na,f,p,d,a,0,na
+enc0:3fp_poss,hn,NOM,pron,clitic,0,0,0,0,3,na,na,na,f,p,d,g,0,na
+enc0:3fp_pron,hn,NOM,pron,clitic,0,0,0,0,3,na,na,na,f,p,d,u,0,na
+enc0:3fs_dobj,hA,NOM,pron,clitic,0,0,0,0,3,na,na,na,f,s,d,a,0,na
+enc0:3fs_poss,hA,NOM,pron,clitic,0,0,0,0,3,na,na,na,f,s,d,g,0,na
+enc0:3fs_pron,hA,NOM,pron,clitic,0,0,0,0,3,na,na,na,f,s,d,u,0,na
+enc0:3mp_dobj,hm,NOM,pron,clitic,0,0,0,0,3,na,na,na,m,p,d,a,0,na
+enc0:3mp_poss,hm,NOM,pron,clitic,0,0,0,0,3,na,na,na,m,p,d,g,0,na
+enc0:3mp_pron,hm,NOM,pron,clitic,0,0,0,0,3,na,na,na,m,p,d,u,0,na
+enc0:3ms_dobj,h,NOM,pron,clitic,0,0,0,0,3,na,na,na,m,s,d,a,0,na
+enc0:3ms_poss,h,NOM,pron,clitic,0,0,0,0,3,na,na,na,m,s,d,g,0,na
+enc0:3ms_pron,h,NOM,pron,clitic,0,0,0,0,3,na,na,na,m,s,d,u,0,na
+enc0:Ah_voc,Ah,PRT,part_voc,clitic,0,0,0,na,na,na,na,na,na,na,na,na,0,na
+enc0:lA_neg,lA,PRT,part_neg,clitic,0,0,0,na,na,na,na,na,na,na,na,na,0,na
+enc0:mA_interrog,mA,NOM,pron_interrog,clitic,0,0,0,na,na,na,na,na,na,na,na,na,0,na
+enc0:mA_rel,mA,NOM,pron_rel,clitic,0,0,0,na,na,na,na,na,na,na,na,na,0,na
+enc0:mA_sub,mA,PRT,conj,clitic,0,0,0,na,na,na,na,na,na,na,na,na,0,na
+enc0:ma_interrog,mA,NOM,pron_interrog,clitic,0,0,0,na,na,na,na,na,na,na,na,na,0,na
+enc0:ma_interrog,m,NOM,pron_interrog,clitic,0,0,0,na,na,na,na,na,na,na,na,na,0,na
+enc0:ma_rel,m,NOM,pron_rel,clitic,0,0,0,na,na,na,na,na,na,na,na,na,0,na
+enc0:ma_sub,m,PRT,conj,clitic,0,0,0,na,na,na,na,na,na,na,na,na,0,na
+enc0:man_interrog,mn,NOM,pron_interrog,clitic,0,0,0,na,na,na,na,na,na,na,na,na,0,na
+enc0:man_rel,mn,NOM,pron_rel,clitic,0,0,0,na,na,na,na,na,na,na,na,na,0,na
+prc0:lA_neg,lA,PRT,part_neg,clitic,0,0,0,na,na,na,na,na,na,na,na,na,0,na
+prc0:mA_neg,mA,PRT,part_neg,clitic,0,0,0,na,na,na,na,na,na,na,na,na,0,na
+prc0:mA_part,mA,PRT,part,clitic,0,0,0,na,na,na,na,na,na,na,na,na,0,na
+prc0:mA_rel,mA,NOM,pron_rel,clitic,0,0,0,na,na,na,na,na,na,na,na,na,0,na
+prc1:bi_part,b,PRT,part,clitic,0,0,0,na,na,na,na,na,na,na,na,na,0,na
+prc1:bi_prep,b,PRT,prep,clitic,0,0,0,na,na,na,na,na,na,na,na,na,0,na
+prc1:fiy_prep,fy,PRT,prep,clitic,0,0,0,na,na,na,na,na,na,na,na,na,0,na
+prc1:hA_dem,hA,PRT,part,clitic,0,0,0,na,na,na,na,na,na,na,na,na,0,na
+prc1:ka_prep,k,PRT,prep,clitic,0,0,0,na,na,na,na,na,na,na,na,na,0,na
+prc1:la_emph,l,PRT,part,clitic,0,0,0,na,na,na,na,na,na,na,na,na,0,na
+prc1:la_prep,l,PRT,prep,clitic,0,0,0,na,na,na,na,na,na,na,na,na,0,na
+prc1:la_rc,l,PRT,part,clitic,0,0,0,na,na,na,na,na,na,na,na,na,0,na
+prc1:li_jus,l,PRT,part_verb,clitic,0,0,0,na,na,na,na,na,na,na,na,na,0,na
+prc1:li_conj,l,PRT,conj,clitic,0,0,0,na,na,na,na,na,na,na,na,na,0,na
+prc1:li_sub,l,PRT,conj_sub,clitic,0,0,0,na,na,na,na,na,na,na,na,na,0,na
+prc1:li_prep,l,PRT,prep,clitic,0,0,0,na,na,na,na,na,na,na,na,na,0,na
+prc1:sa_fut,s,PRT,part_fut,clitic,0,0,0,na,na,na,na,na,na,na,na,na,0,na
+prc1:ta_prep,t,PRT,prep,clitic,0,0,0,na,na,na,na,na,na,na,na,na,0,na
+prc1:wA_voc,wA,PRT,part_voc,clitic,0,0,0,na,na,na,na,na,na,na,na,na,0,na
+prc1:wa_prep,w,PRT,prep,clitic,0,0,0,na,na,na,na,na,na,na,na,na,0,na
+prc1:yA_voc,yA,PRT,part_voc,clitic,0,0,0,na,na,na,na,na,na,na,na,na,0,na
+prc2:fa_conj,f,PRT,conj,clitic,0,0,0,na,na,na,na,na,na,na,na,na,0,na
+prc2:fa_conn,f,PRT,part,clitic,0,0,0,na,na,na,na,na,na,na,na,na,0,na
+prc2:fa_rc,f,PRT,part,clitic,0,0,0,na,na,na,na,na,na,na,na,na,0,na
+prc2:fa_sub,f,PRT,conj,clitic,0,0,0,na,na,na,na,na,na,na,na,na,0,na
+prc2:wa_conj,w,PRT,conj,clitic,0,0,0,na,na,na,na,na,na,na,na,na,0,na
+prc2:wa_part,w,PRT,part,clitic,0,0,0,na,na,na,na,na,na,na,na,na,0,na
+prc2:wa_sub,w,PRT,conj,clitic,0,0,0,na,na,na,na,na,na,na,na,na,0,na
+prc3:>a_ques,>,PRT,part_interrog,clitic,0,0,0,na,na,na,na,na,na,na,na,na,0,na

data/samples/input_text.txt

@@ -0,0 +1,5 @@
+فاتصل علي أحد أصدقائي وقال لي: إني متواجد أمام بيتك،
+فنزلت وسلمت عليه قبل أن أسافر،
+وبعدها جاء أصدقائي وذهبت معهم،
+كان في طريقي إلى المطار حادث وخشيت أن تفوتني الرحلة،
+وهل سيشرحونها؟

data/samples/input_tok_tagged.txt

@@ -0,0 +1,2 @@
+(جامعة, NOM) (نيويورك, PROP) (أبو, PROP) (ظبي, PROP) (تنشر, VRB) (أول, NOM) (أطلس, NOM) (ل+, PRT) (كوكب, NOM) (المريخ, PROP) (ب+, PRT) (اللغة, NOM) (العربية, NOM) (., PNX)
+

data/samples/input_tokenized.txt

@@ -0,0 +1 @@
+ف+ اتصل على +ي أحد أصدقاء +ي و+ قال ل +ي : أن +ني متواجد أمام بيت +ك ,

data/samples/multiple_text_samples/sample_1.txt

@@ -0,0 +1,3 @@
+فاتصل علي أحد أصدقائي وقال لي: إني متواجد أمام بيتك،
+فنزلت وسلمت عليه قبل أن أسافر،
+وبعدها جاء أصدقائي وذهبت معهم،

data/samples/multiple_text_samples/sample_2.txt

@@ -0,0 +1,2 @@
+كان في طريقي إلى المطار حادث وخشيت أن تفوتني الرحلة،
+وهل سيشرحونها؟

data/samples/multiple_text_samples_output/sample_1.txt

@@ -0,0 +1,48 @@
+# text = فاتصل علي أحد أصدقائي وقال لي: إني متواجد أمام بيتك،
+# treeTokens = ف+ اتصل على +ي أحد أصدقاء +ي و+ قال ل +ي : أن +ني متواجد أمام بيت +ك ,
+1	ف+	ف+	PRT	_	ud=CCONJ|pos=conj|prc3=0|prc2=0|prc1=0|prc0=na|per=na|asp=na|vox=na|mod=na|gen=na|num=na|stt=na|cas=na|enc0=0|rat=na|token_type=prc2	2	MOD	_	_
+2	اتصل	ٱتصل	VRB	_	ud=VERB|pos=verb|prc3=0|prc2=0|prc1=0|prc0=0|per=3|asp=p|vox=a|mod=i|gen=m|num=s|stt=na|cas=na|enc0=0|rat=n|token_type=baseword	0	---	_	_
+3	على	على	PRT	_	ud=ADP|pos=prep|prc3=0|prc2=0|prc1=0|prc0=na|enc0=0|asp=na|vox=na|mod=na|gen=na|num=na|stt=na|cas=na|per=na|rat=na|token_type=baseword	2	MOD	_	_
+4	+ي	+ي	NOM	_	ud=PRON|pos=pron|prc3=0|prc2=0|prc1=0|prc0=0|enc0=0|asp=na|vox=na|mod=na|gen=m|num=s|stt=d|cas=u|per=1|rat=na|token_type=enc0	3	OBJ	_	_
+5	أحد	أحد	NOM	_	ud=NOUN|pos=noun|prc3=0|prc2=0|prc1=0|prc0=0|enc0=0|asp=na|vox=na|mod=na|gen=m|num=s|stt=c|cas=n|per=na|rat=i|token_type=baseword	2	SBJ	_	_
+6	أصدقاء	صديق	NOM	_	ud=NOUN|pos=noun|prc3=0|prc2=0|prc1=0|prc0=0|enc0=0|asp=na|vox=na|mod=na|gen=m|num=p|stt=c|cas=u|per=na|rat=r|token_type=baseword	5	IDF	_	_
+7	+ي	+ي	NOM	_	ud=PRON|pos=pron|prc3=0|prc2=0|prc1=0|prc0=0|enc0=0|asp=na|vox=na|mod=na|gen=m|num=s|stt=d|cas=g|per=1|rat=na|token_type=enc0	6	IDF	_	_
+8	و+	و+	PRT	_	ud=CCONJ|pos=conj|prc3=0|prc2=0|prc1=0|prc0=na|per=na|asp=na|vox=na|mod=na|gen=na|num=na|stt=na|cas=na|enc0=0|rat=na|token_type=prc2	2	MOD	_	_
+9	قال	قال	VRB	_	ud=VERB|pos=verb|prc3=0|prc2=0|prc1=0|prc0=0|per=3|asp=p|vox=a|mod=i|gen=m|num=s|stt=na|cas=na|enc0=0|rat=n|token_type=baseword	8	OBJ	_	_
+10	ل	ل	PRT	_	ud=ADP|pos=prep|prc3=0|prc2=0|prc1=0|prc0=na|enc0=0|asp=na|vox=na|mod=na|gen=na|num=na|stt=na|cas=na|per=na|rat=na|token_type=baseword	9	MOD	_	_
+11	+ي	+ي	NOM	_	ud=PRON|pos=pron|prc3=0|prc2=0|prc1=0|prc0=0|enc0=0|asp=na|vox=na|mod=na|gen=m|num=s|stt=d|cas=u|per=1|rat=na|token_type=enc0	10	OBJ	_	_
+12	:	:	PNX	_	ud=PUNCT|pos=punc|prc3=na|prc2=na|prc1=na|prc0=na|enc0=na|asp=na|vox=na|mod=na|gen=na|num=na|stt=na|cas=na|per=na|rat=na|token_type=baseword	9	MOD	_	_
+13	أن	أن	PRT	_	ud=SCONJ|pos=conj_sub|prc3=0|prc2=0|prc1=0|prc0=na|enc0=0|asp=na|vox=na|mod=na|gen=na|num=na|stt=na|cas=na|per=na|rat=na|token_type=baseword	9	OBJ	_	_
+14	+ني	+ني	NOM	_	ud=PRON|pos=pron|prc3=0|prc2=0|prc1=0|prc0=0|enc0=0|asp=na|vox=na|mod=na|gen=m|num=s|stt=d|cas=u|per=1|rat=na|token_type=enc0	13	SBJ	_	_
+15	متواجد	متواجد	NOM	_	ud=NOUN|pos=noun|prc3=0|prc2=0|prc1=0|prc0=0|enc0=0|asp=na|vox=na|mod=na|gen=m|num=s|stt=i|cas=n|per=na|rat=r|token_type=baseword	13	PRD	_	_
+16	أمام	أمام	NOM	_	ud=NOUN|pos=noun|prc3=0|prc2=0|prc1=0|prc0=0|enc0=0|asp=na|vox=na|mod=na|gen=m|num=s|stt=c|cas=a|per=na|rat=i|token_type=baseword	15	MOD	_	_
+17	بيت	بيت	NOM	_	ud=NOUN|pos=noun|prc3=0|prc2=0|prc1=0|prc0=0|enc0=0|asp=na|vox=na|mod=na|gen=m|num=s|stt=c|cas=g|per=na|rat=i|token_type=baseword	16	IDF	_	_
+18	+ك	+ك	NOM	_	ud=PRON|pos=pron|prc3=0|prc2=0|prc1=0|prc0=0|enc0=0|asp=na|vox=na|mod=na|gen=m|num=s|stt=d|cas=g|per=2|rat=na|token_type=enc0	17	IDF	_	_
+19	,	,	PNX	_	ud=PUNCT|pos=punc|prc3=na|prc2=na|prc1=na|prc0=na|enc0=na|asp=na|vox=na|mod=na|gen=na|num=na|stt=na|cas=na|per=na|rat=na|token_type=baseword	2	MOD	_	_
+
+# text = فنزلت وسلمت عليه قبل أن أسافر،
+# treeTokens = ف+ نزلت و+ سلمت على +ه قبل أن أسافر ,
+1	ف+	ف+	PRT	_	ud=CCONJ|pos=conj|prc3=0|prc2=0|prc1=0|prc0=na|per=na|asp=na|vox=na|mod=na|gen=na|num=na|stt=na|cas=na|enc0=0|rat=na|token_type=prc2	2	MOD	_	_
+2	نزلت	نزل	VRB	_	ud=VERB|pos=verb|prc3=0|prc2=0|prc1=0|prc0=0|per=1|asp=p|vox=a|mod=i|gen=m|num=s|stt=na|cas=na|enc0=0|rat=n|token_type=baseword	0	---	_	_
+3	و+	و+	PRT	_	ud=CCONJ|pos=conj|prc3=0|prc2=0|prc1=0|prc0=na|per=na|asp=na|vox=na|mod=na|gen=na|num=na|stt=na|cas=na|enc0=0|rat=na|token_type=prc2	2	MOD	_	_
+4	سلمت	سلم	VRB	_	ud=VERB|pos=verb|prc3=0|prc2=0|prc1=0|prc0=0|per=1|asp=p|vox=a|mod=i|gen=m|num=s|stt=na|cas=na|enc0=0|rat=n|token_type=baseword	3	OBJ	_	_
+5	على	على	PRT	_	ud=ADP|pos=prep|prc3=0|prc2=0|prc1=0|prc0=na|enc0=0|asp=na|vox=na|mod=na|gen=na|num=na|stt=na|cas=na|per=na|rat=na|token_type=baseword	4	MOD	_	_
+6	+ه	+ه	NOM	_	ud=PRON|pos=pron|prc3=0|prc2=0|prc1=0|prc0=0|enc0=0|asp=na|vox=na|mod=na|gen=m|num=s|stt=d|cas=u|per=3|rat=na|token_type=enc0	5	OBJ	_	_
+7	قبل	قبل	NOM	_	ud=NOUN|pos=noun|prc3=0|prc2=0|prc1=0|prc0=0|enc0=0|asp=na|vox=na|mod=na|gen=m|num=s|stt=c|cas=a|per=na|rat=i|token_type=baseword	4	MOD	_	_
+8	أن	أن	PRT	_	ud=SCONJ|pos=conj_sub|prc3=0|prc2=0|prc1=0|prc0=na|enc0=0|asp=na|vox=na|mod=na|gen=na|num=na|stt=na|cas=na|per=na|rat=na|token_type=baseword	7	IDF	_	_
+9	أسافر	سافر	VRB	_	ud=VERB|pos=verb|prc3=0|prc2=0|prc1=0|prc0=0|enc0=0|asp=i|vox=a|mod=u|gen=m|num=s|stt=na|cas=na|per=1|rat=n|token_type=baseword	8	OBJ	_	_
+10	,	,	PNX	_	ud=PUNCT|pos=punc|prc3=na|prc2=na|prc1=na|prc0=na|enc0=na|asp=na|vox=na|mod=na|gen=na|num=na|stt=na|cas=na|per=na|rat=na|token_type=baseword	2	MOD	_	_
+
+# text = وبعدها جاء أصدقائي وذهبت معهم،
+# treeTokens = و+ بعد +ها جاء أصدقاء +ي و+ ذهبت NOAN ,
+1	و+	و+	PRT	_	ud=CCONJ|pos=conj|prc3=0|prc2=0|prc1=0|prc0=na|per=na|asp=na|vox=na|mod=na|gen=na|num=na|stt=na|cas=na|enc0=0|rat=na|token_type=prc2	4	MOD	_	_
+2	بعد	بعد	NOM	_	ud=NOUN|pos=noun|prc3=0|prc2=0|prc1=0|prc0=0|per=na|asp=na|vox=na|mod=na|gen=m|num=s|stt=c|cas=a|enc0=0|rat=i|token_type=baseword	4	MOD	_	_
+3	+ها	+ها	NOM	_	ud=PRON|pos=pron|prc3=0|prc2=0|prc1=0|prc0=0|per=3|asp=na|vox=na|mod=na|gen=f|num=s|stt=d|cas=g|enc0=0|rat=na|token_type=enc0	2	IDF	_	_
+4	جاء	جاء	VRB	_	ud=VERB|pos=verb|prc3=0|prc2=0|prc1=0|prc0=0|enc0=0|asp=p|vox=a|mod=i|gen=m|num=s|stt=na|cas=na|per=3|rat=n|token_type=baseword	0	---	_	_
+5	أصدقاء	صديق	NOM	_	ud=NOUN|pos=noun|prc3=0|prc2=0|prc1=0|prc0=0|enc0=0|asp=na|vox=na|mod=na|gen=m|num=p|stt=c|cas=u|per=na|rat=r|token_type=baseword	4	SBJ	_	_
+6	+ي	+ي	NOM	_	ud=PRON|pos=pron|prc3=0|prc2=0|prc1=0|prc0=0|enc0=0|asp=na|vox=na|mod=na|gen=m|num=s|stt=d|cas=g|per=1|rat=na|token_type=enc0	5	IDF	_	_
+7	و+	و+	PRT	_	ud=CCONJ|pos=conj|prc3=0|prc2=0|prc1=0|prc0=na|per=na|asp=na|vox=na|mod=na|gen=na|num=na|stt=na|cas=na|enc0=0|rat=na|token_type=prc2	4	MOD	_	_
+8	ذهبت	ذهب	VRB	_	ud=VERB|pos=verb|prc3=0|prc2=0|prc1=0|prc0=0|per=1|asp=p|vox=a|mod=i|gen=m|num=s|stt=na|cas=na|enc0=0|rat=n|token_type=baseword	7	OBJ	_	_
+9	NOAN	معهم	PROP	_	ud=PROPN|pos=noun_prop|prc3=0|prc2=0|prc1=0|prc0=0|enc0=0|asp=na|vox=na|mod=na|gen=-|num=-|stt=i|cas=u|per=na|rat=i|token_type=baseword	8	MOD	_	_
+10	,	,	PNX	_	ud=PUNCT|pos=punc|prc3=na|prc2=na|prc1=na|prc0=na|enc0=na|asp=na|vox=na|mod=na|gen=na|num=na|stt=na|cas=na|per=na|rat=na|token_type=baseword	4	MOD	_	_
+

data/samples/multiple_text_samples_output/sample_2.txt

@@ -0,0 +1,26 @@
+# text = كان في طريقي إلى المطار حادث وخشيت أن تفوتني الرحلة،
+# treeTokens = كان في طريق +ي إلى المطار حادث و+ خشيت أن تفوت +ني الرحلة ,
+1	كان	كان	VRB	_	ud=VERB|pos=verb|prc3=0|prc2=0|prc1=0|prc0=0|enc0=0|asp=p|vox=a|mod=i|gen=m|num=s|stt=na|cas=na|per=3|rat=n|token_type=baseword	0	---	_	_
+2	في	في	PRT	_	ud=ADP|pos=prep|prc3=0|prc2=0|prc1=0|prc0=na|enc0=0|asp=na|vox=na|mod=na|gen=na|num=na|stt=na|cas=na|per=na|rat=na|token_type=baseword	1	PRD	_	_
+3	طريق	طريق	NOM	_	ud=NOUN|pos=noun|prc3=0|prc2=0|prc1=0|prc0=0|enc0=0|asp=na|vox=na|mod=na|gen=m|num=s|stt=c|cas=u|per=na|rat=i|token_type=baseword	2	OBJ	_	_
+4	+ي	+ي	NOM	_	ud=PRON|pos=pron|prc3=0|prc2=0|prc1=0|prc0=0|enc0=0|asp=na|vox=na|mod=na|gen=m|num=s|stt=d|cas=g|per=1|rat=na|token_type=enc0	3	IDF	_	_
+5	إلى	إلى	PRT	_	ud=ADP|pos=prep|prc3=0|prc2=0|prc1=0|prc0=na|enc0=0|asp=na|vox=na|mod=na|gen=na|num=na|stt=na|cas=na|per=na|rat=na|token_type=baseword	3	MOD	_	_
+6	المطار	مطار	NOM	_	ud=NOUN|pos=noun|prc3=0|prc2=0|prc1=0|prc0=Al_det|enc0=0|asp=na|vox=na|mod=na|gen=m|num=s|stt=d|cas=g|per=na|rat=i|token_type=baseword	5	OBJ	_	_
+7	حادث	حادث	NOM	_	ud=NOUN|pos=noun|prc3=0|prc2=0|prc1=0|prc0=0|enc0=0|asp=na|vox=na|mod=na|gen=m|num=s|stt=i|cas=n|per=na|rat=i|token_type=baseword	1	SBJ	_	_
+8	و+	و+	PRT	_	ud=CCONJ|pos=conj|prc3=0|prc2=0|prc1=0|prc0=na|per=na|asp=na|vox=na|mod=na|gen=na|num=na|stt=na|cas=na|enc0=0|rat=na|token_type=prc2	1	MOD	_	_
+9	خشيت	خشي	VRB	_	ud=VERB|pos=verb|prc3=0|prc2=0|prc1=0|prc0=0|per=1|asp=p|vox=a|mod=i|gen=m|num=s|stt=na|cas=na|enc0=0|rat=n|token_type=baseword	8	OBJ	_	_
+10	أن	أن	PRT	_	ud=SCONJ|pos=conj_sub|prc3=0|prc2=0|prc1=0|prc0=na|enc0=0|asp=na|vox=na|mod=na|gen=na|num=na|stt=na|cas=na|per=na|rat=na|token_type=baseword	9	OBJ	_	_
+11	تفوت	فات	VRB	_	ud=VERB|pos=verb|prc3=0|prc2=0|prc1=0|prc0=0|enc0=0|asp=i|vox=a|mod=u|gen=f|num=s|stt=na|cas=na|per=3|rat=n|token_type=baseword	10	OBJ	_	_
+12	+ني	+ني	NOM	_	ud=PRON|pos=pron|prc3=0|prc2=0|prc1=0|prc0=0|enc0=0|asp=na|vox=na|mod=na|gen=m|num=s|stt=d|cas=a|per=1|rat=na|token_type=enc0	11	OBJ	_	_
+13	الرحلة	رحلة	NOM	_	ud=NOUN|pos=noun|prc3=0|prc2=0|prc1=0|prc0=Al_det|enc0=0|asp=na|vox=na|mod=na|gen=f|num=s|stt=d|cas=n|per=na|rat=i|token_type=baseword	11	SBJ	_	_
+14	,	,	PNX	_	ud=PUNCT|pos=punc|prc3=na|prc2=na|prc1=na|prc0=na|enc0=na|asp=na|vox=na|mod=na|gen=na|num=na|stt=na|cas=na|per=na|rat=na|token_type=baseword	1	MOD	_	_
+
+# text = وهل سيشرحونها؟
+# treeTokens = و+ هل س+ يشرحون +ها ?
+1	و+	و+	PRT	_	ud=CCONJ|pos=conj|prc3=0|prc2=0|prc1=0|prc0=na|per=na|asp=na|vox=na|mod=na|gen=na|num=na|stt=na|cas=na|enc0=0|rat=na|token_type=prc2	4	MOD	_	_
+2	هل	هل	PRT	_	ud=PART|pos=part_interrog|prc3=0|prc2=0|prc1=0|prc0=na|per=na|asp=na|vox=na|mod=na|gen=na|num=na|stt=na|cas=na|enc0=0|rat=na|token_type=baseword	4	MOD	_	_
+3	س+	س+	PRT	_	ud=AUX|pos=part_fut|prc3=0|prc2=0|prc1=0|prc0=na|per=na|asp=na|vox=na|mod=na|gen=na|num=na|stt=na|cas=na|enc0=0|rat=na|token_type=prc1	4	MOD	_	_
+4	يشرحون	شرح	VRB	_	ud=VERB|pos=verb|prc3=0|prc2=0|prc1=0|prc0=0|per=3|asp=i|vox=a|mod=i|gen=m|num=p|stt=na|cas=na|enc0=0|rat=n|token_type=baseword	0	---	_	_
+5	+ها	+ها	NOM	_	ud=PRON|pos=pron|prc3=0|prc2=0|prc1=0|prc0=0|per=3|asp=na|vox=na|mod=na|gen=f|num=s|stt=d|cas=a|enc0=0|rat=na|token_type=enc0	4	OBJ	_	_
+6	?	?	PNX	_	ud=PUNCT|pos=punc|prc3=na|prc2=na|prc1=na|prc0=na|enc0=na|asp=na|vox=na|mod=na|gen=na|num=na|stt=na|cas=na|per=na|rat=na|token_type=baseword	4	MOD	_	_
+

data/samples/output_parse_tok.conllx

@@ -0,0 +1,16 @@
+# text = جامعة نيويورك أبو ظبي تنشر أول أطلس ل+ كوكب المريخ ب+ اللغة العربية
+# treeTokens = جامعة نيويورك أبو ظبي تنشر أول أطلس ل+ كوكب المريخ ب+ اللغة العربية
+1	جامعة	_	UNK	_	_	5	SBJ	_	_
+2	نيويورك	_	UNK	_	_	1	IDF	_	_
+3	أبو	_	UNK	_	_	1	MOD	_	_
+4	ظبي	_	UNK	_	_	3	---	_	_
+5	تنشر	_	UNK	_	_	0	---	_	_
+6	أول	_	UNK	_	_	5	OBJ	_	_
+7	أطلس	_	UNK	_	_	6	IDF	_	_
+8	ل+	_	UNK	_	_	7	MOD	_	_
+9	كوكب	_	UNK	_	_	8	OBJ	_	_
+10	المريخ	_	UNK	_	_	9	IDF	_	_
+11	ب+	_	UNK	_	_	6	MOD	_	_
+12	اللغة	_	UNK	_	_	11	OBJ	_	_
+13	العربية	_	UNK	_	_	12	MOD	_	_
+

data/samples/output_text.conllx

@@ -0,0 +1,75 @@
+# text = فاتصل علي أحد أصدقائي وقال لي: إني متواجد أمام بيتك،
+# treeTokens = ف+ اتصل على +ي أحد أصدقاء +ي و+ قال ل +ي : أن +ني متواجد أمام بيت +ك ,
+1	ف+	ف+	PRT	_	ud=CCONJ|pos=conj|prc3=0|prc2=0|prc1=0|prc0=na|per=na|asp=na|vox=na|mod=na|gen=na|num=na|stt=na|cas=na|enc0=0|rat=na|token_type=prc2	2	MOD	_	_
+2	اتصل	ٱتصل	VRB	_	ud=VERB|pos=verb|prc3=0|prc2=0|prc1=0|prc0=0|per=3|asp=p|vox=a|mod=i|gen=m|num=s|stt=na|cas=na|enc0=0|rat=n|token_type=baseword	0	---	_	_
+3	على	على	PRT	_	ud=ADP|pos=prep|prc3=0|prc2=0|prc1=0|prc0=na|enc0=0|asp=na|vox=na|mod=na|gen=na|num=na|stt=na|cas=na|per=na|rat=na|token_type=baseword	2	MOD	_	_
+4	+ي	+ي	NOM	_	ud=PRON|pos=pron|prc3=0|prc2=0|prc1=0|prc0=0|enc0=0|asp=na|vox=na|mod=na|gen=m|num=s|stt=d|cas=u|per=1|rat=na|token_type=enc0	3	OBJ	_	_
+5	أحد	أحد	NOM	_	ud=NUM|pos=noun_num|prc3=0|prc2=0|prc1=0|prc0=0|enc0=0|asp=na|vox=na|mod=na|gen=m|num=s|stt=c|cas=n|per=na|rat=n|token_type=baseword	2	SBJ	_	_
+6	أصدقاء	صديق	NOM	_	ud=NOUN|pos=noun|prc3=0|prc2=0|prc1=0|prc0=0|enc0=0|asp=na|vox=na|mod=na|gen=m|num=p|stt=c|cas=u|per=na|rat=r|token_type=baseword	5	IDF	_	_
+7	+ي	+ي	NOM	_	ud=PRON|pos=pron|prc3=0|prc2=0|prc1=0|prc0=0|enc0=0|asp=na|vox=na|mod=na|gen=m|num=s|stt=d|cas=g|per=1|rat=na|token_type=enc0	6	IDF	_	_
+8	و+	و+	PRT	_	ud=CCONJ|pos=conj|prc3=0|prc2=0|prc1=0|prc0=na|per=na|asp=na|vox=na|mod=na|gen=na|num=na|stt=na|cas=na|enc0=0|rat=na|token_type=prc2	2	MOD	_	_
+9	قال	قال	VRB	_	ud=VERB|pos=verb|prc3=0|prc2=0|prc1=0|prc0=0|per=3|asp=p|vox=a|mod=i|gen=m|num=s|stt=na|cas=na|enc0=0|rat=n|token_type=baseword	8	OBJ	_	_
+10	ل	ل	PRT	_	ud=ADP|pos=prep|prc3=0|prc2=0|prc1=0|prc0=na|enc0=0|asp=na|vox=na|mod=na|gen=na|num=na|stt=na|cas=na|per=na|rat=na|token_type=baseword	9	MOD	_	_
+11	+ي	+ي	NOM	_	ud=PRON|pos=pron|prc3=0|prc2=0|prc1=0|prc0=0|enc0=0|asp=na|vox=na|mod=na|gen=m|num=s|stt=d|cas=u|per=1|rat=na|token_type=enc0	10	OBJ	_	_
+12	:	:	PNX	_	ud=PUNCT|pos=punc|prc3=na|prc2=na|prc1=na|prc0=na|enc0=na|asp=na|vox=na|mod=na|gen=na|num=na|stt=na|cas=na|per=na|rat=na|token_type=baseword	9	MOD	_	_
+13	أن	أن	PRT	_	ud=SCONJ|pos=conj_sub|prc3=0|prc2=0|prc1=0|prc0=na|enc0=0|asp=na|vox=na|mod=na|gen=na|num=na|stt=na|cas=na|per=na|rat=na|token_type=baseword	9	OBJ	_	_
+14	+ني	+ني	NOM	_	ud=PRON|pos=pron|prc3=0|prc2=0|prc1=0|prc0=0|enc0=0|asp=na|vox=na|mod=na|gen=m|num=s|stt=d|cas=u|per=1|rat=na|token_type=enc0	13	SBJ	_	_
+15	متواجد	متواجد	NOM	_	ud=NOUN|pos=noun|prc3=0|prc2=0|prc1=0|prc0=0|enc0=0|asp=na|vox=na|mod=na|gen=m|num=s|stt=i|cas=n|per=na|rat=r|token_type=baseword	13	PRD	_	_
+16	أمام	أمام	NOM	_	ud=NOUN|pos=noun|prc3=0|prc2=0|prc1=0|prc0=0|enc0=0|asp=na|vox=na|mod=na|gen=m|num=s|stt=c|cas=a|per=na|rat=i|token_type=baseword	15	MOD	_	_
+17	بيت	بيت	NOM	_	ud=NOUN|pos=noun|prc3=0|prc2=0|prc1=0|prc0=0|enc0=0|asp=na|vox=na|mod=na|gen=m|num=s|stt=c|cas=g|per=na|rat=i|token_type=baseword	16	IDF	_	_
+18	+ك	+ك	NOM	_	ud=PRON|pos=pron|prc3=0|prc2=0|prc1=0|prc0=0|enc0=0|asp=na|vox=na|mod=na|gen=m|num=s|stt=d|cas=g|per=2|rat=na|token_type=enc0	17	IDF	_	_
+19	,	,	PNX	_	ud=PUNCT|pos=punc|prc3=na|prc2=na|prc1=na|prc0=na|enc0=na|asp=na|vox=na|mod=na|gen=na|num=na|stt=na|cas=na|per=na|rat=na|token_type=baseword	2	MOD	_	_
+
+# text = فنزلت وسلمت عليه قبل أن أسافر،
+# treeTokens = ف+ نزلت و+ سلمت على +ه قبل أن أسافر ,
+1	ف+	ف+	PRT	_	ud=CCONJ|pos=conj|prc3=0|prc2=0|prc1=0|prc0=na|per=na|asp=na|vox=na|mod=na|gen=na|num=na|stt=na|cas=na|enc0=0|rat=na|token_type=prc2	2	MOD	_	_
+2	نزلت	نزل	VRB	_	ud=VERB|pos=verb|prc3=0|prc2=0|prc1=0|prc0=0|per=1|asp=p|vox=a|mod=i|gen=m|num=s|stt=na|cas=na|enc0=0|rat=n|token_type=baseword	0	---	_	_
+3	و+	و+	PRT	_	ud=CCONJ|pos=conj|prc3=0|prc2=0|prc1=0|prc0=na|per=na|asp=na|vox=na|mod=na|gen=na|num=na|stt=na|cas=na|enc0=0|rat=na|token_type=prc2	2	MOD	_	_
+4	سلمت	سلم	VRB	_	ud=VERB|pos=verb|prc3=0|prc2=0|prc1=0|prc0=0|per=1|asp=p|vox=a|mod=i|gen=m|num=s|stt=na|cas=na|enc0=0|rat=n|token_type=baseword	3	OBJ	_	_
+5	على	على	PRT	_	ud=ADP|pos=prep|prc3=0|prc2=0|prc1=0|prc0=na|enc0=0|asp=na|vox=na|mod=na|gen=na|num=na|stt=na|cas=na|per=na|rat=na|token_type=baseword	4	MOD	_	_
+6	+ه	+ه	NOM	_	ud=PRON|pos=pron|prc3=0|prc2=0|prc1=0|prc0=0|enc0=0|asp=na|vox=na|mod=na|gen=m|num=s|stt=d|cas=u|per=3|rat=na|token_type=enc0	5	OBJ	_	_
+7	قبل	قبل	NOM	_	ud=NOUN|pos=noun|prc3=0|prc2=0|prc1=0|prc0=0|enc0=0|asp=na|vox=na|mod=na|gen=m|num=s|stt=c|cas=a|per=na|rat=i|token_type=baseword	4	MOD	_	_
+8	أن	أن	PRT	_	ud=SCONJ|pos=conj_sub|prc3=0|prc2=0|prc1=0|prc0=na|enc0=0|asp=na|vox=na|mod=na|gen=na|num=na|stt=na|cas=na|per=na|rat=na|token_type=baseword	7	IDF	_	_
+9	أسافر	سافر	VRB	_	ud=VERB|pos=verb|prc3=0|prc2=0|prc1=0|prc0=0|enc0=0|asp=i|vox=a|mod=s|gen=m|num=s|stt=na|cas=na|per=1|rat=n|token_type=baseword	8	OBJ	_	_
+10	,	,	PNX	_	ud=PUNCT|pos=punc|prc3=na|prc2=na|prc1=na|prc0=na|enc0=na|asp=na|vox=na|mod=na|gen=na|num=na|stt=na|cas=na|per=na|rat=na|token_type=baseword	2	MOD	_	_
+
+# text = وبعدها جاء أصدقائي وذهبت معهم،
+# treeTokens = و+ بعد +ها جاء أصدقاء +ي و+ ذهبت مع +هم ,
+1	و+	و+	PRT	_	ud=CCONJ|pos=conj|prc3=0|prc2=0|prc1=0|prc0=na|per=na|asp=na|vox=na|mod=na|gen=na|num=na|stt=na|cas=na|enc0=0|rat=na|token_type=prc2	4	MOD	_	_
+2	بعد	بعد	NOM	_	ud=NOUN|pos=noun|prc3=0|prc2=0|prc1=0|prc0=0|per=na|asp=na|vox=na|mod=na|gen=m|num=s|stt=c|cas=a|enc0=0|rat=i|token_type=baseword	4	MOD	_	_
+3	+ها	+ها	NOM	_	ud=PRON|pos=pron|prc3=0|prc2=0|prc1=0|prc0=0|per=3|asp=na|vox=na|mod=na|gen=f|num=s|stt=d|cas=g|enc0=0|rat=na|token_type=enc0	2	IDF	_	_
+4	جاء	جاء	VRB	_	ud=VERB|pos=verb|prc3=0|prc2=0|prc1=0|prc0=0|enc0=0|asp=p|vox=a|mod=i|gen=m|num=s|stt=na|cas=na|per=3|rat=n|token_type=baseword	0	---	_	_
+5	أصدقاء	صديق	NOM	_	ud=NOUN|pos=noun|prc3=0|prc2=0|prc1=0|prc0=0|enc0=0|asp=na|vox=na|mod=na|gen=m|num=p|stt=c|cas=u|per=na|rat=r|token_type=baseword	4	SBJ	_	_
+6	+ي	+ي	NOM	_	ud=PRON|pos=pron|prc3=0|prc2=0|prc1=0|prc0=0|enc0=0|asp=na|vox=na|mod=na|gen=m|num=s|stt=d|cas=g|per=1|rat=na|token_type=enc0	5	IDF	_	_
+7	و+	و+	PRT	_	ud=CCONJ|pos=conj|prc3=0|prc2=0|prc1=0|prc0=na|per=na|asp=na|vox=na|mod=na|gen=na|num=na|stt=na|cas=na|enc0=0|rat=na|token_type=prc2	4	MOD	_	_
+8	ذهبت	ذهب	VRB	_	ud=VERB|pos=verb|prc3=0|prc2=0|prc1=0|prc0=0|per=1|asp=p|vox=a|mod=i|gen=m|num=s|stt=na|cas=na|enc0=0|rat=n|token_type=baseword	7	OBJ	_	_
+9	مع	مع	NOM	_	ud=NOUN|pos=noun|prc3=0|prc2=0|prc1=0|prc0=0|enc0=0|asp=na|vox=na|mod=na|gen=m|num=s|stt=c|cas=a|per=na|rat=i|token_type=baseword	8	MOD	_	_
+10	+هم	+هم	NOM	_	ud=PRON|pos=pron|prc3=0|prc2=0|prc1=0|prc0=0|enc0=0|asp=na|vox=na|mod=na|gen=m|num=p|stt=d|cas=g|per=3|rat=na|token_type=enc0	9	IDF	_	_
+11	,	,	PNX	_	ud=PUNCT|pos=punc|prc3=na|prc2=na|prc1=na|prc0=na|enc0=na|asp=na|vox=na|mod=na|gen=na|num=na|stt=na|cas=na|per=na|rat=na|token_type=baseword	4	MOD	_	_
+
+# text = كان في طريقي إلى المطار حادث وخشيت أن تفوتني الرحلة،
+# treeTokens = كان في طريق +ي إلى المطار حادث و+ خشيت أن تفوت +ني الرحلة ,
+1	كان	كان	VRB	_	ud=VERB|pos=verb|prc3=0|prc2=0|prc1=0|prc0=0|enc0=0|asp=p|vox=a|mod=i|gen=m|num=s|stt=na|cas=na|per=3|rat=n|token_type=baseword	0	---	_	_
+2	في	في	PRT	_	ud=ADP|pos=prep|prc3=0|prc2=0|prc1=0|prc0=na|enc0=0|asp=na|vox=na|mod=na|gen=na|num=na|stt=na|cas=na|per=na|rat=na|token_type=baseword	1	PRD	_	_
+3	طريق	طريق	NOM	_	ud=NOUN|pos=noun|prc3=0|prc2=0|prc1=0|prc0=0|enc0=0|asp=na|vox=na|mod=na|gen=m|num=s|stt=c|cas=u|per=na|rat=i|token_type=baseword	2	OBJ	_	_
+4	+ي	+ي	NOM	_	ud=PRON|pos=pron|prc3=0|prc2=0|prc1=0|prc0=0|enc0=0|asp=na|vox=na|mod=na|gen=m|num=s|stt=d|cas=g|per=1|rat=na|token_type=enc0	3	IDF	_	_
+5	إلى	إلى	PRT	_	ud=ADP|pos=prep|prc3=0|prc2=0|prc1=0|prc0=na|enc0=0|asp=na|vox=na|mod=na|gen=na|num=na|stt=na|cas=na|per=na|rat=na|token_type=baseword	3	MOD	_	_
+6	المطار	مطار	NOM	_	ud=NOUN|pos=noun|prc3=0|prc2=0|prc1=0|prc0=Al_det|enc0=0|asp=na|vox=na|mod=na|gen=m|num=s|stt=d|cas=g|per=na|rat=i|token_type=baseword	5	OBJ	_	_
+7	حادث	حادث	NOM	_	ud=NOUN|pos=noun|prc3=0|prc2=0|prc1=0|prc0=0|enc0=0|asp=na|vox=na|mod=na|gen=m|num=s|stt=i|cas=n|per=na|rat=i|token_type=baseword	1	SBJ	_	_
+8	و+	و+	PRT	_	ud=CCONJ|pos=conj|prc3=0|prc2=0|prc1=0|prc0=na|per=na|asp=na|vox=na|mod=na|gen=na|num=na|stt=na|cas=na|enc0=0|rat=na|token_type=prc2	1	MOD	_	_
+9	خشيت	خشي	VRB	_	ud=VERB|pos=verb|prc3=0|prc2=0|prc1=0|prc0=0|per=1|asp=p|vox=a|mod=i|gen=m|num=s|stt=na|cas=na|enc0=0|rat=n|token_type=baseword	8	OBJ	_	_
+10	أن	أن	PRT	_	ud=SCONJ|pos=conj_sub|prc3=0|prc2=0|prc1=0|prc0=na|enc0=0|asp=na|vox=na|mod=na|gen=na|num=na|stt=na|cas=na|per=na|rat=na|token_type=baseword	9	OBJ	_	_
+11	تفوت	فات	VRB	_	ud=VERB|pos=verb|prc3=0|prc2=0|prc1=0|prc0=0|enc0=0|asp=i|vox=a|mod=i|gen=f|num=s|stt=na|cas=na|per=3|rat=n|token_type=baseword	10	OBJ	_	_
+12	+ني	+ني	NOM	_	ud=PRON|pos=pron|prc3=0|prc2=0|prc1=0|prc0=0|enc0=0|asp=na|vox=na|mod=na|gen=m|num=s|stt=d|cas=a|per=1|rat=na|token_type=enc0	11	OBJ	_	_
+13	الرحلة	رحلة	NOM	_	ud=NOUN|pos=noun|prc3=0|prc2=0|prc1=0|prc0=Al_det|enc0=0|asp=na|vox=na|mod=na|gen=f|num=s|stt=d|cas=n|per=na|rat=i|token_type=baseword	11	SBJ	_	_
+14	,	,	PNX	_	ud=PUNCT|pos=punc|prc3=na|prc2=na|prc1=na|prc0=na|enc0=na|asp=na|vox=na|mod=na|gen=na|num=na|stt=na|cas=na|per=na|rat=na|token_type=baseword	1	MOD	_	_
+
+# text = وهل سيشرحونها؟
+# treeTokens = و+ هل س+ يشرحون +ها ?
+1	و+	و+	PRT	_	ud=CCONJ|pos=conj|prc3=0|prc2=0|prc1=0|prc0=na|per=na|asp=na|vox=na|mod=na|gen=na|num=na|stt=na|cas=na|enc0=0|rat=na|token_type=prc2	4	MOD	_	_
+2	هل	هل	PRT	_	ud=PART|pos=part_interrog|prc3=0|prc2=0|prc1=0|prc0=na|per=na|asp=na|vox=na|mod=na|gen=na|num=na|stt=na|cas=na|enc0=0|rat=na|token_type=baseword	4	MOD	_	_
+3	س+	س+	PRT	_	ud=AUX|pos=part_fut|prc3=0|prc2=0|prc1=0|prc0=na|per=na|asp=na|vox=na|mod=na|gen=na|num=na|stt=na|cas=na|enc0=0|rat=na|token_type=prc1	4	MOD	_	_
+4	يشرحون	شرح	VRB	_	ud=VERB|pos=verb|prc3=0|prc2=0|prc1=0|prc0=0|per=3|asp=i|vox=a|mod=i|gen=m|num=p|stt=na|cas=na|enc0=0|rat=n|token_type=baseword	0	---	_	_
+5	+ها	+ها	NOM	_	ud=PRON|pos=pron|prc3=0|prc2=0|prc1=0|prc0=0|per=3|asp=na|vox=na|mod=na|gen=f|num=s|stt=d|cas=a|enc0=0|rat=na|token_type=enc0	4	OBJ	_	_
+6	?	?	PNX	_	ud=PUNCT|pos=punc|prc3=na|prc2=na|prc1=na|prc0=na|enc0=na|asp=na|vox=na|mod=na|gen=na|num=na|stt=na|cas=na|per=na|rat=na|token_type=baseword	4	MOD	_	_
+

data/samples/output_tok_tagged.conllx

@@ -0,0 +1,17 @@
+# text = جامعة نيويورك أبو ظبي تنشر أول أطلس ل+ كوكب المريخ ب+ اللغة العربية .
+# treeTokens = جامعة نيويورك أبو ظبي تنشر أول أطلس ل+ كوكب المريخ ب+ اللغة العربية .
+1	جامعة	_	NOM	_	_	5	SBJ	_	_
+2	نيويورك	_	PROP	_	_	1	IDF	_	_
+3	أبو	_	PROP	_	_	1	MOD	_	_
+4	ظبي	_	PROP	_	_	3	---	_	_
+5	تنشر	_	VRB	_	_	0	---	_	_
+6	أول	_	NOM	_	_	5	OBJ	_	_
+7	أطلس	_	NOM	_	_	6	IDF	_	_
+8	ل+	_	PRT	_	_	6	MOD	_	_
+9	كوكب	_	NOM	_	_	8	OBJ	_	_
+10	المريخ	_	PROP	_	_	9	IDF	_	_
+11	ب+	_	PRT	_	_	6	MOD	_	_
+12	اللغة	_	NOM	_	_	11	OBJ	_	_
+13	العربية	_	NOM	_	_	12	MOD	_	_
+14	.	_	PNX	_	_	5	MOD	_	_
+

download_models.py

@@ -0,0 +1,5 @@
+from pathlib import Path
+from src.utils.model_downloader import download_default_models
+
+if __name__ == "__main__":
+    download_default_models(Path('models'))

handle_multiple_conll_files.py

@@ -0,0 +1,113 @@
+"""
+Script to handle multiple conll files.
+
+Usage:
+    text_to_conll_cli (-i <input> | --input=<input>)
+        (-o <output> | --output=<output>)
+        [-m <model> | --model=<model>]
+    text_to_conll_cli (-h | --help)
+
+Options:
+    -i <input> --input=<input>
+        A directory of conll files
+    -o <output> --output=<output>
+        The directory to save the parsed CoNLL-X files
+    -m <model> --model=<model>
+        The name BERT model used to parse (to be placed in the model directory) [default: catib]
+    -h --help
+        Show this screen.
+"""
+
+import os
+from pathlib import Path
+import re
+from typing import List
+from src.classes import ConllParams
+from src.conll_output import save_to_file, text_tuples_to_string
+from src.data_preparation import parse_text
+from src.utils.model_downloader import get_model_name
+from docopt import docopt
+from pandas import read_csv
+from transformers.utils import logging
+
+logging.set_verbosity_error()
+
+arguments = docopt(__doc__)
+
+def get_list_of_comments(conll_lines) -> List[List[str]]:
+    """Initializes the class variable comments as a list of lists of comments.
+    Within the comments list:
+    Each list represents the comments of the given tree.
+    
+    An empty list represents a tree with no comments.
+
+    Returns:
+        List[List[str]]: a list of lists of comments
+    """
+    # get lines starting with # and blank lines
+    # the blank lines represent the end of the tree/tree comments.
+    matcher = re.compile(r'^(# text.*)$', re.MULTILINE)
+    
+    # a flat list of all comments
+    lines: List[str] = matcher.findall(conll_lines)
+    
+    lines = [line[9:] for line in lines]
+    # # create a list of lists of comments
+    # final_list: List[List[str]] = []
+    # temp_list: List[str] = []
+    # for line in lines:
+    #     if line == '': # an empty string represents the end of comments of the given tree.
+    #         final_list.append(temp_list)
+    #         temp_list = []
+    #     else:
+    #         temp_list.append(line)
+    return lines
+
+
+def main():
+    root_dir = Path(__file__).parent
+    model_path = root_dir/"models"
+
+    #
+    ### Get clitic features
+    #
+    clitic_feats_df = read_csv(root_dir / 'data/clitic_feats.csv')
+    clitic_feats_df = clitic_feats_df.astype(str).astype(object) # so ints read are treated as string objects
+    
+
+    #
+    ### cli user input ###
+    #
+    input_path = arguments['--input']
+    output_path = arguments['--output']
+    parse_model = arguments['--model']
+
+    #
+    ### Set up parsing model 
+    # (download defaults models, and get correct model name from the models directory)
+    #
+    model_name = get_model_name(parse_model, model_path=model_path)
+    
+    #
+    ### main code ###
+    #
+    for root, _, files in os.walk(input_path):
+        for text_file in files:
+            print(f'processing {text_file}')
+            file_type_params = ConllParams(str(Path(input_path) / text_file), model_path/model_name)
+            parsed_text_tuples = parse_text("conll", file_type_params)
+
+            lines = []
+            with open(f'{root}/{text_file}', 'r') as f:
+                lines = [line for line in f.readlines() if line.strip()]
+            
+            lines = get_list_of_comments(''.join(lines))
+            
+            conll_name = f"{'.'.join(text_file.split('.')[:-1])}.conllx"
+            save_to_file(
+                text_tuples_to_string(parsed_text_tuples, file_type='conll', sentences=lines),
+                Path(output_path) / conll_name
+            )
+
+if __name__ == '__main__':
+    main()

handle_multiple_texts.py

@@ -0,0 +1,92 @@
+"""
+Script to handle multiple texts.
+
+Usage:
+    text_to_conll_cli (-i <input> | --input=<input>)
+        (-o <output> | --output=<output>)
+        [-m <model> | --model=<model>]
+    text_to_conll_cli (-h | --help)
+
+Options:
+    -i <input> --input=<input>
+        A directory of text files
+    -o <output> --output=<output>
+        The directory to save the parsed CoNLL-X files
+    -m <model> --model=<model>
+        The name BERT model used to parse (to be placed in the model directory) [default: catib]
+    -h --help
+        Show this screen.
+"""
+
+import os
+from pathlib import Path
+from camel_tools.utils.charmap import CharMapper
+from src.classes import TextParams
+from src.conll_output import save_to_file, text_tuples_to_string
+from src.data_preparation import get_tagset, parse_text
+from src.initialize_disambiguator.disambiguator_interface import get_disambiguator
+from src.utils.model_downloader import get_model_name
+from docopt import docopt
+from pandas import read_csv
+from transformers.utils import logging
+
+logging.set_verbosity_error()
+
+arguments = docopt(__doc__)
+
+def main():
+    root_dir = Path(__file__).parent
+    model_path = root_dir/"models"
+    
+    # camel_tools import used to clean text
+    arclean = CharMapper.builtin_mapper("arclean")
+
+    #
+    ### Get clitic features
+    #
+    clitic_feats_df = read_csv(root_dir / 'data/clitic_feats.csv')
+    clitic_feats_df = clitic_feats_df.astype(str).astype(object) # so ints read are treated as string objects
+    
+
+    #
+    ### cli user input ###
+    #
+    input_path = arguments['--input']
+    output_path = arguments['--output']
+    parse_model = arguments['--model']
+
+
+    #
+    ### Set up parsing model 
+    # (download defaults models, and get correct model name from the models directory)
+    #
+    model_name = get_model_name(parse_model, model_path=model_path)
+    
+    # 
+    ### get tagset (depends on model)
+    #
+    tagset = get_tagset(parse_model)
+    
+    disambiguator = get_disambiguator("bert", "r13")
+    
+    #
+    ### main code ###
+    #
+    for root, _, files in os.walk(input_path):
+        for text_file in files:
+            print(f'processing {text_file}')
+            lines = []
+            with open(f'{root}/{text_file}', 'r') as f:
+                lines = [line for line in f.readlines() if line.strip()]
+            file_type_params = TextParams(lines, model_path/model_name, arclean, disambiguator, clitic_feats_df, tagset, "")
+            parsed_text_tuples = parse_text("text", file_type_params)
+
+            new_name = '.'.join((text_file.split('.')[:-1])) + '.conllx'
+            
+            save_to_file(
+                text_tuples_to_string(parsed_text_tuples, file_type='text', sentences=lines),
+                Path(output_path) / new_name
+            )
+
+if __name__ == '__main__':
+    main()

logs.txt

@@ -0,0 +1,22 @@
+[14/Aug/2026 19:46:46]
+disambiguator setup duration: 2.63s
+disambiguating sentences: 0.04s
+parsing duration: 1.69s
+disambiguator setup duration: 2.76s
+disambiguating sentences: 0.03s
+parsing duration: 1.59s
+disambiguator setup duration: 2.76s
+disambiguating sentences: 0.04s
+parsing duration: 1.55s
+disambiguator setup duration: 2.93s
+disambiguating sentences: 0.04s
+parsing duration: 1.25s
+disambiguator setup duration: 2.67s
+disambiguating sentences: 0.04s
+parsing duration: 1.51s
+disambiguator setup duration: 2.86s
+disambiguating sentences: 0.04s
+parsing duration: 1.0s
+disambiguator setup duration: 2.64s
+disambiguating sentences: 0.04s
+parsing duration: 1.46s