Upload 2 files

Book3.csv

@@ -0,0 +1,201 @@
+Sentence,Formality,Professional,Friendlyness
+Björgunarsveitin Ingunn bjargaði fjórtán ára dreng í fyrr í kvöld sem var í sjálfheldu úti á Laugarvatni. ,1,1,0
+"Hann var á lítilli bátkænu, áralaus og bátinn rak hratt undan vindi út á vatnið.",1,1,0
+"Eva Heiða Önnudóttir, prófessor í stjórnmálafræði, telur að vendingarnar segi landsmönnum einkum tvennt. ",1,1,0
+Og hins vegar að aukið fylgi Samfylkingarinnar megi líklega rekja til nýrra áherslubreytinga innan flokksins.,1,1,0
+Hún segir sorgina óbærilega en erfitt hafi gengið að fá upplýsingar um framgang málsins. ,1,1,0
+Öll samskipti fari í gegnum túlk og nýr túlkur komi jafnóðum að.,1,1,0
+Vitni voru að árásinni sem tilkynntu málið til lögreglu sem kom skjótt á vettvang.,1,1,0
+"Tvö hinna grunuðu voru handtekin á fimmtudagskvöld, einn sakborninga var handtekinn aðfararnótt fimmtudags",1,1,0
+Hann heitir Finnur og er á fimmtugsaldri. ,1,1,1
+Hver er sinnar gæfu smiður.,1,0,1
+Höfundur bókarinnar lést í gær.,1,1,0
+Hann hafi lokið doktorsprófi í skurðlækningum frá Háskólanum í Lundi árið 1994.,1,1,0
+"Í sáttinni var lýst afmörkun hins eignarnumda lands, greiðslum fyrir það og yfirtöku.",1,1,0
+Ákærða kvaðst ekki vilja segja til um það hver hefði ekið bifreiðinni en það hafi ekki verið hún.,1,1,0
+Þá sé því mótmælt að dómar þeir sem nefndir séu í stefnu hafi fordæmisgildi í málinu.,1,1,0
+"Eins og fram hafi komið hafi áfrýjunarnefnd samkeppnismála lækkað sektina í 60.000.000 króna, eða um 25%.",1,1,0
+Þessi galli verður rakinn til þess að aðkeyptur byggingarhlutur er ófullnægjandi.,1,1,0
+Málskostnaður í héraði og fyrir Hæstarétti fellur niður.,1,1,0
+Hann reiknist frá þeim degi sem kröfuhafi hafi fyrst getað átt rétt til efnda.,1,1,0
+Hafi þar verið ákveðið að vitnið myndi senda stefnda uppkast að samningi.,1,1,0
+Það hafi ekki verið fyrr en í lok júní eða byrjun júlí 2008 sem sú krafa hafi fyrst komið fram.,1,1,0
+"Ákærði greiði Geysi shops ehf., skaðabætur að fjárhæð 155.600 krónur.",1,1,0
+Samkvæmt framansögðu var hún undir talsvert miklum áfengisáhrifum er atvik máls gerðust.,1,1,0
+Til vara krefst hún þess að hinn kærði úrskurður verði staðfestur.,1,1,0
+Stefnandi mótmælir þessum tímafjölda sem röngum.,1,1,0
+Hún hafi barist um og ekki verið hægt að ræða við hana.,1,1,0
+Þá telur dómurinn frásögn kæranda í skýrslutöku í Barnahúsi einkar trúverðuga.,1,1,0
+Heildarstarfshlutfall stefnanda var því 75%.,1,1,0
+Skýrslan hefði verið tekin á Hlaðgerðarkoti upp í hljóði og mynd.,1,1,0
+Stefnda telur engin skilyrði sakarreglunnar uppfyllt í máli þessu.,1,1,0
+Að mati stefnda sé því ljóst að ekki hefði dugað að ganga skemur en gert var.,1,1,0
+Grenndarhagsmunir séu lögvarðir hagsmunir sem stefnandi eigi hér að gæta.,1,1,0
+Eignina hefur hann metið eftir bestu samvisku og þekkingu.,1,1,0
+"Reikningurinn sé enn ógreiddur, þrátt fyrir ítrekaðar innheimtutilraunir.",1,1,0
+Ekki hafi verið sýnt fram á að umrætt landsvæði hafi verið numið í öndverðu.,1,1,0
+Kemur fram að stefnda hafi tekið íbúðina á leigu frá og með maí 2015.,1,1,0
+Hún hefði verið þræll og hvorki haft lykla að íbúð né útidyrum.,1,0,0
+"Stefnandi hefði þá sagt að hann ætlaði ekki rukka um neitt, kannski 15.000 krónur.",1,1,0
+Þar var ekki gert ráð fyrir að neinn kostnaður hlytist af greiðslu gatnagerðargjalda.,1,1,0
+Stefndi hafnar því enn fremur að háttsemi hans hafi verið saknæm eða ólögmæt.,1,1,0
+Stefndi kveður stefnanda hafi falsað nafn sitt undir skjölin.,1,1,0
+"Í samantekt og niðurstöðu segir að stefnandi hafi orðið fyrir tveimur slysum, í mars 1997 og mars 1998.",1,1,0
+Ekki kvaðst vitnið minnast áverka á ákærða.,1,1,0
+Ákærði hefði kýlt brotaþola eitt högg með krepptum hnefa í andlitið.,1,1,0
+"gaskútum og einum 9 kg, frá útigrillum eða frá fyrirtækjum í nágrenni við heimili sitt.",1,1,0
+Hann hafi ekki gefið slíkt til kynna enda hefði þá verið beðið eftir honum.,1,1,0
+Ákærði mótmælir kröfunni sem vanreifaðri.,1,1,0
+"Brot gegn lögreglulögum,",1,0,0
+Slysið hafi átt sér stað kl. 13:00.,1,1,0
+Hafi þau svo látið gólfið þorna vel og síðan flotað það til lagfæringar eftir motturnar.,1,1,1
+Hann sé byggingafræðingur að mennt en hafi ekki unnið við það lengi.,1,1,0
+Sú staðfesting fékkst 31. sama mánaðar og samdægurs var tilkynnt opinberlega um söluna.,1,1,0
+Stefndi kvaðst ekki hafa fengið það blað.,1,1,0
+"Þá var Guðmundur í Reykjavík, og réð Símon hann til sín sem einkaritara.",1,1,0
+Á það að sýna hversu hann var vel að manni.,1,1,0
+"Þegar hann er kominn heim í túnið, þykir honum allur frambærinn vera hruninn niður að grunni.",1,1,0
+Þremur mánuðum síðar hafði Filip ekki borgað eyrisvirði til heimilisins.,1,1,0
+Ekkert bréf berst fyrir helgi.,1,1,0
+Það er spennandi að fást við vísindastarf í læknisfræði á Íslandi.,1,0,1
+Ég hef lagt mitt lóð á vogarskálarnar til að breyta þessari ákvörðun.,1,1,0
+Menntakerfið ber ríka ábyrgð á því að stuðla að virkri þátttöku barna og ungmenna.,1,1,0
+Ráðið er skipað til tveggja ára.,1,1,0
+Í einstaka tilvikum geta þau liðkað fyrir samskiptum eða verið betra að hafa þau í sumum löndum.,1,1,0
+Stúlkunni var haldið í öndunarvél og var hún meðhöndluð við hjartabilun.,1,1,0
+Þannig fæst mælikvarði þar sem talan 1 merkir að fjöldi tilvitnana í grein er jafn heimsmeðaltalinu.,1,1,0
+Virðing fyrir ólíkum trúarbrögðum og hefðum.,1,0,0
+"Í samtíma sögunnar er farið í aðra ferð út fyrir borgina, til eyju í Vestmannaeyjum.",1,1,1
+"Eins og fram kom í annál síðasta árs, var sett á stofn orðanefnd á vegum félagsins á aðalfundi 1982.",1,1,0
+Í stað þess að játa minni sökina um grimmt einelti gerast þau sek um mannsmorð.,1,0,0
+Hér fór saman lág tíðni jákvæðra svara og hátt greiningarhlutfall litningagalla.,1,1,0
+Á aðalfundinum var samþykkt samhljóða að félagsgjöldin fyrir árið 2011 verði 26.400 krónur.,1,1,0
+Sérstaka athygli vekur hve þær álasa sér fyrir að skorta karllæga eiginleika.,1,1,0
+Og þar vantar hann skilning á muninum á þessu tvennu.,1,1,0
+Hún samræmist því vaxandi einstaklings- og fjölhyggju betur en núgildandi trúmálabálkur.,1,1,0
+Slímkrabbamein í okkar rannsókn voru tíðari í hægri hluta ristils en í vinstri.,1,1,1
+Már Kristjánsson á fundi viðbragðsstjórnar og farsóttarnefndar.,1,1,0
+Matvæli sem innihalda of mikið af histamíni geta valdið matareitunum.,1,1,0
+Þörf er á næmari sýklafræðilegum greiningaraðferðum hjá þeim sem eru með neikvæðar ræktanir.,1,1,0
+Þegar niðurstöðurnar voru skoðaðar kom í ljós að svartir stóðu sig einmitt verr en hvítir.,1,1,1
+Og í orðabókum er að finna bestu merkingarfræðilegu lýsingu orðaforðans sem við þekkjum.,1,0,1
+Undanfarin ár hefur Stefanía stýrt rannsóknarvinnu teymisins með Ingileif.,1,1,0
+Ristilþrengsli af völdum bólgueyðandi lyfja,1,0,0
+"Rökræðulýðræði varð því nýtt líkan, ólíkt öðrum.",1,1,0
+Hvíteygða karlflugan eignaðist bara rauðeygð afkvæmi.,1,0,0
+Núna er um leið fortíðin.,1,0,0
+Í úrslitaglímunni hafði Hjördís betur og varð Íslandsmeistari.,1,1,0
+Sýslumaðurinn á höfuðborgarsvæðinu féllst á lögbannið.,1,1,0
+Þrátt fyrir það hafa menn setið fast við.,1,1,0
+"þá skiptir ekki máli hvort þú ert frá Íslandi, Noregi, Bretlandi, Líberíu eða Afganistan.",1,0,0
+Valur spilaði á ólöglegum leikmönnum í leiknum og var Árbæingum því dæmdur 3-0 sigur af skrifstofu KSÍ.,1,1,1
+Verið er að rannsaka flak þýsks flutningaskips sem áhöfnin sökkti sjálf í september 1939.,1,1,0
+Það er víðar en á Íslandi sem ótíð hefur tafið loðnuveiðar.,1,1,0
+Fréttablaðið greindi frá því í vikunni að hin nýja stofnun yrði staðsett á landsbyggðinni.,1,1,0
+Einu salernin sem eru í boði á Vífilstöðum eru frammi á gangi.,1,0,1
+Höskuldur segir ekki við húsráðanda að sakast.,1,1,0
+Þetta er í fyrsta sinn í sögu Frakklands sem forseti landsins mætir á fund sem þennan.,1,1,0
+Hún segir bankann í góðu samstarfi við yfirvöld og Seðlabanka Íslands.,1,1,0
+Kosningakrafan heyrist nú æ oftar.,1,1,0
+Bænastund stendur nú yfir í Safnaðarheimilinu í Sandgerði vegna fráfalls ellefu ára drengs.,1,1,0
+Báðar eru viðeigandi og nauðsynlegar þegar kemur að því að útskýra ljósaperu.,1,1,0
+Unglingsdrengur í sjálfheldu...? Hvað er unglingsdrengur Viktor Örn Ásgeirsson??? Lærum íslensku!,0,0,0
+"piss og prump, þegiðu Einar þú leiðinegi maður.",0,0,0
+Froðusnakkið þar verður takmarkalaust undir stjórn Þórdísar NATO dúkkulísu og Co,0,0,0
+KOSTAR NÝ ÚT ÚR BÚÐ KR. 65.000.- SLÆ AF HENNI KR. 20.000.- ER MEÐ TVÆR ÓNOTAÐAR FLOTLÍNUR TIL SÖLU LÍKA,0,0,0
+"Einu sinni var til folk.is líka, en það er búið að loka fyrir það..",0,0,0
+"nei skilst ekki :( væri einmitt svo mikið til í það, ég átti nokkur skemmtileg blogg þar líka",0,0,1
+"Þetta eru hvorki bankabækur né bósasögur,, heldur tölvupóstar.",0,0,0
+Hann sendi póstinn til Lárusar Welding sem var minnir mig bankastjóra bankans,0,1,1
+"Þarna tala góðir gæjar, good fellows, svo maður tileinki sér ísl-enskuna í póstunum.",0,0,1
+"rifjaði upp gamla takta í körfubolta um helgina, var búin að gleyma hvað það er faaaáránlega gaman.",0,0,1
+ ýkt reiður og frústreraður af einhverjum sökum en Vermont samt falleg og fagleg.,0,0,1
+"Jæja, ég loksins að braggast af einhverri víruspest. Grey Baldur Freyr datt með afa sínum og tvíbrotnaði á löpp í gær.",0,0,1
+Djöfulli fínt að leggja sig í bílnum.,0,0,1
+Fórum á Madagascar 2 í gær með Heimi Má og Bjarka frænda hans - Rosa stuð.,0,0,1
+þessi köttur er yndislegur hún fylgir mér hvert sem er og verður sjúklega fúl ef ég þarf að standa upp úr sófanum haha.,0,0,1
+maður vonar að góð bandvídd til allra á landinu sé í vinslu en það er stærsta atriðið að mínu mati,0,1,1
+við sendum basis meldingu út af þessu vandamáli fyrir helgi...,0,0,0
+"Entourage season 5 over, hvað á ég eiginlega að gera þangað til í sept '09?",0,0,0
+"próf í badda á morgun, verður að ná 100 shuttlecocks",0,0,0
+ég er ógeðslega massaður,0,0,0
+"til hamingju með gangsetninguna þú gamla geit, bráðum mamma bara!",0,0,1
+"gott stöff, er til rss? (sé að tengt er í frétta feedið)",0,0,0
+WTF! Það er hvorki hægt að nota Aukakrónukortið í Hagkaup né Bónus!! Mig vantar mjólk ekki gleraugu eða blómabúnt!! HMPF!!,0,0,0
+jólahlaðborð eru svo overrated drasl,0,0,0
+"hakkavélin er tilbúin sem slík, en ég er að skoða að komast í efnið til að hakka... set nokkra klst í verkið eftir próf",0,0,0
+fórnarlamb ... skemmtileg samsetning tveggja orða,0,0,0
+Nú hlýtur Eiður að fara að skora maður Hann skorar alltaf þegar Barcelona skorar meira en 6 mörk í 1 leik.,0,0,0
+"stídlord dizkurinn, hlusta á hann í 5 skipti á tveimur dögum",0,0,0
+"er ekki sátt við thanksgiving vegna þess að ég fékk ekki nýjan skammt af Gossip Girl, Ugly Betty og Grey's í þessari viku...",0,0,0
+"Æfing, sauna, ísturta, suna, íssturta, sauna, íssturta og svo 120 min nuddi og endað á góðum mat That's life!",0,0,1
+"elskar Kallakaffi, styð það að Rúv sýni gamla íslenska þætti, Sigla Himinfley má vera næst á dagskrá.",0,0,1
+1 dagur eftir og svo er ég hætt í vinnunni ;-) jíbbí jey. Svo er bara að finna sér aðra vinnu eftir áramót,0,0,1
+maður bara skrifar eitthvað!! hvað er vandamálið??!? SKRIFAR EITTHVAÐ HÉRNA. Í REITINN,0,0,0
+það er alveg fáránlegt að LiSA development team sé ekki með twitter... kommon - sósjallinn er málið í dag,0,0,0
+ÞÚ BARA SKRIFAR Í REITINN OG SVO KEM ÉG OG LES ÞAÐ ÓKEI???,0,0,0
+fræsa geisladizka fyrir grænan party vento.,0,0,0
+"sko ég hef ekki hugmynd um það - en ég er allavegana geðveikt heitur á twitter, allir elska mig",0,0,1
+er búin að vera rosalega dugleg í dag þvi þetta er sidasta helgi í skilum framundan.,0,0,1
+Mamma er komin á facebook... þá hlýtur eitthvað annað og nýtt að verða vinsælt.,0,0,1
+helvítis andskotans fokk - allt í fokking rúst hérna,0,0,0
+drekka græna leðju til að reyna að ná úr mér veikinni,0,0,0
+"ókei...ég skal segja ykkur, ekki tryllast úr spennu  (10.04.2007) ""sæna mig inn á twitter"" had i only known they were taping it!!",0,0,0
+"er að lesa 40 síðna grein í CCK08 sem heitir 2020 and beyond og þetta er nú skrítin framtíðarsýn, en kannski ekki alveg svo galin.",0,0,0
+"Ýkt ríðandi reiður og frústreraður, Fokkið ykkur öll!",0,0,0
+À leiðinni til Keflavíkur út á flugvöll og fokkin -4 gráður úti.,0,0,0
+Amsterdam flug eftir klullara.,0,0,1
+Borgaði 5.5 evrur fyrir bjór á 5 stjörnu hótelinu og er á leiðinni í ofurmarkaðinn með 2x Þjóðverjum því þeir kunna að spara.,0,0,1
+"ekki að fara í neina vitleysu í kvöld, því hlutafleiður eru mínar ær og kýr",0,0,1
+er að drekka rauðvín og hlusta á kings of leon og að klára námsmöppu og váá ég er að breytast í hrikalegan nörd!!!,0,0,1
+"Er að rjúka upp á fæðingardeild núna með Örnu, vatnið að fara og allt að gerast.",0,0,1
+þannig að Stím (steam?) var bara heitt loft ? ótrúlegt hvað fólk hefur keypt af heitu lofti í gegnum árin...,0,0,0
+Hvað er Communist Pal - hljómar intressant? Ertu búinn að tékka á nýju Reykjavík!?,0,0,1
+Kominn heim eftir flakkerí dagsins.,0,0,1
+"Vantar Nord Electro 2, staðgreitt í íslenskum klósettpappír",0,0,0
+ætlar að hlusta á breakcore þangað til hann eipar!,0,0,0
+"MBL segir að nokkur hundruð manns (annarstaðar í greininni ""nokkrir manns"") séu mættir á Arnarhól meðan Visir segir nokkur þúsund?",0,0,0
+"keypti vildarpunkta á 1,5 kr., gat ekki notað þá, og fær núna „spennandi jólatilboð“ að selja punktana aftur fyrir 0,6 kr. w00t!",0,0,0
+"vill að útlendingar megi kaupa 8% eða 13% í íslenskum fyrirtækjum með nöfn sem byrja á D eða E, ef þeir biðja á réttri og óbjagaðri íslensku",0,0,0
+"#$#! þegar PS3 kláraði loksins að update-a sig (40 mín) kom leikurinn með ""New version.",0,0,0
+Hversu lítið langar manni þá að læra.... morgundagurinn verður þó vonandi notaður í lærdóm,0,0,0
+"nú fer ég að sofa,,,eki spurning !!!",0,0,0
+"Hvernig er hægt að vera svo vitlaust að vera að mynda eitthvað sem er 5km í burtu, standandi upp við gler en samt ákveða að nota flash?",0,0,0
+"leggur til að nota orðið ""fyndskeið"" fyrir ""sketch""",0,1,0
+Hverjum datt það í hug að leyfa ekki að horfa á Full Episodes af South Park online í Bretlandi!,0,0,0
+þetta er aaaaalveg fáránlegt að hafa einhver almenningsklósett á vinnustað hvað er að þessu fólki sem hannaði þetta?,0,0,0
+"vantar meiri gleði til að framkvæma...já, svona framkvæmdagleði!",0,0,1
+Viðtal við mig í Morgunblaðinu í dag út af skrípóinu haalelúja kallinn er frægur haldiði ekki að mamma sé ekki stolt,0,0,1
+Hvað meinar Davið eiginlega?  Hann *ER* í pólitík.,0,0,0
+"Skil þig, það tók mig marga mánuði að átta mig á því hvaða tilgangi þetta ætti allt að þjóna.",0,1,1
+"var að versla sér handakúta, vindsæng, kafaragræjur, belti, axlabönd, ný gjaldeyrislög og krullujárn því Jens ætlar á flot í kvöld!",0,1,1
+er bara í ruglinu núna...það verður að fara að breytast,0,0,1
+Hahaha maður heyrir þetta ekki á Bylgjunni fyrir jólin.,0,0,1
+á þriggjára strák og áttatíu og einsárs ömmu,0,0,1
+Heyrði flugfreyjurnar tala um að einhver hafi ælt í vélinni skal svoo lofa ykkur að það var yfir mitt sæti.,0,0,1
+"Hnébeygjuæfing í dag, Létt og beltislaust, Að hella mér út í æfingar aftur, Hangikjöt er jafnvel betra daginn eftir.",0,0,1
+BLÁFJÖLL UM HELGINA!! ég er búinn að leggja inn pöntun á vetrarkorti 15000 kall til 5 jan,0,0,1
+"verst ég hef örugglega engan fokking tíma eftir áramót, verð í skóla og einhverri drullu",0,0,0
+Er fastur í því að rökræða á bloggum.....argasta vesen...,0,0,1
+"ég er búinn að glápa á það, hafði bara ekkert um það að segja",0,0,0
+Góður... þessi fyrsti er svívirðilegur! Held að hann eigi hlut í bankahruninu,0,0,1
+Seinni umferð hjá tannsa lokið og ég finn ekki fyrir neinu!,0,1,1
+Hvað er besta íslenska Guerilla Marketing stunt ársins?,0,1,1
+still FIFA - lærdómur er ekkert það ofarlega í huga mér,0,0,0
+grillaði pylsur í jólastormi Fékk sér svo jólaköku og klippir nú jólamyndband ársins með jólabarnið Bon Iver í jólaeyrum hvað er klukkan?,0,0,0
+er að vinna drasl verkefni fyrir fólk sem virðist ekki hafa heyrt um Google...,0,0,0
+"Ekki opna „þú ert fyndinn á þessu myndbandi"" eða „þú lítur æðislega út á þessu myndbandi"" - Það er vírus.",0,0,1
+"nei, ég hef ekki verið í morgunmat hjá nógu mörgum konum á Akureyri. En þú?",0,0,1
+Búinn að gefa blóð en þarf að fara til sjúkraþjálfara útaf hnénu.,0,1,1
+Litli er svolítill gubbari. Búinn að gubba yfir hálfa íbúðina. Kósýheit í kvöld.,0,1,1
+Krílið fór í sitt fyrsta bað með pabba sínum og engin gubbulykt - Rosa þægilegt að liggja í baði!,0,1,1
+"afhverju vakandi ad gera ekkert, afhverju??",0,0,0
+Á Krúa Thai með Skúla Þórðarsyni og Þórði Skúlasyni í hádeginu staðfestum við endanlega að 1stk Pad Thai dugar til að fæða tvo You know,0,0,0
+eitt það besta sem þú hefur gert fyrir mig er að láta mig fá Live in Berlín plötuna!,0,0,1
+"ég hef mikið hugsað það undanfarið, gengur samt ekki upp því ég nota feis til að tala við útlendingana",0,0,0
+"Djöfull ertu hellaður í Moggaviðtalinu, Ástarkveðjur á ögurstundu (Sjitt.)",0,0,0
+brunarústirnar hinum megin við götuna minna mig eitthvað svo mikið á tónlistarhúsið ...,0,0,0
+Þetta lítur svoldið út eins og spam eða malware síða svona útlitslega séð. Skiptir sjálfsagt ekki máli í síma.,0,1,1
+Win lítur mjög vel út! Virkar allt og (nánast) ekkert sem böggar mann,0,0,1
+"Horfði á Slumdog Millionaire og RocknRolla í gærkvöldi, báðar alveg eðal myndir sem ég mæli hiklaust með.",0,0,1
+Er að hjálpa Kristínu að læra og skil ekki orð af því sem hún er að skrifa - Hver skrifar ritgerðir á þýsku?!,0,0,1

NaiveBayes_3_Classes.ipynb

@@ -0,0 +1,326 @@
+{
+  "cells": [
+    {
+      "cell_type": "code",
+      "execution_count": 1,
+      "metadata": {
+        "id": "H1hq1Bwr02H_"
+      },
+      "outputs": [
+        {
+          "name": "stdout",
+          "output_type": "stream",
+          "text": [
+            "Requirement already satisfied: transformers in /opt/homebrew/lib/python3.11/site-packages (4.27.1)\n",
+            "Requirement already satisfied: filelock in /opt/homebrew/lib/python3.11/site-packages (from transformers) (3.9.1)\n",
+            "Requirement already satisfied: huggingface-hub<1.0,>=0.11.0 in /opt/homebrew/lib/python3.11/site-packages (from transformers) (0.13.2)\n",
+            "Requirement already satisfied: numpy>=1.17 in /opt/homebrew/lib/python3.11/site-packages (from transformers) (1.24.2)\n",
+            "Requirement already satisfied: packaging>=20.0 in /Users/karalifingibergsdottir/Library/Python/3.11/lib/python/site-packages (from transformers) (23.0)\n",
+            "Requirement already satisfied: pyyaml>=5.1 in /Users/karalifingibergsdottir/Library/Python/3.11/lib/python/site-packages (from transformers) (6.0)\n",
+            "Requirement already satisfied: regex!=2019.12.17 in /opt/homebrew/lib/python3.11/site-packages (from transformers) (2022.10.31)\n",
+            "Requirement already satisfied: requests in /opt/homebrew/lib/python3.11/site-packages (from transformers) (2.28.2)\n",
+            "Requirement already satisfied: tokenizers!=0.11.3,<0.14,>=0.11.1 in /opt/homebrew/lib/python3.11/site-packages (from transformers) (0.13.2)\n",
+            "Requirement already satisfied: tqdm>=4.27 in /opt/homebrew/lib/python3.11/site-packages (from transformers) (4.65.0)\n",
+            "Requirement already satisfied: typing-extensions>=3.7.4.3 in /opt/homebrew/lib/python3.11/site-packages (from huggingface-hub<1.0,>=0.11.0->transformers) (4.5.0)\n",
+            "Requirement already satisfied: charset-normalizer<4,>=2 in /opt/homebrew/lib/python3.11/site-packages (from requests->transformers) (3.1.0)\n",
+            "Requirement already satisfied: idna<4,>=2.5 in /Users/karalifingibergsdottir/Library/Python/3.11/lib/python/site-packages (from requests->transformers) (3.4)\n",
+            "Requirement already satisfied: urllib3<1.27,>=1.21.1 in /opt/homebrew/lib/python3.11/site-packages (from requests->transformers) (1.26.15)\n",
+            "Requirement already satisfied: certifi>=2017.4.17 in /opt/homebrew/lib/python3.11/site-packages (from requests->transformers) (2022.12.7)\n",
+            "\n",
+            "\u001b[1m[\u001b[0m\u001b[34;49mnotice\u001b[0m\u001b[1;39;49m]\u001b[0m\u001b[39;49m A new release of pip is available: \u001b[0m\u001b[31;49m23.2.1\u001b[0m\u001b[39;49m -> \u001b[0m\u001b[32;49m24.0\u001b[0m\n",
+            "\u001b[1m[\u001b[0m\u001b[34;49mnotice\u001b[0m\u001b[1;39;49m]\u001b[0m\u001b[39;49m To update, run: \u001b[0m\u001b[32;49mpython3.11 -m pip install --upgrade pip\u001b[0m\n",
+            "\n",
+            "\u001b[1m[\u001b[0m\u001b[34;49mnotice\u001b[0m\u001b[1;39;49m]\u001b[0m\u001b[39;49m A new release of pip is available: \u001b[0m\u001b[31;49m23.2.1\u001b[0m\u001b[39;49m -> \u001b[0m\u001b[32;49m24.0\u001b[0m\n",
+            "\u001b[1m[\u001b[0m\u001b[34;49mnotice\u001b[0m\u001b[1;39;49m]\u001b[0m\u001b[39;49m To update, run: \u001b[0m\u001b[32;49mpython3.11 -m pip install --upgrade pip\u001b[0m\n",
+            "Requirement already satisfied: numpy in /opt/homebrew/lib/python3.11/site-packages (1.24.2)\n",
+            "\n",
+            "\u001b[1m[\u001b[0m\u001b[34;49mnotice\u001b[0m\u001b[1;39;49m]\u001b[0m\u001b[39;49m A new release of pip is available: \u001b[0m\u001b[31;49m23.2.1\u001b[0m\u001b[39;49m -> \u001b[0m\u001b[32;49m24.0\u001b[0m\n",
+            "\u001b[1m[\u001b[0m\u001b[34;49mnotice\u001b[0m\u001b[1;39;49m]\u001b[0m\u001b[39;49m To update, run: \u001b[0m\u001b[32;49mpython3.11 -m pip install --upgrade pip\u001b[0m\n",
+            "Requirement already satisfied: torch in /opt/homebrew/lib/python3.11/site-packages (2.0.0)\n",
+            "Requirement already satisfied: filelock in /opt/homebrew/lib/python3.11/site-packages (from torch) (3.9.1)\n",
+            "Requirement already satisfied: typing-extensions in /opt/homebrew/lib/python3.11/site-packages (from torch) (4.5.0)\n",
+            "Requirement already satisfied: sympy in /opt/homebrew/lib/python3.11/site-packages (from torch) (1.11.1)\n",
+            "Requirement already satisfied: networkx in /opt/homebrew/lib/python3.11/site-packages (from torch) (3.0)\n",
+            "Requirement already satisfied: jinja2 in /Users/karalifingibergsdottir/Library/Python/3.11/lib/python/site-packages (from torch) (3.1.2)\n",
+            "Requirement already satisfied: MarkupSafe>=2.0 in /Users/karalifingibergsdottir/Library/Python/3.11/lib/python/site-packages (from jinja2->torch) (2.1.2)\n",
+            "Requirement already satisfied: mpmath>=0.19 in /opt/homebrew/lib/python3.11/site-packages (from sympy->torch) (1.3.0)\n",
+            "\n",
+            "\u001b[1m[\u001b[0m\u001b[34;49mnotice\u001b[0m\u001b[1;39;49m]\u001b[0m\u001b[39;49m A new release of pip is available: \u001b[0m\u001b[31;49m23.2.1\u001b[0m\u001b[39;49m -> \u001b[0m\u001b[32;49m24.0\u001b[0m\n",
+            "\u001b[1m[\u001b[0m\u001b[34;49mnotice\u001b[0m\u001b[1;39;49m]\u001b[0m\u001b[39;49m To update, run: \u001b[0m\u001b[32;49mpython3.11 -m pip install --upgrade pip\u001b[0m\n",
+            "Requirement already satisfied: numpy in /opt/homebrew/lib/python3.11/site-packages (1.24.2)\n",
+            "Requirement already satisfied: scikit-learn in /opt/homebrew/lib/python3.11/site-packages (1.2.2)\n",
+            "Requirement already satisfied: scipy>=1.3.2 in /opt/homebrew/lib/python3.11/site-packages (from scikit-learn) (1.10.1)\n",
+            "Requirement already satisfied: joblib>=1.1.1 in /opt/homebrew/lib/python3.11/site-packages (from scikit-learn) (1.2.0)\n",
+            "Requirement already satisfied: threadpoolctl>=2.0.0 in /opt/homebrew/lib/python3.11/site-packages (from scikit-learn) (3.1.0)\n",
+            "\n",
+            "\u001b[1m[\u001b[0m\u001b[34;49mnotice\u001b[0m\u001b[1;39;49m]\u001b[0m\u001b[39;49m A new release of pip is available: \u001b[0m\u001b[31;49m23.2.1\u001b[0m\u001b[39;49m -> \u001b[0m\u001b[32;49m24.0\u001b[0m\n",
+            "\u001b[1m[\u001b[0m\u001b[34;49mnotice\u001b[0m\u001b[1;39;49m]\u001b[0m\u001b[39;49m To update, run: \u001b[0m\u001b[32;49mpython3.11 -m pip install --upgrade pip\u001b[0m\n"
+          ]
+        }
+      ],
+      "source": [
+        "!pip3 install transformers\n",
+        "!pip3 install -q git+https://github.com/gmihaila/ml_things.git\n",
+        "!pip3 install numpy\n",
+        "!pip3 install torch\n",
+        "!pip3 install numpy scikit-learn\n",
+        "\n",
+        "import io\n",
+        "import os\n",
+        "import torch\n",
+        "import pandas as pd\n",
+        "from tqdm.notebook import tqdm\n",
+        "from torch.utils.data import Dataset, DataLoader\n",
+        "from transformers import (AutoConfig, AutoModelForSequenceClassification, AutoTokenizer, AdamW, get_linear_schedule_with_warmup, set_seed)\n",
+        "from sklearn.metrics import classification_report, accuracy_score\n",
+        "from sklearn.feature_extraction.text import TfidfVectorizer\n",
+        "from sklearn.naive_bayes import MultinomialNB\n",
+        "from sklearn.model_selection import train_test_split"
+      ]
+    },
+    {
+      "cell_type": "code",
+      "execution_count": 5,
+      "metadata": {
+        "colab": {
+          "base_uri": "https://localhost:8080/"
+        },
+        "id": "xHJyRk6MEENr",
+        "outputId": "a6258cd9-61c0-4b68-9177-94190620158e"
+      },
+      "outputs": [
+        {
+          "name": "stderr",
+          "output_type": "stream",
+          "text": [
+            "Some weights of the model checkpoint at mideind/IceBERT were not used when initializing RobertaForSequenceClassification: ['lm_head.dense.bias', 'lm_head.dense.weight', 'lm_head.decoder.bias', 'lm_head.layer_norm.bias', 'lm_head.decoder.weight', 'lm_head.bias', 'lm_head.layer_norm.weight']\n",
+            "- This IS expected if you are initializing RobertaForSequenceClassification from the checkpoint of a model trained on another task or with another architecture (e.g. initializing a BertForSequenceClassification model from a BertForPreTraining model).\n",
+            "- This IS NOT expected if you are initializing RobertaForSequenceClassification from the checkpoint of a model that you expect to be exactly identical (initializing a BertForSequenceClassification model from a BertForSequenceClassification model).\n",
+            "Some weights of RobertaForSequenceClassification were not initialized from the model checkpoint at mideind/IceBERT and are newly initialized: ['classifier.dense.weight', 'classifier.dense.bias', 'classifier.out_proj.weight', 'classifier.out_proj.bias']\n",
+            "You should probably TRAIN this model on a down-stream task to be able to use it for predictions and inference.\n"
+          ]
+        },
+        {
+          "name": "stdout",
+          "output_type": "stream",
+          "text": [
+            "Model loaded to `cpu`\n",
+            "-----------------\n",
+            "-----------------\n",
+            "-----------------\n",
+            "New text: Viðeigandi aðgerðir eru á næsta leiti en sá sakaði greiddi 15.000 kr.\n",
+            "Formality: Formal\n",
+            "Professional: Unprofessional\n",
+            "Friendliness: Unfriendly\n",
+            "Overall Classification: Bad\n"
+          ]
+        }
+      ],
+      "source": [
+        "# Setting a fixed random seed for reproducibility of results across runs.\n",
+        "set_seed(123)\n",
+        "epochs = 4  # Number of times to iterate over the entire dataset during training\n",
+        "batch_size = 32  # Number of samples processed before the model is updated\n",
+        "max_length = 200  # Maximum length of the input sequences\n",
+        "# Setting the device to GPU if available, else CPU\n",
+        "device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')\n",
+        "model_name_or_path = 'mideind/IceBERT'  # Specifying the pre-trained model to use\n",
+        "# Dictionary mapping of labels to ids is commented out. Presumed defined elsewhere\n",
+        "labels_ids = {'informal': 0, 'formal': 1}\n",
+        "n_labels = len(labels_ids)  # Counting the number of unique labels\n",
+        "\n",
+        "# Defining a custom Dataset class for handling the formality dataset\n",
+        "class FormalityDataset(Dataset):\n",
+        "\n",
+        "    def __init__(self, path, use_tokenizer, labels_ids, max_sequence_len=None):\n",
+        "        # Check if the provided path is a directory\n",
+        "        if not os.path.isdir(path):\n",
+        "            raise ValueError('Invalid `path` variable! Needs to be a directory')\n",
+        "        # Use the tokenizer's max length if no specific max_sequence_len is provided\n",
+        "        max_sequence_len = use_tokenizer.max_len if max_sequence_len is None else max_sequence_len\n",
+        "        texts = []\n",
+        "        labels = []\n",
+        "        print('Reading partitions...')\n",
+        "\n",
+        "        # Reading data files for each label\n",
+        "        for label, label_id, in tqdm(labels_ids.items()):\n",
+        "            sentiment_path = os.path.join(path, label)\n",
+        "            files_names = os.listdir(sentiment_path)\n",
+        "            print('Reading %s files...' % label)\n",
+        "            # Reading individual files\n",
+        "            for file_name in tqdm(files_names):\n",
+        "                file_path = os.path.join(sentiment_path, file_name)\n",
+        "                with io.open(file_path, mode='r', encoding='ISO-8859-1') as f:\n",
+        "                    lines = f.readlines()\n",
+        "                    for line in lines:\n",
+        "                        texts.append(line.strip())\n",
+        "                        labels.append(label_id)\n",
+        "\n",
+        "        self.n_examples = len(labels)\n",
+        "        print('Using tokenizer on all texts. This can take a while...')\n",
+        "        # Tokenizing all texts and adding special tokens, padding, and truncating to max_length\n",
+        "        self.inputs = use_tokenizer(texts, add_special_tokens=True, truncation=True, padding=True, return_tensors='pt',  max_length=max_sequence_len)\n",
+        "        self.sequence_len = self.inputs['input_ids'].shape[-1]\n",
+        "        print('Texts padded or truncated to %d length!' % self.sequence_len)\n",
+        "        self.inputs.update({'labels':torch.tensor(labels)})\n",
+        "        print('Finished!\\n')\n",
+        "\n",
+        "    def __len__(self):\n",
+        "        # Returns the number of examples\n",
+        "        return self.n_examples\n",
+        "\n",
+        "    def __getitem__(self, item):\n",
+        "        # Returns a specific item from the dataset\n",
+        "        return {key: self.inputs[key][item] for key in self.inputs.keys()}\n",
+        "\n",
+        "# Training function, which updates the model's weights based on the training data\n",
+        "def train(dataloader, optimizer_, scheduler_, device_):\n",
+        "    global model  # Reference to the model being trained\n",
+        "    predictions_labels = []\n",
+        "    true_labels = []\n",
+        "    total_loss = 0\n",
+        "\n",
+        "    model.train()  # Set the model to training mode\n",
+        "\n",
+        "    # Iterate over each batch in the dataloader\n",
+        "    for batch in tqdm(dataloader, total=len(dataloader)):\n",
+        "        true_labels += batch['labels'].numpy().flatten().tolist()\n",
+        "        batch = {k:v.type(torch.long).to(device_) for k,v in batch.items()}\n",
+        "        model.zero_grad()  # Reset gradients\n",
+        "        outputs = model(**batch)\n",
+        "        loss, logits = outputs[:2]\n",
+        "        total_loss += loss.item()\n",
+        "        loss.backward()  # Compute gradient of loss w.r.t. model parameters\n",
+        "        torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0)  # Clip gradients to avoid explosion\n",
+        "        optimizer.step()  # Update model parameters\n",
+        "        scheduler.step()  # Update learning rate\n",
+        "        logits = logits.detach().cpu().numpy()\n",
+        "        predictions_labels += logits.argmax(axis=-1).flatten().tolist()\n",
+        "\n",
+        "    avg_epoch_loss = total_loss / len(dataloader)  # Compute average loss for the epoch\n",
+        "    return true_labels, predictions_labels, avg_epoch_loss\n",
+        "\n",
+        "# Function to evaluate the model on a validation set\n",
+        "def validation(dataloader, device_):\n",
+        "    global model  # Reference to the model being evaluated\n",
+        "    predictions_labels = []\n",
+        "    true_labels = []\n",
+        "    total_loss = 0\n",
+        "\n",
+        "    model.eval()  # Set the model to evaluation mode\n",
+        "\n",
+        "    # Iterate over each batch in the dataloader\n",
+        "    for batch in tqdm(dataloader, total=len(dataloader)):\n",
+        "        true_labels += batch['labels'].numpy().flatten().tolist()\n",
+        "        batch = {k:v.type(torch.long).to(device_) for k,v in batch.items()}\n",
+        "\n",
+        "        with torch.no_grad():  # Disable gradient computation\n",
+        "            outputs = model(**batch)\n",
+        "            loss, logits = outputs[:2]\n",
+        "            logits = logits.detach().cpu().numpy()\n",
+        "            total_loss += loss.item()\n",
+        "            predict_content = logits.argmax(axis=-1).flatten().tolist()\n",
+        "            predictions_labels += predict_content\n",
+        "\n",
+        "    avg_epoch_loss = total_loss / len(dataloader)  # Compute average loss for the validation\n",
+        "    return true_labels, predictions_labels, avg_epoch_loss\n",
+        "\n",
+        "# Load the model and tokenizer from Hugging Face's Transformers library\n",
+        "model_config = AutoConfig.from_pretrained(pretrained_model_name_or_path=model_name_or_path, num_labels=n_labels)\n",
+        "tokenizer = AutoTokenizer.from_pretrained(pretrained_model_name_or_path=model_name_or_path)\n",
+        "model = AutoModelForSequenceClassification.from_pretrained(pretrained_model_name_or_path=model_name_or_path, config=model_config)\n",
+        "\n",
+        "model.to(device)  # Move model to the specified device (GPU or CPU)\n",
+        "\n",
+        "print('Model loaded to `%s`' % device)\n",
+        "\n",
+        "# Load a CSV file into a DataFrame\n",
+        "#df = pd.read_csv('Book3.csv')\n",
+        "\n",
+        "file_path = '/Users/karalifingibergsdottir/Desktop/Book3.csv'\n",
+        "df = pd.read_csv(file_path)\n",
+        "\n",
+        "# Extract columns from the DataFrame\n",
+        "sentences = df['Sentence'].values\n",
+        "formality_labels = df['Formality'].values\n",
+        "professional_labels = df['Professional'].values\n",
+        "friendliness_labels = df['Friendlyness'].values  # Note: Typo in the document itself\n",
+        "\n",
+        "# Tokenize sentences for TF-IDF vectorization\n",
+        "tokenizer = AutoTokenizer.from_pretrained(\"mideind/IceBERT\")\n",
+        "tokenized_sentences = [tokenizer(sentence, return_tensors=\"pt\", padding=\"max_length\", truncation=True, max_length=128) for sentence in sentences]\n",
+        "input_ids = [tokenized_sentence.input_ids[0] for tokenized_sentence in tokenized_sentences]\n",
+        "input_strings = [' '.join(map(str, input_id)) for input_id in input_ids]\n",
+        "tfidf_vectorizer = TfidfVectorizer()\n",
+        "X = tfidf_vectorizer.fit_transform(input_strings)\n",
+        "\n",
+        "# Function to train a Naive Bayes classifier\n",
+        "def train_classifier(X, labels):\n",
+        "    classifier = MultinomialNB()\n",
+        "    classifier.fit(X, labels)\n",
+        "    return classifier\n",
+        "\n",
+        "# Train Naive Bayes classifiers for each aspect of text (formality, professionalism, friendliness)\n",
+        "formality_classifier = train_classifier(X, formality_labels)\n",
+        "professional_classifier = train_classifier(X, professional_labels)\n",
+        "friendliness_classifier = train_classifier(X, friendliness_labels)\n",
+        "\n",
+        "# Function to predict classifications for a new text\n",
+        "def predict_text_classifications(text):\n",
+        "    tokenized_text = tokenizer(text, return_tensors=\"pt\", padding=\"max_length\", truncation=True, max_length=128)\n",
+        "    input_id = tokenized_text.input_ids[0]\n",
+        "    input_string = ' '.join(map(str, input_id))\n",
+        "\n",
+        "    X_new = tfidf_vectorizer.transform([input_string])\n",
+        "\n",
+        "    formality_pred = formality_classifier.predict(X_new)[0]\n",
+        "    professional_pred = professional_classifier.predict(X_new)[0]\n",
+        "    friendliness_pred = friendliness_classifier.predict(X_new)[0]\n",
+        "\n",
+        "    # Determine the overall classification based on a simple majority rule\n",
+        "    positive_count = formality_pred + professional_pred + friendliness_pred\n",
+        "    classification = \"Good\" if positive_count >= 2 else \"Bad\"\n",
+        "\n",
+        "    return formality_pred, professional_pred, friendliness_pred, classification\n",
+        "\n",
+        "print(f\"-----------------\")\n",
+        "print(f\"-----------------\")\n",
+        "print(f\"-----------------\")\n",
+        "\n",
+        "# Example usage of the prediction function\n",
+        "new_text = \"Viðeigandi aðgerðir eru á næsta leiti en sá sakaði greiddi 15.000 kr.\"\n",
+        "formality_pred, professional_pred, friendliness_pred, overall_classification = predict_text_classifications(new_text)\n",
+        "\n",
+        "# Print predictions for the new text\n",
+        "print(f\"New text: {new_text}\")\n",
+        "print(f\"Formality: {'Formal' if formality_pred else 'Informal'}\")\n",
+        "print(f\"Professional: {'Professional' if professional_pred else 'Unprofessional'}\")\n",
+        "print(f\"Friendliness: {'Friendly' if friendliness_pred else 'Unfriendly'}\")\n",
+        "print(f\"Overall Classification: {overall_classification}\")\n"
+      ]
+    }
+  ],
+  "metadata": {
+    "colab": {
+      "provenance": []
+    },
+    "kernelspec": {
+      "display_name": "Python 3",
+      "name": "python3"
+    },
+    "language_info": {
+      "codemirror_mode": {
+        "name": "ipython",
+        "version": 3
+      },
+      "file_extension": ".py",
+      "mimetype": "text/x-python",
+      "name": "python",
+      "nbconvert_exporter": "python",
+      "pygments_lexer": "ipython3",
+      "version": "3.11.5"
+    }
+  },
+  "nbformat": 4,
+  "nbformat_minor": 0
+}