Upload 12 files

.gitattributes

@@ -31,3 +31,4 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
 *.zip filter=lfs diff=lfs merge=lfs -text
 *.zst filter=lfs diff=lfs merge=lfs -text
 *tfevents* filter=lfs diff=lfs merge=lfs -text
+model_imp filter=lfs diff=lfs merge=lfs -text

dictionary.pkl

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:56f6e48f2937a6e227b61c662dffdbf27fcc49dfdfbf5ba03c4944efbe11396d
+size 11118

func.py

@@ -0,0 +1,143 @@
+import re
+import string
+from nltk.tokenize import word_tokenize
+import pandas as pd
+import numpy as np
+from nltk.corpus import stopwords
+import re
+import string
+from nltk.tokenize import word_tokenize
+from nltk.stem.porter import *
+
+# A Function to use in the dataframe
+kamus = pd.read_csv('kamus.txt', sep="	", header=None,names=['slang', 'fix'])
+slang_list = kamus['slang'].tolist()
+fix_list = kamus['fix'].tolist()
+
+def TextProcess(text):
+
+  # 1. Change all text to Lowercase
+  text = text.lower()
+  
+  # 2. Removing Mentions
+  text = re.sub("@[A-Za-z0-9_]+", " ", text)
+  
+  # 3. Removing Hashtags
+  text = re.sub("#[A-Za-z0-9_]+", " ", text)
+  
+  # 4. Removing \n
+  text = re.sub(r"\\n", " ",text)
+  
+  # 5. Removing Whitespaces
+  text = text.strip()
+
+  # 6. Removing Links
+  text = re.sub(r"http\S+", " ", text)
+  text = re.sub(r"www.\S+", " ", text)
+
+  # 7. Removing non text characters such as Emojis, Mathematical symbols
+  text = re.sub("[^A-Za-z\s']", " ", text)
+
+  # 8. Removing RT
+  text = re.sub("rt", " ",text)
+
+  # 9. Removing Punctuations
+  text = text.translate(str.maketrans('', '', string.punctuation))
+
+  # 11. Tokenization
+  token = word_tokenize(text)
+
+  for x in range(len(token)):
+    for i in range(len(slang_list)):
+      if token[x] == slang_list[i]:
+        token[x] = fix_list[i]
+      else:
+        pass
+
+  from nltk.util import ngrams
+  _2gram = [' '.join(e) for e in ngrams(token, 2)]
+  _3gram = [' '.join(e) for e in ngrams(token, 3)]
+  text = token + _2gram + _3gram
+
+  
+  #text2 = ' '.join(token)
+
+  text = np.array(text)
+
+  
+  return text
+
+def TextProcess2(text):
+
+  # 1. Change all text to Lowercase
+  text = text.lower()
+  
+  # 2. Removing Mentions
+  text = re.sub("@[A-Za-z0-9_]+", " ", text)
+  
+  # 3. Removing Hashtags
+  text = re.sub("#[A-Za-z0-9_]+", " ", text)
+  
+  # 4. Removing \n
+  text = re.sub(r"\\n", " ",text)
+  
+  # 5. Removing Whitespaces
+  text = text.strip()
+
+  # 6. Removing Links
+  text = re.sub(r"http\S+", " ", text)
+  text = re.sub(r"www.\S+", " ", text)
+
+  # 7. Removing non text characters such as Emojis, Mathematical symbols
+  text = re.sub("[^A-Za-z\s']", " ", text)
+
+  # 8. Removing RT
+  text = re.sub("rt", " ",text)
+
+  # 9. Tokenization
+  tokens = word_tokenize(text)
+  for x in range(len(tokens)):
+    for i in range(len(slang_list)):
+      if tokens[x] == slang_list[i]:
+        tokens[x] = fix_list[i]
+      else:
+        pass
+
+  # 10. Removing Stopwords
+  # stopwords_en = list(set(stopwords.words('english')))
+  text = ' '.join([word for word in tokens])
+  
+  # 11. Stemming
+  stemmer = PorterStemmer()
+  text = stemmer.stem(text)
+  
+  return text
+
+def Label(num):
+  if num == 0:
+    topic = 'Baterai cepat habis'
+  elif num == 1:
+    topic = 'hp tidak berfungsi, tidak sesuai, tidak nyala'
+  elif num == 2:
+    topic = 'barang tidak sesuai deskripsi, hp mati'
+  elif num == 3:
+    topic = 'positif'
+  elif num == 4:
+    topic = 'barang tidak sesuai pesanan'
+  elif num == 5:
+    topic = 'barang rusak'
+  elif num == 6:
+    topic = 'barang tidak sesuai, suara tidak berfungsi'
+  elif num == 7:
+    topic = 'warna tidak sesuai, atau barang tidak sesuai gambar'
+  elif num == 8:
+    topic = 'barang tidak sesuai deskripsi, pengiriman lama'
+  elif num == 9:
+    topic = 'barang kosong, cancel, retur'
+  else:
+    pass
+  return topic
+
+
+
+

kamus.txt

@@ -0,0 +1,1321 @@
+7an	tujuan
+@	di
+ababil	abg labil
+abis	habis
+acc	accord
+ad	ada
+adlah	adalah
+adlh	adalah
+adoh	aduh
+afaik	as far as i know
+aha	tertawa
+ahaha	haha
+aing	saya
+aj	saja
+aja	saja
+ajep-ajep	dunia gemerlap
+ajj	saja
+ak	saya
+aka	dikenal juga sebagai
+akika	aku
+akko	aku
+akkoh	aku
+akku	aku
+akuwh	aku
+akyu	aku
+alay	norak
+aljasa	asal jadi saja
+alow	halo
+ama	sama
+ambilin	ambilkan
+ambl	ambil
+ancur	hancur
+anjir	anjing
+anjrit	anjing
+ank	anak
+anter	antar
+ap	apa
+ap2	apa-apa
+apaan	apa
+apasih	apa sih
+ape	apa
+apes	sial
+aplot	unggah
+aps	apa
+apva	apa
+aq	saya
+aqu	aku
+aquwh	aku
+asap	sesegera mungkin
+asbun	asal bunyi
+aseek	asyik
+aseekk	asyik
+asek	asyik
+asekk	asyik
+aseknya	asyiknya
+asem	asam
+asoy	asyik
+aspal	asli tetapi palsu
+astrojim	astagfirullahaladzim
+astul	asal tulis
+ath	kalau begitu
+ato	atau
+atuh	kalau begitu
+au ah	tidak mau tahu
+ava	avatar
+awak	saya
+aws	awas
+ay	sayang
+ayang	sayang
+ayank	sayang
+ayok	ayo
+b4	sebelum
+bacot	banyak bicara
+bakalan	akan
+bales	balas
+bandes	bantuan desa
+bangdes	pembangunan desa
+bangedh	banget
+bangkotan	tua
+banpol	bantuan polisi
+banpres	bantuan presiden
+banpur	bantuan tempur
+bansarkas	bantuan sarana kesehatan
+basbang	basi
+bazis	badan amal, zakat, infak, dan sedekah
+bcanda	bercanda
+bcoz	karena
+bdg	bandung
+beb	sayang
+begajulan	nakal
+bejibun	banyak
+beliin	belikan
+belom	belum
+bencong	banci
+bener	benar
+bentar	sebentar
+ber2	berdua
+ber3	bertiga
+berdikari	berdiri di atas kaki sendiri
+beresin	membereskan
+bet	banget
+bete	bosan
+beti	beda tipis
+beud	banget
+beut	banget
+bg	abang
+bgd	banget
+bgmn	bagaimana
+bgs	bagus
+bgt	banget
+bhubu	tidur
+bijimane	bagaimana
+bimbuluh	bimbingan dan penyuluhan
+bintal	bimbingan mental
+bisi	kalau-kalau
+bkl	akan
+bkn	bukan
+bknnya	bukannya
+bl	beli
+blegug	bodoh
+blg	bilang
+blh	boleh
+blm	belum
+bln	bulan
+bls	balas
+blum	belum
+bnchi	benci
+bnci	benci
+bngung	bingung
+bnran	yang benar
+bnyk	banyak
+bodor	lucu
+bohay	badan aduhai
+bokap	ayah
+bokep	video porno
+boker	buang air besar
+bokin	pacar
+bokis	bohong
+bole	boleh
+boljug	boleh juga
+bolot	bodoh
+bonek	bocah nekat
+bonyok	ayah ibu
+boyeh	boleh
+bpk	bapak
+br	baru
+brb	segera kembali
+brg	barang
+brngkt	berangkat
+bro	saudara laki-laki
+brp	berapa
+bru	baru
+brur	saudara laki-laki
+bs	bisa
+bsa	bisa
+bsen	bosan
+bsk	besok
+bt	bosan sekali
+bt	buat
+btw	ngomong-ngomong
+bu_bu	tidur
+buaya	tidak setia
+bubarin	bubarkan
+bubbu	tidur
+buber	buka bersama
+bubu	tidur
+bujubune	luar biasa
+bumil	ibu hamil
+buser	buru sergap
+bw	bawa
+bwhn	bawahan
+bwt	buat
+byar	bayar
+byk	banyak
+byr	bayar
+byrin	bayarkan
+c8	chat
+cabal	sabar
+cabut	pergi
+cadas	keren
+caem	cakep
+calo	makelar
+cama-cama	sama-sama
+can	belum
+cangcut	celana dalam
+capcus	pergi
+cape	capek
+caper	cari perhatian
+caur	jelek
+ce	cewek
+cekak	tidak ada uang
+cekal	cegah tangkal
+cekidot	coba lihat
+cemen	penakut
+cemplungin	cemplungkan
+cengengesan	tertawa
+ceper	pendek
+cepet	cepat
+ceu	kakak perempuan
+cew	cewek
+cewe	cewek
+chuyunk	sayang
+cibuk	sibuk
+cimeng	ganja
+cin	cinta
+cipika cipiki	cium pipi kanan cium pipi kiri
+ciye	cie
+ciyh	sih
+ckck	ck
+ckepp	cakep
+ckp	cakep
+ckp	cukup
+clbk	cinta lama bersemi kembali
+cmiiw	correct me if i'm wrong
+cmpr	campur
+cmpur	campur
+cnenk	senang
+cong	banci
+congor	mulut
+conlok	cinta lokasi
+cow	cowok
+cowwyy	maaf
+coz	karena
+cp	siapa
+cpa	siapa
+ngeri	seram
+cpe	capek
+cppa	siapa
+cppe	capek
+cr	cara
+cucok	cocok
+cuek	tidak acuh
+cuex	cuek
+cuman	Cuma
+cumi	Cuma miscall
+cungkring	kurus tinggi
+cups	culun
+cupu	culun
+curanmor	pencurian kendaraan bermotor
+curas	pencurian dengan kekerasan
+curcol	curahan hati colongan
+curhat	curahan hati
+cwek	cewek
+cwok	cowok
+cyin	cinta
+cz	karena
+d	di
+dagh	sudah
+dah	deh
+damang	sehat
+dapet	dapat
+dateng	datang
+de	adik
+dech	deh
+dek	adik
+deket	dekat
+demen	suka
+dengerin	dengarkan
+deyh	deh
+dg	dengan
+dgn	dengan
+dh	deh
+diancurin	dihancurkan
+digosipin	digosipkan
+dimaafin	dimaafkan
+dimana2	dimana-mana
+dimintak	diminta
+dimna	dimana
+disono	di sana
+diuber	dikejar
+dket	dekat
+dkit	sedikit
+dkk	dan kawan-kawan
+dl	dulu
+dll	dan lain-lain
+dlm	dalam
+dlu	dulu
+dmn	dimana
+dngn	dengan
+doang	saja
+dodol	bodoh
+doi	dia
+doku	uang
+don juan	playboy
+dongs	dong
+donlot	unduh
+dpt	dapat
+dr	dari
+dri	dari
+drmana	darimana
+drmn	darimana
+drpd	daripada
+drtd	dari tadi
+dsb	dan sebagainya
+dst	dan seterusnya
+dstu	disitu
+dtg	datang
+dugem	dunia gemerlap
+duh	aduh
+duit	uang
+duren	durian
+dy	dia
+ed	edisi
+edan	gila
+egp	emang gue pikirin
+eike	aku
+eke	aku
+elo	kamu
+elu	kamu
+emang	memang
+emangnya	memangnya
+emg	memang
+emng	memang
+emte	makan teman
+endak	tidak
+engga	tidak
+enggak	tidak
+nggk	tidak
+entar	nanti
+envy	iri
+etc	et cetera
+ex	mantan
+ext	extension
+fax	facsimile
+fb	facebook
+fifo	first in first out
+finek	finansial ekonomi
+folbek	follow back
+fwd	diterukan
+fyi	sebagai informasi
+ga	tidak
+gaada	tidak ada uang
+gabisa	tidak bisa
+gag	tidak
+gahar	sangar
+gaje	tidak jelas
+gak	tidak
+gak papa	tidak apa-apa
+gamau	tidak mau
+gan	juragan
+gapapa	tidak apa-apa
+gaptek	gagap teknologi
+gatau	tidak tahu
+gatek	gagap teknologi
+gatot	gagal total
+gawe	kerja
+gax	tidak
+gbs	tidak bisa
+gda	tidak ada uang
+gebetan	orang yang disuka
+geer	gede rasa
+geje	tidak jelas
+gelo	gila
+gepeng	gelandangan dan pengemis
+ghiey	lagi
+ghiy	lagi
+gi	lagi
+gile	gila
+giman	gigi mancung
+gimana	bagaimana
+gini	begini
+gino	gigi nongol
+gitchu	gitu
+githu	gitu
+gitu	begitu
+gj	tidak jelas
+gk	tidak
+gmana	bagaimana
+gmn	bagaimana
+gn	begini
+goblog	goblok
+goblok	bodoh
+good	bagus
+gokil	gila
+golput	golongan putih
+gombal	suka merayu
+gowes	mengayuh sepeda
+gpl	tidak pakai lama
+gpny	tidak punya
+gpp	tidak apa-apa
+gr	gede rasa
+gretong	gratis
+gretongan	gratisan
+gt	begitu
+gtau	tidak tahu
+gtw	tidak tahu
+gua	saya
+gue	saya
+guoblok	goblok
+guys	teman-teman
+gw	saya
+gws	cepat sembuh
+ha	tertawa
+haghaghag	tertawa
+haha	tertawa
+hakhak	tertawa
+hallow	halo
+handak	bahan peledak
+hankam	pertahanan dan keamanan
+hansip	pertahanan sipil
+hehe	he
+hellow	halo
+helo	halo
+helow	halo
+hey	hai
+hi	hai
+hlm	halaman
+hlng	hilang
+hny	hanya
+hnya	hanya
+hoax	isu bohong
+houm	rumah
+hr	hari
+hrs	harus
+hrus	harus
+hubad	hubungan angkatan darat
+hubdar	perhubungan darat
+hubla	perhubungan laut
+huff	mengeluh
+huft	mengeluh
+hum	rumah
+humas	hubungan masyarakat
+humz	rumah
+idk	saya tidak tahu
+ilang	hilang
+ilfeel	tidak suka
+ilfil	tidak suka
+imba	jago sekali
+imho	in my humble opinion
+imoet	imut
+imoetz	imut
+info	informasi
+item	hitam
+itung	hitung
+itungan	hitungan
+isengin	bercanda
+iy	iya
+iyala	iya lah
+iye	iya
+iyo	iya
+ja	saja
+jablay	jarang dibelai
+jadiin	jadikan
+jadul	jaman dulu
+jaim	jaga image
+jancuk	anjing
+jayus	tidak lucu
+jd	jadi
+jdi	jadi
+jdikan	jadikan
+jem	jam
+jg	juga
+jga	juga
+jgn	jangan
+jgnkan	jangankan
+jijay	jijik
+jir	anjing
+jkt	jakarta
+jln	jalan
+jnj	janji
+jomblo	tidak punya pacar
+jth	jatuh
+jubir	juru bicara
+jurdil	jujur adil
+jutek	galak
+jwb	jawab
+k	ke
+ka	kakak
+kab	kabupaten
+kabag	kepala bagian
+kabor	kabur
+kacian	kasihan
+kacrut	kacau
+kadit	kepala direktorat
+kadiv	kepala divisi
+kaga	tidak
+kagak	tidak
+kaka	kakak
+kalo	kalau
+kalo	kalau
+kampret	sialan
+kamtib	keamanan dan ketertiban
+kamtibmas	keamanan dan ketertiban masyarakat
+kamuh	kamu
+kamuwh	kamu
+kamyu	kamu
+kanwil	kantor wilayah
+kapt	kapten
+karna	karena
+kasat	kepala satuan
+kasubbag	kepala subbagian
+kasubbid	kepala subbidang
+katrok	kampungan
+kau	kamu
+kayanya	kayaknya
+kbar	kabar
+kbr	kabar
+kcian	kasihan
+kdu	harus
+keburu	terlanjur
+kec	kecamatan
+kedubes	kedutaan besar
+kejurnas	kejuaraan nasional
+kek	seperti
+kekeuh	keras kepala
+keknya	kayaknya
+kel	kelurahan
+keliatan	kelihatan
+kemaren	kemarin
+keneh	masih
+kepengen	mau
+kepikiran	terpikirkan
+kepingin	mau
+kepo	mau tahu urusan orang
+kepsek	kepala sekolah
+kere	tidak punya uang
+kesbang	kesatuan bangsa
+kesian	kasihan
+kesra	kesejahteraan rakyat
+ketauan	ketahuan
+ketrima	diterima
+keukeuh	keras kepala
+kgiatan	kegiatan
+khan	kan
+kibul	bohong
+kibus	kaki busuk
+kimpoi	kawin
+kk	kakak
+kl	kalau
+klian	kalian
+klianz	kalian
+klo	kalau
+kloter	kelompok terbang
+kluarga	keluarga
+klw	kalau
+klwrga	keluarga
+km	kamu
+kmari	kemari
+kmps	kampus
+kmpus	kampus
+kmrn	kemarin
+kn	kan
+knal	kenal
+knl	kenal
+knp	kenapa
+knpa	kenapa
+kodya	kota madya
+kog	kok
+komdis	komisi disiplin
+kompi	komputer
+komsov	komunis sovyet
+komtiong	komunis Tiongkok
+kongkow	kumpul bareng teman-teman
+konjen	konsulat jenderal
+kopdar	kopi darat
+koq	kok
+korup	korupsi
+kpd	kepada
+kpn	kapan
+kptsan	keputusan
+krenz	keren
+krik	garing
+krm	kirim
+krn	karena
+kt	kita
+ktauan	ketahuan
+ktmu	ketemu
+ktny	katanya
+ktr	kantor
+kudu	harus
+kuper	kurang pergaulan
+kuq	kok
+kw	imitasi
+ky	seperti
+kyk	seperti
+kykny	kayanya
+la	lah
+laka	kecelakaan
+lam	salam
+lambreta	lambat
+lamp	lampiran
+lansia	lanjut usia
+lanud	landasan udara
+lapas	lembaga pemasyarakatan
+latgab	latihan gabungan
+lbur	libur
+lebay	berlebihan
+leh	boleh
+leh	boleh
+lekong	laki-laki
+lelet	lambat
+lemot	lambat berfikir
+lemot	lemah otak
+lg	lagi
+lgi	lagi
+lgkp	lengkap
+lgsg	langsung
+lht	lihat
+liat	lihat
+linmas	perlindungan masyarakat
+litbang	penelitian dan pengembangan
+lmyan	lumayan
+lmyn	lumayan
+lngkp	lengkap
+lo	kamu
+loch	loh
+loe	kamu
+lol	tertawa
+lola	lambat berfikir
+lom	belum
+louph	cinta
+loupz	cinta
+low	kalau
+lowh	kamu
+lp	lupa
+lu	kamu
+luber	langsung, umum, bebas, dan rahasia
+luchu	lucu
+luchuw	lucu
+luff	cinta
+lum	belum
+luph	cinta
+luthu	lucu
+lw	kamu
+lwn	lawan
+lwt	lewat
+maacih	terima kasih
+maaciw	terima kasih
+mabal	bolos
+mabes	markas besar
+macem	macam
+macem-macem	macam-macam
+macih	masih
+madesu	masa depan suram
+maem	makan
+maen	main
+magabut	makan gaji buta
+mahatma	maju sehat bersama
+maho	homo
+mak	ibu
+mak jang	kaget
+makasih	terima kasih
+maksain	memaksa
+malah	bahkan
+malem	malam
+malu2in	memalukan
+mam	makan
+mamz	makan
+maneh	kamu
+manies	manis
+maniez	manis
+mantep	mantap
+mao	mau
+markus	makelar kasus
+masukin	masukkan
+mba	mbak
+melu	ikut
+mending	lebih baik
+mepet	dekat sekali
+mgkn	mungkin
+mgu	minggu
+mhn	mohon
+migas	minyak dan gas bumi
+miker	minuman keras
+mikol	minuman beralkohol
+milis	mailing list
+miras	minuman keras
+mksd	maksud
+mlah	malah
+mls	malas
+mngkn	mungkin
+mnt	minta
+mo	mau
+moge	motor gede
+mokad	mati
+mokat	mati
+moso	masa
+mosok	masa
+mpe	sampai
+msh	masih
+msk	masuk
+mskpn	meskipun
+mslh	masalah
+msng2	masing-masing
+mt	makan teman
+muahal	mahal
+mubes	musyawarah besar
+muker	musyawarah kerja
+mulu	melulu
+mumet	pusing
+mumpung	selagi
+muna	munafik
+munas	musyawarah nasional
+munaslub	musyawarah nasional luar biasa
+muntaber	muntah dan berak
+musda	musyawarah daerah
+musti	mesti
+muup	maaf
+muupz	maaf
+muuv	maaf
+mw	mau
+mw	now watching
+n	dan
+nal	kenal
+nanam	menanam
+nangis	menangis
+nanya	bertanya
+naon	apa
+napa	kenapa
+napa	kenapa
+napi	narapidana
+napol	narapidana politik
+napza	narkotika, alkohol, psikotropika, dan zat adiktif 
+naq	anak
+narkoba	narkotika, psikotropika, dan obat terlarang
+narsis	bangga pada diri sendiri
+nasgor	nasi goreng
+nax	anak
+nda	tidak
+ndak	tidak
+ndiri	sendiri
+ndut	gendut
+ne	ini
+nekolim	neokolonialisme
+nekolin	neokolonialisme
+nelfon	menelepon
+nembak	menyatakan cinta
+ngabis2in	menghabiskan
+ngabuburit	menunggu berbuka puasa
+ngakak	tertawa
+ngaku	mengaku
+ngambek	marah
+ngambil	mengambil
+ngampus	pergi ke kampus
+nganggur	tidak punya pekerjaan
+ngantri	mengantri
+ngapah	kenapa
+ngapain	sedang apa
+ngaret	terlambat
+ngaruh	berpengaruh
+ngasih	memberikan
+ngawur	berbicara sembarangan
+ngebandel	berbuat bandel
+ngeceng	kumpul bareng-bareng
+ngegosip	bergosip
+ngeh	sadar
+ngeklaim	mengklaim
+ngekos	tinggal di kos
+ngeksis	menjadi eksis
+ngelamar	melamar
+ngeles	berkilah
+ngeliat	melihat
+ngelidur	menggigau
+ngemeng	bicara terus-terusan
+ngerampok	merampok
+ngerti	mengerti
+ngga	tidak
+nggak	tidak
+ngibul	berbohong
+ngikut	ikut
+ngiler	mau
+nginep	menginap
+ngiri	iri
+ngisi	mengisi
+ngisiin	mengisikan
+ngmg	bicara
+ngmng	bicara
+ngocol	lucu
+ngomong	bicara
+ngomongin	membicarakan
+ngubek2	mencari-cari
+ngumpul	berkumpul
+ngurus	mengurus
+ni	ini
+nice	bagus
+nie	ini
+niech	nih
+nih	ini
+nimbrung	ikut serta
+niyh	nih
+nkah	nikah
+nmr	nomor
+nnti	nanti
+nntn	nonton
+no	nomor
+nobar	nonton bareng
+nongkrong	kumpul-kumpul
+np	now playing
+nrp	narapidana
+ntar	nanti
+ntar	sebentar
+ntn	nonton
+nuhun	terima kasih
+numpuk	bertumpuk
+nunggu	menunggu
+nutupin	menutupi
+nyampah	membuat sampah
+nyasar	tersesat
+nyari	mencari
+nyariin	mencari
+nyekar	menyekar
+nyiapin	mempersiapkan
+nyicil	mencicil
+nyiram	menyiram
+nyoblos	mencoblos
+nyok	ayo
+nyokap	ibu
+o/	oleh
+ogah	tidak mau
+ok	ok
+okt	oktober
+ol	online
+omdo	omong doang
+ongkir	ongkos kirim
+oon	bodoh
+oot	out of topic
+org	orang
+org2	orang-orang
+orkes	olahraga dan kesehatan
+ortu	orang tua
+ospek	orientasi studi dan pengenalan kampus
+otda	otonomi daerah
+otre	ok
+otw	on the way, sedang di jalan
+pa	apa
+pacal	pacar
+pahe	paket hemat
+pake	pakai
+pakek	pakai
+pala	kepala
+panja	panitia kerja
+pansus	panitia khusus
+pantura	pantai utara
+parpol	partai politik
+pas2an	pas-pasan
+pasutri	pasangan suami istri
+patas	cepat dan terbatas
+pd	pada
+pdhl	padahal
+pede	percaya diri
+pelatda	pemusatan latihan daerah
+pelatnas	pemusatan latihan nasional
+pembokat	pembantu
+pemda	pemerintah daerah
+pemilu	pemilihan umum
+pemkot	pemerintah kota
+pemprov	pemerintah provinsi
+pemred	pemimpin redaksi
+pengen	ingin
+penjas	pendidikan jasmani
+penmas	pendidikan masyarakat
+perda	peraturan daerah
+perek	wanita tuna susila
+perhatiin	perhatikan
+pertamax	pertama
+pesenan	pesanan
+pesenin	pesankan
+pgang	pegang
+pgi	pergi
+pi	tapi
+pijetin	pijitkan
+pilkada	pemilihan kepala daerah
+pimpro	pemimpin proyek
+pisan	sangat
+pisgor	pisang goreng
+pk	penjahat kelamin
+pke	pakai
+plg	paling
+pm	private message
+pmrnth	pemerintah
+pny	punya
+polantas	polisi lalu lintas
+polwan	polisi wanita
+ponpes	pondok pesantren
+ponsel	telepon seluler
+pp	pulang pergi
+ppa	apa
+prg	pergi
+prikitiw	cie
+priksa	periksa
+prnh	pernah
+pro	profesional
+psen	pesan
+psn	pesan
+pst	pasti
+psti	pasti
+pswt	pesawat
+puanas	panas
+pw	posisi nyaman
+qmo	kamu
+qmu	kamu
+qt	kita
+rakor	rapat koordinasi
+rame	ramai
+ranmor	kendaraan bermotor
+raskin	rakyat miskin
+re	reply
+red	redaksi
+ref	referensi
+reg	register
+rehab	rehabilitasi
+rejeki	rezeki
+rempong	sulit
+renstra	rencana strategis
+repp	balas
+reskrim	reserse kriminal
+krim	kirim
+restik	reserse narkotika
+rhs	Rahasia
+rhs	rahasia
+rmbt	rambut
+rmh	rumah
+rofl	rolling on the floor laughing
+ru	baru
+rudal	peluru kendali
+ruko	rumah toko
+rusun	rumah susun
+rusunawa	rumah susun sewa
+rutan	rumah tahanan
+ruz	terus
+s4	sempat
+saia	saya
+saiank	sayang
+salting	salah tingkah
+saltum	salah kostum
+sampe	sampai
+sampeyan	anda
+samsek	sama sekali
+sapa	siapa
+sapose	siapa
+satkorlak	satuan koordinator pelaksana
+satpam	satuan pengamanan
+say	sayang
+sbb	sebagai berikut
+sbg	sebagai
+sbh	sebuah
+sblm	sebelum
+sbnrny	sebenarnya
+scara	secara
+scr	secara
+sdg	sedang
+sdgkn	sedangkan
+sdh	sudah
+sdkt	sedikit
+sdngkn	sedangkan
+se7	setuju
+seabrek	banyak
+sebelas dua belas	mirip
+sekjen	sekretaris jenderal
+sembako	sembilan bahan pokok
+sempak	celana dalam
+sempet	sempat
+sempet2nya	sempat-sempatnya
+sendratari	seni drama tari
+sertijab	serah terima jabatan
+sgt	sangat
+sgtunya	segitunya
+shg	sehingga
+sidak	inspeksi mendadak
+siech	sih
+sieyh	sih
+sikon	situasi dan kondisi
+simpedes	simpanan pedesaan
+sinetron	sinema elektronik
+sip	ok
+siramin	siramkan
+sis	kakak perempuan
+sj	saja
+skali	sekali
+skalian	sekalian
+skl	sekali
+sklh	sekolah
+skrg	sekarang
+skt	sakit
+skul	sekolah
+slesai	selesai
+slh	salah
+sll	selalu
+slm	salam
+slma	selama
+slmt	selamat
+slsai	selesai
+slt	sulit
+smpt	sempat
+smua	semua
+smw	semua
+smwny	semuanya
+sndiri	sendiri
+sng	senang
+sni	sini
+soljum	sholat jumat
+somse	sombong sekali
+songong	sombong
+sorry	maaf
+sory	maaf
+sosbud	sosial-budaya
+sosek	sosial-ekonomi
+sospol	sosial-politik
+sotoy	sok tahu
+sowry	maaf
+spa	siapa
+spd	sepeda
+sppa	siapa
+sprti	seperti
+spt	seperti
+spy	supaya
+srtfkt	sertifikat
+stelah	setelah
+stiap	setiap
+stiap	setiap
+stlh	setelah
+subbag	subbagian
+suk	masuk
+sumbangin	sumbangkan
+sumpek	sempit
+sy	saya
+syg	sayang
+syp	siapa
+t4	tempat
+tabanas	tabungan pembangunan nasional
+tajir	kaya
+tar	nanti
+tau	tahu
+taun	tahun
+taw	tahu
+tawh	tahu
+td	tadi
+tdi	tadi
+tdk	tidak
+te2p	tetap
+teh	kakak perempuan
+tekor	rugi
+telat	terlambat
+telkom	telekomunikasi
+telmi	telat berpikir
+telp	telepon
+temen	teman
+temen2	teman-teman
+tengil	menyebalkan
+tengok	menjenguk
+tepar	terkapar
+terbitin	terbitkan
+tggu	tunggu
+tgl	tanggal
+tgu	tunggu
+thanks	terima kasih
+thankss	terima kasih
+thankz	terima kasih
+thd	terhadap
+thn	tahun
+thx	terima kasih
+tilang	bukti pelanggaran
+tipi	TV
+tipiwan	TvOne
+tkg	tukang
+tks	terima kasih
+tll	terlalu
+tlp	telepon
+tlpn	telepon
+tls	tulis
+tman	teman
+tmbah	tambah
+tmbh	tambah
+tmen2	teman-teman
+tmn2	teman-teman
+tmpah	tumpah
+tmph	tumpah
+tmpt	tempat
+tnda	tanda
+tngu	tunggu
+tnh	tanah
+tnyta	ternyata
+togel	toto gelap
+tokai	tai
+tokai	tai
+toserba	toko serba ada
+tp	tapi
+tpi	tapi
+tq	terima kasih
+trdhulu	terdahulu
+trgntg	tergantung
+trima	terima kasih
+trims	terima kasih
+trimz	terima kasih
+trm	terima
+trnyt	ternyata
+trs	terus
+trus	terus
+trutama	terutama
+trz	terus
+ts	penulis
+tsb	tersebut
+tst	tahu sama tahu
+ttd	tertanda
+ttg	tentang
+ttp	tetap
+tuch	tuh
+tuh	itu
+tuir	tua
+tuwh	tuh
+tw	tahu
+tyap	tiap
+u	kamu
+u/	untuk
+ud	sudah
+uda	sudah
+udah	sudah
+udh	sudah
+ujg	ujung
+ujung2nya	ujung-ujungnya
+ul	ulangan
+ultah	ulang tahun
+unyu	lucu
+unyu	menggemaskan
+uplot	unggah
+uppu	apa
+urang	saya
+urg	saya
+usah	perlu
+utang	hutang
+utk	untuk
+utul	ujian tertulis
+valas	valuta asing
+vol	volume
+w/	dengan
+wad	buat
+wadir	wakil direktur
+wagub	wakil gubernur
+wamil	wajib militer
+waria	wanita pria
+warkop	warung kopi
+warnet	warung internet
+warteg	warung tegal
+wartel	warung telekomunikasi
+wat	buat
+wk	tertawa
+wkt	waktu
+wkwk	tertawa
+wtf	what the fuck
+wth	what the hell
+xixixi	tertawa
+y	kenapa
+ya	iya
+yad	yang akan datang
+yap	iya
+yapz	iya
+yaudah	ya sudah
+yauwda	ya sudah
+yawdah	ya sudah
+ybs	yang bersangkutan
+yg	yang
+yi	yaitu
+yl	yang lain
+yng	yang
+yo	iya
+yoha	iya
+yowes	ya sudah
+yuk	ayo
+yup	iya
+ywdh	ya sudah
+cb	coba
+plh	pilih
+y	ya
+slalu	selalu
+munfik	munafik
+ahiok	ahok
+reklamuk	reklamasi
+victory	menang
+sma	sama
+kmrm	kemeramen
+kmrn	kemarin
+kowe	kamu
+tren	trend
+smg	semoga
+ngehe	kesal
+humoris	lucu
+jadiin	jadi
+mb	mbak
+mz	mas
+komun	komunitas
+analisise	analisis
+stop	henti
+sadaar	sadar
+manen	panen
+sept	september
+nyaingin	saing
+nmenarik	menarik
+war	perang
+pake	pakai
+janjinyaa	janji
+zonk	bodoh
+fitnag	fitnah
+rights	benar
+gub	gubernur
+simiskin	miskin
+gantengbs	ganteng
+ngumpet	sembunyi
+bedakin	bedak
+hardcore	keras
+anjay	anjing
+akhirx	akhirnya
+prototype	contoh
+solve	solusi
+rja	raja
+watuk	batuk
+nyang	yang
+ngebully	intimidasi
+hurts	pedih
+masy	masyarakat
+utip	kutip
+still	masih
+mndukung	mendukung
+tauk	tahu
+pulgar	kasar
+mbual	membual
+manggil	panggil
+tioghoa	tionghoa
+rkyt	rakyat
+ngentotin	senggama
+ngentot	senggama
+kentot	senggama
+toys	main
+faktakta	fakta
+nyemot	ambil
+sohib	teman
+ego	emosi
+rubahnn	rubah
+mbaur	baur
+trlalu	terlalu
+governor	gubernur
+nyela	cela
+heter	pembenci
+heters	pembenci
+insom	insomnia
+nyembah	sembah
+slama	selama
+most	paling
+modar	mati
+ikon	lambang
+buangbuang	buang
+light	terang
+amerik	amarika
+pndukung	pendukung
+mbabibuta	ceroboh
+setting	atur
+emank	memang
+seting	akting
+maybe	mungkin
+next	lanjut
+sebelom	sebelum
+waspadalah	waspada
+our	kami
+bokep	porno
+cayalah	percaya
+gantengsaya	ganteng
+bajir	banjir
+parte	partai
+nyalahin	salah
+nyerang	serang
+dzolim	zalim
+nipu	tipu
+mnipu	tipu
+ktipu	tipu
+valid	sah
+jentelmen	berani
+buzzerbuzzer	buzzer
+buangbuang	buang
+tsk	tersangka
+tsangka	tersangka
+dungu	bodoh
+lemot	lambat
+capek	lelah
+kurng	kurang
+bajir	banjir
+ista	nista
+istaa	nista
+less	kurang
+bebal	bodoh
+koar	teriak
+muna	munafik
+lelet	lambat
+naas	nahas
+paranoid	takut
+parno	takut
+problem	masalah
+puyeng	pusing
+songong	sombong
+taik	kotoran
+tahi	kotoran
+tai	kotoran
+tirani	tiran
+pls	tolong
+tilep	tilap
+accord	sesuai
+happy	bahagia
+irit	hemat
+tak	tidak
+semau	asal
+mbual	bual
+mantabss bagus	
+penertiban	tertib
+orange	oranye
+uasai	kuasa
+vote	pilih
+mnolak	tolak
+menolak	tolak
+trending	trend
+presh	segar
+taik	tahi
+serasiii	serasi
+wkwkkw	tertawa
+soft	halus
+setting	atur
+angis	nangis
+ahokncc	ahok
+almaidahyg	almaidah
+istaa	nista
+benarjujur	benar
+benarjujur	jujur
+sayan	sayang
+mgkin	mungkin

lda.model

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:d4a373aa10b746edde0a012321995b84358738b66f5374c0fc15262e367acf10
+size 5761

lda.model.expElogbeta.npy

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:375a2f077099154fe6529ee0645255bf09e44838b3d6487954fe8b3a9b364aa3
+size 4488

main.py

@@ -0,0 +1,67 @@
+import streamlit as st
+import pandas as pd
+import gensim
+import joblib
+import numpy as np
+import tensorflow as tf
+from tensorflow.keras.models import Sequential, Model
+from tensorflow.keras.layers import Embedding, TextVectorization, GlobalAveragePooling1D, Input, LSTM, GRU, Dropout, Dense
+
+from scraper import scrape
+from func import TextProcess, Label, TextProcess2
+
+lda_model_inf =  gensim.models.LdaModel.load('lda.model')
+
+model = tf.keras.models.load_model('model_imp')
+
+# with open('model_imp.pkl', 'rb') as file_1:
+#   model = joblib.load(file_1)
+
+with open('dictionary.pkl', 'rb') as file_4:
+  dictionary_inf = joblib.load(file_4)
+
+def run():
+    # Membuat Title
+    st.title('Negative Review clustering insights')
+    
+
+    # membuat form
+    with st.form(key='form_parameters'):
+        text_input = st.text_input('Reviews', 'Barangnya tidak sesuai gambar')
+        submitted_text = st.form_submit_button('Show topic')
+
+    data_inf = {
+        'text': text_input
+    }
+
+
+    data_inf = pd.DataFrame([data_inf])
+    
+    if submitted_text:
+        data_inf['text_processed'] = data_inf['text'].apply(lambda x: TextProcess(x))
+        Message_body_inf = data_inf['text_processed']
+
+        data_inf['text_processed_2'] = data_inf['text'].apply(lambda x: TextProcess2(x))
+        Message_body_inf_2 = data_inf['text_processed_2']
+
+        y_pred_inf = model.predict(Message_body_inf_2)
+        y_pred_inf = np.where(y_pred_inf >= 0.5, 1, 0)
+
+        if y_pred_inf == 0:
+            st.write('Negative sentiment')
+            for i in range(len(Message_body_inf)):
+                bow_vector = dictionary_inf.doc2bow(Message_body_inf[i])
+                for index, score in sorted(lda_model_inf[bow_vector], key=lambda tup: -1*tup[1]):
+                    # st.write(f"Score: {round(score*100)}%")
+                    st.write(f"Complaint: {Label(index)}")
+                    # st.write("Complaint: {}".format(Label(index)))
+                    break
+                st.write('------------------------------------')
+        else:
+            st.write('Positive sentiment')
+
+
+    
+
+if __name__ == '__main__':
+    run()

requirements.txt

@@ -0,0 +1,14 @@
+streamlit
+seaborn
+pandas
+numpy
+matplotlib
+joblib
+scikit-learn==1.0.2
+Pillow==9.2.0
+sastrawi
+nltk
+wordcloud
+urllib
+gensim
+tensorflow==2.10.0

runtime.txt

@@ -0,0 +1 @@
+python-3.9.12