Upload 5 files

malaya_file.py

@@ -0,0 +1,24 @@
+#Import all neccessary libraries
+import streamlit as st
+import re
+import wikipediaapi
+import malaya
+import torch
+import tensorflow
+import pandas as pd
+from sklearn.preprocessing import OneHotEncoder, LabelEncoder
+from sklearn.model_selection import train_test_split
+from sklearn.neighbors import KNeighborsClassifier
+from sklearn.multioutput import MultiOutputClassifier
+from sklearn.metrics import classification_report, confusion_matrix, accuracy_score
+import numpy as np
+import matplotlib.pyplot as plt
+import tracemalloc
+
+st.cache(allow_output_mutation=True)
+def malaya_model(model_name, kata):
+	global df_malaya
+	q_model = malaya.entity.transformer(model = model_name, quantized = True)
+	malay_pred = q_model.predict(kata)
+	df_malaya = pd.DataFrame(malay_pred, columns = ['kata', 'entiti'])
+	return df_malaya

requirements.txt

@@ -0,0 +1,10 @@
+malaya==5.0
+matplotlib==3.6.3
+numpy==1.24.1
+pandas==1.5.2
+psutil==5.9.4
+scikit_learn==1.2.1
+streamlit==1.17.0
+tensorflow==2.11.0
+torch==1.13.1
+Wikipedia_API==0.5.8

webpickle.py

@@ -0,0 +1,154 @@
+#Import all neccessary libraries
+import streamlit as st
+import re
+import wikipediaapi
+import malaya
+import torch
+import tensorflow
+import pandas as pd
+from sklearn.preprocessing import OneHotEncoder, LabelEncoder
+from sklearn.model_selection import train_test_split
+from sklearn.neighbors import KNeighborsClassifier
+from sklearn.multioutput import MultiOutputClassifier
+from sklearn.metrics import classification_report, confusion_matrix, accuracy_score
+import numpy as np
+import matplotlib.pyplot as plt
+import os
+import psutil
+import pickle
+from malaya_file import *
+
+#Page header, title
+st.set_page_config(page_title= "Malay Named Entity Recognition (NER) Model", page_icon= ":book:", layout= "wide")
+st.title(":book: Pengecaman Entiti Nama Malay (NER) model")
+st.markdown("CARA MENGGUNAKAN PROGRAM")
+st.markdown("1. Sila taip sebuah ayat atau teks tidak melebihi 500 karakter di ruangan bawah")
+st.markdown("2. Pilih model untuk melakukan proses pengecaman entiti nama (NER) berdasarkan teks")
+st.markdown("3. Klik butang 'BUAT RAMALAN' bagi memulakan program")
+st.markdown("4. Paparan bagi setiap kata serta jenis entiti akan dipaparkan pada bahagian 'HASIL RAMALAN'")
+
+
+#LOAD MODEL FROM KNN_MALAYA.SAV
+st.cache(allow_output_mutation=True)
+def knn_malaya():
+	load_model = pickle.load(open('knn_malaya.sav', 'rb'))
+	return load_model
+
+#CHANGE STRING INTO LABELENCODER DATAFRAME
+#PREDICT WORD OUTSIDE DATA
+st.cache(allow_output_mutation=True)
+def tukar_kata(kata):
+	#global kelas, output
+	global output	
+	string = re.sub("[=(),:;.]", "", kata)
+	string1 = string.split(" ")
+	string2 = pd.DataFrame(string1, columns = ["LKATA"])
+	string2['LSEBELUM'] = string2['LKATA'].shift(1)
+	string2['LSELEPAS'] = string2['LKATA'].shift(-1)
+	string2.fillna("null", inplace=True)
+	#string1
+	#st.table(string1[:10])
+	lbl = LabelEncoder()
+	lbl_sen = lbl.fit_transform(string2['LKATA'])
+	lbl_bef = lbl.fit_transform(string2['LSEBELUM'])
+	lbl_aft = lbl.fit_transform(string2['LSELEPAS'])
+	string2 = pd.DataFrame({'LKATA':lbl_sen, 'LSEBELUM': lbl_bef, 'LSELEPAS' : lbl_aft})
+	#st.dataframe(string2.head())
+
+	#Using classifier.predict() from load_model from knn_malaya.sav
+	kelas = knn_malaya()
+	hasil = kelas.predict(string2)
+
+	#Convert array into entities
+	fin = []
+	for z in hasil:
+		if (z == [1, 0, 0]).all():
+			fin.append("LOKASI")
+		elif (z == [0, 1, 0]).all():
+			fin.append("MANUSIA")
+		elif (z == [0, 0, 1]).all():
+			fin.append("ORGANISASI")
+		else:
+			fin.append("LAIN-LAIN")
+	#global perkata, output
+	#perkata = [(key, value) for i, (key, value) in enumerate(zip(string1, fin))]
+	output = pd.DataFrame({"kata" : string1, "entiti" : fin})
+	return output
+
+#CREATE TEXT FORM
+with st.form(key= 'my_form'):
+	global kata, btn_model, df1, df2
+	kata = st.text_area(label="Sila taip teks atau ayat:", max_chars= 500)
+	
+	btn_model = st.radio("Pilih model untuk pengecaman entiti nama",
+		("KNN", "BERT", "Tiny-BERT", "ALBERT", "Tiny-ALBERT", "XLNET", "ALXLNET", "FASTFORMER", "Tiny-FASTFORMER"))
+	
+	submit_button = st.form_submit_button(label= ":arrow_right: Buat Ramalan")
+
+	if submit_button:
+	    if re.sub(r'\s+','',kata)=='':
+	        st.error('Ruangan teks tidak boleh kosong.')
+
+	    elif re.match(r'\A\s*\w+\s*\Z', kata):
+	        st.error("Teks atau ayat mestilah sekurang-kurangnya dua patah perkataan.")
+	    
+	    else:
+	    	if btn_model == "KNN":
+	    		st.write("Anda pilih model : KNN")
+	    		result = knn_malaya()
+	    		#st.write(load_model)
+	    		#df2 = ramal_kata(kata)
+	    	else:
+	    		st.write("Anda pilih model transformer: ", btn_model)
+
+	    st.success("Butang hantar berfungsi!")
+
+#x = knn_model()
+#y = use_knn()
+#st.write("Main + import = ", x+y)
+
+with st.container():
+	st.write("---")
+	st.header("Hasil Ramalan")
+	st.subheader("Ayat asal")
+	st.write("##")
+	st.write(kata)
+	patah = str(len(kata.split()))
+	st.write("Bilangan perkataan : {}".format(patah))
+	st.write("##")
+	df_test = pd.DataFrame()
+	if btn_model == 'KNN':
+		df_test = tukar_kata(kata)
+		#data = {'Name': ['Tom', 'nick', 'krish', 'jack'], 'entiti': [20, 21, 19, 18]}
+		#df_test = pd.DataFrame(data)
+		#st.write("LOAD PICKLE IN PROGRESS")
+	else:
+		df_test = malaya_model(btn_model, kata)
+
+#MULTISELECT WITH DROPDOWN	
+entiti = sorted(df_test['entiti'].unique())
+pilih = st.multiselect('Jenis entiti', entiti, entiti)
+df_pilihan = df_test [ (df_test['entiti'].isin(pilih)) ]
+df_line = df_pilihan.copy()
+st.table(df_line.style.set_properties(**{'background-color': 'white', 'color': 'black'}))
+
+#About model
+with st.expander("About this app", expanded=True):
+    st.write(
+        """     
+-   **Pengecaman Nama Entiti Malay** adalah sebuah aplikasi pembelajaran mesin yang dibangunkan bagi mengecam entiti pada setiap token menggunakan modul MALAYA (Husein, 2018)
+-   Projek ini adalah tugasan Final Year Project bagi Ijazah Sarjana Muda di UKM
+-   Aplikasi ini ingin menentukan model terbaik yang boleh digunakan bagi dokumen teks subjek sejarah Bahasa Melayu
+-   Model ini mempunyai 3 fitur utama iaitu kata asal, kata sebelum dan kata selepas. Kelas yang disasarkan ialah LOKASI, MANUSIA dan ORGANISASI
+-   Maklumat lanjut boleh hubungi Muhd Arif Syamil bin Mohd Rahimi melalui e-mel a177313@siswa.ukm.edu.my atau 012-7049021 
+       """
+    )
+
+process = psutil.Process(os.getpid())
+mem_size = str((process.memory_info().rss)) # in bytes, divide by 1 billion to GB
+mem_size_mb = str((process.memory_info().rss) / 1000000) 
+mem_size_gb = str((process.memory_info().rss) / 1000000000)
+st.write("Penggunaan memori: {} bytes or {} MB or {} GB".format(mem_size, mem_size_mb, mem_size_gb))
+# Dokumen Pemasyhuran Kemerdekaan 1957 telah ditulis dalam dua bahasa iaitu bahasa Melayu yang ditulis dalam Jawi dan bahasa Inggeris - No PERSON, LOCATION, ORGANISATION
+# Ketika mendarat di Lapangan Terbang Sungai Besi, tetamu kehormat telah disambut oleh Pesuruhjaya Tinggi British di Tanah Melayu, Sir Donald Charles MacGillivray dan Lady MacGillivray, Yang di-Pertuan Agong Tanah Melayu yang pertama, Tuanku Abdul Rahman diiringi Raja Permaisuri Agong dan Perdana Menteri Tanah Melayu yang pertama, Tunku Abdul Rahman.
+# Kedudukan sebuah kereta yang terjunam ke dalam Sungai Maaw di Jeti Feri Tanjung Kunyit, Sibu, semalam, sudah dikenal pasti. Jurucakap Pusat Gerakan Operasi (PGO), Jabatan Bomba dan Penyelamat Malaysia (JBPM) Sarawak, berkata kedudukan Toyota Camry di dasar sungai itu dikesan anggota Pasukan Penyelamat Di Air (PPDA) yang melakukan selaman kelima, hari ini, pada jam 3.49 petang.