deuncaser beta

README.md

@@ -1,13 +1,12 @@
 ---
 title: DeUnCaser
-emoji: 🐠
-colorFrom: blue
-colorTo: gray
+emoji: 🌖
+colorFrom: green
+colorTo: red
 sdk: streamlit
 sdk_version: 1.9.0
 app_file: app.py
 pinned: false
-license: apache-2.0
 ---
 
 Check out the configuration reference at https://huggingface.co/docs/hub/spaces#reference

app.py

@@ -0,0 +1,42 @@
+
+import streamlit as st
+from transformers import T5ForConditionalGeneration, T5TokenizerFast, T5Config
+
+#mytext= 'Vi bruker ikke tegnsetting eller store bokstaver når vi prater. Vi slår også sammen ord, og i praksis er dermed heller ikke mellomrom meningsbærende. Prøv å fjerne tegnsetting, store bokstaver og mellomrom fra dette avsnittet. Se om den nye North-T5-modellen greier å sette sammen til et nytt meningsbærende avsnitt.'
+option_changed = 0
+
+@st.cache(allow_output_mutation=True, suppress_st_warning=True)
+def load_model():
+    model_name = "north/demo-deuncaser-base"
+    config = T5Config.from_pretrained(model_name)
+    model = T5ForConditionalGeneration.from_pretrained(model_name,config=config)
+    tokenizer = T5TokenizerFast.from_pretrained(model_name)
+    return (model, tokenizer)
+
+def deuncase(model, tokenizer, text):
+        encoded_txt = tokenizer(text, return_tensors="pt")
+        generated_tokens = model.generate(
+            **encoded_txt
+        )
+        return tokenizer.batch_decode(generated_tokens, skip_special_tokens=True)
+    
+st.title("DeUnCaser")
+
+expander = st.sidebar.expander("About")
+expander.write("This web app adds spaces, punctation and capitalisation back into the text.")
+expander.write("You can use the examples below, but too really test the effect of the model: Write or copy text from the Internet, and then manually remove spaces, puctation, cases etc. Try to restore the text.")
+
+
+option = st.sidebar.selectbox(
+     "Examples:",
+     ("tirsdag var travel for ukrainas president volodymyr zelenskyj på morgenen tok han imot polens statsminister mateusz morawiecki","tirsdagvartravelforukrainaspresidentvolodymyrzelenskyjpåkveldentokhanimotpolensstatsministermateuszmorawiecki","deterikkelettåholderedepåstoreogsmåbokstavermanmåforeksempelhuskestorforbokstavnårmanskriveromkrimhalvøyamenkunbrukelitenforbokstavnårmanhenvisertilenkrimroman","detteerenlitendemosomerlagetavperegilkummervoldhanerenforskersomtidligerejobbetvednasjonalbiblioteketimoirana", "sentpå60talletvardetfaktisknoensomkalteungensinperegilkummervoldidagerdetikkelengersåvanligåbrukedobbeltnavninorgehvasynesduomdet"))
+
+text = st.text_area(f"",max_chars=1000,value=option)
+
+run = st.button('Run DeUnCaser')
+
+if run:
+    model, tokenizer = load_model()
+    translated_text = deuncase(model, tokenizer, text)
+    st.write(translated_text[0] if translated_text else "Unknown Error Translating Text")
+

requirements.txt

@@ -0,0 +1,4 @@
+streamlit
+torch
+transformers
+transformers[sentencepiece]