melll-uff
/

bertweetbr

Model card Files Files and versions

Fernando Carneiro commited on Sep 11, 2022

Commit

24940da

·

1 Parent(s): 5c8dfaa

README

Files changed (1) hide show

README.md +5 -5

README.md CHANGED Viewed

@@ -51,12 +51,12 @@ inputs = [
 tokenizer.demojizer = lambda x: demojize(x, language='pt')
-[tokenizer.tokenize(s) for s in inputs]
-# Tokenizer first normalize sentences
-['Procuro', 'um', 'amor', ',', 'que', 'seja', 'bom', 'pra', 'mim', '...', 'vou', 'procurar', ',', 'eu', 'vou', 'até', 'o', 'fim', ':nota_musical:']
-['Que', 'jogo', 'ontem', '@USER', ':mãos_juntas:']
-['D@@', 'emo@@', 'j@@', 'izer', 'para', 'Py@@', 'thon', 'é', ':polegar_para_cima:', 'e', 'está', 'disponível', 'em', 'HTTPURL']
 ```

 tokenizer.demojizer = lambda x: demojize(x, language='pt')
+[tokenizer.normalizeTweet(s) for s in inputs]
+# Tokenizer first normalizes tweet sentences
+['Procuro um amor , que seja bom pra mim ... vou procurar , eu vou até o fim :nota_musical:',
+ 'Que jogo ontem @USER :mãos_juntas:',
+ 'Demojizer para Python é :polegar_para_cima: e está disponível em HTTPURL']
 ```