README

README.md

@@ -18,13 +18,19 @@ from transformers import AutoModel, AutoTokenizer
 model = AutoModel.from_pretrained('melll-uff/bertweetbr')
 tokenizer = AutoTokenizer.from_pretrained('melll-uff/bertweetbr', normalization=False)
 
-# INPUT TWEET IS ALREADY NORMALIZED!
-line = "Tem vídeo novo no canal do @USER :rosto_sorridente_com_olhos_de_coração: Passem por lá e confiram : HTTPURL"
+# INPUT TWEETS ALREADY NORMALIZED!
+line = [
+    "Tem vídeo novo no canal do @USER :rosto_sorridente_com_olhos_de_coração: Passem por lá e confiram : HTTPURL",
+    "Que jogo ontem @USER :mãos_juntas:",
+    "Procuro um amor , que seja bom pra mim ... vou procurar , eu vou até o fim :nota_musical:"]
 
-encoded_input = = tokenizer(line, return_tensors="pt")
+encoded_input = tokenizer(line, return_tensors="pt", padding=True)
 
 with torch.no_grad():
-    features = model(**encoded_input)  # Models outputs are now tuples
+    last_hidden_states = model(**encoded_input)
+
+# CLS Token of last hidden states. Shape: (number of input sentences, hidden sizeof the model)
+last_hidden_states[0][:,0,:]
 ```
 
  ### Normalize raw input Tweets
@@ -52,7 +58,6 @@ filler_mask = pipeline("fill-mask", model=model_name, tokenizer=tokenizer)
 
 filler_mask("Rio é a <mask> cidade do Brasil.", top_k=5)
 
-
 [{'sequence': 'Rio é a melhor cidade do Brasil.',
   'score': 0.9871652126312256,
   'token': 120,