fixed ner predictions

app.py

@@ -37,16 +37,16 @@ def f_remove_accents(old: str):
 
 def predict(text: str, goal = ''):
 
+  output_sernac, output_sernac_categories, output_other, output_objective = np.nan, np.nan, np.nan, np.nan
+
   diccionario = entities_dict.copy()
   tokens = word_tokenize(text, language = 'spanish')
-  #tokens_lower = [unidecode(token.lower()) for token in tokens] # tokens en minuscula
   tokens_lower = [f_remove_accents(token.lower()) for token in tokens] # tokens en minuscula
 
   dict_tokens = {tokens_lower[i]: tokens[i] for i in range(len(tokens))}
-  #dict_keys = {unidecode(key.lower()): key for key in diccionario.keys()}
   dict_keys = {f_remove_accents(key.lower()): key for key in diccionario.keys()}
 
-  # presencia de ngrams
+  # Evaluar el grado de ngramas en texto
   ngram_range = 5 # rango de ngramas a evaluar
   nmin = 1 # numero minimo de ngramas presente en el texto
   grams_detected = {}
@@ -63,7 +63,14 @@ def predict(text: str, goal = ''):
     try:
       # obtener todos los ngramas de nivel "i"
       for j in range(len(grams_detected[i])):
-        tmp_text = tmp_text.replace(grams_detected[i][j], f'{i}{sep}{j}')
+        entity =  grams_detected[i][j]
+        tokens_entity = tuple(word_tokenize(entity))
+        ngrams = list(nltk.ngrams(tmp_text.split(' '), i))
+        tmp_list = [(f'{i}{sep}{j}',) if ngram == tokens_entity else ngram for ngram in ngrams]
+        pos_list = [key for key, value in dict(enumerate(tmp_list)).items() if f'{i}{sep}{j}' in value[0]]
+        exclude_list = [value + k for value in pos_list for k in range(1, i)]
+        tmp_list = [value for key, value in dict(enumerate(tmp_list)).items() if key not in exclude_list]
+        tmp_text = ' '.join([i[0] for i in tmp_list] + [token for token in tmp_text.split(' ')[-i+1:] if token not in tokens_entity])
     except KeyError: # en caso de que no existan ngramas de nivel "i", pass
       pass
 
@@ -73,7 +80,7 @@ def predict(text: str, goal = ''):
     for token in tokens_lower:
       labeled_tokens.append((dict_tokens[token], diccionario[dict_keys[token]]) if token in dict_keys.keys() else (token, None))
 
-  # si hay entidades de largo 2 o mas, devuelvo solo las entidades etiquetadas
+  # si hay entidades de largo 2 o mas, devuelvo texto etiquetado con ngramas
   else:
     tmp_text = ' '.join(tmp_text.split()) # texto sin espacios
     tmp_tokens = tmp_text.split()
@@ -83,10 +90,10 @@ def predict(text: str, goal = ''):
         encoded_token = grams_detected[int(level)][int(pos)]
         labeled_tokens.append((encoded_token, diccionario[dict_keys[encoded_token]]))
       elif token in dict_keys.keys():
-        labeled_tokens.append((dict_tokens[token], diccionario[dict_keys[token]]))
+        #labeled_tokens.append((dict_tokens[token], diccionario[dict_keys[token]]))
+        labeled_tokens.append((token, diccionario[dict_keys[token]]))
       else:
         labeled_tokens.append((token, None))
-      
 
   # CLASSIFICATION
 
@@ -157,7 +164,7 @@ demo = gr.Interface(
                gr.outputs.Label(label = 'Clasificación objetivo')],
     examples=[
         ['este septiembre iremos manejando a tEmUco en un tóyòtA para pasar las fiestas patrias', 'ir a temuco'],
-        ['no puedo, tengo que irme desde san pedro hasta la reina y luego hasta san pedro de la paz', ''],
+        ['no puedo, tengo que ir desde san pedro hasta la reina y luego hasta san pedro de la paz', ''],
         ['Buenas tardes, hace unas semanas compre un suzuki swift a derco de santiago, llevaba 2 semanas y la caja de cambios se echó a perder. Tengo asegurado el auto con BCI, pero aun no obtengo respuesta.', 'exijo una explicación!'],
         ['Tengo un toyota urban cruiser 1.3 año 2010 el cual consume mucho aceite y nunca me han respondido si tiene alguna solución o garantía me gustaría que fueran más concretas las respuestas gracias', 'Obtener una solucion Que reparación hay que hacer o si tiene garantía?'],
         ['Mi auto del año presenta Falla de motor y sensores siendo que lo compre nuevo 0km y tiene recién 5400kms.. Es un Peugeot 2008 gti... El servicio es como las pelotas.. Me mandaron a un servicio técnico en Calama que estaba cerrado', '']