Update README.md

README.md

@@ -49,25 +49,27 @@ inp = tokenizer("I am a boy </s> <2en>", add_special_tokens=False, return_tensor
 
 # For generation. Pardon the messiness. Note the decoder_start_token_id.
 model.eval() # Set dropouts to zero
-model_output=model.generate(inp, use_cache=True, num_beams=4, max_length=20, min_length=1, early_stopping=True, pad_token_id=pad_id, bos_token_id=bos_id, eos_token_id=eos_id, decoder_start_token_id=tokenizer._convert_token_to_id_with_added_voc("<2en>"))
+model_output=model.generate(inp, use_cache=True,no_repeat_ngram_size=3,encoder_no_repeat_ngram_size=3, num_beams=4, max_length=20, min_length=1, early_stopping=True, pad_token_id=pad_id, bos_token_id=bos_id, eos_token_id=eos_id, decoder_start_token_id=tokenizer._convert_token_to_id_with_added_voc("<2en>"))
 # Decode to get output strings
 decoded_output=tokenizer.decode(model_output[0], skip_special_tokens=True, clean_up_tokenization_spaces=False)
 print(decoded_output) # I am a boy
 # Note that if your output language is not Hindi or Marathi, you should convert its script from Devanagari to the desired language using the Indic NLP Library.
 # What if we mask?
 inp = tokenizer("I am [MASK] </s> <2en>", add_special_tokens=False, return_tensors="pt", padding=True).input_ids
-model_output=model.generate(inp, use_cache=True, num_beams=4, max_length=20, min_length=1, early_stopping=True, pad_token_id=pad_id, bos_token_id=bos_id, eos_token_id=eos_id, decoder_start_token_id=tokenizer._convert_token_to_id_with_added_voc("<2en>"))
+model_output=model.generate(inp, use_cache=True,no_repeat_ngram_size=3,encoder_no_repeat_ngram_size=3, num_beams=4, max_length=20, min_length=1, early_stopping=True, pad_token_id=pad_id, bos_token_id=bos_id, eos_token_id=eos_id, decoder_start_token_id=tokenizer._convert_token_to_id_with_added_voc("<2en>"))
 decoded_output=tokenizer.decode(model_output[0], skip_special_tokens=True, clean_up_tokenization_spaces=False)
 print(decoded_output) # I am happy
 inp = tokenizer("मैं [MASK] हूँ </s> <2hi>", add_special_tokens=False, return_tensors="pt", padding=True).input_ids
-model_output=model.generate(inp, use_cache=True, num_beams=4, max_length=20, min_length=1, early_stopping=True, pad_token_id=pad_id, bos_token_id=bos_id, eos_token_id=eos_id, decoder_start_token_id=tokenizer._convert_token_to_id_with_added_voc("<2en>"))
+model_output=model.generate(inp, use_cache=True,no_repeat_ngram_size=3,encoder_no_repeat_ngram_size=3, num_beams=4, max_length=20, min_length=1, early_stopping=True, pad_token_id=pad_id, bos_token_id=bos_id, eos_token_id=eos_id, decoder_start_token_id=tokenizer._convert_token_to_id_with_added_voc("<2en>"))
 decoded_output=tokenizer.decode(model_output[0], skip_special_tokens=True, clean_up_tokenization_spaces=False)
 print(decoded_output) # मैं जानता हूँ
 inp = tokenizer("मला [MASK] पाहिजे </s> <2mr>", add_special_tokens=False, return_tensors="pt", padding=True).input_ids
-model_output=model.generate(inp, use_cache=True, num_beams=4, max_length=20, min_length=1, early_stopping=True, pad_token_id=pad_id, bos_token_id=bos_id, eos_token_id=eos_id, decoder_start_token_id=tokenizer._convert_token_to_id_with_added_voc("<2en>"))
+model_output=model.generate(inp, use_cache=True,no_repeat_ngram_size=3,encoder_no_repeat_ngram_size=3, num_beams=4, max_length=20, min_length=1, early_stopping=True, pad_token_id=pad_id, bos_token_id=bos_id, eos_token_id=eos_id, decoder_start_token_id=tokenizer._convert_token_to_id_with_added_voc("<2en>"))
 decoded_output=tokenizer.decode(model_output[0], skip_special_tokens=True, clean_up_tokenization_spaces=False)
 print(decoded_output) # मला ओळखलं पाहिजे
 ```
+# Note:
+If you wish to use any language written in a non-Devanagari script (except English), then you should first convert it to Devanagari using the <a href="https://github.com/anoopkunchukuttan/indic_nlp_library">Indic NLP Library</a>. After you get the output, you should convert it back into the original script.
 
 ## Benchmarks
 
@@ -76,13 +78,13 @@ Scores on the `IndicParaphrase` test sets are as follows:
 Language | BLEU / Self-BLEU / iBLEU
 ---------|----------------------------
 as | 1.66 / 2.06 / 0.54
-bn | 11.57 / 1.69 / 0.54
-gu | 22.10 / 2.76 / 7.59
-hi | 27.29 / 2.87 / 14.64
-kn | 15.40 / 2.98 / 18.24
-ml | 10.57 / 1.70 / 9.89
-mr | 20.38 / 2.20 / 6.89
-or | 19.26 / 2.10 / 13.61
+bn | 11.57 / 1.69 / 7.59
+gu | 22.10 / 2.76 / 14.64
+hi | 27.29 / 2.87 / 18.24
+kn | 15.40 / 2.98 / 9.89
+ml | 10.57 / 1.70 / 6.89
+mr | 20.38 / 2.20 / 13.61
+or | 19.26 / 2.10 / 12.85
 pa | 14.87 / 1.35 / 10.00
 ta | 18.52 / 2.88 / 12.10
 te | 16.70 / 3.34 / 10.69