Update README.md

README.md

@@ -59,7 +59,10 @@ tokenizer = AutoTokenizer.from_pretrained(
 )
 
 # With chat template
-messages = [{"role": "user", "content": "Не зат билесе Къарачай юсюнден?"}]
+messages = [
+{"role": "system", "content": "Сен къарачай-малкъар тилде болушлукъчуса. Соруўлагъа къысха, тюз эм ачыкъ джуўабла бер. Орусча неда ингилизче сорсала — ол тилде джуўаб бер."},
+{"role": "user", "content": "Не зат билесе Къарачай юсюнден?"}
+]
 text = tokenizer.apply_chat_template(
     messages,
     tokenize=False,
@@ -74,11 +77,12 @@ if 'token_type_ids' in inputs:
 
 outputs = model.generate(
     **inputs,
-    max_new_tokens=200,
+    max_new_tokens=100,
     temperature=0.7,
     top_p=0.9,
     do_sample=True,
     repetition_penalty=1.2,
+    no_repeat_ngram_size=4,
     pad_token_id=tokenizer.pad_token_id,
     eos_token_id=tokenizer.eos_token_id,
 )