Update README.md

README.md

@@ -1,3 +1,38 @@
 ---
 license: apache-2.0
 ---
+
+Пример использования:
+```
+from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
+from transformers import GenerationConfig
+import torch
+
+path = "/FractalGPT/FredT5-Large-Instruct-Context"
+device = "cuda:0"
+tokenizer = AutoTokenizer.from_pretrained(path)
+model = AutoModelForSeq2SeqLM.from_pretrained(path, torch_dtype=torch.bfloat16)#, dropout_rate=0.0)
+model = model.to(device)
+model.eval()
+
+template = "<SC6>Контекст: {documents}\nВопрос: {question}\nОтвет: <extra_id_0>"
+def generate(prompt):
+  data = tokenizer(prompt, return_tensors="pt")
+  data = {k: v.to(model.device) for k, v in data.items()}
+  output_ids = model.generate(
+        **data,
+        do_sample=False,
+        eos_token_id=2,
+        decoder_start_token_id=0,
+        pad_token_id=0,
+        max_new_tokens = 500,
+        no_repeat_ngram_size = 3,
+        repetition_penalty = 1.3
+    )[0]
+
+  out = tokenizer.decode(output_ids.tolist(), skip_special_tokens=False)
+  return out#.replace("<extra_id_0>","")
+
+document = "12 апреля 1961 года – дата в истории, о которой не надо напоминать: все знают, что именно в этот день состоялся первый в мире полёт человека в космос"
+print(generate(f'<SC6>Контекст: {document}\nВопрос: Когда человек впервые побывал в космосе?\nОтвет: <extra_id_0>')))
+```