Zen1t/WordWeaver-AI

How to use it

# pip install transformers accelerate
from transformers import AutoTokenizer
import transformers
import torch
model = "Zen1t/WordWeaver-AI"
prompt = "Сегодня он собирался удивить Аню сюрпризом — отвезти её в ресторан, заслуживающий особого внимания из-за своего расположения. А располагался тот на двадцать пятом этаже здания «Российской Академии Наук». Из его окон, судя по описанию, открывался изумительный вид на город, особенно ночью."
prompt = f"<s>[INST] {prompt} [/INST]"
tokenizer = AutoTokenizer.from_pretrained(model)
pipeline = transformers.pipeline(
    "text-generation",
    model=model,
    torch_dtype=torch.float16,
    device_map="auto",
)
sequences = pipeline(
    prompt,
    do_sample=True,
    top_k=10,
    num_return_sequences=1,
    eos_token_id=tokenizer.eos_token_id,
    max_length=200,
)
for seq in sequences:
    print(seq['generated_text'][len(prompt):])

Output

Сегодня он собирался удивить Аню сюрпризом — отвезти ее в ресторан, заслуживающий
особого внимания из-за своего расположения на двадцать пятом этаже здания «Российской Академии Наук».
Из его окон, судя по описанию, открывался изумительный вид на город, особенно ночью.