|
|
--- |
|
|
license: apache-2.0 |
|
|
language: |
|
|
- ru |
|
|
--- |
|
|
## How to use it |
|
|
|
|
|
``` python |
|
|
# pip install transformers accelerate |
|
|
from transformers import AutoTokenizer |
|
|
import transformers |
|
|
import torch |
|
|
model = "Zen1t/WordWeaver-AI" |
|
|
prompt = "Сегодня он собирался удивить Аню сюрпризом — отвезти её в ресторан, заслуживающий особого внимания из-за своего расположения. А располагался тот на двадцать пятом этаже здания «Российской Академии Наук». Из его окон, судя по описанию, открывался изумительный вид на город, особенно ночью." |
|
|
prompt = f"<s>[INST] {prompt} [/INST]" |
|
|
tokenizer = AutoTokenizer.from_pretrained(model) |
|
|
pipeline = transformers.pipeline( |
|
|
"text-generation", |
|
|
model=model, |
|
|
torch_dtype=torch.float16, |
|
|
device_map="auto", |
|
|
) |
|
|
sequences = pipeline( |
|
|
prompt, |
|
|
do_sample=True, |
|
|
top_k=10, |
|
|
num_return_sequences=1, |
|
|
eos_token_id=tokenizer.eos_token_id, |
|
|
max_length=200, |
|
|
) |
|
|
for seq in sequences: |
|
|
print(seq['generated_text'][len(prompt):]) |
|
|
``` |
|
|
|
|
|
**Output** |
|
|
``` |
|
|
Сегодня он собирался удивить Аню сюрпризом — отвезти ее в ресторан, заслуживающий |
|
|
особого внимания из-за своего расположения на двадцать пятом этаже здания «Российской Академии Наук». |
|
|
Из его окон, судя по описанию, открывался изумительный вид на город, особенно ночью. |
|
|
``` |
