katya0911/llm-course-hw1

Эта модель была обучена на наборе анекдотов и предназначена для генерации новых анекдотов.
Пример использования:

import torch
from transformers import ByteLevelBPETokenizer, TransformerForCausalLM

REPO_NAME = "katya0911/llm-course-hw1"

# Определите устройство (GPU, если доступно)
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

# Загрузите токенизатор и модель
tokenizer = ByteLevelBPETokenizer.from_pretrained(REPO_NAME)
model = TransformerForCausalLM.from_pretrained(REPO_NAME)
model = model.to(device)
model = model.eval()

# Пример генерации анекдота
input_text = "Колобок повесился"
input_ids = tokenizer.encode(input_text, return_tensors="pt").to(device)

# Генерация текста
with torch.no_grad():
    output = model.generate(input_ids, max_length=50, num_return_sequences=1)

# Декодируем результат
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
print(generated_text)