01eg0 commited on
Commit
bde6bad
·
verified ·
1 Parent(s): 53350b0

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +82 -4
README.md CHANGED
@@ -2,9 +2,87 @@
2
  tags:
3
  - model_hub_mixin
4
  - pytorch_model_hub_mixin
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
5
  ---
6
 
7
- This model has been pushed to the Hub using the [PytorchModelHubMixin](https://huggingface.co/docs/huggingface_hub/package_reference/mixins#huggingface_hub.PyTorchModelHubMixin) integration:
8
- - Code: [More Information Needed]
9
- - Paper: [More Information Needed]
10
- - Docs: [More Information Needed]
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
2
  tags:
3
  - model_hub_mixin
4
  - pytorch_model_hub_mixin
5
+ - humor
6
+ license: apache-2.0
7
+ datasets:
8
+ - IgorVolochay/russian_jokes
9
+ language:
10
+ - ru
11
+ pipeline_tag: text-generation
12
+ library_name: transformers
13
+ model-index:
14
+ - name: russian-jokes-transformer-128
15
+ results:
16
+ - task:
17
+ type: text-generation
18
+ dataset:
19
+ name: IgorVolochay/russian_jokes
20
+ type: IgorVolochay/russian_jokes
21
+ split: test
22
+ metrics:
23
+ - type: loss
24
+ value: 2.4
25
+ name: Training loss
26
+ - type: loss
27
+ value: 2.6
28
+ name: Validation loss
29
  ---
30
 
31
+ # Модель генерации русских шуток
32
+
33
+ Модель - компактный авто-регрессионный Transformer для генерации коротких шуток на русском языке. Обучена на датасете [IgorVolochay/russian_jokes](https://huggingface.co/datasets/IgorVolochay/russian_jokes). \
34
+ Выполнена в рамках домашней работы по курсу «Большие языковые модели»
35
+
36
+
37
+ ## Детали
38
+ - Архитектура: Causal Transformer
39
+ - Размер контекста: 128 токенов
40
+ - Токенайзер: Byte-level BPE, vocab_size 1024
41
+ - Цель: генерация шуток и коротких юмористических реплик на русском
42
+
43
+ ## Лицензия
44
+ - Код и веса доступны по лицензии Apache-2.0
45
+
46
+ ## Примеры
47
+
48
+ Начало «Шел медведь по лесу»:
49
+ ```
50
+ Шел медведь по лесу, видит - машина горит. Мимо идет волк.
51
+ - Сынок, ты кем работаешь?
52
+ ```
53
+
54
+ Начало «Штирлиц пришел домой»:
55
+ ```
56
+ Штирлиц пришел домой. Взял медали, сел в сумку и говорит: "Сегодня ночью в тюрьме!"
57
+ ```
58
+
59
+ Начало «Заходит в бар»:
60
+ ```
61
+ Заходит в барана кошка, без презерватива
62
+ ```
63
+
64
+ ## Быстрый старт
65
+
66
+ ```python
67
+ import torch
68
+
69
+ # Нужна инициализация ByteLevelBPETokenizer и TransformerForCausalLM из ipynb ноутбука домашнего задания
70
+
71
+ REPO_NAME = "01eg0/llm-course-hw1"
72
+
73
+ device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
74
+
75
+ tokenizer = ByteLevelBPETokenizer.from_pretrained(REPO_NAME)
76
+ model = TransformerForCausalLM.from_pretrained(REPO_NAME).to(device).eval()
77
+
78
+ text = "Штирлиц пришел домой"
79
+ input_ids = torch.tensor(tokenizer.encode(text), device=device)
80
+ model_output = check_model.generate(
81
+ input_ids[None, :], max_new_tokens=200, eos_token_id=tokenizer.eos_token_id, do_sample=True, top_k=10
82
+ )
83
+ tokenizer.decode(model_output[0].tolist())
84
+ ```
85
+
86
+ ## Ответственность и безопасность
87
+ - Модель может воспроизводить токсичные или оскорбительные паттерны, встречающиеся в данных.
88
+ - Автор модели не несет ответственность за использование без соответствующей модерации и контекстной проверки.