Egisess commited on
Commit
0370ec8
·
verified ·
1 Parent(s): 44c6d34

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +26 -3
README.md CHANGED
@@ -2,8 +2,31 @@
2
  tags:
3
  - model_hub_mixin
4
  - pytorch_model_hub_mixin
 
 
 
 
 
5
  ---
6
 
7
- This model has been pushed to the Hub using the [PytorchModelHubMixin](https://huggingface.co/docs/huggingface_hub/package_reference/mixins#huggingface_hub.PyTorchModelHubMixin) integration:
8
- - Library: [More Information Needed]
9
- - Docs: [More Information Needed]
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
2
  tags:
3
  - model_hub_mixin
4
  - pytorch_model_hub_mixin
5
+ datasets:
6
+ - IgorVolochay/russian_jokes
7
+ language:
8
+ - ru
9
+ pipeline_tag: text-generation
10
  ---
11
 
12
+ # Домашнее задание в рамках прохождения курса NLP от VK Education
13
+
14
+ Задание было в том чтобы написать свой BPE Токенизатор и Attention, чтобы в итоге обучить модель, генерирующую анекдоты.
15
+
16
+ Пример анекдота от меня:
17
+ Один раз Дамблдор случайно поджёг Поттера. - Он почувствовал запах Гарри.
18
+
19
+ # Примеры генерации:
20
+ | Promt | Generation |
21
+ |-------------------------------------------|-----------------------------------------------------------------------------------------------------------------------------|
22
+ | Штирлиц постучал в дверь | Штирлиц постучал в дверь. Вдруг его спрашивает:- А где ты можешь?- Сынок.- А как у нас с ней.- Ну, милиционер!- Да это, это же! |
23
+ | Зачем вопить, зачем страдать - ведь можно | Зачем вопить, зачем страдать - ведь можно волосы в туалет? |
24
+ | Спиртсмен | Спиртсменер - множество, воспитание в России. |
25
+
26
+ # Качество
27
+
28
+ ![image/png](https://cdn-uploads.huggingface.co/production/uploads/67c857d14be864387e653086/ZSIL8cHjZARR12myDtELw.png)
29
+
30
+ Генерация приведены на модели в конфигурации Mini:
31
+
32
+ Loss на валидации: 3.137 (cross-entropy)