Update README.md
Browse files
README.md
CHANGED
|
@@ -2,8 +2,31 @@
|
|
| 2 |
tags:
|
| 3 |
- model_hub_mixin
|
| 4 |
- pytorch_model_hub_mixin
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 5 |
---
|
| 6 |
|
| 7 |
-
|
| 8 |
-
|
| 9 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 2 |
tags:
|
| 3 |
- model_hub_mixin
|
| 4 |
- pytorch_model_hub_mixin
|
| 5 |
+
datasets:
|
| 6 |
+
- IgorVolochay/russian_jokes
|
| 7 |
+
language:
|
| 8 |
+
- ru
|
| 9 |
+
pipeline_tag: text-generation
|
| 10 |
---
|
| 11 |
|
| 12 |
+
# Домашнее задание в рамках прохождения курса NLP от VK Education
|
| 13 |
+
|
| 14 |
+
Задание было в том чтобы написать свой BPE Токенизатор и Attention, чтобы в итоге обучить модель, генерирующую анекдоты.
|
| 15 |
+
|
| 16 |
+
Пример анекдота от меня:
|
| 17 |
+
Один раз Дамблдор случайно поджёг Поттера. - Он почувствовал запах Гарри.
|
| 18 |
+
|
| 19 |
+
# Примеры генерации:
|
| 20 |
+
| Promt | Generation |
|
| 21 |
+
|-------------------------------------------|-----------------------------------------------------------------------------------------------------------------------------|
|
| 22 |
+
| Штирлиц постучал в дверь | Штирлиц постучал в дверь. Вдруг его спрашивает:- А где ты можешь?- Сынок.- А как у нас с ней.- Ну, милиционер!- Да это, это же! |
|
| 23 |
+
| Зачем вопить, зачем страдать - ведь можно | Зачем вопить, зачем страдать - ведь можно волосы в туалет? |
|
| 24 |
+
| Спиртсмен | Спиртсменер - множество, воспитание в России. |
|
| 25 |
+
|
| 26 |
+
# Качество
|
| 27 |
+
|
| 28 |
+

|
| 29 |
+
|
| 30 |
+
Генерация приведены на модели в конфигурации Mini:
|
| 31 |
+
|
| 32 |
+
Loss на валидации: 3.137 (cross-entropy)
|