| ๊ฐ์ฌ๋ฅผ ์์ฑํ๊ธฐ ์ํด ์ฌ์ ํ๋ จ๋ ํธ๋์คํฌ๋จธ๋ฅผ ๋ฏธ์ธ ์กฐ์ ํ๊ธฐ |
GPT-2 ๋ชจ๋ธ์ ๋ฏธ์ธ ์กฐ์ ํ์ฌ ์ข์ํ๋ ์ํฐ์คํธ์ ์คํ์ผ๋ก ๊ฐ์ฌ๋ฅผ ์์ฑํ๋ ๋ฐฉ๋ฒ |
Aleksey Korshuk |
 |
| Tensorflow 2๋ก T5 ํ๋ จํ๊ธฐ |
Tensorflow 2๋ฅผ ์ฌ์ฉํ์ฌ T5๋ฅผ ํ๋ จ์ํค๋ ๋ฐฉ๋ฒ. ์ด ๋
ธํธ๋ถ์ Tensorflow 2๋ก SQUAD๋ฅผ ์ฌ์ฉํ์ฌ ๊ตฌํํ ์ง์์๋ต ์์
์ ๋ณด์ฌ์ค๋๋ค. |
Muhammad Harris |
 |
| TPU์์ T5 ํ๋ จํ๊ธฐ |
Transformers์ Nlp๋ฅผ ์ฌ์ฉํ์ฌ SQUAD๋ก T5๋ฅผ ํ๋ จํ๋ ๋ฐฉ๋ฒ |
Suraj Patil |
 |
| ๋ถ๋ฅ ๋ฐ ๊ฐ๊ด์ ๋ฌธ์ ๋ฅผ ์ํด T5 ๋ฏธ์ธ ์กฐ์ ํ๊ธฐ |
๋ถ๋ฅ ๋ฐ ๊ฐ๊ด์ ๋ฌธ์ ์ ๋ง๊ฒ ํ
์คํธ-ํ
์คํธ ํ์์ ์ฌ์ฉํ์ฌ PyTorch Lightning์ผ๋ก T5๋ฅผ ๋ฏธ์ธ ์กฐ์ ํ๋ ๋ฐฉ๋ฒ |
Suraj Patil |
 |
| ์๋ก์ด ๋ฐ์ดํฐ ์ธํธ์ ์ธ์ด๋ก DialoGPT ๋ฏธ์ธ ์กฐ์ ํ๊ธฐ |
์์ ๋ํํ ์ฑ๋ด์ ๋ง๋ค๊ธฐ ์ํด ์๋ก์ด ๋ฐ์ดํฐ ์ธํธ๋ก DialoGPT ๋ชจ๋ธ์ ๋ฏธ์ธ ์กฐ์ ํ๋ ๋ฐฉ๋ฒ |
Nathan Cooper |
 |
| Reformer๋ก ๊ธด ์ํ์ค ๋ชจ๋ธ๋งํ๊ธฐ |
Reformer๋ก ์ต๋ 50๋ง ํ ํฐ์ ์ํ์ค๋ฅผ ํ๋ จํ๋ ๋ฐฉ๋ฒ |
Patrick von Platen |
 |
| ์์ฝ์ ์ํด BART ๋ฏธ์ธ ์กฐ์ ํ๊ธฐ |
blurr๋ฅผ ์ฌ์ฉํ์ฌ fastai๋ก ์์ฝํ๊ธฐ ์ํด BART๋ฅผ ๋ฏธ์ธ ์กฐ์ ํ๋ ๋ฐฉ๋ฒ |
Wayde Gilliam |
 |
| ๋ค๋ฅธ ์ฌ๋์ ํธ์์ผ๋ก ์ฌ์ ํ๋ จ๋ ํธ๋์คํฌ๋จธ ๋ฏธ์ธ ์กฐ์ ํ๊ธฐ |
GPT-2 ๋ชจ๋ธ์ ๋ฏธ์ธ ์กฐ์ ํ์ฌ ์ข์ํ๋ ํธ์ํฐ ๊ณ์ ์คํ์ผ๋ก ํธ์์ ์์ฑํ๋ ๋ฐฉ๋ฒ |
Boris Dayma |
 |
| Weights & Biases๋ก ๐ค Hugging Face ๋ชจ๋ธ ์ต์ ํํ๊ธฐ |
W&B์ Hugging Face์ ํตํฉ์ ๋ณด์ฌ์ฃผ๋ ์ ์ฒด ํํ ๋ฆฌ์ผ |
Boris Dayma |
 |
| Longformer ์ฌ์ ํ๋ จํ๊ธฐ |
๊ธฐ์กด ์ฌ์ ํ๋ จ๋ ๋ชจ๋ธ์ "๊ธด" ๋ฒ์ ์ ๋น๋ํ๋ ๋ฐฉ๋ฒ |
Iz Beltagy |
 |
| QA๋ฅผ ์ํด Longformer ๋ฏธ์ธ ์กฐ์ ํ๊ธฐ |
QA ์์
์ ์ํด Longformer๋ฅผ ๋ฏธ์ธ ์กฐ์ ํ๋ ๋ฐฉ๋ฒ |
Suraj Patil |
 |
| ๐ค Nlp๋ก ๋ชจ๋ธ ํ๊ฐํ๊ธฐ |
Nlp๋ก TriviaQA์์ Longformer๋ฅผ ํ๊ฐํ๋ ๋ฐฉ๋ฒ |
Patrick von Platen |
 |
| ๊ฐ์ ๋ฒ์ ์ถ์ถ์ ์ํด T5 ๋ฏธ์ธ ์กฐ์ ํ๊ธฐ |
๊ฐ์ ๋ฒ์ ์ถ์ถ์ ์ํด ํ
์คํธ-ํ
์คํธ ํ์์ ์ฌ์ฉํ์ฌ PyTorch Lightning์ผ๋ก T5๋ฅผ ๋ฏธ์ธ ์กฐ์ ํ๋ ๋ฐฉ๋ฒ |
Lorenzo Ampil |
 |
| ๋ค์ค ํด๋์ค ๋ถ๋ฅ๋ฅผ ์ํด DistilBert ๋ฏธ์ธ ์กฐ์ ํ๊ธฐ |
๋ค์ค ํด๋์ค ๋ถ๋ฅ๋ฅผ ์ํด PyTorch๋ฅผ ์ฌ์ฉํ์ฌ DistilBert๋ฅผ ๋ฏธ์ธ ์กฐ์ ํ๋ ๋ฐฉ๋ฒ |
Abhishek Kumar Mishra |
 |
| ๋ค์ค ๋ ์ด๋ธ ๋ถ๋ฅ๋ฅผ ์ํด BERT ๋ฏธ์ธ ์กฐ์ ํ๊ธฐ |
๋ค์ค ๋ ์ด๋ธ ๋ถ๋ฅ๋ฅผ ์ํด PyTorch๋ฅผ ์ฌ์ฉํ์ฌ BERT๋ฅผ ๋ฏธ์ธ ์กฐ์ ํ๋ ๋ฐฉ๋ฒ |
Abhishek Kumar Mishra |
 |
| ์์ฝ์ ์ํด T5 ๋ฏธ์ธ ์กฐ์ ํ๊ธฐ |
์์ฝ์ ์ํด PyTorch๋ก T5๋ฅผ ๋ฏธ์ธ ์กฐ์ ํ๊ณ WandB๋ก ์คํ์ ์ถ์ ํ๋ ๋ฐฉ๋ฒ |
Abhishek Kumar Mishra |
 |
| ๋์ ํจ๋ฉ/๋ฒ์ผํ
์ผ๋ก Transformers ๋ฏธ์ธ ์กฐ์ ์๋ ๋์ด๊ธฐ |
๋์ ํจ๋ฉ/๋ฒ์ผํ
์ ์ฌ์ฉํ์ฌ ๋ฏธ์ธ ์กฐ์ ์๋๋ฅผ 2๋ฐฐ๋ก ๋์ด๋ ๋ฐฉ๋ฒ |
Michael Benesty |
 |
| ๋ง์คํน๋ ์ธ์ด ๋ชจ๋ธ๋ง์ ์ํด Reformer ์ฌ์ ํ๋ จํ๊ธฐ |
์๋ฐฉํฅ ์
ํ ์ดํ
์
๋ ์ด์ด๋ฅผ ์ด์ฉํด์ Reformer ๋ชจ๋ธ์ ํ๋ จํ๋ ๋ฐฉ๋ฒ |
Patrick von Platen |
 |
| Sci-BERT ํ์ฅ ๋ฐ ๋ฏธ์ธ ์กฐ์ ํ๊ธฐ |
CORD ๋ฐ์ดํฐ ์ธํธ๋ก AllenAI์์ ์ฌ์ ํ๋ จ๋ SciBERT ๋ชจ๋ธ์ ์ดํ๋ฅผ ๋๋ฆฌ๊ณ ํ์ดํ๋ผ์ธ์ ๊ตฌ์ถํ๋ ๋ฐฉ๋ฒ |
Tanmay Thakur |
 |
| ์์ฝ์ ์ํด Trainer API๋ก BlenderBotSmall ๋ฏธ์ธ ์กฐ์ ํ๊ธฐ |
์์ฝ์ ์ํด Trainer API๋ฅผ ์ฌ์ฉํ์ฌ ์ฌ์ฉ์ ์ง์ ๋ฐ์ดํฐ ์ธํธ๋ก BlenderBotSmall ๋ฏธ์ธ ์กฐ์ ํ๊ธฐ |
Tanmay Thakur |
 |
| ํตํฉ ๊ธฐ์ธ๊ธฐ(Integrated Gradient)๋ฅผ ์ด์ฉํ์ฌ Electra ๋ฏธ์ธ ์กฐ์ ํ๊ณ ํด์ํ๊ธฐ |
๊ฐ์ ๋ถ์์ ์ํด Electra๋ฅผ ๋ฏธ์ธ ์กฐ์ ํ๊ณ Captum ํตํฉ ๊ธฐ์ธ๊ธฐ๋ก ์์ธก์ ํด์ํ๋ ๋ฐฉ๋ฒ |
Eliza Szczechla |
 |
| Trainer ํด๋์ค๋ก ๋น์์ด๊ถ GPT-2 ๋ชจ๋ธ ๋ฏธ์ธ ์กฐ์ ํ๊ธฐ |
Trainer ํด๋์ค๋ก ๋น์์ด๊ถ GPT-2 ๋ชจ๋ธ์ ๋ฏธ์ธ ์กฐ์ ํ๋ ๋ฐฉ๋ฒ |
Philipp Schmid |
 |
| ๋ค์ค ๋ผ๋ฒจ ๋ถ๋ฅ ์์
์ ์ํด DistilBERT ๋ชจ๋ธ ๋ฏธ์ธ ์กฐ์ ํ๊ธฐ |
๋ค์ค ๋ผ๋ฒจ ๋ถ๋ฅ ์์
์ ์ํด DistilBERT ๋ชจ๋ธ์ ๋ฏธ์ธ ์กฐ์ ํ๋ ๋ฐฉ๋ฒ |
Dhaval Taunk |
 |
| ๋ฌธ์ฅ์ ๋ถ๋ฅ๋ฅผ ์ํด ALBERT ๋ฏธ์ธ ์กฐ์ ํ๊ธฐ |
๋ฌธ์ฅ์ ๋ถ๋ฅ ์์
์ ์ํด ALBERT ๋ชจ๋ธ ๋๋ ๋ค๋ฅธ BERT ๊ธฐ๋ฐ ๋ชจ๋ธ์ ๋ฏธ์ธ ์กฐ์ ํ๋ ๋ฐฉ๋ฒ |
Nadir El Manouzi |
 |
| ๊ฐ์ ๋ถ์์ ์ํด Roberta ๋ฏธ์ธ ์กฐ์ ํ๊ธฐ |
๊ฐ์ ๋ถ์์ ์ํด Roberta ๋ชจ๋ธ์ ๋ฏธ์ธ ์กฐ์ ํ๋ ๋ฐฉ๋ฒ |
Dhaval Taunk |
 |
| ์ง๋ฌธ ์์ฑ ๋ชจ๋ธ ํ๊ฐํ๊ธฐ |
seq2seq ํธ๋์คํฌ๋จธ ๋ชจ๋ธ์ด ์์ฑํ ์ง๋ฌธ๊ณผ ์ด์ ๋ํ ๋ต๋ณ์ด ์ผ๋ง๋ ์ ํํ๊ฐ์? |
Pascal Zoleko |
 |
| DistilBERT์ Tensorflow๋ก ํ
์คํธ ๋ถ๋ฅํ๊ธฐ |
ํ
์คํธ ๋ถ๋ฅ๋ฅผ ์ํด TensorFlow๋ก DistilBERT๋ฅผ ๋ฏธ์ธ ์กฐ์ ํ๋ ๋ฐฉ๋ฒ |
Peter Bayerle |
 |
| CNN/Dailail ์์ฝ์ ์ํด ์ธ์ฝ๋-๋์ฝ๋ ๋ชจ๋ธ์ BERT ํ์ฉํ๊ธฐ |
CNN/Dailail ์์ฝ์ ์ํด google-bert/bert-base-uncased ์ฒดํฌํฌ์ธํธ๋ฅผ ํ์ฉํ์ฌ EncoderDecoderModel์ ์๋ฐ์
ํ๋ ๋ฐฉ๋ฒ |
Patrick von Platen |
 |
| BBC XSum ์์ฝ์ ์ํด ์ธ์ฝ๋-๋์ฝ๋ ๋ชจ๋ธ์ RoBERTa ํ์ฉํ๊ธฐ |
BBC/XSum ์์ฝ์ ์ํด FacebookAI/roberta-base ์ฒดํฌํฌ์ธํธ๋ฅผ ํ์ฉํ์ฌ ๊ณต์ EncoderDecoderModel์ ์๋ฐ์
ํ๋ ๋ฐฉ๋ฒ |
Patrick von Platen |
 |
| ์์ฐจ์ ์ง๋ฌธ ๋ต๋ณ(SQA)์ ์ํด TAPAS ๋ฏธ์ธ ์กฐ์ ํ๊ธฐ |
tapas-base ์ฒดํฌํฌ์ธํธ๋ฅผ ํ์ฉํ์ฌ ์์ฐจ์ ์ง๋ฌธ ๋ต๋ณ(SQA) ๋ฐ์ดํฐ ์ธํธ๋ก TapasForQuestionAnswering์ ๋ฏธ์ธ ์กฐ์ ํ๋ ๋ฐฉ๋ฒ |
Niels Rogge |
 |
| ํ ์ฌ์ค ๊ฒ์ฌ(TabFact)๋ก TAPAS ํ๊ฐํ๊ธฐ |
๐ค Datasets์ ๐ค Transformer ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ฅผ ํจ๊ป ์ฌ์ฉํ์ฌ tapas-base-finetuned-tabfact ์ฒดํฌํฌ์ธํธ๋ก ๋ฏธ์ธ ์กฐ์ ๋ TapasForSequenceClassification์ ํ๊ฐํ๋ ๋ฐฉ๋ฒ |
Niels Rogge |
 |
| ๋ฒ์ญ์ ์ํด mBART ๋ฏธ์ธ ์กฐ์ ํ๊ธฐ |
ํ๋์ด์์ ์์ด๋ก ๋ฒ์ญํ๊ธฐ ์ํด Seq2SeqTrainer๋ฅผ ์ฌ์ฉํ์ฌ mBART๋ฅผ ๋ฏธ์ธ ์กฐ์ ํ๋ ๋ฐฉ๋ฒ |
Vasudev Gupta |
 |
| FUNSD(์์ ์ดํด ๋ฐ์ดํฐ ์ธํธ)๋ก LayoutLM ๋ฏธ์ธ ์กฐ์ ํ๊ธฐ |
์ค์บํ ๋ฌธ์์์ ์ ๋ณด ์ถ์ถ์ ์ํด FUNSD ๋ฐ์ดํฐ ์ธํธ๋ก LayoutLMForTokenClassification์ ๋ฏธ์ธ ์กฐ์ ํ๋ ๋ฐฉ๋ฒ |
Niels Rogge |
 |
| DistilGPT2 ๋ฏธ์ธ ์กฐ์ ํ๊ณ ๋ฐ ํ
์คํธ ์์ฑํ๊ธฐ |
DistilGPT2๋ฅผ ๋ฏธ์ธ ์กฐ์ ํ๊ณ ํ
์คํธ๋ฅผ ์์ฑํ๋ ๋ฐฉ๋ฒ |
Aakash Tripathi |
 |
| ์ต๋ 8K ํ ํฐ์์ LED ๋ฏธ์ธ ์กฐ์ ํ๊ธฐ |
๊ธด ๋ฒ์๋ฅผ ์์ฝํ๊ธฐ ์ํด PubMed๋ก LED๋ฅผ ๋ฏธ์ธ ์กฐ์ ํ๋ ๋ฐฉ๋ฒ |
Patrick von Platen |
 |
| Arxiv๋ก LED ํ๊ฐํ๊ธฐ |
๊ธด ๋ฒ์ ์์ฝ์ ๋ํด LED๋ฅผ ํจ๊ณผ์ ์ผ๋ก ํ๊ฐํ๋ ๋ฐฉ๋ฒ |
Patrick von Platen |
 |
| RVL-CDIP(๋ฌธ์ ์ด๋ฏธ์ง ๋ถ๋ฅ ๋ฐ์ดํฐ ์ธํธ)๋ก LayoutLM ๋ฏธ์ธ ์กฐ์ ํ๊ธฐ) |
์ค์บ ๋ฌธ์ ๋ถ๋ฅ๋ฅผ ์ํด RVL-CDIP ๋ฐ์ดํฐ ์ธํธ๋ก LayoutLMForSequenceClassification์ ๋ฏธ์ธ ์กฐ์ ํ๋ ๋ฐฉ๋ฒ |
Niels Rogge |
 |
| GPT2 ์กฐ์ ์ ํตํ Wav2Vec2 CTC ๋์ฝ๋ฉ |
์ธ์ด ๋ชจ๋ธ ์กฐ์ ์ ํตํด CTC ์ํ์ค๋ฅผ ๋์ฝ๋ฉํ๋ ๋ฐฉ๋ฒ |
Eric Lam |
 |
| Trainer ํด๋์ค๋ก ๋ ๊ฐ ์ธ์ด๋ก ์์ฝํ๊ธฐ ์ํด BART ๋ฏธ์ธ ์กฐ์ ํ๊ธฐ |
Trainer ํด๋์ค๋ก ๋ ๊ฐ ์ธ์ด๋ก ์์ฝํ๊ธฐ ์ํด BART ๋ฏธ์ธ ์กฐ์ ํ๋ ๋ฐฉ๋ฒ |
Eliza Szczechla |
 |
| Trivia QA๋ก Big Bird ํ๊ฐํ๊ธฐ |
Trivia QA๋ก ๊ธด ๋ฌธ์ ์ง๋ฌธ์ ๋ํ ๋ต๋ณ์ ๋ํด BigBird๋ฅผ ํ๊ฐํ๋ ๋ฐฉ๋ฒ |
Patrick von Platen |
 |
| Wav2Vec2๋ฅผ ์ฌ์ฉํ์ฌ ๋์์ ์บก์
๋ง๋ค๊ธฐ |
Wav2Vec์ผ๋ก ์ค๋์ค๋ฅผ ํ
์คํธ๋ก ๋ณํํ์ฌ ๋ชจ๋ ๋์์์์ YouTube ์บก์
๋ง๋๋ ๋ฐฉ๋ฒ |
Niklas Muennighoff |
 |
| PyTorch Lightning์ ์ฌ์ฉํ์ฌ CIFAR-10์ผ๋ก ๋น์ ํธ๋์คํฌ๋จธ ๋ฏธ์ธ ์กฐ์ ํ๊ธฐ |
HuggingFace Transformers, Datasets, PyTorch Lightning์ ์ฌ์ฉํ์ฌ CIFAR-10์ผ๋ก ๋น์ ํธ๋์คํฌ๋จธ(ViT)๋ฅผ ๋ฏธ์ธ ์กฐ์ ํ๋ ๋ฐฉ๋ฒ |
Niels Rogge |
 |
| ๐ค Trainer๋ฅผ ์ฌ์ฉํ์ฌ CIFAR-10์์ ๋น์ ํธ๋์คํฌ๋จธ ๋ฏธ์ธ ์กฐ์ ํ๊ธฐ |
Datasets, ๐ค Trainer๋ฅผ ์ฌ์ฉํ์ฌ CIFAR-10์์ ๋น์ ํธ๋์คํฌ๋จธ(ViT)๋ฅผ ๋ฏธ์ธ ์กฐ์ ํ๋ ๋ฐฉ๋ฒ |
Niels Rogge |
 |
| ๊ฐ์ฒด ์
๋ ฅ ๋ฐ์ดํฐ ์ธํธ์ธ Open Entity๋ก LUKE ํ๊ฐํ๊ธฐ |
Open Entity ๋ฐ์ดํฐ ์ธํธ๋ก LukeForEntityClassification์ ํ๊ฐํ๋ ๋ฐฉ๋ฒ |
Ikuya Yamada |
 |
| ๊ด๊ณ ์ถ์ถ ๋ฐ์ดํฐ ์ธํธ์ธ TACRED๋ก LUKE ํ๊ฐํ๊ธฐ |
TACRED ๋ฐ์ดํฐ ์ธํธ๋ก LukeForEntityPairClassification์ ํ๊ฐํ๋ ๋ฐฉ๋ฒ |
Ikuya Yamada |
 |
| ์ค์ NER ๋ฒค์น๋งํฌ์ธ CoNLL-2003์ผ๋ก LUKE ํ๊ฐํ๊ธฐ |
CoNLL-2003 ๋ฐ์ดํฐ ์ธํธ๋ก LukeForEntitySpanClassification๋ฅผ ํ๊ฐํ๋ ๋ฐฉ๋ฒ |
Ikuya Yamada |
 |
| PubMed ๋ฐ์ดํฐ ์ธํธ๋ก BigBird-Pegasus ํ๊ฐํ๊ธฐ |
PubMed ๋ฐ์ดํฐ ์ธํธ๋ก BigBirdPegasusForConditionalGeneration๋ฅผ ํ๊ฐํ๋ ๋ฐฉ๋ฒ |
Vasudev Gupta |
 |
| Wav2Vec2๋ฅผ ์ฌ์ฉํด์ ์์ฑ ๊ฐ์ ๋ถ๋ฅํ๊ธฐ |
๊ฐ์ ๋ถ๋ฅ๋ฅผ ์ํด ์ฌ์ ํ๋ จ๋ Wav2Vec2 ๋ชจ๋ธ์ MEGA ๋ฐ์ดํฐ ์ธํธ์ ํ์ฉํ๋ ๋ฐฉ๋ฒ |
Mehrdad Farahani |
 |
| DETR๋ก ์ด๋ฏธ์ง์์ ๊ฐ์ฒด ํ์งํ๊ธฐ |
ํ๋ จ๋ DetrForObjectDetection ๋ชจ๋ธ์ ์ฌ์ฉํ์ฌ ์ด๋ฏธ์ง์์ ๊ฐ์ฒด๋ฅผ ํ์งํ๊ณ ์ดํ
์
์ ์๊ฐํํ๋ ๋ฐฉ๋ฒ |
Niels Rogge |
 |
| ์ฌ์ฉ์ ์ง์ ๊ฐ์ฒด ํ์ง ๋ฐ์ดํฐ ์ธํธ๋ก DETR ๋ฏธ์ธ ์กฐ์ ํ๊ธฐ |
์ฌ์ฉ์ ์ง์ ๊ฐ์ฒด ํ์ง ๋ฐ์ดํฐ ์ธํธ๋ก DetrForObjectDetection์ ๋ฏธ์ธ ์กฐ์ ํ๋ ๋ฐฉ๋ฒ |
Niels Rogge |
 |
| ๊ฐ์ฒด๋ช
์ธ์์ ์ํด T5 ๋ฏธ์ธ ์กฐ์ ํ๊ธฐ |
๊ฐ์ฒด๋ช
์ธ์ ์์
์ ์ํด T5๋ฅผ ๋ฏธ์ธ ์กฐ์ ํ๋ ๋ฐฉ๋ฒ |
Ogundepo Odunayo |
 |