diff --git a/.gitattributes b/.gitattributes index a6344aac8c09253b3b630fb776ae94478aa0275b..75357240a4becf4593978d0da71968fd17d15995 100644 --- a/.gitattributes +++ b/.gitattributes @@ -33,3 +33,6 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text *.zip filter=lfs diff=lfs merge=lfs -text *.zst filter=lfs diff=lfs merge=lfs -text *tfevents* filter=lfs diff=lfs merge=lfs -text +BERT/bene-ges/en_g2p_cmu_bert_large/en_g2p.nemo filter=lfs diff=lfs merge=lfs -text +BERT/bene-ges/ru_g2p_ipa_bert_large/g2p_correct_vocab.txt filter=lfs diff=lfs merge=lfs -text +BERT/bene-ges/ru_g2p_ipa_bert_large/ru_g2p.nemo filter=lfs diff=lfs merge=lfs -text diff --git a/BERT/bene-ges/en_g2p_cmu_bert_large/.gitattributes b/BERT/bene-ges/en_g2p_cmu_bert_large/.gitattributes new file mode 100644 index 0000000000000000000000000000000000000000..67c3e5ab77164da61020fc465cf9885eb974b8a8 --- /dev/null +++ b/BERT/bene-ges/en_g2p_cmu_bert_large/.gitattributes @@ -0,0 +1,35 @@ +*.7z filter=lfs diff=lfs merge=lfs -text +*.arrow filter=lfs diff=lfs merge=lfs -text +*.bin filter=lfs diff=lfs merge=lfs -text +*.bz2 filter=lfs diff=lfs merge=lfs -text +*.ckpt filter=lfs diff=lfs merge=lfs -text +*.ftz filter=lfs diff=lfs merge=lfs -text +*.gz filter=lfs diff=lfs merge=lfs -text +*.h5 filter=lfs diff=lfs merge=lfs -text +*.joblib filter=lfs diff=lfs merge=lfs -text +*.lfs.* filter=lfs diff=lfs merge=lfs -text +*.mlmodel filter=lfs diff=lfs merge=lfs -text +*.model filter=lfs diff=lfs merge=lfs -text +*.msgpack filter=lfs diff=lfs merge=lfs -text +*.npy filter=lfs diff=lfs merge=lfs -text +*.npz filter=lfs diff=lfs merge=lfs -text +*.onnx filter=lfs diff=lfs merge=lfs -text +*.ot filter=lfs diff=lfs merge=lfs -text +*.parquet filter=lfs diff=lfs merge=lfs -text +*.pb filter=lfs diff=lfs merge=lfs -text +*.pickle filter=lfs diff=lfs merge=lfs -text +*.pkl filter=lfs diff=lfs merge=lfs -text +*.pt filter=lfs diff=lfs merge=lfs -text +*.pth filter=lfs diff=lfs merge=lfs -text +*.rar filter=lfs diff=lfs merge=lfs -text +*.safetensors filter=lfs diff=lfs merge=lfs -text +saved_model/**/* filter=lfs diff=lfs merge=lfs -text +*.tar.* filter=lfs diff=lfs merge=lfs -text +*.tflite filter=lfs diff=lfs merge=lfs -text +*.tgz filter=lfs diff=lfs merge=lfs -text +*.wasm filter=lfs diff=lfs merge=lfs -text +*.xz filter=lfs diff=lfs merge=lfs -text +*.zip filter=lfs diff=lfs merge=lfs -text +*.zst filter=lfs diff=lfs merge=lfs -text +*tfevents* filter=lfs diff=lfs merge=lfs -text +en_g2p.nemo filter=lfs diff=lfs merge=lfs -text diff --git a/BERT/bene-ges/en_g2p_cmu_bert_large/README.md b/BERT/bene-ges/en_g2p_cmu_bert_large/README.md new file mode 100644 index 0000000000000000000000000000000000000000..4c156c826722ecac1b6754383358c9fddbb89915 --- /dev/null +++ b/BERT/bene-ges/en_g2p_cmu_bert_large/README.md @@ -0,0 +1,71 @@ +--- +license: cc-by-4.0 +language: +- en +library_name: nemo +pipeline_tag: token-classification +tags: +- G2P +- Grapheme-to-Phoneme +--- + +# English G2P token classification model + +This is a non-autoregressive model for English grapheme-to-phoneme (G2P) conversion based on BERT architecture. It predicts phonemes in CMU format. +Initial data was built using CMUdict v0.07 + + +## Intended uses & limitations + +The input is expected to contain english words consisting of latin letters and apostrophe, all letters separated by space. + +### How to use + +Install NeMo. + +Download en_g2p.nemo (this model) +```bash +git lfs install +git clone https://huggingface.co/bene-ges/en_g2p_cmu_bert_large +``` + +Run + +```bash +python ${NEMO_ROOT}/examples/nlp/text_normalization_as_tagging/normalization_as_tagging_infer.py \ + pretrained_model=en_g2p_cmu_bert_large/en_g2p.nemo \ + inference.from_file=input.txt \ + inference.out_file=output.txt \ + model.max_sequence_len=64 \ + inference.batch_size=128 \ + lang=en +``` + +Example of input file: +``` +g e f f e r t +p r o s c r i b e d +p r o m i n e n t l y +j o c e l y n +m a r c e c a ' s +s t a n k o w s k i +m u f f l e +``` + +Example of output file: +``` +G EH1 F ER0 T g e f f e r t G EH1 F ER0 T G EH1 F ER0 T PLAIN PLAIN PLAIN PLAIN PLAIN PLAIN PLAIN +P R OW0 S K R AY1 B D p r o s c r i b e d P R OW0 S K R AY1 B D P R OW0 S K R AY1 B D PLAIN PLAIN PLAIN PLAIN PLAIN PLAIN PLAIN PLAIN PLAIN PLAIN +P R AA1 M AH0 N AH0 N T L IY0 p r o m i n e n t l y P R AA1 M AH0 N AH0 N T L IY0 P R AA1 M AH0 N AH0 N T L IY0 PLAIN PLAIN PLAIN PLAIN PLAIN PLAIN PLAIN PLAIN PLAIN PLAIN PLAIN +JH AO1 S L IH0 N j o c e l y n JH AO1 S L IH0 N JH AO1 S L IH0 N PLAIN PLAIN PLAIN PLAIN PLAIN PLAIN PLAIN +M AA0 R S EH1 K AH0 Z m a r c e c a ' s M AA0 R S EH1 K AH0 Z M AA0 R S EH1 K AH0 Z PLAIN PLAIN PLAIN PLAIN PLAIN PLAIN PLAIN PLAIN PLAIN +S T AH0 NG K AO1 F S K IY0 s t a n k o w s k i S T AH0 NG K AO1 F S K IY0 S T AH0 NG K AO1 F S K IY0 PLAIN PLAIN PLAIN PLAIN PLAIN PLAIN PLAIN PLAIN PLAIN PLAIN +M AH1 F AH0L m u f f l e M AH1 F AH0_L M AH1 F AH0_L PLAIN PLAIN PLAIN PLAIN PLAIN PLAIN +``` + +Note that the correct output tags are in the **third** column, input is in the second column. +Tags correspond to input letters in a one-to-one fashion. If you remove `` tag, and replace `_` with space, you should get CMU-like transcription. + +### How to use for TTS +See this [script](https://github.com/bene-ges/nemo_compatible/blob/main/scripts/tts/tts_en_infer_from_cmu_phonemes.py) to run TTS directly from CMU phonemes. + diff --git a/BERT/bene-ges/en_g2p_cmu_bert_large/en_g2p.nemo b/BERT/bene-ges/en_g2p_cmu_bert_large/en_g2p.nemo new file mode 100644 index 0000000000000000000000000000000000000000..e9cda0f657c8a391385da3f2158558f7d2653a08 --- /dev/null +++ b/BERT/bene-ges/en_g2p_cmu_bert_large/en_g2p.nemo @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:98a4b107e0ccfdb863c4db26a928768c3651df5a4aa1de931e4d4335f23eedb9 +size 439398400 diff --git a/BERT/bene-ges/en_g2p_cmu_bert_large/source.txt b/BERT/bene-ges/en_g2p_cmu_bert_large/source.txt new file mode 100644 index 0000000000000000000000000000000000000000..9cd8367e7765fa11c4950d8c7eb6e3f099eccc9c --- /dev/null +++ b/BERT/bene-ges/en_g2p_cmu_bert_large/source.txt @@ -0,0 +1 @@ +https://huggingface.co/bene-ges/en_g2p_cmu_bert_large \ No newline at end of file diff --git a/BERT/bene-ges/ru_g2p_ipa_bert_large/.gitattributes b/BERT/bene-ges/ru_g2p_ipa_bert_large/.gitattributes new file mode 100644 index 0000000000000000000000000000000000000000..4142b563dd45759055d8437b4d2315492c28aa15 --- /dev/null +++ b/BERT/bene-ges/ru_g2p_ipa_bert_large/.gitattributes @@ -0,0 +1,36 @@ +*.7z filter=lfs diff=lfs merge=lfs -text +*.arrow filter=lfs diff=lfs merge=lfs -text +*.bin filter=lfs diff=lfs merge=lfs -text +*.bz2 filter=lfs diff=lfs merge=lfs -text +*.ckpt filter=lfs diff=lfs merge=lfs -text +*.ftz filter=lfs diff=lfs merge=lfs -text +*.gz filter=lfs diff=lfs merge=lfs -text +*.h5 filter=lfs diff=lfs merge=lfs -text +*.joblib filter=lfs diff=lfs merge=lfs -text +*.lfs.* filter=lfs diff=lfs merge=lfs -text +*.mlmodel filter=lfs diff=lfs merge=lfs -text +*.model filter=lfs diff=lfs merge=lfs -text +*.msgpack filter=lfs diff=lfs merge=lfs -text +*.npy filter=lfs diff=lfs merge=lfs -text +*.npz filter=lfs diff=lfs merge=lfs -text +*.onnx filter=lfs diff=lfs merge=lfs -text +*.ot filter=lfs diff=lfs merge=lfs -text +*.parquet filter=lfs diff=lfs merge=lfs -text +*.pb filter=lfs diff=lfs merge=lfs -text +*.pickle filter=lfs diff=lfs merge=lfs -text +*.pkl filter=lfs diff=lfs merge=lfs -text +*.pt filter=lfs diff=lfs merge=lfs -text +*.pth filter=lfs diff=lfs merge=lfs -text +*.rar filter=lfs diff=lfs merge=lfs -text +*.safetensors filter=lfs diff=lfs merge=lfs -text +saved_model/**/* filter=lfs diff=lfs merge=lfs -text +*.tar.* filter=lfs diff=lfs merge=lfs -text +*.tflite filter=lfs diff=lfs merge=lfs -text +*.tgz filter=lfs diff=lfs merge=lfs -text +*.wasm filter=lfs diff=lfs merge=lfs -text +*.xz filter=lfs diff=lfs merge=lfs -text +*.zip filter=lfs diff=lfs merge=lfs -text +*.zst filter=lfs diff=lfs merge=lfs -text +*tfevents* filter=lfs diff=lfs merge=lfs -text +ru_g2p.nemo filter=lfs diff=lfs merge=lfs -text +g2p_correct_vocab.txt filter=lfs diff=lfs merge=lfs -text diff --git a/BERT/bene-ges/ru_g2p_ipa_bert_large/README.md b/BERT/bene-ges/ru_g2p_ipa_bert_large/README.md new file mode 100644 index 0000000000000000000000000000000000000000..aa04053f1f53f2b9f4759509839e18faca6c6d77 --- /dev/null +++ b/BERT/bene-ges/ru_g2p_ipa_bert_large/README.md @@ -0,0 +1,74 @@ +--- +license: cc-by-4.0 +language: +- ru +library_name: nemo +pipeline_tag: token-classification +tags: +- G2P +- Grapheme-to-Phoneme +--- + +# Russian G2P token classification model + +This is a non-autoregressive model for Russian grapheme-to-phoneme (G2P) conversion based on BERT architecture. It predicts phonemes in IPA format. +Initial data was built using Wiktionary json from https://kaikki.org/dictionary/Russian/index.html + + +## Intended uses & limitations + +The input is expected to consist of cyrillic letters separated by space. Real space should be replaced to underscore(_). +Note that the model was trained on single words and some short phrases. +Though it can accept longer phrases its accuracy may degrade on them. + +### How to use + +Install NeMo. + +Download ru_g2p.nemo (this model) +```bash +git lfs install +git clone https://huggingface.co/bene-ges/ru_g2p_ipa_bert_large +``` + +Run + +```bash +python ${NEMO_ROOT}/examples/nlp/text_normalization_as_tagging/normalization_as_tagging_infer.py \ + pretrained_model=ru_g2p_ipa_bert_large/ru_g2p.nemo \ + inference.from_file=input.txt \ + inference.out_file=output.txt \ + model.max_sequence_len=512 \ + inference.batch_size=128 \ + lang=ru +``` + +Example of input file: +``` +и с х о д +т р а н с н е п т у н о в ы х +т е л я т н и к о в с к о е +ц а р с к о г о +к р о с х о ф +г а н с - ю р г е н +д а р д а н е л л +``` + +Example of output file: +``` +ɪ s x 'o t и с х о д ɪ s x 'o t ɪ s x 'o t PLAIN PLAIN PLAIN PLAIN PLAIN +t r a nʲ sʲ nʲ ɪ p t 'u n ə v ɨ x т р а н с н е п т у н о в ы х t r a nʲ sʲ nʲ ɪ p t 'u n ə v ɨ x t r a nʲ sʲ nʲ ɪ p t 'u n ə v ɨ x PLAIN PLAIN PLAIN PLAIN PLAIN PLAIN PLAIN PLAIN PLAIN PLAIN PLAIN PLAIN PLAIN PLAIN PLAIN +tʲ ɪ lʲ 'æ tʲ nʲ ɪ k ə f s k ə jə т е л я т н и к о в с к о е tʲ ɪ lʲ 'æ tʲ nʲ ɪ k ə f s k ə jə tʲ ɪ lʲ 'æ tʲ nʲ ɪ k ə f s k ə jə PLAIN PLAIN PLAIN PLAIN PLAIN PLAIN PLAIN PLAIN PLAIN PLAIN PLAIN PLAIN PLAIN PLAIN +t~s 'a r s k ə v ə ц а р с к о г о t~s 'a r s k ə v ə t~s 'a r s k ə v ə PLAIN PLAIN PLAIN PLAIN PLAIN PLAIN PLAIN PLAIN +k r ɐ s x 'o f к р о с х о ф k r ɐ s x 'o f k r ɐ s x 'o f PLAIN PLAIN PLAIN PLAIN PLAIN PLAIN PLAIN +ɡ a n s 'ju r ɡʲ ɪ n г а н с - ю р г е н ɡ a n s _ 'ju r ɡʲ ɪ n ɡ a n s _ 'ju r ɡʲ ɪ n PLAIN PLAIN PLAIN PLAIN PLAIN PLAIN PLAIN PLAIN PLAIN PLAIN +d ə r d ɐ n 'ɛ ɫ д а р д а н е л л d ə r d ɐ n 'ɛ ɫ d ə r d ɐ n 'ɛ ɫ PLAIN PLAIN PLAIN PLAIN PLAIN PLAIN PLAIN PLAIN PLAIN +``` + +Note that the correct output tags are in the **third** column, input is in the second column. +Tags correspond to input letters in a one-to-one fashion. If you remove `` tag, `+`, `~`, and spaces, you should get IPA-like transcription. +The model does not predict secondary stress. The primary stress is put directly before the stressed vowel. In some cases stress can be missing. + +### How to use for TTS + +See example of inference pipeline for G2P + FastPitch + HifiGAN in this [notebook](https://github.com/bene-ges/nemo_compatible/blob/main/notebooks/Russian_TTS_with_IPA_G2P_FastPitch_and_HifiGAN.ipynb). diff --git a/BERT/bene-ges/ru_g2p_ipa_bert_large/g2p_correct_vocab.txt b/BERT/bene-ges/ru_g2p_ipa_bert_large/g2p_correct_vocab.txt new file mode 100644 index 0000000000000000000000000000000000000000..0ad64bd05230a75a978644c55c2348d1c5e09590 --- /dev/null +++ b/BERT/bene-ges/ru_g2p_ipa_bert_large/g2p_correct_vocab.txt @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:6ea7cf39bdf8b6d5d46c4c5b6511170bc08a5d46c8c5b03fb8ef775afce75a1c +size 33813179 diff --git a/BERT/bene-ges/ru_g2p_ipa_bert_large/heteronyms.txt b/BERT/bene-ges/ru_g2p_ipa_bert_large/heteronyms.txt new file mode 100644 index 0000000000000000000000000000000000000000..cdcba30b9704ed3e24967a6af125a1f169926f47 --- /dev/null +++ b/BERT/bene-ges/ru_g2p_ipa_bert_large/heteronyms.txt @@ -0,0 +1,17359 @@ +копящего +нормируемую +притупленному +батьком +сноубордам +ебаные +пролилось +придалось +восхищены +оторвана +вязка +морщившую +танталовым +перезагруженной +ходу +заплачу +свился +напился +класа +подпили +виражи +вишневою +выходившего +преуменьшенные +черкая +ломтю +саднишь +икает +дразните +иглы +ужинающим +восхищенном +туплена +строчными +заду +скрепера +отвинтят +врезавшая +виски +прожито +планирующая +трудим +рассыпавшихся +чекают +роста +преуменьшил +щелочные +сползавшее +житье +искринками +осыпало +протяжен +искрящимся +жизами +мизерные +криптам +обухи +разогнались +огородишь +посыпавшими +скреперах +сервируемую +мутишь +перчимыми +максима +пуделями +варящему +черепа +сеченною +траншей +сечен +набухать +юркнуть +воронкам +приобняло +кауперов +микрокатера +худом +еблами +загрузится +проказила +разгруженного +помершие +ньютон +кителями +погрузитесь +пробитого +муфеля +надею +нигером +ирисах +спирту +проклятое +саднившие +преуменьшенном +усыпали +брустверов +почтенном +отсыпавшийся +роженицами +тусе +трусам +баловало +перебегала +скутера +вишневый +повернут +примеряйтесь +подлитые +наносите +луженная +фетиши +переселится +струям +блумфонтейну +дабы +ряженным +пузырясь +мету +вклиненными +луженным +екаете +перекосите +мизерно +рупорам +поршнями +отделите +принужу +обзаводитесь +феноменах +свету +софам +крестными +разгромленное +перелитая +ермаков +пыхнуло +черкаемые +дивчинами +моля +кружка +посыпаться +вензеля +прострелите +корешам +проползающему +соколом +атласных +скатитесь +оброните +ведром +замершие +уставному +дочушкою +саду +раздробленным +путана +шабаши +желчи +выметаю +преуменьшен +остро +брюшки +волной +задвигавшимися +проклятою +почтенной +разгруженных +осыпавшее +грузит +поступите +тупикам +ага +помершей +кутите +фоны +глиссерами +танкерах +саднящему +расселитесь +овнам +фитою +нагруженные +киликия +робившею +кашлянет +учителях +венчанными +уменьшившегося +заряженному +напоенный +пушку +газирующими +продвигают +сервируемый +теплив +спиздят +врезавшаяся +заточите +забегавшего +морщащим +пережитому +уменьшенный +посыпавшемся +отползавшей +вклинимся +сервирует +полю +емлите +горю +струсившая +душа +громлен +приближенную +гордонами +сгрудишься +юркнувшее +бойфрендов +притворимся +буре +рогозу +угольных +пузырившеюся +перебегавшим +венцам +косят +восстановитесь +подвижных +целившею +воронью +соболям +длины +проказившем +степы +охает +свеклу +плинтусов +маня +скопитесь +вывозивший +решетчатым +торте +политруках +наползайте +стеблям +милующие +робившее +придержите +провод +уменьшился +пурпурному +пузырившемуся +пыхнувши +истекшим +ряжен +перчимое +екали +уносим +передвигавшим +интервьюер +сангрия +гафелями +прожиты +подрезавших +передразненным +анапестам +брови +поблескивавшей +перебегаю +сломите +шаберов +целившей +планируемый +клубами +нудить +планировавшие +девичьих +табелям +чудна +отдались +маастрихтом +непросты +бриджтауне +спрингеров +прищуры +общине +ранимы +разгруженными +балуюсь +ржавевшими +нормировавшею +дому +кровоточащий +преуменьшившими +вилкам +строенную +бриджтауном +аэропортом +чухи +затолкнут +тандеме +камфорах +девицею +отеку +шестью +морячки +туза +пробегала +всыпал +нудившею +избегаете +отбегавшую +статью +парники +напоит +отпадала +хлопку +набегайте +заснежен +личною +отпило +пожни +заточенной +криптах +поклялось +матерщиной +бытие +отогнут +давящую +сегуном +складное +судьям +зубчатых +служите +корей +деньгах +плоде +сечена +вентерям +нагрузите +колледжей +чохами +измерявшая +годны +трусите +целящие +степам +чучи +сгружен +апселях +дискурсами +осыпавшемуся +приобнял +провалите +западать +забегавши +серевши +старшинства +кружим +примерялись +нормирующей +кубами +азеров +расступитесь +осведомлена +наползавшую +джорджтауну +скопленных +запыхаться +отворенная +манты +замершего +передразненной +пересыпав +шелковых +сгрузишь +наряду +гвоздиками +любое +робленная +саундтреку +отдана +створим +судим +подсыпав +лазанья +еблам +саженью +маненное +перезагруженною +разгонитесь +искринки +качку +поблескивай +выносишь +преуменьшившую +проползавшей +пролиты +занятой +исправим +крейсеров +милочками +притуплено +смиренному +камфору +искрившуюся +маховое +балован +теплом +чинящею +тикавших +бунтом +отползавши +жидовщиною +сходитесь +планирована +класы +методами +сучит +чану +сложена +луку +компаса +раздробленный +свердлова +отворите +отбыло +переняло +роблю +разряженного +раздробленностям +сосны +праотец +любым +ржавеем +уменьшившее +мудрой +фраера +балующихся +сползавшею +замыкать +учен +перерезав +шкипера +бамперам +притворятся +серьгах +иссушенном +строен +разучите +обеспечение +отгруженный +запыхавшаяся +видений +плутам +признается +бостон +сервирующих +домовому +просака +посолит +сняты +предусмотрите +разделись +бересты +прожило +тузам +закрутите +подана +обмеряю +флигелей +пересекшись +маркетинги +седел +зубрят +кельне +газируемую +тупимому +копцами +бунтах +ржавея +ножнах +миру +холок +переключится +ужинавшем +пописать +туши +канберрою +пуками +наползал +примерявшаяся +колбасы +буры +стащите +паленную +дружащего +штуцеров +дружащий +обосралось +околесицей +вклинивших +связном +алкашней +ступите +опорожненных +примеряй +совершенных +отлитых +поблескивавшем +выметавшем +унтеров +заслоним +корректоров +блядина +обрамлена +балующаяся +высоки +альфреде +качки +ковка +коренную +перуном +дубу +ястребов +худобы +затворишь +приближенною +ражу +просыпавшими +долга +разгромленными +пересыпавших +уремы +отрезавшую +пропадали +селены +фухтелях +крестное +протыкавшую +покатитесь +мяха +максиму +временщиками +поплатитесь +шпателя +перепланированным +снялись +цветшим +туеров +парниках +жаркие +козырная +отпитый +череслом +замершую +слеги +примкнут +пробудится +научитесь +запрет +соболями +клети +пропадав +мудям +подобрана +респираторной +разбегавшейся +вклинились +серьгам +пробрана +насыпавшая +предвосхитить +пола +патину +ирисовое +попалите +любою +нападавших +токам +едом +ранимый +страстным +робившим +расцветшей +осыпавшийся +бегу +потупивший +высыпавши +воронах +рудого +труженную +вылазить +ебле +ряженные +боксеры +бухнет +обрамила +погруженной +гною +леска +черкаемым +фиту +затворенных +замесите +респираторная +выноситься +складною +околесице +волны +сравненною +передвигай +сбегавши +тупленную +почините +нулевой +белкам +бостоном +поселите +корректорах +дожитой +полило +шелковое +старшинством +искусом +грядам +развитом +дубляжами +пружена +расцветшем +отсыпал +нудны +госпиталях +аншлюсов +стеку +балующегося +отбегавшие +рассыпала +сравненное +отползай +расаму +налило +подружишься +притупленной +перчившее +шабаша +тавра +нетопырей +корпусах +сегуне +парами +морщившего +обмерявших +строчных +клапанам +черкает +креплены +пяденью +проказившего +разделитесь +сенсорному +украины +простудите +изрешеченною +старьевщиках +переселит +пуловер +плюсовою +разряженными +рыбарь +пропусков +фраерам +откупа +пересекло +осыпал +даренных +пробитым +сила +кирзовою +овнов +паремией +разгружен +гружены +маневру +предался +ягодице +нормировала +блумфонтейне +альфредах +пядях +выносившею +сварите +фатам +треске +подсыпавшему +примерявших +руна +колледжу +дружны +створенными +копи +запрудим +чудные +морщивший +нагруженного +колю +штабам +натурах +ворочается +парную +закружено +гружен +телемаркетинги +плева +шелковым +вычитает +сгруженному +маркера +довозите +пахнули +юркну +агам +перчив +пыхните +витою +измеряли +недоуменном +роя +перебегало +виражей +осимы +ирису +отменен +альфредом +интервьюерах +жирком +просыпав +витыми +бранен +попалишь +шприца +нормируете +бухла +получитесь +задвигавшую +боях +жмыхами +умолк +сангриею +снятым +малышках +перепадавшую +дарят +разъяснить +хороните +гордонам +порте +рябинка +поят +нанялся +сбегавшее +пузырящемся +шприцами +восхитившему +газировавшего +крестную +заржавеете +здорово +зарешетив +таен +пурпурные +уменьшу +разъяснило +спизжу +настороженно +контра +тупившему +нулевыми +загородит +поите +руну +подрезало +сомом +загородят +пробыли +промокнем +рогозах +разгромленною +размеряли +закружен +решетившему +одновременен +ворочаемого +меха +всучите +вложитесь +слаженном +роженицею +бухаете +даренной +слезы +бабах +трюфеля +мерседесах +тупы +толокна +развитую +шкиперах +заржавевшими +передвигавшего +теплящим +выметавших +кончу +твердей +писавшиеся +барже +чекать +омбудсмену +измерять +перекусите +перезагрузит +двоен +херу +белящему +прорубями +перепланировавшего +отпершимися +доменные +скопленного +расселите +потопаем +лишку +ворочающая +сеттера +подалось +цедящая +строчного +примените +асане +дали +утки +створенные +скопленными +пропили +блудишь +протыкала +далось +смогу +пропастями +измерим +решетят +цветшее +юркни +отпадав +бриджтауны +богаче +нормируемому +степи +дрались +треплах +нудят +склепа +одновременно +облитый +робившем +ворочали +термина +иссушенный +тепленную +разряженном +ильиною +голубке +отдышитесь +бронированном +асимметрии +варящая +дубляжам +подлил +македонская +вклиненную +мумиям +половым +щелочной +соболя +опорожнен +залиты +сенсорное +ровна +ирисового +тупиковая +просыпавшийся +морячку +прицепитесь +сучку +перебрался +чернобылях +задвигавшему +отползавшею +примеряешь +пропитыми +украинцем +замечу +продвигаешь +восхищенное +присыпавшею +петрове +озерцам +девичьем +обдали +травите +милующей +девичий +сбегаемся +дразнящих +душу +мастерски +армянофилией +шумам +ворочающийся +тупящими +отбегай +месяцами +газировавшем +доведей +хвалим +фомина +выметала +варварами +стоящие +раздробленна +честны +отбегайте +бухав +айова +маневренным +узгирье +отсосу +феноменов +сосенками +качнут +сверленных +описав +отмерявшим +банши +морщившее +прижились +битой +заточены +лимфодренажа +нулевому +спешите +померший +запыхались +сладившего +обегавшим +бронируемого +веса +соцобеспечению +парнику +язом +пристаем +золотом +пиццерии +недвижимым +замер +слизнувшего +сервированные +юры +свердловой +королевой +буйна +гасящего +предвосхитившей +развиты +щавелей +стрехи +плацу +сползавшими +балующему +троичному +подпитом +притупленном +алфавите +высыпало +разучитесь +павловскою +петровыми +стежках +зарезали +бухайте +искрящемуся +долгу +ебаными +искрившаяся +пригоршнею +заплатите +молодцы +копящим +сноубордов +минуса +осведомленных +ужинай +шарлоттауну +контры +врезавшийся +доложите +лавровыми +сочен +вычитавшим +скопленный +джемперов +мумий +пита +угольный +утыкавшим +помнившие +брамселя +ворочаем +морочными +стартеров +большие +кровоточу +забегайте +водим +половое +прострочат +поры +оступитесь +ягодицу +обсыпав +роддома +военруку +опорожненные +серело +ковали +пробегает +сервировавшими +отбегавший +заряженной +протыкаю +изрезали +ебаную +фоминой +асаною +перегруженный +тура +уменьшенной +грязни +сукки +фраерами +икающего +перепродало +заводите +максимах +усрался +ебала +схватитесь +нигерам +сел +дружку +подносим +требовательно +сеттерам +мерседесам +куплю +круглы +отмершими +преуменьши +кожух +осведомленной +сервируемые +скопленную +шевелится +железами +разгромленным +абаке +севером +королев +корпусам +радиоволны +просыпавшем +избегавшем +черкаемый +искрилась +калены +водами +саднящим +винтите +дурдома +осмотрите +дымок +невкусна +щелочное +сердит +пропадающий +отраслях +морочной +дросселям +флюгерах +нарезал +фюзеляже +коля +измерявшийся +слизнувшим +зарешетите +берд +джидам +замыкавшись +добегав +мошки +переизбрана +камнях +примеряться +подрезавшей +черкаем +гасим +отдалось +домовые +отделитесь +тропы +сервируема +погнана +приходите +сбегать +притупишь +жизнеобеспечениям +чинена +уменьшившую +пописала +всыпавшую +толпы +производите +ведома +пузырившимся +отпадает +рожениц +придало +сервированы +сангрией +саднящая +перерезавшим +мрачен +разбегавшемся +чохах +глиссеров +отпадаем +зарядит +дожитую +лескам +сгружено +начиненный +жиркам +раздроблены +развитая +нарядим +перепадавшем +осознаемся +литую +овен +альту +обносим +щедры +топим +распознает +бронирована +юрою +бухающими +компасом +отозвана +придавите +серевшему +трензеля +почтенного +бензопроводам +ирисовой +летной +срезавшею +расселишься +жерла +скупите +створишь +марселям +отбытою +принудим +раздробленности +зеленях +описавшихся +дарено +бамперами +сознаем +деньге +методам +спрядено +трудит +уды +процедите +соотносим +замыкайся +хлопок +отложите +тикающею +продрались +утерпите +шевелишься +обернут +подлитых +компани +шляху +икавший +запруженной +разбегавшимся +раздалось +ржавеет +красны +суку +винен +тупящую +провертите +гасящую +облитого +морщила +осыпавшие +острогам +миловавшими +северу +запасу +скачками +коробок +закруженный +реперами +методы +скольких +затверженное +залился +подружится +решеченным +ладу +саднившему +лавровою +кровоточим +просыпавшее +осыпать +поправим +преподносите +отмеряет +скобеля +выходите +варите +набегаешь +древку +нападает +части +пробегаете +копящее +угольное +склепами +початая +замыкавшемуся +ружье +танкеров +продало +поделитесь +технорукам +украинская +бандажи +чекали +набухаем +аза +бедренцы +сравненной +плохи +новорожденную +нажитый +перепадавшею +ужинающими +грубберов +распустите +обоснуем +нашивали +скутерах +поста +морщило +долей +мантов +маржей +кирзовая +зарешетим +подсыпавший +первою +горы +копите +пыхни +строчишь +погруженному +восхищенной +сопли +обмерявши +тусу +кирзовой +бугеля +чуха +побелят +провозим +поблескивавшему +бурой +вклинившихся +брюшком +утопавшему +альтом +отворенные +литыми +жизы +дочушкой +запахнете +крыло +парные +усыпавшую +пиздящим +чаны +несчастлив +правилами +прыща +пожило +оцепите +прогоните +матросней +морщившею +полисе +смотритесь +копящие +примерять +нажитом +стежка +всенощной +бронированию +росло +фэндомов +обегавшая +пахнуть +пузырился +тормоза +загруженного +планировавшая +ржавевшим +простыни +мизерных +винкелям +перепадав +дочушке +руки +зенкерам +теплено +душки +шагу +робившей +дочушек +пядями +заряжена +исчислим +бурю +примерявшись +вычитаете +совершенным +портах +выносишься +влепите +пробита +задвигаетесь +гомна +лес +икры +сверленный +балуются +айовой +бобов +всадите +балуйся +прологов +восхитите +надорвана +угольные +маклаком +вклинившемуся +недвижимого +запахнувший +отсыпавши +временную +худруку +рубину +отлупите +манок +подкосите +поглотит +цедящею +высыпавшую +отмерявшей +характерно +ворот +отвозим +спаленная +половые +скутеров +ордеров +жерехами +восхитившая +перевалите +тельца +временной +пятку +забегавшее +потравите +бойфренд +перерезало +милованною +толстой +заклинил +стапелями +плинтусам +рядят +ворота +остроты +планированный +америкофилией +полит +уменьшенную +сползавший +трусившую +туре +приселите +шпинделями +резней +новорожденному +дивчиной +флигелями +робящей +змеи +просыпавшего +стюарду +тел +глиссера +хрома +броням +тузе +расцветших +побыло +физрукам +торопим +груженном +пересмотрите +помнив +минули +чересле +бесящему +бубнами +газируй +муку +всполоха +ведом +проволочках +шляхах +заклиненною +сучкам +боксеров +спустите +развитые +сползаю +литых +оленинах +слепишь +рога +маховому +замыкаете +феноменом +оленин +творогах +возноситесь +дожитою +сужусь +бедренцами +груженная +временных +преуменьшенному +абаку +луженный +степу +налито +обатуров +бензопилы +вылазите +сервирующая +аминокислоты +танталова +баловано +нитяного +сгруженная +пересыпать +обурим +волоченное +тшуву +заряженными +морочною +чавычам +дрянны +свозим +сектора +перекосим +строчным +усыпавшие +недоуменной +сладившей +бронируемыми +хаосов +матерщина +сипла +стюарда +ивановою +сознаешь +пахнет +нападали +тупимыми +византию +гумен +сухи +робящему +прорезаться +копру +цедим +бесящая +калек +начал +екающем +грома +ньютоном +икавшее +одновременные +примете +насадим +бесящих +суккам +венчанною +литому +помнитесь +отползавшего +поисковую +измерявшимися +ломоть +парили +ушках +продвигало +обрезаниями +изрешеченная +ступенями +варящей +взорвались +екать +икавшие +кожухом +тикающая +поблескивавших +поблескивавшею +размерявшей +апострофу +нигерах +иссушенной +просыпавшейся +поешь +тепленному +добегавший +воспроизводим +тест +жиру +жаркому +пропуска +городят +зарвались +заржавевшего +растворите +постригу +планировавшее +развитых +пересечен +задвигаешься +тружена +фиговую +захлестнут +пометы +колледжами +кашлянуло +хираганою +озерца +маркетинговыми +заринах +солях +громовым +воспроизводитесь +соколов +отбегали +заржавевшем +бухаю +проползай +раздробленными +тикающему +маржам +чертящий +дорогою +отгрузят +приложитесь +бондаре +планирующему +отбегал +срезавших +ранимую +подлитым +запахнувшими +балованной +уменьшившемуся +сгружена +бронируя +свазиленда +спился +нападаю +поблескивающим +патриархия +протыкавшем +теплящем +рассыпавши +слаженными +еду +перегородите +предвосхитивший +заслужен +газированные +разряженной +зенкерами +харассменту +применитесь +отзывам +подвигав +недвижимый +морща +лоскутные +пашей +закруженному +полюса +какой +перчивший +повторенные +бронировавшем +валком +прострочим +проползающая +наряженная +растворитесь +отмеряешь +смиренным +кости +скользка +решетив +веера +редакторами +опознаешь +воссоздана +пристегнут +кашлянул +вгоните +мела +туплены +спугнут +текстили +екайте +волочите +военруком +зубчатым +маклаки +выметавшего +рудые +измерявшими +педелях +протыкавшею +заржавело +маневра +черкающие +скамьи +стены +подсыпавшими +обложитесь +задалось +респираторною +новорожденным +сбегавшиеся +бронированных +скрутите +черкавшую +заноситесь +нашивавшего +предали +запыхавшиеся +триселя +казаки +автомеханики +дискурсах +бронируемы +пересекся +отсыпавшим +отпадали +деньгам +мочим +спряденного +разобрана +назвались +стону +маневренность +запасным +косы +перчившем +вилку +корню +фарерскими +стегна +пилите +спешившей +робящих +милуй +джорджтауны +панах +принудившими +включим +посыпавшемуся +дубка +перчащею +худы +робит +сервировали +доходите +трусящая +проползавшими +апселям +прищура +добытою +передалось +осимой +возрастах +сори +пересечена +курсам +любого +проволочки +изрезавшему +витых +забегавшею +нормировало +сгруженную +пуках +осведомленному +восхищу +заточенным +заточена +луженные +консервированы +прожил +рассыпавший +напоенными +надей +полночи +сизо +утыкает +забегаем +совершенными +разузнаю +вселенные +перерезавшею +побелит +утыкавшем +уильямы +отмерявшему +преуменьшенная +страстных +чинящем +загруженною +ровням +свечи +скороды +утопаете +толстых +ворохам +отгружен +скопите +сволоченным +уменьшивших +рядим +наползавшим +пашами +приводе +ховеркрафтами +строфах +ярма +милующею +отмеряла +лудите +отзывы +фольгой +оплатите +жирка +бухая +расцветшие +пробегавшего +набухала +молоди +буерами +общин +утопавшие +подались +уменьшившие +калмыков +слеплено +забухаешь +бесящими +фарерских +договора +катаканы +расамов +лепитесь +перерезали +стихом +обрамив +зашевелят +перепадают +видениях +роговыми +отсыпать +телемаркетинге +вихря +прорезавшего +петелек +притупленного +морщащее +баловавший +нашивавшему +готов +ряжены +утопавший +изрешеченной +замыкаем +ледниках +судеб +газированная +тикающий +сглотнут +людна +вычитают +вине +протыкают +описавшую +лишком +осыпала +истому +танталовыми +стройны +сорвана +отпитыми +шлихах +удались +астрономам +лебедями +подпит +планируемом +катаре +блеклыми +кирзами +пахнешь +юркнувшими +чохе +воронках +занятое +бирмингемам +липка +пролит +фарерскому +джиде +сволоченную +шелковицах +куркуме +пурпурны +заклините +расам +пригоршнями +рекам +бубнах +вывозит +перчащими +телемаркетингам +заезжая +ворочавшееся +запыхался +воротитесь +уменьшившаяся +белящем +подскочите +луженными +подлитая +обуху +лесам +симметриях +пропадаешь +шпахтелях +помнивши +парками +сгруженном +литое +дохнувшему +пометам +опершись +полно +временного +баловавшийся +шарлоттаун +саднившее +баньши +половыми +загруженности +ноутбуков +нарезавшею +клаксон +сноуборд +творога +закуток +дарены +саднена +рассыпавшемуся +лебедей +морщи +перезагрузим +строенный +черкающею +нападавшее +примеряются +ракушки +варитесь +постов +пробегавшие +гноя +передразненная +отрубе +угольном +скоплены +муравы +чавычах +дивчину +фэндом +скупы +нарезать +тверды +вклинятся +паремиях +высыпалась +подвигаешь +палите +разряженная +изучите +перчимом +елей +сбоях +шелка +подаренную +ворочаемому +носку +праотцы +планирующие +сеченные +чугунку +бубен +баловавшуюся +бензопроводами +рек +учены +подвигало +выходило +страстное +принудившее +перчащих +отворена +отгородимся +пропадавшие +переселимся +казан +обоснуются +пологом +взорвана +ректоров +отозвались +допитую +отбегаем +засеченною +юпитерами +опорожнены +сервируем +обеспечений +решетивши +скобленном +вклинившим +сноубордах +замыкала +рубим +америкофилиям +плодотворен +джентльменами +врезавшего +худобу +саднима +зарешетивший +жилось +альфред +разгрузим +пахнувшему +проблесковым +дубляжу +тамбур +предусмотритесь +доменною +обурит +приволоченный +лоскутному +делящею +заслонишь +туниками +пересыпал +перчивших +спешило +летного +парными +закутком +облили +аду +попили +сердите +предвосхищен +нюрнбергский +джорджтаун +кусите +прибрана +фэндомный +решеченная +целящей +усыпавшее +делавэру +прижилось +е +черкал +отдали +дочушку +полотна +вороной +занятыми +вирам +ворочающимися +овне +кредитов +упились +заворотите +морщащими +дочушках +пуловеру +газировали +подпустите +общаковый +проволокою +страстной +наползает +пузырилась +изрешеченному +обоснуете +пуху +затворена +микрометру +мутны +околесицею +замковый +положите +точенным +складному +пахнете +нигерами +уменьшившеюся +пузырившегося +земли +слабо +первой +большим +сбегавшей +петелькой +вылазившую +герой +стрингерами +наряжено +доменному +обсыпавшая +чанами +выходив +установитесь +острова +целящем +сбегаете +зирваку +видении +кобзам +распознаете +дивчина +шелковою +бирмингемах +передразните +древками +впилось +расцветши +начиненными +жидком +оленинами +разгрузишь +бронируемым +бухавшею +бостоне +величины +маркеры +скородите +горцами +нудившей +облокотимся +тандему +вишневых +деньги +пометами +тупимый +душку +икало +почат +продал +решетившим +газируемыми +склепам +запахнуть +казачка +крупы +безобразный +весом +статна +скамьям +отзывов +штабами +луженном +громовыми +саднящие +стоящий +струсившею +ворон +кливера +нападал +забегавший +черкающему +лавровое +посыпался +подвигаете +икающими +сбегай +приселит +решеченные +безобразно +делящем +ужинающую +праотцах +худруком +охуев +тикал +проказите +сети +перчащее +зарезавших +заторможенный +щелочною +бредя +спорю +жены +рогов +соколе +концлагеря +договоре +саундтрекам +киликии +отворенному +произносим +нудивши +зарину +саднят +трусящих +присмотрите +ряжена +загруженному +сучка +забегал +древком +понялось +жаркое +предвосхитивших +ретро +фэндому +нормированный +роблена +тамбуре +проползавши +отгородится +высыпалось +опознаем +баловавшегося +прострочишь +ростовым +тамбуру +ньютонам +колок +фонта +серевшую +вымпелах +сбегавшийся +спряден +искрившимся +утка +искрящемся +воротами +черкаемых +прождана +трензелях +милованным +недопитая +пружен +чести +перчившую +ржавели +бутику +петровская +роддомами +будде +шлепке +отмеряв +бунтов +скудны +громленном +реками +пропускам +мукой +телемаркетингов +охаете +бронируемому +замков +кормите +катитесь +полутеней +отползавшее +слизнувшую +прищуров +развились +незнатна +чертящая +пристают +подлитой +саднившем +нарезавшими +полками +перепланированный +мизерной +бронировало +затверженным +валке +балуйте +трапезе +архиважны +соли +перекатите +заржавей +сбегавшегося +нетопыри +перепланировавшею +точенному +ермаками +газированными +задвигавшеюся +эйрбаса +сносим +дохи +мальцами +дразнящее +коробкам +искришься +одновременною +бензопроводе +бойфрендом +толсты +сбегавшие +балуете +разбегавшихся +бочки +замыкавшемся +отпитым +заряженные +цедящей +мягки +цехам +растворенными +подпито +физруку +тикала +болтовней +дурны +сопла +облиты +хаосу +слепим +манены +шибболету +чересло +винкелей +передался +холода +обухов +муфелях +тшува +пропадающая +полутенями +тесны +подали +увозим +перепланированному +подарено +пробитая +целую +запахнувшею +закружим +смиренная +борта +инфу +ворочавший +настрочишь +ватерами +фиговым +камфорам +луки +чекам +вишневое +стругов +сболтнут +любом +потопавший +половой +америкофилии +нормирован +насмотрите +хуевых +ввозите +месите +лились +несмелы +заряженных +проползавшему +дознаются +юркнувшею +решетившими +взбесите +разгромлен +пурпурен +термине +вычитаю +половую +здорова +паленного +петровских +выношу +сервирую +отсыпав +кручу +поделите +степах +солите +пиалами +бронепоезда +лишкам +перчил +ранимое +писарям +чудным +воздержитесь +грядами +ушко +врезавших +венчанный +соколу +притупите +черкаемом +телки +обсыпал +одновременный +удержите +абашам +поддались +гафеля +кирзовым +отворишься +пахнувшая +бухнувшем +теплила +бурою +дельцами +зубчатое +бунтам +сложены +козырном +нормируешь +маневренный +паремию +лемехом +срезавшего +оторвалось +капель +разузнаете +вылазившем +откупите +морячке +дионисах +апострофа +перезагруженную +дожитым +труженными +учено +рогозы +кашлянувший +цветший +крученному +пропастей +сверленного +заклинившая +врезавшуюся +втолкнут +ловим +дионисами +насыпавшего +обрезавшею +скопленная +апселя +околесицам +родней +временными +навалите +витой +замутишь +шибболетами +стартерах +стартера +триерах +спаленную +пропадай +рябинок +перелились +тупящего +сяжки +скопленном +трюмселям +всыпавшего +замками +отрезала +роженицах +подвигавшее +кожанкам +козырному +видение +древка +отбытая +шелковиц +пробегайте +личным +клади +манит +перчимым +рассекши +иссушено +валя +гроша +прислонится +отдался +шелковому +временщику +конфою +стукачка +приволочена +пурпурной +сиднею +сейнерами +просыпавшегося +найму +проклятом +броню +пожил +витого +кашиц +чеками +саундтреком +утопает +сервируемое +поклялись +планируете +бухающие +сервированную +выходившие +черкаема +слаженной +сбоя +литые +прокажу +выметаешь +уменьшен +газирующею +свердловым +кубы +отоспался +смиренную +вылазившее +опорожнившие +подсыпавшего +сервирующею +превелика +обегавшими +приколов +робите +кумам +волоченным +переда +ледников +черкаемому +альфреду +вымпелами +сервировавшие +колледжем +челюстям +старьевщика +ценна +описала +твороге +грядах +тупимою +крипты +нашивавшей +асанам +зачеркнут +просмотрите +обрамлю +просыпавших +пересыпавшая +ильиными +недоуменны +посыпавшиеся +сдалось +преуменьшит +остроте +наряженное +сервирующую +набухали +романтиках +закуткам +глиссерах +газирующая +посыпавшее +временщиком +промокнет +бензелями +спохватитесь +обмеряешь +сверлена +дожит +хватитесь +маклаку +ворочай +пропусками +юга +угля +мергелях +чертящем +засыпала +унтерами +насыпав +мосте +перебегавши +чухою +пуловера +слуху +вахтерах +айовы +прочертишь +планировавши +абазы +изрезавших +целен +плевы +дослужитесь +политым +прожекторов +преуменьшенных +пересекла +проклятого +врезавшее +преуменьшивший +отползавшая +пыхнул +ебалами +срезавшая +загруженный +избегают +кирках +обеспечении +переменитесь +искус +размерявшему +заперлось +планированы +ростовом +труженные +утопавшей +апострофах +честную +маркетингами +корешах +излились +туплено +калив +заклинишь +зашевелимся +шофера +точены +тупившее +писалось +дорвались +кататоний +бет +гренке +подростковый +класов +пиздишь +вселит +выполним +дровнями +заклиненного +истекшему +прорву +чаю +струсили +наползавшее +пирогу +планировало +восприемлю +пурпурный +грейдерам +строившим +нормированы +вселите +балованному +скриптом +перезагруженному +зарине +ворочаемых +домовая +кителей +перебегайте +нигеров +лет +подаренные +бронирующий +сервированною +абаки +спьяна +доводитесь +личному +обжитом +замыкавшею +неровнями +постам +штихеля +трудишь +корму +пописал +сбыта +всенощную +замыкавшими +страстном +струсившего +растопите +утер +врубите +блокпосту +писали +строенною +запах +ладам +тупимым +зацветшая +подсыпавши +опорожненною +ворочаться +перепадавших +хмельных +населит +добегала +секши +фитах +газированное +парившую +споров +тикаем +(по)характерней +перегородит +вломите +ранимой +саднимыми +утопавших +довозим +навернут +ряжено +допитом +белок +расселит +решетившая +векселях +помнит +вклинившуюся +полутонов +нудящем +смирен +болями +вклинившимся +безоаров +рудое +передвигавши +маржи +часа +сметанный +родов +феномену +строфам +зарешеченной +никою +искринкою +ценен +переспросите +протыкаешь +планированная +погруженную +брустверами +струсивших +неровнею +лимфодренажей +ауешникам +измерявшейся +базилике +милейковскую +абы +слились +патриархию +подарят +решетчатой +дренажу +малышками +вломитесь +вселимся +перчащей +отбегавшей +струсим +расаме +отскочите +теплящему +пережитом +копящую +пяденях +баловал +летком +ведомую +робленное +такою +давящий +засекла +кружку +громлена +недоуменное +украину +попадавшими +вклинившего +дежи +военрукам +растворенной +нулевые +перегруженные +перепланируем +разогналось +осадим +каледине +пописавшей +козырных +коне +спалена +отлитого +лемехе +выносивших +губы +замыкаю +пахну +дьякона +варящим +павловском +долгих +шприцы +пропадавшими +маневрен +вороною +всенощными +нагелями +бондари +патриархиею +сгруженного +заторможенным +всучишь +домовою +осыпавшему +инфе +усыпал +садните +подпиты +теша +дожитыми +шаберами +выносившего +наряжена +попадав +пропитого +нудящим +перепланированное +пузырящихся +баловавшей +пыхнут +секшей +дымке +хоре +желты +милей +подогнана +шабаш +нарезавшему +посыпавшаяся +промокнете +обрамишь +запаха +канберры +садненного +забегавших +кумы +газирующее +щелочного +заряженного +тепли +танталом +маневренную +таврах +газирующей +украинцами +лишки +сажень +предвосхитившего +целящего +танину +кумами +шибболетом +узрим +толикам +набухав +палишь +пике +толстые +вычитаешь +стоящею +ватеров +точенными +глазками +перезагружена +отозвался +лососинам +балуйтесь +саднивших +наклонитесь +нагелям +полынью +дизелях +отловите +насторожен +морок +ржавеющем +частоты +нормированные +громленных +подстегнут +ужинаю +токарям +хмельному +отвинтим +искусе +растворят +летах +кренделей +прислонишь +змее +сгрудившеюся +танталовы +оперла +отпадавший +берег +попадавших +белящее +пошевелим +нитяную +добытой +танталами +порвался +отлиты +перуне +задвигают +перезагрузите +тела +дымка +черкающими +растворенную +колики +передвигали +блумфонтейном +простынь +коренными +сверлен +плюсового +сервировано +дренажа +сдались +пурпурная +весел +ворье +заторможенного +взводите +перелиты +поманенная +тружен +кирзе +нудящею +соболей +утке +сахаре +узды +крупу +поселитесь +описались +дожило +початом +зерна +инфы +ворочающеюся +предвосхитившими +кирза +надорвались +спалены +войны +затверженная +избегав +громленные +описавшеюся +иванов +обжитое +хмелю +газирующего +пешням +баловавшие +фиговый +теплившем +барменша +органам +растворятся +литая +ремесла +уменьшившейся +обеспечениям +перепланировал +привинтите +высыпавшееся +набегавший +рассыпавшей +ужинавший +пойнтерам +бронировавшее +мастерском +дупеля +расселят +повозитесь +подвигался +примерявшемуся +бухни +разрядим +писарями +утыкавшею +пятью +признаешься +зарешеченному +складные +проползающую +звучны +принудили +нажитому +опорожненному +взводим +порошу +заржавейте +стрекозы +договорами +растворен +газированной +проносим +екавши +горец +спаду +маненных +(по)сиплей +саундтреков +зеленей +поблескивающего +выносившемуся +лишками +ворочавшему +отрезавший +закутками +стрелках +громленную +борою +древках +семена +возносите +сводишь +ржавевшего +баржу +планировавшую +ворохах +бедра +звонишь +сервировавшим +цветовой +копящею +сучки +асимметриям +осыпавшееся +отбытое +пахнувшие +яру +заснеженная +коренной +переносном +шкивом +ворочаемом +парилке +лужено +заторможенные +помнившего +пузырившиеся +шницелей +включишь +насторожено +обегавшую +громовую +снятою +сотки +слизнешь +поторопите +врезавшие +мальца +бронирующем +обрезавшее +соболях +урезавшие +вклинившемся +самом +отпитые +погружена +труся +гастарбайтерами +переманенною +маневренных +подростковая +солю +киликию +притупленных +балует +правилу +пороша +сладило +доменная +писавшем +соромом +лавровые +вклинена +отлило +прорезавших +решеченного +ведомо +сыром +передали +расамам +подколов +наворотите +залитыми +заснежено +ржавеете +твороги +фарерским +капицей +раним +хлопках +избегаешь +алфавиту +принудило +чинящее +шлепок +дохнуть +провозите +стихам +бижутерия +чудное +разворотите +передвигавшею +помершем +створенному +уменьшившийся +отпадавшему +слизнувшее +общиною +задвигав +щавеле +заступитесь +блеклы +вдавитесь +пали +прожитого +пруженная +обедни +попадать +восхищенным +отсыпавшее +добегавшей +отлито +пиздящею +ноутбуке +кондуктора +засыпавший +трусившими +вклинивший +переселят +замершее +нажили +кружится +измерявшись +решетчатая +меты +скопим +заявитесь +отмерявшую +початое +поманенный +новорожденный +цветшую +парное +нитяное +респираторное +рудая +мусорок +решетивших +выходивши +анкерах +старшинство +поглотите +вора +милующая +сервировавшая +толики +обсыпавшею +голубок +шницелями +маховые +почерпнут +пересеченной +колотитесь +разряженное +бондарь +перепадавшей +блеклом +цветшему +уноситесь +вычитай +киркою +перепланированного +поблескивающую +тандемами +нападавшие +обжитую +луга +маркеру +подрезав +передвигавших +бензопроводы +пробудите +мудями +робленного +приемли +запоем +петровского +отзыву +ховеркрафте +срезавши +передохните +вдавите +трефовое +отмерял +дался +залитою +ирисовый +наряженный +велесы +сука +всполоху +черкавшие +исходите +челюстей +вклинившегося +вычитавшими +набухают +передохнула +испилите +сукками +гонитесь +дубками +разряженную +тупившими +недопитый +килах +черкающей +слесарей +репер +опорожнила +поглотишь +опорожнишь +робящем +ведомые +обмерявшею +обсыпать +сбегалась +еры +телку +возрастов +обрезавшему +погружен +газирующий +вилками +прислонит +рытье +стоящему +поим +заперлись +чухам +скреперам +примеряв +порою +морочного +обрубите +сладил +утопавшими +уменьшится +поводу +засеку +сазандарям +вклинив +украинские +спешившее +робило +толку +уменьшились +сведении +крестовой +плода +икаем +перепел +ржавевшем +шевелимся +сносите +балованы +отрезать +преуменьшившему +толстую +перченному +хуево +отворим +обрамлен +сковороды +молодец +занялось +переселишь +гасящем +тракторам +зарезавший +запыхаюсь +морочному +добегавшие +запыхавшейся +долготы +промокни +черкавшее +бармен +высыпавшись +спален +врезав +сгрудимся +истопите +неполны +подростковом +передвигавшему +дразнящая +переводные +высыпавшим +бухнувшим +боку +перезарядитесь +лилось +начинит +вился +нарезавшую +морщит +тикаете +приманенною +сервированное +трюфелях +бенто +допросите +облокотится +теплившей +сбегают +обрамили +общи +писав +суккубу +дупла +точена +глушит +придушите +спряденных +украинкам +зарешетили +пядени +пузырившаяся +тикавшим +строфами +ветра +нашивавший +сбегало +наползавши +сверлено +поблескивающий +производим +кожухе +высыпавшаяся +миловать +бутиках +подвигалась +грязните +протыкавшим +пресекший +бронекатера +асимптоте +тупиковому +церквам +отсыпавших +бухать +повторенною +кабеля +гробу +лекарям +уставного +крученный +парилкам +милующими +газируешь +бронировали +путевой +провидениям +перебегает +древко +клинкерами +бесящим +асанах +врезавшей +пролитое +морщившие +кисе +козаков +бронирование +патина +зарешеченные +расамами +нормируемого +заворотитесь +зарешечено +произноситесь +створенною +вишневая +нитяною +попитыми +мерседесы +канберре +ректорам +шелковую +прожитую +битами +ньютоне +силе +папах +вклиненной +проволочкой +набухавшими +навык +запасных +ворочавших +преподал +изрезавшие +свернут +замком +подлило +сазандаря +ебаное +серев +ржавеющая +стою +забегала +откатите +удержи +скамьями +пересыпали +раздались +перепадаешь +ходите +перчить +падеж +тупившая +меньшинства +суккубах +шиберам +окуни +коробка +пушке +мехи +бору +асимптоту +названа +тонки +отсыпавшаяся +золозою +неводов +колы +разгруженному +расплылось +бобами +мечу +кельнерами +остановите +заклиненное +выметавшему +тикаю +шелковицами +испустите +насыпать +сбегайтесь +совершенному +фиговыми +выходил +засветите +дуги +прояснило +чинна +милочки +пехтеря +бронировании +заторможенном +полиса +сенсорных +перевертите +заводитесь +продвигали +борой +призришь +почтенную +пробитыми +пешнею +косим +фюзеляжи +стюардами +доведям +парившими +летные +заточенного +запыхайтесь +налили +обурить +желчь +родилась +голубку +логу +молов +помнишь +накрутите +свердлове +фиговою +обегай +забухает +сазандарями +перерезавших +скобленный +туры +печи +крои +загруженной +литиях +балующеюся +маркетинга +козырного +жизнеобеспечению +выкупать +сравненная +жарким +атласной +щеки +обсыпавшем +засеченный +обрезало +робимому +свойство +овнами +ледники +закружит +выносившими +недоуменные +шницеля +яиц +цветшею +переносное +сводим +украине +закутку +засыпавших +грабарем +зарезавшему +заклинить +придрались +вклинилось +повалитесь +коробку +зарядите +грошах +пожените +робленной +номера +крестном +теплящих +створят +толстом +пережитый +лавровых +снято +предвосхитила +объявите +угнана +чизелями +македонских +консервирована +обегавших +алфавит +византия +жирку +черкавшим +отсыпала +милующую +сосенкой +отпитой +ягодицам +бронируемый +занятого +поручитесь +разрезавшие +занятая +обрамившею +купе +осыпавшимися +разбегаешься +добрел +хорами +ржавевшее +ловка +развитый +планированному +потащите +западаешь +бунта +руды +вафлей +осведомленною +решетчатому +уменьшенному +волосней +екающие +асана +сведениях +асимметрий +абджаде +ворочавшегося +калединой +приселим +восхитивши +опорожнив +бронируемых +разбегавшемуся +знатны +веди +теплящая +преуменьшило +парах +леску +патриархиях +планируемо +бесящего +триерам +росстанях +шабашами +начиненной +урезавшей +смиренном +утыкавшей +оно +напоенною +забегаю +солью +придались +нулевую +планируемы +паши +черкавшими +поисковым +обухах +слегами +ягодиц +ворочающими +балующею +зубками +милочек +давим +подарены +скачкам +нормировавший +каледин +садите +туера +жарок +разряжены +отняло +пахнувшего +рвалось +(по)стремнее +свердловых +стругам +смолотите +пяток +анкерам +теплившим +перчащем +бухгалтерах +цеху +ржавеющим +упаду +землячках +зарешетившем +клиперами +передана +белках +серевшей +сложны +отвинтишь +пропитых +маховую +фюзеляжей +ангары +строила +хаосе +жмыху +юркнули +пасти +тикающей +пиццерия +раздроблен +промыслах +танине +физруком +сползайте +екаем +решетчатый +тупиком +чугунками +малец +творогу +брони +сервируемому +подрезавшею +большая +характерную +восхитят +повторенная +ирисе +отлит +робившими +скверны +бронирований +облит +газировавшей +жирками +пробегаем +обегает +портами +ирисы +убрались +нудивший +пузырившееся +волочено +ирисовым +притуплен +скобленной +уменьшив +киликиею +полога +милочка +бондарях +саднящими +приближенных +дубкам +сучим +померши +манка +полюсами +полами +звонари +джинсовой +жмыхом +портам +ништяка +щавели +подложите +виду +примерявшемся +парной +юркнешь +фрезеров +нагрузишь +паремиям +слизнем +робимою +палены +дыму +бутик +попадаю +жилье +чайка +витая +измерявшимся +ермакам +отпадавших +урему +воронками +флюгера +кирзовый +джиды +щавеля +тупимой +эйрбасом +недоуменен +щелочным +пропито +убрался +проходите +промыслов +продрался +добытом +утыкавшую +шпателей +обоснуюсь +раджа +замыкаетесь +новорожден +целившему +ауешниками +прорезавшей +паленным +калите +облокотитесь +лопарями +ворочаетесь +тихи +робивший +пустынях +прорезавшим +балованными +писарей +флюгерами +приселят +пуловеров +баржей +посыпавшем +проноситесь +апофизам +стерней +примерявшуюся +отоспались +саженях +пурпурных +переносных +пересели +слезу +зубчатую +искрились +просыпавшееся +сгруженной +бережен +прокурите +перерезавшей +развитой +обоснуешься +перегрузите +заложите +замените +горячим +высыпавшихся +подтолкнут +сладившее +пошевелится +старьевщиком +учителей +лоскутной +рассыпало +сметан +просыпали +матери +валку +качке +комплексных +кокиля +утыкай +сервируемая +перекурите +разжился +бедренца +облитой +челе +уменьшившись +переносная +ебан +змея +газируемым +летными +хмельной +тупила +подпитый +обмолотите +сечено +искрящиеся +пересыпавшей +сердим +прорезавшую +семьи +воронок +приселишь +плену +толки +глуби +писавшемуся +переводная +напоим +фонам +аннам +купола +обносите +ягодицею +насыпали +ложкам +нападавшая +посыпавшийся +тикав +пробиты +грешны +переводитесь +передал +износите +отпадаешь +деды +вселишься +жизою +тупиками +лудит +лоскутного +тополя +сбегает +иссушите +кататония +продралось +бухавшие +каре +сервировавшей +цветшего +скутерами +катар +тупимы +нормирующий +(по)характернее +бронированного +зарешетят +броней +подростково +шлихов +безобразных +перченного +вылазившим +пятками +олег +искрящийся +вывозившего +худу +парис +маховом +омбудсмены +садненные +сводит +вишневую +пристыженный +заснеженное +орет +гастарбайтер +облом +шоферов +астроному +счастливо +выметавшие +сознаете +зашевелишь +атласном +навесным +подавитесь +взвилось +краину +совершенной +вклиненное +бросок +зарезать +искринку +ворочающих +жила +техноруке +перепланируют +измерялось +строивший +чернобыли +обмершую +попитому +сноуборде +планировавших +пыхнула +очечник +выносившееся +павловская +провидении +шоферами +неба +строчною +пахнувших +перчим +скрубберам +тропу +делен +крестного +доносите +выходившая +скалы +нетопырям +волочим +чернобылями +прожитое +тендера +сосенок +уложите +тазы +древков +скобам +овнах +украина +конфами +чаду +разрезавший +свойстве +вывозил +нормируют +домовую +клубов +решеченную +опорожните +автомехаников +шлепками +теплящею +пиру +обдало +скриптах +затвержена +кулинариях +разбегавшись +морщить +съем +все +понялся +развитою +маркетинговой +возрастами +сложено +стежкам +базилики +приволоченных +клинкеров +перчившею +тантале +раздвоенную +троичны +продались +труженная +отпершегося +вселенной +уступите +нарезавши +зашевелитесь +мерила +округа +разрезали +тандемам +помело +середы +неровны +пропило +лады +продержитесь +милах +рассыпал +соколы +токаря +изводите +проблесковое +залилось +сгрудившиеся +временщик +разгруженном +приобняли +поршнях +пророните +прищурах +муравой +маневренному +сажени +грызней +допитыми +катите +передохнете +вывозившей +внучку +затверженную +неводам +осыпавшись +обрезавший +потопавшем +редки +джорджтауном +дожитые +вычитал +подарен +обрезала +разузнает +голову +планированного +саднимо +былье +ужились +ракушках +жаре +сгрудившемся +почало +одновременную +добегавшего +расцветшему +отрубах +павловской +киев +путан +доску +бедренец +пристает +привинтят +соска +милы +задана +учитесь +отшутитесь +дало +ньютонах +топи +гулящем +просыпавшись +полукругла +наползавшими +околесица +ворочаешься +засека +орды +дослужите +урезали +нападавши +пролились +лишая +принудив +мудрено +запахе +городу +отшвырнут +прикурите +сладивши +парилок +засекам +отмерявшее +обсудите +разбегайтесь +бронирующею +юркните +тикающими +тешите +фетиша +заточенная +тупимых +пустынь +крестною +посмотрите +нагруженная +утопите +предложите +милочке +посолим +разъебана +потопают +напились +вираже +разбегаемся +познаем +струи +забегает +тупящая +курою +зарядим +лоскутною +зубрим +обнял +феноменам +измерявшихся +лохом +помолитесь +пузыриться +домовых +перелило +настороженные +пиздящего +мосту +пухла +вычитавшем +максимам +тефтелям +маненными +ободрана +слупите +утыкавшие +ала +настороженному +проказим +сыра +восхитившими +недоуменно +выходивший +даны +чиненные +решетчата +поблескивающая +недурны +альте +подозвана +писавшему +трески +безобразна +осыпавшуюся +робившему +нагружена +преуменьшенный +саднили +игры +уменьшенною +симметрией +отрезали +отраслей +бомбовой +комплексную +ворочаете +засыпавшими +худа +сладят +лавровой +лепим +обмеряем +ржавело +оттащите +клаксонах +приемля +селю +выметал +гвоздик +мусорки +фонарищами +нормированным +бачках +заметен +происходите +гордону +пашах +(по)блеклей +хрипла +архидьякона +велесами +сует +орденов +измерялся +маркетингов +полутонам +спряденному +бронировавшими +ломе +отбытому +года +острога +соцобеспечениями +полок +подвигается +заплыву +створены +бижутерию +пробегай +калединою +черт +западал +уложитесь +вырезавшего +проволокой +уменьшить +нарезавшего +нарезавшая +дыхалам +повторенным +межах +декелям +перепланировавшей +села +пекаря +омутов +утопавшим +венца +рыбарях +тупимые +теплил +тазами +западавшем +мертвы +добегавшем +кету +сеттерах +кружкам +мучу +осудите +бредите +приманенной +замыкавшей +просты +нормирующее +всенощные +попалит +страды +заклиненным +маневренностям +танталовой +писавшая +распрями +осадите +украинскому +передохну +ворочающего +заряженною +гастарбайтеры +обже +заснеженную +уду +побрана +овода +уильямов +землячками +герлфренд +недопитом +створенной +разрядите +чуди +заслуженно +пропадаю +штабелями +занялся +заринам +громов +нарядит +наступите +переждана +клейма +высыпавшейся +подаренное +насыпавшим +передохни +околесицами +коренного +милованная +вклиниться +прожитые +уцепите +новорожденно +заслуженных +заводим +всходите +межи +заторможен +сервирующему +тенету +боготе +панами +всколыхнут +молочка +уреме +бронировала +пересеченным +ряженном +истекший +электроприводе +серела +маркетинговые +натащите +серьги +наряжен +ввалите +балуешь +паленной +лишках +бухающим +осведомлено +добрался +зарешеченном +сукна +коренная +наряженном +стакеров +цели +тридцатью +штихелям +слегах +всыпавши +измеряют +евою +грошей +попадавшему +навесного +белишь +пробегавшее +временщики +бухающую +отступите +обжило +набрался +клаксонам +приближенному +(по)заснеженнее +слуги +деревце +штабелей +солей +уколов +сознаетесь +сверленное +похвалите +недвижимую +продвигаем +напоен +любую +потупившей +волна +разрезавшим +теплю +теплимыми +осыпаться +отнял +зарешетившие +затворим +фетишу +посте +раздроблена +проползала +ровню +подвигавшую +степа +загубите +тикавшую +зарезавшие +посыпавшим +пересыпавшею +заебана +болях +неважны +срезавшим +изрешечена +отсыпалось +пролог +новорожденною +преуменьшите +избегали +милуемыми +отрезавшей +переспана +описалось +набухаешь +текстилю +анкера +размыкали +теплимые +потупившею +брюшкам +сладивших +сервируй +характерного +тузу +подарит +поддана +витое +подралось +нападайте +пошевелишь +креплено +подпилите +стена +потопать +пяденям +вилок +страстная +перегруженном +налитые +пушками +ровнях +шлицы +унтерам +проползаю +заслуженный +попадал +нечистоты +плинтусами +светитесь +фату +пробралось +отбытый +надавите +кибервойны +дорвалось +теплены +иванову +тлей +раздвоенное +врезавший +мысам +едомой +женим +налилось +искритесь +временщиках +саднимому +душны +пристава +поглотят +санях +нападала +спаленною +проблесковою +ору +дохнувшими +проколов +прожитою +приподнял +приносим +складу +танкера +перезагружено +измерявшей +доведях +тряска +балуемому +подвигает +начиненную +проползавшем +стел +забегавшим +потопавши +обрезавши +обходите +сервировал +запыхавшуюся +вычитала +литиям +прожит +мурманске +зарешеченными +чем +роженицы +абджаду +прищур +пуска +потопай +запыхавшись +засечены +нашивало +разрядишь +избегавшими +врезавшеюся +баловались +нормировавшим +признаешь +рою +отоспалось +пропадавшего +фитами +грузимся +прервалось +высыпавшее +скобленною +отбегавшая +сполохи +свитера +вахтера +катаром +боба +сгрудившимся +давящем +муки +шабаше +позвонишь +ленящийся +винтят +описавшею +погасите +нормировании +задержите +агу +силу +потупившую +дорог +молочке +газировавших +балуем +разгруженный +плутами +потопавшее +мусорках +полон +тандемах +откусите +клаксоне +изрезать +ложи +омбудсмен +передразненный +повалите +забухать +бронируемо +тикающим +шумы +екая +усек +привода +развитыми +бугаю +милуемая +робил +сполохе +притворишься +тому +дохнут +огнестойка +безобразною +нашивавшая +неровней +отстрелите +западавшего +заснеженного +ведомый +создали +интернационалом +утыкавшая +отгрузит +абаше +створен +сахаров +загружено +морщивши +всыпавший +венчанного +шипами +курсы +срезало +громова +забухавшего +поблескивающие +негодны +недоуменному +шарлоттауном +кататониями +коренном +кулинарию +нарезавшее +перепоят +ведомых +планировали +пиздящие +чернеть +трубы +рамэнах +тортах +нормирований +ворочавшемуся +хуевы +просыпал +отвинтите +трескам +пересеченное +перелился +усыпала +забегавшие +теплившему +баловалось +замыкайте +нажитого +рябинками +правилом +кале +проводитесь +сеченным +борзого +перчимых +засучим +сочны +хорах +попитую +выносившую +прорезалась +помнить +громовы +кредит +строено +края +отмерявший +шоферах +превосходите +отсыпавшеюся +облака +досках +пыхнувшему +подвигавшей +лишке +подсыпавшие +изгоните +прорезал +перерезавшими +попитая +рудою +шабашам +бункеров +крести +растворенное +иссушенного +ржавеющую +обмерявшее +выносились +маржах +отзывах +мумия +перерезавшую +дыхале +закруженной +толстым +пайкам +железе +переманенная +нудившую +пересыпавшего +большую +паленными +перебегал +пахнем +нетопырь +негромка +жидки +сгруженным +постах +бутика +сноуборда +безобразен +перелитому +протолкнут +копрами +юркнем +завертите +пыхнешь +ворочающуюся +пропадаете +описавшей +отмеряло +сбоям +расспросите +обегают +высыпавшуюся +костя +страстному +разгружены +бесящем +литым +лебедях +походя +кисы +свитеров +счастлива +зубчатой +милуйте +икающею +господа +ворочавшие +пыхнувшего +мантам +пасом +аншлюсы +робимы +повести +скопят +запруженным +раджам +добытых +саднящую +замыкавшая +пережил +оборвался +мизерном +гвоздиках +ректорах +юркнувший +добрели +лазаньями +поманенные +холку +патриархиями +обмерших +погруженное +пережитым +ступеней +фонты +тенете +шелковица +купиной +абакою +спрингерами +маневренной +вычитав +переманена +утрам +произносите +возводитесь +осознается +искрившейся +азами +иссушенному +потопайте +полюсам +воротим +проволоками +делись +волоченными +любыми +отползало +жернова +дымку +троичного +замыкали +ворочавшийся +рябинку +охай +постава +венок +теплимого +нагруженному +разгромленной +угоните +румпеля +внемлю +нормирующая +зацветши +блядины +утыкавший +отмершим +копящими +погруженных +екавшая +окна +измерялись +заклиню +еблах +первом +заслуженная +тантала +едома +электропривода +писаться +ярка +милованы +мазней +икающие +приближенной +звоним +белье +бедренцам +яйца +дымкам +губим +облокотишься +матерщиною +гребле +истекшие +махового +постриги +сужу +созвана +скверна +пузырятся +помету +дьяконов +выносилась +забухал +избегавшею +бока +запасное +апострофе +набухаете +облою +маастрихту +искусах +скриптов +срезал +постом +македонские +абджада +отрезавшими +характерною +попадавший +перезагруженного +пузырящаяся +попиты +изрешеченными +ракушек +колу +верха +сволочено +уменьшившей +пригоршнях +чудная +чинящую +обжитой +саней +пробегавшими +изрезавшая +отсыпавшими +тупят +перчимою +пятой +ложка +нападавший +милуемом +балующими +чизелях +парите +украинское +волоченную +поблескиваю +клещи +провода +докупите +напоенному +камням +тома +доит +петельке +хлестка +батьке +тату +кровоточивший +восхищенному +излилось +спешил +сбегавшем +берете +манена +набегают +мастерскую +воротите +перчащая +асимптотами +облитая +пушка +творог +кредитах +заслуженному +переврана +недвижим +венчанному +пропит +ворвался +лоху +икающую +пыхнувшем +личное +всем +феномен +пешней +откормите +коробке +искринкам +пробегавшая +оцените +засыпавши +наряженную +компас +признаете +перебегавшие +просим +скосишь +парившие +передразненных +шпахтеля +всыпавшей +кура +политруком +решетить +обжу +сегуны +подостро +низки +попил +ниппелям +нормированиями +балующемуся +заходите +развитому +обмеряли +западавшие +глубоки +предвосхитим +забрала +суккуба +рубин +расцветшая +брамселями +юнкера +подвернут +заточенные +парниками +сердитесь +шевелятся +перунах +пилы +тендерам +бирмингемы +калединым +сползавшим +тельцу +замах +круты +матерщинами +ломте +трезвы +стернями +теплимую +моста +фате +бесящей +ужинающие +стержням +проказивших +пекло +задвигавшей +обмерявшая +аншлюсу +палим +блохи +кожанкой +венчан +туниках +лазанье +вишневы +возрастам +подвигавшегося +снятое +початый +присыпав +прочны +хули +зарешетившей +приставам +обрезании +складных +дознаешься +переманенному +лоха +замыкавшимися +суки +доят +жмыхах +присыпавшем +замершими +врезавшееся +выметаем +расцветший +перепою +предвосхищенном +переносную +обжил +скородим +призвана +выходившем +тикавшею +отменитесь +отмерших +милуемое +растворенный +стакселями +газировавшими +газируемом +антитела +милованное +вылазим +бирмингема +бело +клоним +сложенному +раздвоенного +преуменьшила +высыпавшем +питахайей +ушки +смели +перстнями +принята +ворочаются +парящими +операми +робимая +фатами +обжитым +скоблен +нападавшую +писавшемся +пурпурное +заслуженной +осведомлен +делим +курите +аба +зацветшего +триселей +приволоченного +грузанут +шелков +густы +клонитесь +смачна +стопа +органу +крутите +палено +нормируемой +створенном +сгрудившаяся +патриархией +слепленных +перебрана +худруки +тет +петровою +отрезавшее +залитую +прологом +базилику +екающими +ветру +сервируемой +дедах +рассыпавшийся +искрившемся +трусившим +апострофы +пропитый +поднялся +балующуюся +перепадали +венчанная +зубришь +попадавшею +дембелям +привозим +поблескивающей +мушкелей +начертите +прислонятся +милующих +отсыпавшие +внучки +залом +пережитых +сбегавший +решетившее +ярмам +лихтерами +перченною +запали +брустверам +трусящие +продвигавших +примерявшийся +напоенное +борзы +разбегавшуюся +лаве +задвигавшего +русофилий +перегородишь +дружке +венки +румпелей +искрившегося +метал +шибболет +лоскутом +ворочал +планируемых +молитесь +разломите +залитым +зацепитесь +милуемую +дионисам +паремии +женитесь +мускулистому +решечена +екал +разгромлено +психопатию +принудивших +зарезавши +садненная +перегруженному +парящему +смочите +инструктажах +потупите +милующего +разгруженную +нападаем +ворочавшей +нападавшего +цехами +предвосхищены +хую +порту +совершенном +сервирующем +кручены +петлею +погналось +засеченную +засеченной +затворенное +уменьшенных +преуменьшенною +тухла +краинами +подорвались +трюфелями +нормированная +пиздящему +налил +робящею +чиненным +кататониях +верша +добыл +кожанки +копе +стоишь +курсами +колонками +шага +грабарях +атласное +замершим +раю +ракелям +буеров +шабер +повторено +варвар +зубчатом +отворенными +рожкам +туерам +задрана +истекших +затверженными +растворенная +слился +приподняло +моря +вертим +ведра +шинок +обжей +флотами +маяка +запахнув +распознают +преподало +купиною +сгубите +спаленном +опорожнившему +издали +пайке +тикало +восхищена +шрифтам +перченным +крошите +отгруженную +отравитесь +просмотритесь +опорожненный +планирующего +просыпала +стежками +рассыпавшего +признаемся +пахнувши +пристанями +спаленных +залитом +слою +порой +перунами +шипы +чугункам +переманенные +мокротой +унялись +нормирование +дождались +суши +пекарям +сукках +принудишь +возложите +срезавшему +балующем +черкала +описавшегося +планирует +зашевелится +электроприводу +методах +просфоры +расплеснут +отличен +перчены +выносившим +засыпавшему +примерявшиеся +принудивши +ломитесь +хлева +заклинившему +флотам +нормировавшем +нетопырем +сечены +вилки +малышкам +привод +честном +лохах +бута +планировавшему +спряденном +мяса +бесящее +баловавшему +предвосхищенной +пыхнувшее +разводим +привинтим +нашивавших +обложите +погони +табелями +обрезание +луженного +заржавевшим +троичен +теплящей +обжиты +подвигавшим +передвигаю +плутов +попом +обрезали +наползавшего +политом +возитесь +скучны +всыпав +фоминым +обжитая +зеркала +осадишь +парком +аэропортах +писавшись +характерны +полувека +тупиковых +патинах +закутки +изрешеченного +тылу +оперся +напоена +урезавший +кобза +недвижимой +недвижимая +заслуженными +пописавшую +ленящихся +зашевелишься +безоары +ложите +разлились +сироты +венчаны +суках +спалят +бухнуть +электроприводов +несложны +вклиненном +поблескивавшее +дизелям +груженному +засекли +описал +тащитесь +трудитесь +пережило +разогнался +ржавевшему +ворочает +отвинтит +утыкала +взвинтишь +праотца +запахни +измерявшуюся +крестим +трефовый +корма +запахи +язв +сложенная +родились +пыхнете +качкам +милованные +танин +току +подсыпало +загнана +дохнет +ильины +скобленные +разрезавших +просыпавшеюся +разряженною +целившая +осознаюсь +кредитом +дельцах +расцветшим +шулерам +рожки +перевозите +округу +подсыпавшую +вахтерами +узнают +взметнут +маненною +утрами +гружено +совершенную +худобою +просыпавшаяся +обухе +военруками +газированный +газируемый +вихревым +стерв +бриджтаунами +вороны +гулящую +замкам +сосках +перелитое +вклинившиеся +переносною +отворимся +кете +напилите +чиненное +пашам +уменьши +предприемлю +тверди +подрезавшему +гасите +бите +рассыпалось +нудив +поселятся +набегу +числа +обухами +спрядена +участи +поблескивавшего +заклиненная +грузим +отбегать +мускулисты +петлю +валящая +громовом +казаку +спряденный +старины +кошмах +замыкайтесь +великом +навертите +облачка +нагеля +дюбеля +заточенных +робившие +рогозам +утопав +целить +дыхал +цветшие +толике +поезда +мышлением +задвигавшимся +суперах +приводы +скоблим +неровню +даренного +маслят +отгородит +кирзовому +лоскутную +почтенное +полюсов +понтов +сковороду +высыпавшемся +устою +уильяма +вывожу +пустынями +перегрузишь +миловала +мутят +мальце +перерезал +штабах +подшутите +раздробленному +бойфрендами +носках +тупившем +ветрах +нормируемая +полового +обмершего +приставов +шлицам +мумию +ворочавшиеся +нормирующим +курах +атласный +искрящегося +украинку +поднял +фухтелям +бои +берде +лесах +возраста +примерявшего +америкофилиями +бобам +срезала +пузырящемуся +насели +джемперами +пороши +нормированиям +гулящее +шинке +полы +боре +хладны +теплимых +нудившего +явите +планирующим +белят +протыкали +луженных +развитым +напоенная +новы +наползавшему +задышите +осыпавшую +атласъ +широко +понтам +грани +перегруженной +спряденная +перезагруженные +озера +осыпавшею +лечите +настою +желез +ягодицах +всыпавшее +зубчатому +проебана +вафли +дьяконами +сволочена +утках +благом +умолите +кита +стапеля +забухавшею +черкающая +секшим +вафлях +пуститесь +настороженную +взялось +разгружено +забухаете +тузах +замыкавшегося +бересте +личной +тикавшие +жените +мертво +восхищенную +сволочен +обегавший +запыхаемся +(по)шелковей +бронею +рассудите +анапестом +тупике +ивановым +заорет +бочке +домовом +землячка +скороду +звонаря +рубина +коротки +переносные +полуведра +измеряешь +летною +сползавшую +отворотите +шляхами +сползавшие +переманено +лососиною +запыхалось +робимыми +теплить +гастарбайтерах +запруженном +седины +перепадаю +уменьшившем +стенами +теплим +кельнерам +среду +сходна +давитесь +пузырящимися +блеклым +настороженна +отсыпавшей +добрела +точенные +микрометрами +крученном +бункерам +чертящей +обмершей +разрезавшая +преходим +отвертитесь +реву +психопатиею +парившего +чудной +текстилей +воронья +снялось +ведомая +мышлений +чиненному +восхищено +охают +обегавшего +вклинили +переманен +изгнана +юркнувшим +стрингерам +недвижима +дожитом +спешив +маркетингом +золы +ириса +проклятыми +капицах +колах +бою +бухающая +залились +прожитый +загруженная +слесарями +тону +слепленную +бутам +роженицу +паривших +роясь +романтиком +нудя +пруженною +берест +дружащему +дохнувшем +писавши +гроши +обегав +возней +приставами +продвигаю +отвозите +ужинало +пописавшего +сволоченного +электроприводами +узко +тавру +рассыпавшее +брюшками +гроше +чудном +перебралось +сдружимся +завесами +затворимся +погруженном +скосите +миловавшему +надели +недоуменна +вырезала +купину +еже +девицу +прогнут +апостроф +бомбовое +барменами +урезав +военруков +громленным +кружках +прожитому +обмерявшую +перепадаем +подлиты +тузы +чеку +отсыпалась +запрудит +фарерском +отмените +гумна +чиненный +нарезавшем +паху +трусила +мрачны +перчимую +веках +мизерный +перекосят +обмеряйте +дюбелей +бугаев +переманенное +потупившему +обгоните +стакселя +планируйте +цветовыми +заторможенное +понятому +холка +отворенную +щелочными +сек +преуменьшено +нагруженным +преуменьшат +проклятые +баловавшейся +ужинают +нажитою +мусорке +ушкам +приближенная +измеряет +вырезать +отворено +позвонят +прорезавшихся +передохнули +западавши +принудит +избегавшей +истекши +(по)чуднее +проводом +реки +ворочался +праотцу +варвару +рамэнам +разгруженная +вскочите +лохи +агами +проволоке +белке +берет +садненной +точенное +тамбуром +трудят +холки +проползаешь +перемахнут +ясны +техноруки +общинах +вывозившему +кауперами +ворочайте +спилось +налитому +почато +первые +просыпавшимися +фетишами +ворочавшую +перерезавшие +отбегавших +вводитесь +струсит +подсыпать +анапесты +отводите +волочишься +ведениями +уменьшат +строившей +землячку +давящей +западай +запуска +гулящему +ауешников +кителям +палит +телок +десятью +острогами +полис +сбегаешься +скопит +претерпите +роговым +добылись +али +запыхавшемуся +лосями +поблескивайте +искрящеюся +черкай +сыры +растворишь +бороды +ньютона +всучат +тепленный +початой +зацветший +добытое +загруженностей +груббера +блекло +грейдера +правило +крученное +калмыка +колам +маркетингового +отворишь +заряженную +юркнувшей +первого +пропадать +икать +венчанных +заржавевшая +слегам +пристаю +борам +заржавел +дискурсом +громлено +теплившую +судящее +мусорками +пяткам +форту +джерси +мастерские +берна +долота +суккой +звоните +политою +обступите +лита +штуцерами +пизжу +целите +худобе +вводим +спиздит +ладах +притупленные +наловите +бег +чертите +суккубом +быков +передвигать +засекло +сидней +спаленной +стюардом +подпитое +ястребам +сгрудитесь +вишнева +пропадавшей +подвигавшемся +парисе +постриг +отпершийся +врезал +засеченное +туплен +всучит +козлища +воды +теплимое +рудых +бугелях +бронированное +дочушками +жмыха +рассмотрите +чиненных +осени +попитое +строчном +отогнана +заорешь +помершая +перчащего +саднившего +нетопыря +писавшееся +предъявите +холках +подсадите +калмыках +тупящих +набралось +потопаете +лазаньям +баловавшиеся +нагружен +решетите +схватите +русел +проползающим +лавровому +подвижному +чуча +ебаная +проползающий +вычитавшему +отлитому +удержитесь +усыпавшем +урезала +ебаны +чекая +бензопроводу +искрящееся +сервируйте +морщившая +газировавший +побудим +расстегнут +вывозим +планируешь +пади +потупившие +бронируем +газируйте +маркерам +трензелей +засеченным +брехней +отпадавшей +широки +солдатней +другом +проволок +вывозили +отгруженного +кашлянуть +заторможены +нагелей +неровнях +набегавшим +средам +отлитом +рассыпавшаяся +(по)чудней +доскам +опорожнено +поманен +машу +руготней +лукам +клапана +приманенному +стакселям +директора +нудящему +прищуром +запахнувшее +допило +обитая +потопавшего +набегаем +растерях +крученная +обмерший +мозгу +пролитые +маркетинге +секшие +растворено +решечен +катару +селена +теплен +затверженный +юнкерах +хмельного +связного +насыпавшею +туру +дубляжей +признаетесь +девятью +трензелям +вещая +нормируема +отпершаяся +потупившим +ходы +шоферу +брюшко +притупленную +спряденную +саднимое +описавший +тепля +трусящую +крови +стернях +выметавшую +тени +рядите +договорах +эйрбасе +проявитесь +подсыпала +подвигавшимися +доменный +усадите +грошу +рассыпавшуюся +переключишься +сладившими +селятся +жилою +петрово +стрелке +слепнем +пережитыми +перченную +засыпавшие +шустры +вырезали +телкам +плодам +подвигавшими +колотите +жадны +теней +чухами +куркумой +вылазивший +сгрудившийся +искрясь +тикали +кашлянут +педелями +ровнями +проползало +боровом +застрелитесь +отгородятся +балующие +черноты +перерезавши +черте +дурнове +черкающего +пробегавшей +фарерская +ватера +бронированному +продвигав +мастерским +продвигавшего +усмотрите +сеченного +выводим +переворотитесь +загрузитесь +жирны +навесному +дурдому +запыхавшихся +фиговое +половом +сажу +астрономе +пашу +попитого +засечен +пойму +строившее +поддало +ворочающегося +загруженностях +валю +сноуборду +целящих +загруженным +писавшей +саднено +заснеженным +осознаем +дожиты +наползавшие +абджад +дружащее +нормированными +запруженное +сдержитесь +волочит +белим +любых +познаешь +мошках +отпитых +черкать +заснеженных +сняло +замочите +метан +вывозить +штихелями +проложите +ворочав +ледникам +отпил +перча +тепленная +взорвался +обрамленными +морщившими +передохнешь +рябиной +трапеза +америкофилиею +шофере +потопавшие +бондарю +ерам +детдома +тупику +создался +телемаркетинга +морячках +морочных +ворочают +прищуре +плев +асимметрией +измеряла +душке +унялся +большими +судящем +тупящему +размерявшее +заряженный +обегавши +планированную +ранимых +отрезало +лития +вносите +вклинившие +высыпали +настороженных +тем +решетчато +девицей +венчана +резьбы +катин +шляхов +стужу +смиренное +пропадайте +штемпелями +селишься +насыпавшую +права +принудить +спаленные +фонарищу +проказившую +секло +писавших +нагрузит +дымках +мироточив +грифелей +предъявитесь +ржавеющих +подаренною +бронирования +ровне +перекосит +золоза +срезать +обрамлено +перебегавший +пыхнувший +кислоты +нулевого +примеряют +размыкает +астрономов +скрипты +никой +разрезавшем +пахни +тортами +обеспечениях +бобе +рубеж +проклятый +газируем +балованное +обломите +чеки +вывозившими +резки +прожитым +высыпавшею +заклинили +сегунами +просыпавшимся +вырезавших +западавший +венчано +дружками +долги +шпахтелей +перезагруженное +видению +решетчатыми +решетившею +проползавшее +волос +засыпавшим +ярмах +бурен +кашляни +автокольца +приставах +ведомыми +врезать +разбегается +рудому +помершему +протыкавшая +отпершемся +америкофилий +перуна +боев +велесов +стойка +зубчатыми +подружатся +баловавшем +пертом +скоплена +севере +рамэнами +пятою +сведениями +цены +катарсисе +закутка +забытье +приводим +отделим +слободы +точенную +ягодицы +вычитавшую +клаксоны +минула +екающий +будите +купинам +векам +травлю +разгромлена +чужды +корректора +струсившим +закруженною +орденах +предвосхитившею +педеля +бронированный +запахнувшую +харей +вырезал +отсекши +зариною +сороме +замыкавшиеся +пропитая +подвигавшийся +отмершее +проклятых +тенето +нормировавши +торгу +скопленным +предвосхитивши +облокотятся +шкиперам +варящее +вымпелов +тикающих +подвигали +хмельною +хором +позвонит +бронированною +роддомам +наползавшая +кирзовых +юна +вывозившая +слизнете +жмыхе +слепленное +ирисовую +поблескивающее +текстилях +рассердитесь +плюсовой +(по)студеней +газируемое +засеке +александриею +баловавшим +вилось +попали +проблесковую +пропиты +берном +пуловером +вклинишь +предвосхитившим +юру +раджи +чеках +потерпите +нападало +окупитесь +целящим +округе +давящим +засеченные +выходивших +девичьего +описавшийся +солями +морщившей +привозите +военруках +рябинках +свалите +передразнен +морочное +замыкаешься +пузырюсь +адреса +робимые +манен +измените +придрался +загнут +терема +закатите +осознает +нормирующую +луны +чохам +сушите +упился +старье +рассыпавшиеся +рябинам +склепов +сволоченный +кожанками +пролитую +мышлениях +слышны +искрившиеся +киша +врезался +растворенным +добралось +икая +стопы +описавшими +сырье +раздели +приму +шевелишь +покорен +ружья +валящею +наползай +альфреда +вишневом +юркнув +волоченною +лупим +усыпать +обогнана +азера +наврана +нормировав +искрившемуся +бунтами +морока +чекавши +точенного +хлебами +разлился +паленные +выносившиеся +кружатся +обжитые +сегуну +ворочающееся +трусов +несчастлива +дизелей +калмыком +минул +перегруженную +взвинтят +проказят +адам +бомбовом +невзлюбите +старо +ирисовых +раздвоено +пурпурного +передразненные +стиху +восхитившим +политруку +расплылся +копцах +свитерах +гневна +гоним +пиздящее +прислонишься +милуешь +запыхавшийся +балуемую +звонки +отбегаешь +примерявшее +терпка +половому +валкам +выметавши +перехватите +зашевелит +струсить +туник +насыпавшему +отпадавшую +сведениям +слепни +добегаете +затворят +русофилия +иссушенными +приподняли +искриться +зубок +решечено +сгруженный +харею +пятки +щавелями +бремена +простыней +свежи +пригоните +сбегавшаяся +хмура +заржавею +носите +отпадают +погрузят +прорубей +западавшею +шипа +скрипта +саднящих +сорвался +пахнуло +обрамит +скриптам +удавитесь +туса +выносятся +осведомленном +жиза +пруженную +тлею +зябка +шулерами +предприемлите +судите +ведомому +даренными +козы +техноруков +восхищенные +украинкою +ветлы +облитое +перчу +отбытым +изрезавшую +приближенное +душе +глупы +сослужите +засыпав +пуделях +уменьшили +бензопроводом +аги +аллах +теплимом +целило +романтикам +сметана +ирпене +стерни +длинны +содержите +стакерам +обрамивших +распродали +прорезало +дружащею +бухают +блокпостам +размыкай +гренками +ржавею +казаке +грусти +козлищу +выносивший +вычитавшее +отрубу +фитам +атласа +вектора +плюща +подлитыми +решетившие +подвигавшем +межам +врезавшем +спешившему +ховеркрафты +вклиненные +подсыпавших +копре +роженица +нормируйте +ранимого +заклиненном +перерезала +грубберах +маркетинговых +коренному +блеклое +зарезавшая +отползавшие +напоенные +вишневыми +ските +перчащий +коренные +пиздящая +триселях +баржах +отбыты +перт +фетишам +реперах +садим +восхищенная +засосу +копа +торопитесь +крученною +осведомленная +напоят +возрасту +перчено +профессора +досмотрите +налитую +газируема +растворимся +уменьшите +секших +делавэра +целящему +наскочите +налился +заснеженному +пруженному +затверженной +затворен +харассмента +летному +преподана +борозды +бронировавшей +катины +газировавшую +свозите +мельтешней +осеклось +винкелях +набегавшая +нарою +ловки +первая +колонки +ярки +нудили +саженями +переборов +прервана +всполохов +уткам +рамэну +перепоит +цедящие +измерял +лоскутных +кауперах +нудящими +начинены +соткала +судящую +наползаете +дохнувших +ржавейте +шатка +строчной +кумах +обмеряв +катарсисам +повторены +супера +велика +конфой +селится +оспорим +колокола +тупим +разъяснит +катаканою +взогнался +тополям +отрезавших +судящему +измерявшемся +дыхалах +шкиперами +прожили +пастушку +затворенному +делавэр +яза +мукою +свечами +саднен +дивчины +ряженных +продавите +фоминых +вором +отпадало +распознаешь +троичным +крестная +зацените +робящим +принудят +хаосам +бугае +екнуть +перепланировавши +счастлив +заходитесь +мусоркам +нормирует +сангриями +самой +маненный +юркнете +колами +передвигают +разряжено +округами +ноутбуком +дохните +набухавшим +швеллерами +фэндоме +вишнево +вклинившему +векторами +примерял +проклятой +мергелей +валках +худруками +кожанка +безобразные +обрамите +комплексному +пересекшийся +разгромлены +поблескивавшим +танины +золозы +вселитесь +лихтерах +отхлебнут +нехитро +шлихами +избы +просыпавшуюся +трефовой +лососине +нажрана +нормируя +прологи +примеряет +дробна +нудим +вклинила +полуострова +посыпавшейся +средах +витым +асимптотах +вступитесь +заклинит +пережили +волоченная +перегруженное +растворенного +водитесь +взогнались +срубите +рассыпавшемся +склепу +зарезавшими +ветфельдшера +вселенных +навесном +закруженными +валящей +ухватите +овном +балую +вечерей +фиты +железы +скупитесь +тупящие +олениною +целили +перекосишь +перелитую +обегаем +запыхаетесь +берну +кузьмы +приводам +отперлась +штемпеля +подвигавшейся +трусивших +присыпала +нужны +присмотритесь +срался +расцветшею +зирваком +плуте +спрингерам +погрузите +переносного +сахару +тикавшее +створенным +балованные +волною +церквах +начиненная +разъем +заломите +чиним +нарвался +разгромленного +попы +(по)долее +шофером +перепланировать +коренною +дублю +сангрии +видениям +маховыми +ушибу +конфы +прорезавши +луках +дымки +передразненною +угле +обсыпавшее +слесаря +ужинать +армянофилию +прокляты +спихнут +нажитыми +перчит +ржавей +деньгу +фейхоа +закупорить +заслуженны +бандажа +нумеа +украинскими +чертящим +садненное +видением +проглотите +подвигались +тузами +щавелям +вклинивши +козел +сеченном +волнами +скобы +интервьюеру +дознаемся +доменном +балованною +подать +чугунка +перепланированной +налитый +подаренной +хирагана +клизм +растворены +павловского +икавшей +леске +сапожкам +прихватите +заселятся +луженною +свились +пошевелит +притупленными +бухнул +поля +екаешь +узрите +кренделям +казака +садненною +осе +секшими +шинках +сенсорный +сравненному +альфредам +нудил +выносившая +спорите +нормировано +беды +завеса +гряды +отбегавшими +ряженную +черкаете +прилепитесь +закурите +тамбурах +отмерявшею +пропила +нассау +заклинивших +запруженных +вертите +морщим +восхищенными +выходившее +болей +псалтырей +чернобыля +холкам +суперзвезды +просыпавшей +базиликами +угольную +творогами +взвинтите +недоуменного +спрингерах +нарвана +слепленный +угольной +избаловать +звонарей +осыпавшиеся +сволочь +опорожнившей +бодры +различен +целившего +икав +разбегавшаяся +венками +екай +сорвались +выметавшею +сервировавшему +отлитым +плевой +отучите +стерпите +обжитому +выметать +звана +саднившим +связной +девицах +уменьшила +обегал +разорвалось +тракторами +залито +украинце +мастерского +проказил +поблескивавшими +суккубов +отводим +леера +зажили +маненном +проучитесь +насмотритесь +задвигалась +колками +политая +борзою +рассыпаться +доменным +вороном +тонах +фоминою +того +разузнаешь +налитых +пятерней +гулящею +обоснуют +счесть +волочимся +текстилями +проказили +насадят +тусах +сволоченные +давящею +пекла +тупленной +береста +скачку +цеха +влажны +попою +судящий +ракушка +домовым +дружка +рыси +трусивши +перепланировавших +проступите +осекшись +лавровым +замка +политого +тупиковом +крыму +напоишь +ньютонами +черкающую +несчастливо +вершу +ордена +раджах +сползал +разделите +сомы +забегали +проказившему +пописавши +саднены +продвигай +планировать +варящем +солят +голубкам +вахтеры +шепотней +надушите +селит +кислы +нудившие +лисе +газируют +бостону +кола +рубины +нитяных +створенный +бугелями +точенная +бамперов +ворочающею +бронированные +забегало +тонам +пересеченною +набухал +джорджтаунов +видения +кейптауне +дионисе +отсыпавшая +недоуменная +раджей +урезавшею +пописавшими +пили +западаю +контрами +газированного +голубка +катарсисов +искры +осыпавшаяся +сеттеров +маркетинговому +лосям +черкавшего +жирке +вымпелам +потуплю +бубнам +летом +нарядитесь +закутков +доим +громовых +азерами +коренным +осмотритесь +волочишь +уставными +фонарищ +тикайте +пробудятся +размеряв +планировавшей +старьевщику +плети +разгромленному +мути +шрифты +характерный +пролитый +саундтреке +гасящая +перчимы +уменьшившимися +загрузит +приволоченному +обвалите +поманенным +зацветшем +сдружишься +подобрались +пропил +вклинившаяся +поисковый +глушите +кинем +катя +скопленному +ауешнику +чекаете +джиду +нажралось +мелу +катина +давящее +миловавшею +громленною +уставных +пригоршням +перепоите +целивший +икающему +проводах +восхитившее +газировавши +скоблишь +раздвоенными +новорожденны +сбегайте +борзому +икающей +зарезавшую +учителями +припасу +видна +бронированной +джидами +сверленному +описавшие +ловите +бухавший +балуемою +обегайте +скаку +надорвался +истекшем +колонка +теплимым +стоящими +пролитая +недоуменный +нигеру +выходить +слаженному +лавровая +нашивав +хуя +селишь +проводе +маклаке +чернобыль +груженное +дохнувшая +утопать +тупиковою +вафлею +выметавшее +потупить +прихлебнут +предвосхитит +пустоты +полу +шпинделя +сложенных +подаренными +водах +перелитой +восхитив +балующееся +проказивший +протыкаем +планировав +первое +перегородят +разрезавшей +вклиненная +зарвался +педерастией +юркнуло +строгая +толстого +притупленным +омбудсменом +древкам +задвигавшихся +больших +разгруженной +тикавшая +фитой +копцы +потом +скосит +кружите +перченных +углями +штабелям +отсыпавшегося +украинки +вклинен +недопитую +охватите +перчена +криптами +секшее +лебедям +черта +пастушке +метою +нарядишь +танталовою +бижутериями +кредите +заклинив +слизнувший +триселями +напилось +пережитое +мускулистой +гафелей +счетов +перепланировавшем +витую +планируемая +атласные +обсыпавшему +сбегавших +городит +бронируемом +начинишь +лудим +прологах +тортом +заварите +скоблена +неводах +обегаешь +предало +подразните +бутике +безобразными +конфа +отпадавшею +перчила +переводном +пропадало +слажена +напоены +пропадавшую +пуки +севера +жизнеобеспечения +красоты +вычитавши +заперся +опилите +скобелей +литий +чините +затвержен +прорезавшем +саднила +косит +борзых +измеряешься +избегавшие +община +чинен +вклинившею +размерявшими +проказившая +старьевщики +заклиним +стоящем +сверленную +виною +планируемому +парилка +вахтерам +неплохи +налитое +тупленными +свердловыми +ужился +зацветших +недопитым +маненной +причинен +бухавшими +подаришь +парившая +домового +заклинившем +обсыпавший +доменного +запыхавшемся +сдружишь +ломите +кирзовыми +патриархиям +затверженном +пролили +баловавшихся +населите +строчат +нажитой +сгружусь +чудному +ворочавшись +юре +казни +склонен +размыкаешь +расплатимся +проволочкою +джинсовыми +икаешь +бухавшего +смиренными +разорвались +пристрелите +искрюсь +мучусь +повалит +тельце +привинтит +волочится +пуловере +нитяным +переключитесь +интервьюере +недопито +отрезавшим +гренку +носитесь +голью +блокпостов +изрезало +пробегаешь +пиздит +мастерская +секшею +предвосхищенного +скачки +закружатся +жесток +ильину +черкающим +обжитыми +найдена +пересекли +растворенному +судящими +прояснит +решечу +сбылись +секли +ржавевших +гнался +отгородишь +лапте +гвоздики +почтенных +подхватите +девичью +варваре +телец +сушу +обрамленной +фольга +текстилям +подрезавшим +бостона +примеряю +пряла +перелилось +запахну +поисковое +нагруженное +охаешь +венчанную +капселей +рудую +средами +флигеля +безобразная +теплившее +базилик +безобразного +засеками +милованными +уремой +тока +уменьшившим +парного +матерщин +мудях +просыпавшую +заклинившей +обрамлены +замыкал +заторможенною +козлы +витом +баловавшемуся +обрамившую +ночи +оленине +козлищ +допитым +чертящую +парящего +сервируемы +мергеля +ворону +принудившему +прикупите +задвигавшегося +саженям +аэропортам +затащите +отгруженное +помета +запыхавшееся +пересыпала +сбоями +пропасть +борту +подрезавший +робив +сгрудившееся +принудившим +нашивавши +балуемой +кровоточила +допустите +ведениям +стеблей +бронировавших +метя +заряженное +свекол +перстнях +подостры +пропадающие +опознают +запыхаешься +решетчат +перезагрузят +бесящий +размерявший +подпитая +пересыпавшую +утопал +соски +размерявши +жевела +косишь +обрезавшем +отбегала +ряженной +велесе +истекшею +пруженных +сравнены +потупивших +обжитых +екающею +обегавшей +буте +врезали +бомбовою +апофизу +груженную +съезжая +бочках +потопавшему +трескотней +разрезала +громовою +зашевелите +утыкавшими +унялось +зубчатые +ранимые +шкиву +хаосами +хлопкам +целившую +дружим +кишу +икали +точишь +парки +бачки +винкелями +копны +балующая +изрешеченный +переманенными +фонарищам +свазиленде +шинкам +пошевелятся +обрамить +передохнут +жизой +попами +джидах +изрешечены +стерням +кошмами +фельдшеров +милованного +лимфодренажу +нормированию +сервирующий +подростковой +примерявшееся +округам +уклоните +трюмселей +отбегаю +милуемы +подрезать +подросткова +осыпалось +русофилию +агой +ворочавшихся +предвосхищено +волнам +пробрались +выносят +высыпавшимся +ебаного +вылазивших +ворочающий +пописавших +строенное +секшая +нарядят +занятому +казана +трюмселями +ранимою +примочите +борзой +асану +доменных +рассыпавшейся +отцепите +утру +тортам +селитесь +летную +волочитесь +ведение +рассыпавшие +проблесковая +пузырящиеся +сволоченных +проползать +миловали +пьяни +пастушкам +сгруженных +асимптотам +измерявшемуся +тусклы +честные +утыкавшего +зарешеченных +раздробленной +пристав +клапанами +посыпались +ужинавшею +целю +доха +рябинах +перебрались +прогнана +сегунам +респираторного +заточенному +преклонен +пиццериею +высыпать +перезагрузишь +екавшим +кисах +продался +строившею +подростковые +ростовыми +закруженные +вентерей +украинка +слизнувшей +пропадала +начинена +тендерах +мошку +явитесь +остановитесь +самое +вылазила +стары +назвалось +зыбка +догнана +высыпала +чащу +зарезавшей +просыпаться +проблескового +заклинившими +скорбутом +лихтерам +совершенного +сведения +мерседесом +приближен +честным +приближенный +сползали +гулящего +флигелям +селен +взогналось +запыхавшеюся +метод +тракторах +навесное +копцу +фиговой +подарите +танталы +спешили +духи +бугаями +торты +занятую +прологами +набегает +крепостях +напустите +зарешеченная +двери +пописавшем +атласному +возу +отсеку +нищая +чинящего +перепланированные +утопавшую +слабы +важны +кредитам +точат +педерастии +баржам +набухавшее +взмолитесь +перегруженным +дыхалом +калмыку +чудны +пересеченном +кейптауну +уменьшившиеся +ядра +тупившим +слажено +робленных +грейдерах +забрана +утопало +перелитым +платитесь +ягодицами +промокнут +отпадавши +рамэном +нормированного +забегать +бронирует +расплатится +копрою +цветши +носовых +запруженный +предвосхищенную +летам +телемаркетингу +черкающем +корешей +посыпал +нападать +парящий +заточенный +бронирующим +горе +дубок +теплимый +сладим +сопел +якоря +тупикового +замыкавшую +муравою +обмерять +раздвоенным +танталовом +продвигала +щелей +прожекторах +худруке +зубки +парник +мерседесе +измерявшую +ирисовою +отмерявшими +любитесь +разгруженное +изрешечен +груженный +новорожденном +стоим +початых +милующим +прожитыми +отмечу +ворочающим +кирзою +подвигаетесь +подорвана +настороженное +садни +рудом +блумфонтейна +дизеля +сервировавшее +открою +мурава +обуренный +разбегались +пригнут +задвигаются +емли +мальцам +балующийся +протыкавшее +честными +штабов +преуменьшившие +сбегаешь +подобрался +опознает +садненных +мысами +измерялась +фюзеляжами +альфредов +марселя +прологе +загруженные +балуетесь +техноруком +личными +перепадало +черкали +возлюбите +врезавшемся +багам +пасу +осыпавшего +поселишь +саундтреки +заклинившую +екающая +дросселями +отпиты +кобзою +приостановитесь +поблескивавший +милочку +техноруками +внучками +ужинающего +сегунов +отсыпавшемся +гвоздике +отгрузим +робящий +окорока +миловал +мушкелям +романтике +ворочающемуся +подаренная +кулинарии +измерявших +слова +прудят +венцы +запруженного +куркумы +слаженные +стоят +азерам +колку +худруков +целивших +белками +лемеху +восхитившем +берестам +пузырившейся +вахтеров +педелям +гнету +добегай +прорезавшимися +отхватите +бунту +интервьюеры +характерна +спросите +сушитесь +сладившая +допитых +замыкавшеюся +солим +сладишь +снятых +(по)блеклее +осведомленную +чекаешь +попалят +приманенная +задвигаю +напоенного +ворочающихся +шлицами +спала +планировавшем +побродите +педелей +попроситесь +плюсовые +переносной +разряжена +свеклах +створенного +балуемый +узнаем +черней +развозим +ржавеющее +задушите +гибка +козырной +предвосхищу +зирваке +кию +баку +алфавитом +проползающими +заряженным +грызу +труженной +планированной +передралось +продали +поглотим +отбыто +робленную +попой +кии +искра +нормируемым +вклинившимися +уставная +блеклого +стрингера +лишка +техноруках +волочен +запахнувшие +полуоси +гости +пиццерией +перерезавшее +нетрудны +поблескивающею +шара +присыпавший +отбегавшему +подало +низу +напоров +связною +наложитесь +прорезавшемся +зарешетивши +метите +фейхуа +кашицам +солишь +политый +чекала +зубчатою +бура +маневры +ловитесь +щелями +робили +носовою +лишаю +нужу +джорджтаунах +перченное +обнялись +писаря +ильиных +помнившими +подвижным +грузят +заслуженна +нашивать +козырное +снега +мизерную +скорлупы +бремен +плыло +вихревых +принудившая +соплей +поселим +сумах +воронам +отползайте +мурманском +шаберам +едомою +временным +джинсовою +расамах +битою +туники +секшую +бронируешь +украинке +буккера +раздвоенному +погруженною +повторенную +трефовому +грибов +гвоздикам +маневренные +заряженная +стакселях +зубках +дружащей +клинкера +парившею +остудите +колесница +высыпавших +нарезала +лозы +проползающее +русофилии +провидениями +примерявший +носок +робимый +предалось +чучам +пиздим +перчащую +небу +путевому +нападаете +давящими +дельцам +подловите +личных +ледника +шевелите +ловлю +распахнут +переложите +газированном +чиненного +писала +примусах +пропадавших +набегаю +обатуром +влюбите +горце +крестите +отбытых +потащитесь +задвигаем +сенсорным +расселишь +развитого +прислужите +цветшая +чуху +респираторных +селя +атласе +озерцах +вобрана +очечнику +прожектора +размыкавши +окатите +сволоченному +абазе +политому +сеттерами +подвижной +мураву +париса +получасах +теплили +сбегайся +преуменьшены +теплившего +помнившую +молотите +шоферам +треплам +нулевое +каледина +бижутериях +ветфельдшерам +пробудит +балующего +джинсовое +поборов +колыхнут +раздробленное +скоблите +контрой +несчастливы +избегай +шулеров +смолы +фюзеляжу +осиме +сира +перегрузят +бугелей +покатите +вселенная +поту +заторможенная +зарезавшем +стоящих +апофиза +сенсорном +запруженною +рябинке +геном +армянофилия +характерное +дюбелях +глоткам +недвижимою +пробегав +поблескиваешь +пуделя +клаксону +писался +оборвались +пруженный +строило +запахах +выносим +прорезавшейся +ведению +обрезав +преступите +токарями +фонтов +блокпосте +попитый +прикусите +тушим +танина +прилепите +настороженный +лоскут +доху +корешами +залитый +бухнут +дразнящего +баловать +рябинкой +баловали +выносив +половою +чертят +компасами +спешившую +рыбарям +отсыпавшись +подстрелите +занятые +смету +шмыгнуть +полны +баловавших +точны +серевшем +переводным +буру +задвигавшуюся +роблено +смотрите +студите +джинсовому +разорвана +бесящею +потупившими +чинящие +тикавший +контру +топселя +населим +колика +слюды +признают +отчего +прорезалось +подводите +сомкнут +рассыпавших +зубчатого +маховой +подвигаешься +валящую +перегруженная +перелито +вдался +примет +пугал +сомах +танталам +перепланирован +екающему +теплившею +нытье +полутона +варящими +пироге +варящею +закрома +поддали +уточите +маневренно +сгруженные +дивчин +инструктажам +пересыпавшему +временщикам +творогам +расама +боры +конфах +коле +личную +дыхалу +попах +приманенного +канберрой +проводами +проказившее +спалим +срезав +кошмам +маните +недоуменною +ракеля +зарешеченного +парило +белка +дохнувшее +росы +взяло +омбудсменах +даришь +обеспечению +сбегалось +налепите +еров +пахните +решетчаты +отсыпавшею +литье +затворенного +сбегавшись +морщили +сознаешься +планирующий +бункера +путаною +тешу +примеряло +баловавшаяся +обатуру +икр +парному +развилось +пописавшие +толстая +отсыпались +кору +добыто +суккубе +терминами +одновременной +восхитившей +симметрий +тупящем +закруженном +соцсети +бухнувшую +милуемого +стопите +чинят +милующее +решечены +переключатся +предположитесь +потопало +описаться +рассыпались +нормировавшего +бухаешь +костей +пропитую +тунике +отворенной +бронировавшею +отсекший +мускулистую +допит +посыпать +пролитом +парившей +азу +подростковою +передвигавшая +кругом +ступеням +ермаке +шиберах +теплящую +угольному +сползавших +привалите +выносивши +передвигает +посолишь +разгруженные +нормирующими +недопит +теплило +дельт +продвигавшая +уильям +головней +погубите +компасе +скулы +переводной +заторможенную +приставом +новорожденная +грабарь +тупленная +пирогах +север +вылази +куркумою +сладивший +курса +грубберам +буккерам +пролитыми +скопишь +саням +тепленного +фэндомам +примуса +рассекший +обмеряло +парилкой +нормирующие +добегавшему +луками +леса +ворочаемы +передразненными +аншлюса +рябинами +александриями +палена +гасящие +договору +зарешетил +спиздим +забухавшее +приманенные +гулящим +трефовом +лони +ввалитесь +сгружены +загранпаспорта +трусящею +балуешься +заторможенными +закрутитесь +начиненное +подпитые +мета +строенному +хода +бухающею +волочатся +запою +ракушке +разорвался +бухгалтера +отпершемуся +загрузят +электропоезда +подпитой +дубках +западавшему +граффити +перегружена +пахнул +духу +отворенною +саднимый +клинкерам +сокол +хаоса +опорожним +оперлось +зарезала +шприцу +изучитесь +новорожденного +перепланировала +сангрий +заслуженного +молча +грабари +моем +поддался +образами +пузырившийся +радже +задвигавшими +черту +заклиненному +фомину +описавшейся +строки +подвигайтесь +нацените +свеклам +любим +засечено +сноубордом +нормировавшему +симметриями +лоскутное +ступней +маркерами +початыми +пересыпавшие +вселишь +тикавшему +планируй +оленина +восхитившего +рассыпавшееся +синей +отгрузите +срезавшее +стану +проворотите +прорвана +бункерах +лене +гасящих +засыпавшее +александрии +строенным +уменьшивши +обручу +копим +педерастий +питахайею +абазами +усекши +настороженным +нажило +добытую +иссушенные +робила +почтенные +блеклых +обжитого +ивановой +копрой +милейковские +изрезав +переселитесь +решетил +восходите +заявите +пиздящую +врезалась +суете +спешить +тендерами +носками +теплившими +свазиленд +слепленном +фрезера +попадавшем +примерявшим +облился +предвосхищенные +перепадавшие +минут +зачерпнут +газируемой +подорвался +саднимую +слепленные +засолим +студим +новины +алфавитам +отбыли +рамэн +перепланировавшему +рамэна +украинцу +склоните +борами +ястребах +прислонитесь +перемесите +миловавшим +тупивших +ворочавшим +векторах +ведения +охаем +кручено +родилось +предположите +солодка +отравите +предвосхитившему +урезавшему +ввозим +рыбаря +жемчуга +скоплен +занялась +шницелям +ерами +чел +юркнувши +шабашах +бухгалтерам +передвигаем +вклиненный +виражу +бондарем +задвигавшиеся +рудыми +проситесь +абакой +глиссерам +ирисов +милуема +велико +коренных +связным +помнили +заждалось +смолян +удите +тортов +пурпурными +отползавший +психопатией +абашей +поманенную +оперлись +разжилось +прыщи +йоруба +вклинившись +зарезавшею +кабелей +строенных +струсивши +громовой +шибболета +поляков +бухало +село +сволочены +обсудитесь +прослужите +погнались +обсыпали +стоящего +родила +берда +утыкало +саднившею +просыпавшему +чинящей +азерах +икаете +перепоем +бриджтаун +поманена +поблескиваете +разметите +эйрбас +сгрудятся +переманенную +бирмингемом +передвигало +интервьюера +перетащите +изорвана +русофилиями +расколов +новорожденными +сахара +нагруженный +восприемлите +выносись +парил +паленный +патины +нападавшею +попадаем +отлитыми +пережитой +фюзеляжам +трюмселях +парнике +строившие +кренделях +ловчим +ворочались +ужинающею +бухните +отпили +сыру +затопите +отмерявшие +заметите +бруствера +проклято +примеряемся +отпустите +пропастях +тандем +осимою +теплима +керчи +усыплю +ложки +перепланированная +потупило +прорезавший +сазандари +заклиненные +глотке +обсыпавшие +брались +околесицу +ебале +бочками +строившему +полой +передвигаете +боготу +совершенное +брани +уменьшившею +поднялось +маневренности +буерах +поисковые +описавшуюся +парку +чучу +переманенных +присыпать +пригоршни +овну +поманено +провидений +перекатитесь +проползавший +смиренный +расплатитесь +бойфренду +курам +обхватите +йоркширом +минусах +облитою +заржавевши +джинсы +худрукам +забегаете +задал +газировал +заблудитесь +куру +гасящей +тонами +немуро +закружимся +связную +буерам +купины +уменьшил +утыкают +заселимся +дрянно +смоги +честной +борах +лиха +ньютоны +хуева +сумами +радиоволнах +загруженное +шляхи +жизу +применим +спела +ворочаемый +триера +обоснуетесь +смахнут +правилах +пережитую +озерцами +краинам +прорезавшеюся +нападавшему +древки +щелочному +манками +кисла +задвигался +прорубям +лопарям +подступите +ворочавшеюся +весла +недоуменными +ущипнут +воронки +русофилиях +роженице +удержу +камфорой +нормируемыми +переселятся +проползая +разгромленных +паленных +полдня +планировавшего +пошевелитесь +кружимся +луке +забухай +страстного +боксерам +разбегавшеюся +напоенным +десны +фэндомы +луженное +хлеву +первых +рогозе +пурпурною +затверженною +уставною +совершенный +нудило +догоните +неточны +платим +посты +отучитесь +оводов +проволочкам +крепостям +дросселя +пробитом +петровы +калам +завесь +утопаем +ими +загруженностям +разделен +обмерявшие +описавши +высыпавшийся +гордонов +пересекши +стопам +осел +нарядите +вишнев +передвигав +стекла +ворочаюсь +сгрудившейся +америкофилию +ужинавшей +изменитесь +соврана +бижутерией +бухнувшею +ниппеля +малышке +проволочками +берестами +получасы +кружишься +коре +предрасположите +крученного +врезало +буты +переманенном +крестные +осыпавшем +дождался +спряденною +настороженными +икающий +парившему +понятом +борону +истекшей +добегает +душкам +бронируемою +бондаря +шелковыми +расцветшее +замки +сапожки +рябинкам +зарешечена +вафлями +отмахнут +повторенными +фарерские +сучите +оборотите +одновременному +обсыпавшей +изверг +екавшего +заслуженные +ворочающие +вычитавшая +пиздящими +газирующим +осадит +фраеров +газировало +путевом +милейковских +сомов +пахнувшим +примерявшегося +примерявшая +фигов +отворитесь +стартеру +грабарями +отбегало +приволоченные +допитое +полог +преуменьшивши +пробеги +юра +поре +отсыпало +потрудитесь +помершими +просветит +паша +зимы +агою +спешившего +посыпавшееся +тенях +клубах +ворочаемою +шлепкам +осыпь +вклинило +сложен +снегу +кобзах +уже +холке +суперов +сдружатся +кейптаун +закружат +натерпитесь +развалитесь +планируемой +сгрудиться +налитой +обух +жестки +вторсырье +летным +молодцу +перчившие +чинящему +юркнул +стогу +описать +поишь +шинку +тикавшего +сервировала +стрелок +поворотите +тупика +электропривод +обмерявшем +отбытой +лиселей +штемпелях +ирисовые +жерела +включат +проказившим +трусили +бесим +грабарям +обрамившие +решетим +стряпней +восстановите +насторожены +натопите +скупимся +дельце +счастливы +опорожнившее +хмельным +парам +шибболетам +отпадаю +девичьим +слепленному +сполоху +саке +настороженном +выходишь +маневренная +молотим +строят +пересеченный +вселенным +кирзовое +кирзой +пузырящеюся +раздвоенною +описавшись +бирмингему +прозвана +ленящеюся +пригоршню +пролитой +сполохами +посыпавшему +понятым +погруженный +маневренными +лоскута +западаем +барменом +пукам +мизерною +асаной +мороку +мытье +перегнана +чекаю +кашлянем +тупившей +уводим +тони +пересеченного +мускулист +перчившего +слизнувши +газировав +ховеркрафтом +ленящееся +уменьшившему +створенное +рупора +свечах +перебегаете +красно +измеряется +сползавшем +дискурсов +стебла +лаба +маненным +прорезавшие +косите +обеспечения +базиликам +брался +снисходите +пропадавшая +замыкавший +троичный +политых +строенной +опорожнят +маркером +свекла +милованный +мерило +румпелям +марселях +балуемыми +погруженным +парящие +дрочим +порок +растворена +недвижимые +взвились +заселишь +альта +запасном +измерявшеюся +временном +подвигают +дружат +слепленная +валящие +присыпавшего +передвигавшие +подрался +утопавшего +кельнера +подержите +нарезавшим +пиздят +лохами +дожито +затворенною +протыкавшими +вафлю +продвигавшей +варварах +вселенную +астрономом +зарешетившему +дразнящими +асимметриях +батьках +скупится +пора +волоченном +спелы +маастрихт +батьку +обрезал +гвоздика +пиалы +сеченную +дразнящие +обнялось +засекою +решеченное +промыслам +черкавший +джинсовая +мускулисто +сгрудились +струсите +очертите +просыпавшим +педерастиям +заторможенной +ценим +проползающем +насыпала +разлюбите +зацветшею +плюсовыми +теплящими +всенощная +принудил +сбегавшимся +гнусны +астрономах +творогом +навалитесь +валящему +кружишь +заржавевшему +стада +шабашей +одновременном +морщив +отметите +колонках +забегают +кожанкою +путевыми +гасящему +мошка +раздробленность +тупит +любите +питахайя +примусами +продвигавшую +засолит +примерявшеюся +планирую +домовое +рогозом +опознаю +поршням +вклинившейся +лужена +обрамим +отбегает +декелей +распуститесь +недопил +набрались +переломите +блохами +отпуску +насыпавшими +давящего +валки +договоров +тупимого +балована +корме +нетопыре +челюстями +попадайте +зиму +груженными +инструктажу +забегав +помнивших +блокпостом +уха +межами +почтенному +лису +крупе +задвигаешь +качками +апострофам +ростовой +литою +планирующею +уменьшенным +дохнете +почесть +недурен +демшизы +тупик +цвета +далеко +ледником +опорожнившем +сервируемыми +объявитесь +обсыпавшими +балующемся +восхитившие +икающим +дохла +одновременным +запахнет +проруби +сгрудившимися +изрезавши +колком +урезавшими +отпадаете +екают +пересеченные +рыбаре +холками +приставы +обмершими +продрана +расселим +переманенной +отозвалось +перекрестите +ригелями +канберра +пробитую +робимую +запруженные +проползавшим +перепадавшими +глаза +ведомого +подвигавшего +пятка +тикать +уильямом +соскочите +петелькам +чеке +текстилем +попадаете +замутим +опорожненном +высыпавшие +сторожа +ржавевши +залило +пропадающему +подростковую +секст +базиликою +заточенное +слажен +промокните +колледжи +настороженной +нормирована +отпершейся +сверленной +впились +спешившею +цедите +брюшке +(по)жадней +пузырились +отступитесь +судящею +продвигавшем +пахнувшем +пусты +шляхам +проносите +делящего +вырезавшими +жирках +рупоров +напоено +протыкайте +вклинено +бронировавшего +дарен +рябину +нападай +скорбутами +копье +нем +судящей +облое +мер +задержитесь +прудом +голодны +рассек +козырную +блокпосты +роговой +фонтах +алфавитов +сводят +отсыпавшему +ролям +вывозившим +судитесь +черкающих +понятая +холодов +трусишь +фонов +бобы +слоя +микрометрах +решетчатом +штуцерах +обмеряете +бронируемой +бухнуло +дембеля +щелочная +давящих +сплетен +прорезавшемуся +заточим +сколотите +внучкам +дренажей +затверженного +набегал +засек +чугунок +политые +обслужите +измерявшаяся +велесах +засекой +своротите +нагнут +телемаркетингом +милующему +заскочите +крестных +куркумам +стоит +примерявшихся +искусы +порубите +гружена +бугая +пузыришься +набегавшего +дренажами +шлице +мирна +осеклась +пропитым +вселенными +пруженные +тропа +отпадавшая +отруба +стрелы +изрезавшей +маневренного +ебалу +кладу +честное +орган +перед +безоара +юркнувшем +ленящимися +истекшее +выноситесь +полутонах +сбегавшими +молим +начиненном +перепланировавшим +рассыпавшую +сервирующие +отточите +обрамленным +юнкерами +вырезавшим +ахав +хмельными +добыт +разводите +грузится +здоровы +уставном +перчимая +виражами +цепи +придали +шипов +органами +тихоне +отмершей +разогнут +писавшеюся +бронирующему +цедящим +ястреба +передразненному +брюшка +плюсовым +засеки +остроту +бомбовому +угли +бледны +лечим +иссушена +отгруженными +маневр +атласу +помершую +парках +графе +одержим +феномены +корпуса +ветрам +харассменты +автомеханика +создало +поддал +запасной +недалека +добытый +лекарях +развился +хлопком +разряженный +сервировав +створено +балованным +шипах +утку +набегав +пахнувшее +помнят +пехтерям +паром +батьки +отвалитесь +подсыпал +чучах +приставу +ебана +пахнув +поит +загородите +стругами +подаренных +наползала +мушкеля +ирпеню +проказившей +ильиным +нормируемы +просыпало +зареву +перелил +отсыпали +доведями +осведомленные +колей +псалтырями +иссушенным +бродите +соцобеспечениям +просаков +отзыва +початым +шпахтелями +снятая +перенял +бриджтауна +маневрах +залитому +замершему +истекшего +подсыпавшим +учена +трусит +кровоточило +перескочите +отмершего +порты +ордера +затворится +ворочалась +детдомам +псалтыри +турами +молодцами +пойнтерами +запыхается +пружено +избегал +попок +увились +соцобеспечением +проползаете +вылазил +забрались +домовой +абазах +зарина +сеченному +бухнули +роженицам +раскрутите +измеряйте +отползает +каупера +утыкайте +кожанку +добудитесь +набухайте +срезавшем +врезавшим +литого +тазов +принудите +чекало +дралось +добегавшим +штихелях +родился +морячками +осыпавшейся +нормированную +повторенного +зарешеченною +туникой +перепланируйте +дурнову +высыпав +сползав +подвижные +туша +черкало +решеченному +мысу +заслоните +спалено +стругах +носки +начинят +струях +струями +приманенным +волков +бухавшую +налиты +векселя +теплящее +апселями +обмеряют +заклята +размыкаем +плюсовых +проволоки +сяжками +замок +ржавела +завозитесь +отбегавши +передразненную +госпиталей +измерявшею +разноситесь +замыкавшейся +перепланировавшая +харассменте +волоченных +селим +валящее +лопарей +валок +нагрузят +пропадавшим +фонте +загасите +солит +мудрена +сервируя +сползаем +инструктажей +самому +варварам +патиною +чертящих +острогах +предвосхитило +насыпавший +оперта +крейсерам +швеллеров +выметай +занялись +буря +росстаням +сосенку +черкаемого +дела +укатите +пядень +добрались +летная +ленящемся +курсах +красив +отползав +петли +петровский +гулящая +ровни +урезал +миловано +измерявшиеся +пузырящегося +милейковским +фетишах +путевая +обжи +виража +восхитил +заложитесь +морщащий +досками +жестока +чудно +щепы +ведомой +уху +делящей +статей +затвержены +сегуна +просыпать +добыта +похвалитесь +скана +занавесь +екавшую +мелок +урок +сегун +добытого +доводим +юпитерах +перепадал +преуменьшившая +волне +творогов +доктора +спились +паек +выносившимся +нарезав +волну +отпадавшего +порах +вилках +раздроблено +терминам +сбои +пятках +заржавевшее +городим +тупившую +кати +строена +затвержено +дерев +заснеженными +разбегался +начиним +целившее +повозите +павловскими +гренках +подвигалось +передало +тенетом +шпинделей +содержитесь +модна +пережитая +суша +шпинделях +будим +добегавших +перчившей +стеблями +писавшую +пряди +преуменьшенного +жизнеобеспечениями +коренное +стапелям +миловавшем +тружено +врезавшегося +высыпавшего +краины +задвигалось +гналось +мели +просушите +столкнут +редактора +дурновом +пропадавший +мерседес +досыта +деньгами +бирмингем +коры +кулинарий +дурен +смел +предложитесь +боли +робленною +бухаем +побеги +вклинены +асимметриями +таю +ужинавшим +сосенках +дразнящему +клипера +саднящем +белящего +носим +дрябла +забухают +лесополосы +сазандарях +видеоигры +мастерскими +горя +хирагане +пыхнуть +отсеки +перебегавшему +обатуры +облитом +милованной +пари +точенном +заклинила +ворочавшимися +струсила +нудящий +всенощным +проезжая +срезавшей +входите +гренка +фиговых +чертим +абазам +чертящее +нашивавшею +смоляне +теплящие +глазу +сосок +соотносите +замыкало +слаженную +повторенных +нашивавшую +отгруженною +трусившей +рыбарю +пробегу +юркнувших +витые +корой +накопите +залит +вороха +посадите +дубке +понялись +перчивши +старьевщикам +плодами +гулящий +газированы +омута +разогнана +трудны +компасу +посыпало +пригоршней +расцветшую +сбегаем +чека +робленному +размыкав +снята +инфа +наползаешь +жалею +пописавшая +семенами +раздробленная +пробудишь +пропадавшею +пролитых +даренные +пыхнув +гоните +трусить +пересыпало +заорете +появитесь +робящая +временною +калена +поисковому +разгрузит +бухнем +скорбутам +барменах +сенсорного +обатур +бронированная +отгруженных +преуменьшишь +морщившем +загрузишь +газированным +поманенных +охаю +нитяная +сазандаре +эхо +петровой +уставной +ржавев +харассментам +сбегавшемся +обжили +маневренное +берега +выносившегося +развитое +принудившего +тружены +батько +пекарях +пописали +селят +ауешники +полюбитесь +выходившею +блумфонтейн +ржавеющею +сгрузит +ветфельдшерах +подняло +органы +малышку +ведомым +вывозившее +отмершею +коликом +тавре +инфою +перегнут +примерявшие +тефтелями +запружен +спаленному +скобленная +приманенными +провидению +дарите +распродана +перепадайте +подлито +настрочат +бензопровод +изложитесь +рудой +вылазив +замыкаемся +восхитившею +варящих +екавшими +нормировавшей +айовою +неверны +промокнуть +растворенном +мастерских +сведений +внемли +пахнувшую +обмершим +худруках +теплимою +восхитить +крыла +фельдшерам +теплившая +наползаем +ржавеют +хлеба +бронировавшие +вклиненному +прислоните +пуделям +ужинающее +воре +планируема +утопавши +контре +борони +среды +делавэре +затворенном +секший +сенсорною +горсти +насторожена +потупившего +посыпавшего +чернобылем +компасах +высыпались +грузишь +держим +баловался +нападавшем +решеченных +нормируемое +смиренные +милейковский +шелково +вихри +агах +икавшему +насыпавших +обрезавшим +трусящей +забухав +щелям +ломы +ворочавшаяся +инструктажа +больно +осведомленный +перепадавшая +засолят +слеплен +принудившею +дружащую +дельца +осведомленное +врезаться +газируемых +шрифтами +запасными +пропадаем +недалеко +услужите +оводами +офицерней +бармены +запили +лабы +часу +маржа +ржаветь +отгруженным +ирпеня +выводите +облитым +обрезаниях +посыпавшую +перебегавшем +зарешетившим +лохе +альфреды +раздробленные +иглу +македонский +осыпавший +примерявшей +тире +шали +заклиненных +кашлянешь +добегавшую +проволокам +тресками +просыпавшемуся +прорезавшуюся +померших +пересыпавшее +боготы +ворочаемое +дерева +хворая +софы +белит +строишь +обрезавшей +джентльмену +дросселях +фэндомами +сдружат +нажито +перепадает +компасов +парника +завесы +проем +физруками +перепланированную +тусы +слизну +пролитому +заклиненными +мышлению +пересыпавшем +пузырящейся +терпим +мизерны +побудите +блудим +валит +обучите +зарешетившую +марселями +смелы +труженного +прыщу +почтенная +дионису +запружены +протыкать +железа +пиццериями +горца +тикавшем +вырезавшая +раздробленно +одновременны +робящее +обозвана +ранима +толика +перченном +прикатите +морщивших +пережит +звонят +пузырилось +верху +сбегались +пуловеры +ебаному +находите +дознается +нажитые +грабарей +шабашем +кренделя +катана +затравите +ржавеющими +клевера +торту +быстры +временная +добылся +забухавшим +лугу +пирогами +увилось +брустверах +околесицы +ложу +подобралось +жмыхам +просите +попадавшей +пересеченную +валим +зацветшую +блеклая +западавшими +петельки +удила +трусят +отгородите +предвосхищенному +оперлась +тикай +блеклому +старьевщике +просаки +пролито +задвигало +недопили +измерявшегося +гулящими +серевшего +восхитили +платите +поманенной +светите +ворочающую +интервьюером +сангриях +скобленными +обатурах +предвосхитили +соску +нападавшими +серевших +срезавшие +просыпался +недооцените +саднимой +предана +описавшая +кашлянули +джентльмены +обжам +шевелят +отпадавшие +доноситесь +петровых +робившую +максим +подметите +плинтусах +разрядит +обоснует +ржавеющие +перченной +мокроту +заторможенных +клаксона +апострофом +гнезда +образов +проблесковый +занятою +передрались +хуевом +спешившая +побыли +калмыке +анапестами +сравненного +допили +вдалось +украиною +повертите +початого +стартеры +кормитесь +коги +плюсовую +искрившееся +обухом +отмеряем +ректора +пешнях +измеряв +перемените +строенном +сучат +пятке +колке +снохи +сознают +осыпали +пыли +ранимыми +цедящими +груженным +лесами +поперчить +предвосхищенный +нудящее +едка +пропадающего +добегаем +лопаре +повалят +обрамленные +милейковском +пиздя +девичье +проклятому +мутим +попитым +ворочавшемся +зеленям +продвигавшими +консервировано +пропадавшее +дожитое +чуток +понятого +теплит +тупил +свеклой +сладившем +делящую +девицам +камфора +соколах +ниппелями +сервирующей +разряженных +уменьшена +стартерам +точенных +тазам +тенями +вычитавшей +недоуменных +примерявшем +вывозите +ховеркрафтах +груженных +засеченному +перепадавший +буфера +ките +поблескивавши +мураве +проволоках +сохранен +плодах +вафлям +мете +собралось +примеряла +счетами +толстому +лыжней +обмершею +стоящей +сорвалось +хвалитесь +вводите +иванове +колледжах +фюзеляжа +сравненную +вырезавшие +дохнувший +велики +боготой +милов +просыпавшиеся +баловавшее +ленитесь +флигелях +стремнейший +перерезавший +сервирующего +полили +затворите +глушишь +начала +характерных +кису +избегавшее +сознается +детсаду +щелочных +рассмотритесь +поблескивающих +слаженною +саднящего +аниматроники +бреду +обдана +пописавшее +писавшею +торопите +намочите +спешим +напоенную +трусившем +заклиненный +пища +углей +отвернут +добытыми +переменен +преуменьшившем +фухтелей +бронирующими +заткнут +преуменьшенным +марже +резка +вдовы +замыкавшему +загоните +честных +характерным +маневров +блудят +подвигавшуюся +упилось +слег +наползавшем +наноситесь +городишь +установите +выносите +удался +предвосхитил +обжитою +парившим +утопавшем +бонго +подвигавшему +перчен +начинен +портом +плоды +вычитавший +честная +мила +сучках +врезавшиеся +троичные +обогнут +понятых +стен +рамэны +бухавшее +горды +килами +заточенною +вишневой +погрузишься +зашевелятся +преуменьшили +мошкой +парившем +остры +обухам +отбегавшего +чертящими +гидрометлы +загребу +початы +западавшая +делящая +лиселям +вывозившие +ужинающих +доски +напроситесь +крепостями +кровоточить +сомони +дохнувшего +попитом +отворены +тикает +перерезавшем +струсившему +апофизах +усыпавшему +отложитесь +электроприводом +изрезавшее +плодом +измерявши +размазней +шрифтов +преуменьшившим +сорока +порвалось +углях +катину +всыпала +склонитесь +дурнова +помнившая +землячкам +лопарем +сучишь +перепланированном +джорджтаунами +ломтем +нападаешь +убралось +ряби +дельцу +ступенях +осыпались +кожевникова +балующий +разрезавшему +подсыпавшее +цените +поле +урезавши +осведомлены +кровоточат +нормируемый +перекреститесь +точен +пошевелят +сколькими +метка +спрядены +засеченная +сдружитесь +подвигавшись +чекающий +лавровом +присыпавшие +гудьбы +подвигайся +делящий +спаленного +резвы +голубках +приманенных +седла +струсившие +излечим +рожу +херней +скрубберах +снялся +опустите +засолишь +опорожнившим +табеля +газируемого +подвижном +кителях +умру +отклонитесь +луженную +оленины +смирна +тупите +абаши +пахнувшими +ворвались +труженное +заржавеем +ангару +свитерами +пропадающей +варвары +судящего +осыпав +ужинавшую +комплексной +пузырящееся +забухайте +струсил +планировавшими +проблесковому +вклинившийся +(по)сиплее +обсыпавши +крученными +задвигавшемся +помет +танталову +сложенную +решеченною +морщащею +выметало +газируемая +нашивавшее +перебегай +леднику +громленного +ноутбуках +духов +балуема +раздвоенная +углям +усыпало +решетивший +соме +ебано +чайку +микрометры +жерехов +решеченными +пописало +анапеста +перепадавшего +пайка +копрах +пиццерий +бомбовым +одновременного +тусою +чоху +маневренном +раздробленную +смиренной +волоки +перепродали +романтиками +оттолкнут +петля +набегавшей +дискурсы +перепланировало +рассыпавшеюся +электросети +фэндомом +милейковская +мороке +пустыням +замыкав +заклинят +набухало +перчившими +запрудят +набухает +покачнут +прорезала +трусящего +оборвана +тупишь +утопавшая +снятые +целящий +икающем +снятыми +дискурсу +раздвоенный +врезалось +балуй +зорка +черен +чиненными +перебегавших +наклонен +пицц +слепленного +чохи +потупили +бухнешь +шлепках +мурманска +отсыпавшиеся +слилось +крученных +решетчатые +забухавшая +вклинилась +крою +ригелях +поисковом +мирен +подаренного +отзывами +грузитесь +высыпал +суккою +малышка +носовыми +фольги +пиздящих +пиздящем +уйму +восхитим +икавшем +матерщинах +насыпь +попадало +тремпеля +дорвался +ржавевшую +постановите +тельцами +дедов +отлитые +искрившихся +почали +лавровую +(по)хлестче +узнаете +ворочаемые +лился +приводов +просыпались +обрезавшего +пуделей +бревна +облитую +валящим +потупив +астронома +приподнялся +перелитою +морщащей +настороженны +приближенном +избегает +дружащем +грязны +мудрены +мошкою +пролитым +скребла +запрудишь +отстегнут +опуститесь +боям +тупленные +робим +нетопырями +жилой +обурили +раздробленны +реперам +приволоченною +дьяконах +завернут +подсыпавшей +черкавшей +газирующие +трусившее +лихом +ужинаешь +туника +кошмы +оценитесь +сложенном +нашивавшем +всплеснут +притупленное +мудрою +вклиненного +безобразной +погруженными +обрезавшие +спешившие +морщащие +репером +сверленною +тетерева +осознаешься +звались +преуменьшенную +лужен +скрубберов +погрузимся +стюарде +сочи +маню +парною +телемаркетинг +маховых +залитой +фетишем +вылазившая +измерявшее +запросите +романтик +тепливши +получасов +апселей +кирзы +пизды +вклинит +перезагруженная +атласною +ужинаете +бугаем +ленящегося +восхитила +криптой +отпитое +гастарбайтеров +примеряем +закруженную +разодрана +замыкавшуюся +стартер +помершею +размеряют +подсветите +клинкерах +развита +строившая +начините +сложенный +общинам +чудными +пален +стакселей +рассыпалась +ильиной +разрубите +самого +свечам +перелитый +четка +шипам +девичьей +признаются +кошу +сгрузят +вырезавшую +отсек +штабы +кители +подрезавшего +прожекторами +пробегавшему +получасами +заточит +стюардам +проказивши +строены +таврам +сердца +ворочаемой +кием +рассыпать +отворит +балуемые +кататониям +обатура +тепленных +жизах +бондарями +роблены +горцам +нарвались +роддомов +размыкаю +топитесь +подсыпавшею +векселями +золозу +обрезавшую +облитыми +искринкой +страшен +характерен +бутиков +морщат +повторен +кейптауна +попадали +писалась +нудите +грейдеров +стакерами +избегавши +примеряйте +создались +сползавшая +ньютону +иссушен +танталовых +сверла +даренное +запыхаются +тандемов +закружишь +венку +восхищенною +дохнувшие +шабашу +переплету +отлитое +тшувою +размеряла +пересыпавшими +козакам +чертящего +бухнувшему +зацветшему +обняли +кобзой +купите +ворочаемая +бронировавшую +блеклые +козлищем +отняли +приводитесь +бронировавшая +жмыхов +растворенных +америкофилия +глазок +цветовых +хера +черкаю +серевшими +сервируемых +овна +переманены +замыкавших +шибболетов +рябинкою +отпадал +слизнувшею +переду +выметавшими +запахнувшего +валитесь +проволочек +связи +пиалах +тепленною +засыпало +дите +нагруженных +опак +саднимого +вились +проклята +прудите +следу +камфорами +перепланированными +писавшие +балуемы +мумие +заселитесь +выметайте +джентльмен +парю +повалишь +набегать +ноутбуки +обварите +ряженного +кубах +вечерею +пиалам +тефтели +пропадавшему +троичною +капицами +литии +перебегать +зариной +троичном +засеченном +рогозами +подарим +петровские +проткнут +бармене +полюсах +тополями +юпитерам +высыпавшему +сервирующим +выносился +суком +шевелит +бедренце +задвигает +летный +комплексного +маркетингу +драга +вертитесь +лебеде +тупя +опорожни +забухаю +арбы +бега +точите +ношу +кружит +сумам +ужинавшими +совершенная +сползаете +мороси +воспринялся +воронье +венках +вклинишься +сегунах +обрамленною +венцу +милованном +толстячка +губите +маша +ржавевшей +сервированного +ермака +робят +украинцев +включит +путевого +осеклись +надои +вдались +изодрана +павловскую +жизнеобеспечениях +лоскутным +винтишь +заселим +кельнеров +целившие +пометите +строили +дожитому +бугаях +украинскою +отстоя +белящей +краю +желто +вычитавшего +кашицею +шомпола +крепостей +бронировано +жизнеобеспечением +помнись +свита +тупили +провалитесь +клубам +отмерший +ворона +подпитыми +кровоточишь +козаки +газировавшею +пешню +скрою +отмеряете +лудишь +тенета +моя +уменьшим +обкатите +перепланируете +отруби +отпершихся +лечитесь +крепки +нормировавшая +термин +предвосхищенная +нудит +казаками +посыпавших +раздробленном +юпитеров +решетившем +абака +сейнерах +лесок +нулевая +общиной +вырезавши +фольгу +нигера +пищу +икайте +продержите +ховеркрафтам +дубку +крестной +углю +милейковской +копящем +стек +хватите +подвижное +рябинки +трапезы +создал +вереда +клейка +зарешетившею +бронирующая +чинишь +расселится +аншлюс +черствы +кровоточил +мышление +забегавшая +слепленною +балуемо +вспугнут +кучера +вселенною +кашице +зубчата +обмершее +зарешетившими +наряженными +кондукторам +складным +выходившим +маневренностей +(по)студенее +разрезав +ужинавшие +жене +валишь +протыкаете +редакторах +самою +вклинившими +балуясь +шелковой +ветрами +измеряло +зацветшей +засыпать +хлопков +планируемые +западали +комплексным +обходитесь +телках +пробитых +тупив +ряженная +уменьшенном +тополей +перерезать +украинский +отсыпавшуюся +слеплена +заклинившего +новорожденных +плута +перебегавшею +личная +ужинающая +резану +вклинил +бухающем +заржавевшей +привинтишь +пропитом +грузите +описавшемуся +захороните +решетившей +уменьшившимся +мерседеса +битах +места +вносим +мальцах +скирдами +кетою +тузом +ужиная +попито +учим +скорбута +преуменьшена +наряженных +альфредами +сорок +опорожненного +трусил +перепадаете +перченные +слепленной +икающее +дружки +трензелями +волоченной +зубчато +нормировал +пробил +бухала +газировавшие +копу +ужинающий +передохнуть +биту +сервирующими +козырные +литой +загрузим +глубины +складными +землячке +нагоните +фэндома +золозой +опорожнит +измеряются +отмершем +глазки +сполоха +складном +худобой +балуемым +уменьшенного +замыкаешь +нагруженном +шару +закружена +дренажам +побудишь +виной +пересечено +согнана +набегавших +полились +размахнут +свойства +рассыпавшею +грозны +нудившими +иссушенное +побудит +начиненного +подходите +посыпавшей +связные +тупленному +топселей +мускулистым +сожрана +писать +ряженный +саднящею +сенсорные +зарвалось +подрана +примерявшими +медсестры +пробегавши +манку +докурите +преподам +лимфодренаже +ебалах +тупиковыми +планировавший +западала +строи +валящих +швеллера +потрясен +тамбуров +свиньи +подрезали +измеряюсь +шелковом +распознаем +створенных +асимптот +проползающего +заколотите +расселимся +размерявшем +трепла +скачка +качках +громовому +бухнувши +лохам +потупившее +черкавшем +норы +парив +дались +коротко +дюбелями +вклиненною +шевелим +предприемли +вороне +отперлись +парников +врезавшими +тупившего +маклаками +отпуска +уде +зарешетивших +приводами +неровня +ворочающейся +содержим +яви +педерастиею +выметавшим +крупны +врезались +прицепите +милуя +украиной +полого +соцобеспечений +лесы +лохов +побелите +всполохе +восхитишь +миловавший +перепои +уменьшитесь +борзые +военрука +опорожненными +стартерами +преподали +лососины +беситесь +раздробленного +носком +отрубов +всполохом +воспринялось +отползаете +провидением +парящею +заклинено +сосенка +уцепитесь +сомами +сервированными +корректорам +сложитесь +закружитесь +парящих +забрался +свойством +опорожненную +разряжен +пизди +сознаюсь +ужинаем +робимой +сангрию +трусившая +вывози +сладившею +маневренностями +лабу +чинено +налит +бугаи +газирующему +обегавшее +перчима +плющи +теплимы +бересту +отзыве +качка +балующимися +учителя +уменьшилась +струсят +фонарищах +описавшимся +атласом +ярмами +морщившим +высыпавшими +пыхнет +пресекши +безобразном +походите +блекла +поманенному +древке +наряженные +стихов +затворенный +битам +тепленными +выметавшей +облепите +дубляжа +бирмингемами +дели +набухавшею +лимфодренажи +побелим +передались +вина +пчелы +биты +холодны +носка +дружит +трюфелям +главы +кашляну +высыпавший +громленная +физруках +проявите +выносившее +пыхнувшие +нормирования +недоуменным +предприемля +петрову +сверленным +балующейся +чекав +жидовщины +перстням +допустим +срезавший +опознаете +балующим +пересек +нарезавшие +слез +рогоза +теплимо +замыкает +поблескивавшая +максиме +загородишь +микрометр +фарерской +лесе +запыхалась +вредны +чаек +рупорами +свазиленду +пописавший +отводитесь +икающих +чавычу +хаосы +раздробленностями +рассыпавшегося +обегала +лемеха +скобленную +отрезавшею +потопали +мокроты +шпахтелям +выметавшая +куре +хана +нормированием +отлепите +характерные +допитого +паркам +крипту +пахнувшею +тусам +выноси +спиздите +броском +заклинивший +дыхалами +нацепите +сервированным +размерять +теплят +распродал +преуменьшившей +увозите +миловавших +связному +громовые +разгромленную +вывозила +опорожнившими +преуменьшив +облитых +уходите +личном +уставные +разбегавшимися +задвигается +венкам +харассмент +копящему +бугелям +суперами +милуем +перелитыми +закружены +уильямах +обегать +сбегавшейся +даренным +переступите +лица +колки +отбытые +глотках +пописавшею +планировавшею +палитесь +дедам +джинсовым +разбегалось +дионис +утопаешь +замерших +бронировать +проклятая +передразненное +пехтерями +глядя +зирвака +начиненные +звезды +разбегайся +обняло +фэндомах +бобах +марий +вахтером +терминов +переманите +отбытого +лета +оленину +откреститесь +цветших +наползаю +уменьшись +размыкайте +спешила +(по)жаднее +перчимой +паруса +задвигаемся +тамбурам +подвигавшею +очечники +сбегавшею +балованная +жило +мехах +пописавшему +засыпавшую +обрезанием +морочным +трусах +погнут +после +землячки +распили +декелями +преуменьшу +кататониею +вылазивши +сервируемою +скрипту +катарсиса +жулье +крипта +околесицах +допил +маркерах +скупишься +врезала +марселей +всыпавшие +робленном +тамбурами +заискриться +украинками +переводное +истекшую +поблескивали +ворохов +погребу +балующих +екавшему +дионисов +трюфелей +морщащему +пыхну +врежу +велесом +осыпавшим +зарешечу +теплящего +возносим +шелковы +робима +паленное +пересеченных +западав +недвижимое +отпугнут +строчное +ворочаема +баловавшего +раскрои +екавшею +длинно +маркетингам +шкиперов +кулачка +пробитому +забухала +чиненною +запасная +кондукторах +ужинал +сменитесь +осима +пахнула +белы +жизам +мушмулы +отрубам +полах +согнут +высоко +ништяки +серевшее +екающую +отстою +зарешеченную +молите +звонок +болону +сгруженными +катакану +шелковицу +планированною +дохнем +молодцах +вини +овцы +пыхнувшей +парилками +милуемых +кирзам +запруженная +выносившей +горячее +бутов +отодрана +оторвался +протыкавший +потушите +бронированием +размыкаете +супером +симметрия +венчанные +один +бижутерий +шелкова +куркумами +потупившем +мутна +кисами +измеряться +казаны +перепела +лопаря +переводите +всыпавшем +гренкам +световою +стрелки +вывозило +еботней +судьями +просыпавшихся +шлепка +лишков +домен +затворенная +чекал +лихи +спилите +обатурами +кружева +техноруку +голоса +искрившийся +шибболеты +трефовая +суккубами +метана +тикающем +китам +гордон +звонком +вырезавшее +поносите +задвигавших +осыпавшимся +кеты +упросите +добегавшая +тавром +ужинающему +мантами +питахайями +ноутбук +приемлю +пыхнувшая +размеряйте +заклинены +замутите +балуемого +сапожках +женю +нитяные +перепоим +клаксонами +сервировавший +пилим +насадишь +рубине +отбытыми +личные +морячкам +опорожненным +пробегавшим +нудившим +расцените +поклялся +мотней +проползающею +кулинариями +скопленной +базилика +декелях +пешни +принялись +сосенки +осиму +спасу +путаной +ведро +выносившем +пожили +раздробленною +просыпавший +расхвалите +белящею +мальцы +отбегав +вырезавшем +обжами +размерявших +перепланировав +снятую +отползавших +завесам +скобами +очечников +початому +разобралось +микрометра +пузырившимися +скоплено +александриям +ньютонов +руси +лимфодренажах +отмерять +кирзовую +щели +кабелях +труженный +аншлюсе +отгружена +пробегают +недопитые +горьки +замету +чекаемый +камфор +наползают +украинскую +обмершем +должно +таки +баловавшись +перебегавшую +передразнена +посыпавшимися +замыкаюсь +буккерах +спешивших +приемлите +целив +писавшимися +приманено +собрались +приложите +попадавшее +глазках +рвался +ирпенем +примерявшейся +отпилите +приводу +испили +утра +ведений +сервированная +переносным +милуемые +плевою +серевшим +свеклы +пайки +кожанок +предвосхитите +пробегавший +обжито +затворено +нагруженною +пристанях +чухах +саднивши +оторвались +скобах +пеки +уменьшенными +пропадают +тепленные +оводам +колкам +плюсовом +передразненном +чучами +фрезерах +дискурса +треска +передвигавшее +лекаря +вины +врачу +скруббера +примерявши +потопавших +выносившаяся +бриджтауну +восхищенного +пересекший +громленными +бухающих +зарешетившего +бронирующие +шумах +луженному +украинцы +перчившая +скреперов +кожанках +едомы +бедренцу +пробили +выносили +подвигавшееся +выходила +забухавшие +ветфельдшерами +овны +туникою +лоскутными +девица +колонок +детдомах +добегайте +замыкавшим +бомбовые +вахтере +шибболете +размерявшие +побелишь +расцветшими +раджами +стежки +хираганы +нудящую +обрезаниям +посыпали +зажило +морщил +сома +вывозишь +плачусь +завалите +уменьшилось +англійскій +сеченных +татами +троичными +всыпавшим +ягодица +икал +женя +заслуженным +дивчиною +валками +фюзеляжах +тазах +обсыпавшим +разгрузите +отрезавшего +подрезавши +бухающему +разбудите +любой +преуменьшенное +пехтерем +фетиш +хаосом +ховеркрафту +сбегаюсь +побегу +политруков +примеряюсь +ворочавшейся +пару +пехтерей +заносите +топселях +доменное +лисы +маркетинговая +задвигавшею +понятыми +казаках +раздробленностях +вылазившими +хитры +утыкаете +обрамившей +окунут +загрузишься +вихревой +соске +высыпался +роддомах +нечисты +стенах +кучу +козаках +сиднее +рассыпали +щелочную +хила +утащите +джорджтауна +пуловерами +лоскуту +иском +сбегался +ржавел +отпадавшее +измеряете +айову +безобразным +сервировавшую +позвоним +робленные +утопала +ворочавшее +робящего +врезавшую +всыпавшая +полилось +путевое +мыла +получите +пустыни +писавшими +бухавши +лепите +штуцерам +прожитых +перегруженных +саднящей +курами +осекся +клапанах +прорезавшимся +коробках +строфы +передразненного +шинками +ушку +дровням +грифеля +чоха +тучны +рассыпавшимися +шиберами +девичьею +выносившейся +парящим +прострочите +фонах +душках +калединых +железам +бриджтаунов +поманенного +забухавшему +желчью +подвигавшимся +синею +подышите +вклиним +пережиты +подвигаются +ножнами +отпито +складного +судящих +нормировавшими +бухавшему +вольно +тряпье +пережито +мускулистом +кейптауном +подкатите +запило +мести +политы +теням +текстиля +перчимому +обегало +набухаю +паремиями +уменьшенное +милованных +блохах +предвосхитившие +приводах +броска +запасному +совершенные +отсыпавшимися +нечестны +политой +отсыпался +полам +расселись +вноситесь +катарсисы +поросли +отходите +утопают +буту +кручена +таял +подрезавшую +поселят +облились +пройдена +обегаете +обрезать +ломим +загруженную +морочный +рыбарей +волочат +блудит +подтащите +радиоволнам +мостом +кренделями +щавелем +суке +сбегавшему +блокпостах +коли +подпитою +честною +перезагруженном +госпиталям +перстней +рупорах +поручите +омбудсмене +проползавшего +счетам +бухгалтеров +тупики +рассыпавшимся +литом +широты +фонтами +нормированной +заполучите +колонке +запахнувши +всыпавшему +маненная +туерами +пробегавшем +ворочавши +посыпавший +малышки +асанами +сознаются +жарки +цвети +мергелям +омутах +бронируй +перепадавшему +избегала +блекл +иссушенная +допитая +отрезавшему +подвигавшаяся +прорезались +трусящему +блудите +вкусны +нудящие +кондукторами +потопавшим +балующую +газировано +саднимою +весны +шелковый +створенную +добегаю +морю +семенах +перепланировавшую +закатитесь +сполохам +добегают +околесиц +планируя +рябина +набегали +привалитесь +помнившей +кирзового +капселями +спряденными +бедренцах +пописав +дарит +максимами +телками +ткана +планирующем +византии +деньга +задвигавшийся +измеряем +осыпавшегося +месив +водам +скобленного +милуемою +пролился +бронировавши +метой +ужинали +обурил +изрезавшем +маркетинговое +учителям +порами +вранье +кончи +психопатии +полито +русофилиею +тресках +тупиковое +поблескивала +цедящее +отгородитесь +питахайи +изводим +скатите +грузишься +кали +шкалы +восемью +урезавшая +преподносим +летном +струшу +кашлянувши +рогозов +рвались +дыбы +домовыми +уда +заслонят +прорезав +дожитого +козлищам +танталов +учащая +сознаю +свалитесь +шелковицею +отрезавшем +чинит +хере +лету +приманены +рамэне +перепланированною +пьяны +перепланировано +предвосхищенным +манкам +узрит +проволочка +осознают +зверье +фарерскою +баловавшими +вожжи +почтенными +планированным +гулящих +нормируй +досадит +перебегав +бижутериям +черкавши +стюард +описали +абаша +содрана +пурпурна +утопали +глотка +проказило +познает +запыхавшимися +побудят +баловавшая +чайке +добегал +икавшими +новорожденное +морочную +нормирующем +ржавеющий +пехтерю +примерялся +толиках +затворенным +лупите +родам +потопавшею +подгоните +свеклами +дожил +пиццериям +саднил +изрезавшими +прологу +харассментами +дрожи +робивши +створите +панам +орешь +отряхнут +вылазили +литию +искримся +световых +борзыми +трефовыми +сгруженною +гнались +точенною +погруженная +курсу +саднящее +обмерши +баловавшимся +рожках +скольким +цехах +курим +ворочавшимся +опорожнил +утопайте +целивши +борзое +берне +описавшем +свазилендом +заржавевшую +измеряетесь +грабаре +минет +заточено +питая +запахам +сдружит +трапезах +ермаках +подвиг +суперу +сервировало +балу +разбегалась +бачками +киту +ворочающей +грабаря +зазвана +задвигавший +затворенной +изрезавшего +бегом +парят +уменьшусь +разбегавшееся +ворочаемым +избегаю +мокры +милочках +алфавитами +помершее +загруженностью +валящем +недопитой +усыпавши +александрия +кататонией +пропастям +ворочающее +строчим +сервирован +королевою +саднимы +сдружится +летами +образам +лужены +тупящей +заряжены +чугунки +разводитесь +смирны +мало +каледины +мизерное +восприемля +нощи +нормирующего +трапез +тефтелях +ништяков +нормируемых +триеров +метил +замечусь +перчившему +слепите +кататонию +поршней +зеленями +проползаем +выносило +сбегаетесь +нетрезвы +удалось +подрезала +фонами +ауешниках +гасящею +ермаку +садним +селите +паленном +зарешетишь +верхом +отпитом +дембелей +саше +полису +излечите +сучками +издана +прудим +впился +очечникам +замерший +мускулистою +световым +кредиты +жалка +обделите +пузырившихся +добром +лева +планированных +обрамившем +павловских +сбылся +торта +ноутбуку +сползала +рыбарями +капселям +проползавшие +помете +переняли +метаны +бесящие +насадит +патриархии +дочушка +обрамленного +голубки +сцепите +скреперами +дружащими +сволоченная +украинок +серевшие +перепланированных +катарсису +украинском +отдал +хуйней +пропали +пядям +чухе +нитяными +троичных +конфам +пописавшим +слизнут +анапесте +аэропортов +плюсовая +шофер +венце +переходите +всполох +сервируемом +нарезали +заменитесь +приволоченном +подпитого +нормируем +родах +подвигал +шулера +бытием +засыпавшем +погреба +пушкам +перепадай +раздвоенных +опорожнить +трефовым +юркнувшему +бункерами +секла +миловавшего +чекаем +бампера +взвился +мускулистых +ворочать +сволоченной +катакане +сбегавшая +всучим +кори +борозду +перунам +ворочавшуюся +фигового +разрезавшее +кума +осознаете +чернобылей +абашах +подвигавшемуся +воры +полутонами +телемаркетингах +куркуму +отпершеюся +робить +набухавшему +чанам +отпитую +дивчине +отпитого +перегородим +ушком +давящая +полыней +зелены +запахните +целил +сеченное +плоска +забухавших +теплимой +копы +осыпавших +степе +тельцах +душками +вогнана +прорвались +дубляже +замыкавшего +приводом +попадай +попадала +феноменами +промысла +парникам +сладившим +проказить +добылось +обегавшею +ворочающему +бухающий +слизнувшем +камфорою +планирующую +заселится +ирисовом +утыкаю +тупило +заринами +разрезавшими +блеклый +метода +пяденей +кулинариею +преуменьшившего +отворят +баржами +задвигавшем +дымками +саженей +волок +полки +мастерское +переоцените +нигере +уменьшенная +опера +тельцам +трусами +судящие +договоры +венчанным +накормите +жмыхи +утыкавшее +спешившем +бойфренде +солона +ведомою +засекши +сгрудившегося +выносившийся +крестным +разряженным +чекает +порам +нормирующих +отрезавшие +отсыпаться +почал +зубчаты +снятом +обрамленном +временное +бондарей +отползавшему +крейсерах +портовой +ворочаясь +подвигайте +засыпал +емлю +апофизе +скорбуту +бронируемая +ленящемуся +переманенным +слизнувшие +лосях +электроприводах +поколотите +продвигал +чекайте +хуйла +роюсь +безобразную +садня +ведении +цедящих +ноздри +интервьюерами +анкерами +осведомленного +сложенными +ракушку +семью +уток +перчащему +стопами +краина +полет +ледник +предвосхитившая +счетах +кругу +маркере +плуту +покурите +камнями +парным +фельдшерами +провидениях +усыпавшего +слизнуть +ложку +перепланированы +пропадая +обоснуется +заждались +мышлениями +делящие +микрометром +теплящий +черкают +бобу +армянофилиею +оводах +навесных +заржавевший +прищурами +чиненном +позвана +чугунках +скорби +решеченный +хлебам +замшей +набегавшему +питахай +сбегал +луженной +обрамило +пробыл +выносится +пирогам +отпроситесь +просыпалось +перепланирует +потупил +паривши +осыпался +придралось +давящему +нашивала +залил +тигр +сбылось +гостя +респираторную +чанов +подаренному +киса +утопай +басов +морочная +напоенном +утыкали +почтенным +омбудсменов +морщившему +деревца +повторенном +бензелях +погрузим +орете +пригнана +обуривший +робленным +орем +страны +решеченном +козырными +ивановы +хлипка +отпадать +сгрудилась +краине +поблескивает +ебла +мочите +атласными +белящую +опали +проволока +пиццерию +рыбарем +усыпав +вложите +милована +нежны +точено +пробегавшую +сравнено +икавшая +дону +поисковой +принудившем +строившими +трефового +турам +сложите +политруками +небо +бунты +забегавшими +грустны +слизнувшая +дохнувшим +садненному +уменьшиться +аэропорты +роду +подвигаюсь +толков +замыкается +засекший +искусам +любая +целишь +безобразны +физрука +подрезал +всполохам +замшев +пыхнувшую +сбегали +сдавите +опорожнившая +секторам +выносившись +сереть +насыпал +пробудим +клиперам +всполохами +поманенными +накопитесь +пищи +маркетинг +фиговые +причту +проползавших +мысов +опорожненная +астрономы +прудишь +подвигаемся +лопари +феномена +прорезавшиеся +атласного +толик +трактора +струсив +пробой +облой +писавшим +балующимся +бриджтаунам +разгрузят +сверленная +ржавевший +трусы +милуемый +лесу +шкиве +секторов +перебегавшей +связное +дразнящем +гастарбайтера +сполох +выносившуюся +береговом +волочены +прорезавшими +шевелитесь +наплыву +стартером +заржаветь +приманенное +скобелям +бронирован +белку +осведомленным +нормировали +юркнет +пуловерах +матерщинам +передохнул +ложке +кузова +спалите +разгружена +бритье +отгружены +бомбового +пролога +балуется +тошноты +ховеркрафт +верны +стоите +ровней +токах +врезавшимися +волоченного +вычитавшие +тшуве +запахнувшая +копрам +прищуру +просыпавшемся +заманите +куркумах +сяжкам +рассыпавшему +опили +раскусите +прорезался +носке +сине +отрезавшая +страстные +узнаю +загрузите +уменьшившихся +заржавевшие +засыпавшею +западавшее +прорезавшаяся +облилось +мел +свердловою +добегавши +тюрьмы +всыпавшею +побыл +толиками +загородим +бухнувшей +милейковскому +рябин +завертитесь +взбеситесь +урезавшим +посолите +духами +маркетинговом +тополях +контрам +лабою +мещанин +изрешеченных +цепка +сбегаться +копце +зубрите +балованный +отпитая +агрогорода +венчанное +описавшееся +опросите +предвосхитившее +горцах +обмеряла +лососин +пыхнем +дровнях +отпадай +сбегавшееся +уменьшатся +проводу +обмеряй +тупимом +пехтерях +отползавшими +решетившую +обнялся +мускулистая +прорезавшею +далеки +милуемому +флоты +ухе +мизерен +зацветшим +запахнешь +летное +замыкался +нападавшей +нудившая +вырезало +тикающего +аншлюсам +створит +смела +егеря +парящей +обатуре +мука +обсыпала +отбегаете +бронировав +юрой +засветитесь +стрелкам +эйрбасу +залили +подводим +спалось +трусящим +задался +набегала +примерявшему +отгружено +александрию +грифелями +павловские +приостановите +пробито +пузырившуюся +вылазившею +анапест +истом +попросите +пересадите +затворятся +грабарю +превосходим +отсыпь +компасы +набегавшие +баловалась +омутам +пруженном +парков +ворочающем +продвигать +протащите +ноутбука +органов +подцепите +нетопырях +вклинившую +замыкавшимся +лески +колледж +проказишь +кабелями +доменную +ужинавшее +писавшейся +протыкавших +целила +шинка +врезавшемуся +забухавшем +признаюсь +початую +тепленным +принудившую +спиздишь +токов +троична +гренок +хирагану +бармена +перченный +сведением +маркетингах +троичное +брамселей +пропадавши +честного +кобзы +асимметрия +решетчатою +роблен +клиперов +пролил +задвигаете +примусам +газированных +иссушены +крошим +лавровый +тупимое +потопавшей +ниппелей +помнило +временщика +угольною +поманены +спалишь +сейнеров +византий +пахнувшей +тикающее +джинсовый +дружащих +заряженном +сравненные +кирзу +дана +поступи +бухающего +писавший +оленинам +респираторным +обмершая +обрамившее +договором +тете +обрамленных +ножны +нарвалось +кондукторов +чизеля +мерседесу +шкива +бронировавшим +сладить +насыпавши +попа +недвижимых +внучка +отмеряли +маркетинговую +политруки +прорубите +потопала +вылазишь +милуемой +родами +подаренным +носу +катарсисах +половая +романтиков +дохе +обмеряет +пустите +загруженность +врезавшимся +добыли +недвижимо +дружках +добегать +пропитое +жени +маркетинговый +чугунке +черкаемую +ракушками +клубы +подаренный +порвались +утопавшее +екавшем +нулевых +бочку +задвигавшаяся +слаженное +притупленный +чертящею +писавшуюся +парень +понятой +струсившее +глазкам +ворочайтесь +решетчатых +строенного +туникам +предались +избыта +окрестите +поманенное +засеченных +чертишь +шлепки +катаны +проползайте +мудры +шарлоттауна +задвигайтесь +набегавшими +помню +венчанном +кобзу +забухавшей +дури +золозам +текстиле +заклинен +маклаках +берегу +ивановых +разузнают +облитому +отпадавшими +лихтера +долотца +копра +избегавший +рябины +вилке +путевых +проучите +тепливших +корпусами +коров +перунов +сукам +ригеля +тшувы +фиговому +табелей +заклиненную +петровым +сладили +решетили +унтера +колледжа +бронирующих +предвосхитят +подал +перчишь +измерявшие +городите +дренаже +помнившему +мускулистое +перегруженными +паремия +тупивший +запасные +опорожнившего +врезавшейся +алфавиты +отпитою +зарешетившее +створена +обводим +спряла +продвигавшее +стержнях +супере +сгрузим +перепадать +перла +кисою +гордоне +шумов +роговых +танкерам +газировавшая +нарой +воспроизводите +педерастия +выметаете +кожаном +сжечь +переноситесь +пехтери +интервьюерам +расамом +сервировавших +пробило +срезавшими +ангаре +милочкам +каледину +посыпавши +грубы +маастрихте +бижутериею +прислоним +поносить +мерседесов +выходившими +выметают +заклиненной +поленитесь +потопает +какою +миловавшие +разносим +просыпавши +задвигал +тупленным +приволоченными +вычитавших +минете +худрука +сласти +устали +влились +герою +винтим +западавшую +черкав +трушу +дразнящий +сестры +сервируемого +кровоточите +набрана +фарерского +кружки +цветов +капиц +психопатия +ужилось +западавшей +лоскутном +обурю +колках +забралось +обуривши +инфой +продвигает +разрезавшую +окупите +стога +паленною +предвосхитив +бронируемую +принудившие +пробудимся +невысоки +посыпавшегося +ноутбукам +искринке +подмените +зарешетит +посыпавшеюся +западает +строчные +заржавела +шибера +посыпала +пропитые +ворочаемыми +допиты +лука +куму +понтах +подлитое +отдало +плаву +краиною +переводными +сгрудившихся +фиговая +колледже +векторам +отворенное +глотку +перепадала +борзом +маневрами +педерастиями +тупимая +ректорами +наряженным +растворим +всыпать +стихе +даренная +заторможено +воткнут +чинящих +сложенные +чинящая +преуменьшим +операх +строите +размеряло +робимо +нормируемою +грифелям +пыхнувшим +комплексные +огородит +носкам +отпадайте +недопитыми +детдомов +рассыпавшись +катакана +моли +западу +гафелях +вычитайте +сера +скоблены +вклинитесь +педерастиях +маневренною +волочена +вколотите +балуют +пузырящийся +коробки +призрят +уловим +аншлюсом +нитяному +попе +тупиковым +размыкать +баржи +стороны +курсе +шелковице +слизнувшему +поебана +дохнув +джемпера +передвигайте +возложитесь +передохнуло +боксерах +рода +перекупите +скрубберами +перми +лоскутная +переносными +забухаем +колонку +размерявшим +изрешеченном +анапестах +паше +взялись +капселя +врезавшею +проводам +пружены +варящие +газировавшее +запасен +наползавшей +искрятся +заснежена +искрившимися +подсмотрите +перчите +подвигавшие +нагруженной +ильина +штихелей +вишневому +прядена +лососину +скопленною +разгромленном +тикающую +нулевом +хромом +забегавшему +дроби +маклакам +девичьему +газирующем +обурите +грейдерами +пропитому +саднивший +тусами +бухай +вишневым +скоблят +неярка +настрочите +осекшийся +перебегают +одержите +высыпавшиеся +запрудите +отгоните +приближенные +строю +бронирующей +казаков +осыпавшихся +решеченной +присыпавшей +муфелям +скорой +восхищенный +шлицу +стакерах +бухнувший +(по)мудренее +пузырящуюся +кирками +страстною +обедню +вычитать +свекле +заснеженные +портов +замыкалось +сиднеем +вклинят +промокну +бронестекла +троичную +пузыримся +троично +нитяном +описавшимися +инструктажи +погружены +скину +займу +склепах +выходим +ранимая +голы +пачкотней +камней +поблескивающими +сбегавшую +отобрана +брамселям +призрит +утопитесь +дубляжи +выхожу +слесарям +бита +сложенное +стюардах +прислонимся +задвигавши +угольная +парящую +внучках +задвигайте +поводите +передвигавшей +дознаюсь +парящая +моногорода +робящие +преуменьшившее +сомам +корректорами +уменьшило +раздвоенные +парная +принудила +бредовой +милованному +дала +киле +втащите +проклят +дразнящею +наносим +тамбура +сохи +заснежены +перелитом +отзыв +прокормите +скутерам +пушках +кирзах +сводитесь +бронирующее +проползает +вселят +черкаешь +встряхнут +чересла +уменьшившего +обсыпало +саднившей +подтеку +сравнен +коробками +допито +отгрузишь +хмельное +замыкаться +протыкай +коса +минуло +капселях +строчите +бензопроводах +хмельную +симметриею +ебалам +любому +обрезания +фрезерами +фетише +досадим +мастерской +примеряетесь +отрезав +завес +мочи +сазандарем +отгородишься +колера +сползавшей +балующей +бурна +дотащите +протыкавшие +ржавевшею +обеспечениями +совершенною +слаженная +пеку +крестный +маховая +задвигавшееся +чанах +лососиной +екает +ракелях +гордоном +вентерях +юпитера +попадавшую +вылазят +присыпавшую +сангриям +икавшим +патинами +варящую +ценитесь +черкаемое +пошевелимся +соля +юркнут +икавшего +века +бугаям +бердом +свитерам +подпило +воплю +трапезам +лиселями +звалось +набухавший +струсившими +сознает +уписывать +высыпавшемуся +пионерлагеря +икай +мерседесами +погруженные +кроя +поисковою +залитых +полку +робимое +вклинить +разгоните +навесные +попитой +газированному +двадцатью +выносить +пехтерь +обрамившим +набухавшего +цедящего +пожрана +мусора +нагруженными +сбегавшим +сени +засеченного +искупите +ржавеющего +хорошею +перчимые +утыкав +нудившем +борзо +перелитого +ордерам +отпит +вычитали +зобу +мышления +венцах +пробитою +проползавшая +зажил +штабелях +танталу +орденам +краинах +повторенное +закутках +остроге +тикают +душка +векторов +спряденной +коляды +ножнам +миловавшее +потопаю +чавычи +одновременных +бутики +трюмселя +гастарбайтере +сервирована +нормировавшую +черкаемо +ленящимся +газирую +нажит +протыкавшему +маневром +поманите +лабе +джемперам +начиненному +разносите +усыпавшею +бора +медей +расположите +сервировавшем +световыми +характерная +попадавшим +расселятся +маркеров +набухавшие +троичная +разжились +тефтелей +чела +бронированы +чисты +мускулистыми +броне +аэропорту +осведомленными +решетчатого +точим +телемаркетингами +изловите +володей +вцепитесь +описавшемся +реперов +органа +шестерней +замыкавшаяся +описавшаяся +екающих +лосей +милейковскими +ужинавшему +дружащие +нехитры +пугало +искрившись +перчило +жнивья +подвозите +подвигавшая +насушите +планировал +засолите +острота +раздвоенной +одновременное +дивчинам +пирога +высыпавшая +морщащая +казакам +мизерна +сводите +пробегали +обрамившая +громленному +юркнувшую +калмыкам +погонитесь +перепланирую +зенкера +миловавшей +перезагруженным +тупленном +солоны +скирды +росстаней +криптою +тупившею +милую +чинящим +проволоку +отползала +зарезал +крейсера +закруженное +чинящими +отползаем +черкающее +перчимый +опорожненной +калмыки +джинсового +залитого +лимфодренажами +свилось +задвигавшая +попадавши +тупить +сукка +борова +подросткового +трусящее +грузны +айове +урезавшего +рябы +полке +изрешеченным +обурила +заступите +топите +примерявшимся +водите +мошками +вывозившую +дохой +токарей +шитье +переводим +железах +павловскому +сервировать +приманена +ирисовому +зубчат +пересечены +дружащая +скорбутах +жалея +заселите +жару +утыкать +пыхнувшими +слаженный +урезавшую +отползавшим +кирку +удим +парных +емля +сейнерам +огородим +недвижимыми +киты +замыкавшийся +пробегавших +ворочавшими +винтит +редакторов +топселям +проводим +тупивши +отраслями +ворочающаяся +бутикам +бунте +блюду +кому +ордерах +ровны +перепадавшее +версты +острие +обуха +невода +решета +сервирующее +просветят +посыпавшие +иссушенных +урвана +семенам +лазанью +пойнтеров +посыпавшуюся +манке +канберру +швеллерам +бондарям +влюбитесь +фарерское +хуевой +отворенным +паны +рожками +нападавшим +паривший +зацветшие +шулерах +отплатите +рассыпавшим +отбытом +просыпалась +разрезавши +срезали +обосную +храбры +забухавшими +дровней +абаза +искусами +вскормите +завозите +кашицей +стакера +дразнящей +передвигала +ложками +жидовщине +засадите +апострофами +пробит +неясны +всмотритесь +нагрузим +строим +бриджтаунах +сволоченное +украинским +отмершему +стихами +продвигайте +скрипте +крученную +затворенные +урезавшее +клапанов +черкавших +трусившего +гасящий +зарубите +подрезавшем +шелковицы +нигер +отсыпавшейся +балованном +отзывом +кровоточа +сопоставим +забухавший +обедней +всполохи +выходит +разрезал +запасную +скоры +тантал +отлитой +бухнувшего +электроприводам +вихрю +затворены +газированную +подлитою +наряженному +литиями +морщащего +дорогой +попадавшего +недопило +кулинариям +отползаю +черти +дружишь +пропадающих +трусившие +сбегаются +золозами +шумами +гнои +тузов +пахнут +уроните +заклинена +попит +хуля +щавель +сведению +проклятую +чизелям +подняли +репере +бармену +осы +дожили +примеряете +тшувой +разрезало +спизди +контрах +(по)шелковее +пек +заспана +присыпавшим +протыкав +вклинюсь +осадят +ноутбуками +микрометров +разгруженною +вылазившей +лень +узнаешь +прервался +заржавевших +спешат +флюгеров +сползать +бижутерии +аэропорта +катара +закруженного +спаленным +одурей +сели +ебаной +громовое +закруженных +пропадал +хвалите +попам +бронированную +старшинстве +вклиню +осыпавшими +ржавеющей +харассментов +взвалите +примерялась +поблескивал +вычитало +грошам +загруженностями +ветров +парит +опорожнена +нескромна +укусите +обобрана +выманить +перепланировавшие +изъявите +решетила +подвижного +превозносите +поблескивающему +поступитесь +табелях +замыкавшем +охайте +проползающие +веретена +прорезавшегося +трефовых +заторопитесь +совы +уремою +относим +хренов +патриархий +усыпавших +высыпаться +тикающие +развито +борзую +салят +населишь +шаберах +лекарей +шприцам +карате +писавшего +борзым +досадишь +пастушки +раздробленных +занятым +дома +термином +проказившие +тупящим +замыкавшихся +потопавшая +приводите +нормированных +истекшими +дохни +стравите +бобом +кровоточили +набегавшую +штемпелям +авиакорпуса +видениями +нудившее +политруке +помнила +ягодицей +кружат +западало +ракушкою +отсыпавшихся +помнившею +лени +мастерскою +ряженною +присыпал +тупленное +планируемое +подрезавшие +очутитесь +азам +пруде +отмеряй +принялся +лемех +струны +головы +судящая +цедящую +сому +письмен +уменьшившееся +ворочала +преподноситесь +скамьях +проказит +нормируемые +обжа +мизерного +тропе +пышны +лекарями +валу +обосрался +отсыпавшееся +взобралось +пиздите +тупимо +сбою +ушка +нетопырю +грязи +разбегаются +копящий +мумиями +измерявший +ужинающей +неровням +откатитесь +пристаете +заносим +ворочавшею +мусорку +рамэнов +козырною +распознаю +трусящими +суков +отползавшем +искрящимися +дюбелям +тикавши +ужинающем +жизе +секшем +сорвиголовы +отпершись +выметает +грешно +драгой +утыкал +велес +усыпавшим +ордерами +бомбовыми +блеклой +вертел +реперы +милуете +пробитые +плавна +затверженному +фита +зарезавшее +засучите +спаленное +кивера +добыты +налитою +гола +поманенною +целит +засыпавшая +фонарев +настороженного +баском +пропадавшем +изрезавший +черкавшая +сгрудилось +сбегавшимися +скобелях +издался +потеку +наряжены +чертящие +вырезав +наряженною +перепродал +заем +шарлоттауне +убрана +(по)грязнее +главком +джинсовом +пробудят +девицами +целившим +навесную +печенью +налитыми +крупа +попадают +фонтом +екающего +мехами +простою +сервируют +молодцам +нарезавших +сверленные +выносит +вечера +чавыча +мою +помочь +стиха +зубчатый +струсило +потеки +проползавшею +фарерский +балованного +посыпавшимся +схороните +писавшее +полосу +задвигавшее +приволоченную +добытая +сорома +запахнувшей +груженной +обмершие +путевым +ленящиеся +набегавшее +маневренны +усралось +планировала +саднив +подвижными +неровне +бандажей +кашицы +пригоршня +нарезало +слепоглухонемы +обмерял +чучей +иссушенную +вычитавшею +всполохах +отгруженном +размеряю +поселишься +полупетли +пробою +оке +морочном +очечником +шпинделям +наживу +бронирующего +перта +рыбари +переманенный +расцвету +клиперах +отраслям +развит +спешишь +ерах +гордона +наползавшею +ольхи +ведомы +полкам +труженному +дохнешь +присыпавших +лишаем +разрезавшего +фите +мергелями +слесарях +потопавшую +солям +анапесту +внучке +пробыло +аэропорте +голубками +мушкелями +остротою +дожитых +посыпалось +купель +петрова +штепселя +спешу +чудных +нагнана +сгоните +облил +баловавшееся +джентльменам +продалось +добро +отпершуюся +собрался +превозносим +задвигались +пехтере +саундтрека +жерехах +физруке +чертит +гулящие +постели +тупившие +тупленных +знаком +фонтам +катим +допитый +шницелях +армянофилии +шеншеля +мошкам +заряжен +сбегавшуюся +(по)стремней +промыслами +лопарю +копры +характерной +кабелям +небе +насыпало +ребра +обегавшему +подсыпавшая +дружите +судьи +раздвоен +целящею +фомины +размерявшею +рябине +перебегавшими +швеллерах +трапезами +балуемая +первому +тупящею +плинтуса +ауешника +ведре +отворенный +уплатите +хлопке +собрана +включите +кинозвезды +поблескивая +прочертим +замку +тая +первую +скромны +проволочку +запруженному +лопарях +стежке +ворочавшего +перченными +отпадавшим +екавших +измеряй +протыкавши +миловавшую +западайте +примеряешься +сметаны +подпитому +поисковых +валящий +врезавшихся +волоку +вывозившем +угольного +графа +набегаете +подростковому +пропусках +слажены +поискового +передохнем +питахайям +снежен +изрешеченные +крипте +сбегавшихся +морщу +ведением +просветим +поблескивав +крученные +обходим +страшны +строил +копитесь +пересеченными +екав +отползал +разряженные +кетой +пузырившись +пробила +мощен +решетившего +обвалитесь +таврами +капицею +военруке +нажиты +размеряешь +маклака +кирзовые +сведение +терпите +дружкам +саднило +ведениях +слизнувших +шумны +пропадает +замучу +анапестов +подлитом +отрыгнут +вывозивши +серел +попило +размыкало +лиселя +правиле +отгородят +обжит +копнам +тупиках +отворенного +броски +насыпавшем +нашивавшие +искрящуюся +утыкавших +теплимая +урезавшем +килы +хлопками +валят +занашивать +недалеки +пойнтера +недвижимом +черкайте +лен +пропитой +вклинившее +гренки +помним +добытым +цехов +олениной +козлищами +рядишь +волокна +запахами +приступите +засели +счета +фонарища +проводите +маньтоу +гастарбайтерам +погружено +облитые +юркнувшего +писарях +заслужите +планирован +бухавшим +перепланирована +украинской +выметали +отлитый +прожитом +жерехам +воротам +толстыми +уловите +запахов +склепы +кружками +разрядят +настрочим +куме +снятой +заторможенному +присыпавшее +делящему +жуков +бронированными +суккубам +подлитую +пригоршен +восхитит +измерявшим +ирисовыми +тупиковую +перечеркнут +соцобеспечение +относитесь +осыпавшей +комплексное +плюсовое +аншлюсами +раздвоенном +шелковицей +сваритесь +саднящий +предал +размерявшую +скобленное +минусов +доводите +бойки +повторенный +пережитою +милует +подсыпавшем +строенная +икают +парка +громленное +даренном +планируемыми +преуменьшившею +парном +привносим +писавшийся +бронированиям +пометах +обрамивший +скобелями +сотку +ворочавшем +перчимого +характерными +писавшегося +подносите +петелька +почтенный +насадите +заржавеешь +задвигавшим +затворит +вылазило +отбыт +уводите +стрелками +просвиры +триерами +сволоченном +раздробленностей +скорбуты +грузятся +огородят +скирдам +молодца +впустите +кия +микрометрам +рудым +напоите +маневренностью +полутени +сложенного +маненному +рассыпавшем +принудившей +договорам +размечу +ворочаемо +провернут +вахтеру +бачкам +духах +логов +валите +сазандарю +челу +гордоны +кули +бензопровода +недосмотрите +робленными +уносите +бронируете +перуны +окрошите +колледжам +бутиком +целившими +катарсисом +шрифтах +уменьшившими +продвигаете +свеклою +неглубоко +шприцах +воронку +крутитесь +вступите +пробитое +переманенного +флотов +простудитесь +точенной +румпелях +слажу +зарядишь +цветшем +носов +планированными +минусами +атласным +пурпурном +писало +блохам +опорожнивших +амбре +сенсорной +подружимся +пурпурным +патиной +описавшее +язу +пруженными +сменен +пристань +добегавшее +ужинавши +притуплены +обмерявшими +белите +переходим +тикавшими +восхищенных +замыкавши +склеп +омбудсменами +облито +переключимся +выносимся +девиц +зенкерах +шлихам +королевы +привносите +кружитесь +нагружено +обдал +телка +декеля +едок +навесной +ведомом +утыкавши +отлитую +белящие +лиселях +недоуменную +искринка +настрочит +чавычами +скорбутов +нудишь +робимым +приподнялись +туерах +отмерявшая +приткнут +искрящейся +сноубордами +ворочающимся +попитые +иссушенною +прочертите +маши +недопитому +задвигавшемуся +подлитый +деревцу +лиса +приманенный +очечника +говна +распилите +узнает +высыпавшимися +приволочен +флотах +бочка +подружитесь +смиренных +стюарды +калмыками +фельдшера +пробегало +черкаемою +прокатите +жирков +ворочавшая +дрочите +дочушки +обмерявшим +обмер +парила +приволоченная +путевые +запустите +ракушкам +сучке +газируемо +заточенными +осознаются +проползавшую +отбегают +сумы +мани +растворенною +облило +кредитами +пристаней +плодов +зацветшее +волоченные +подвижная +обуришь +толику +екающей +обегаю +парок +варящий +наползать +пяденями +отбегавшем +нажитых +разбегаюсь +отворится +отперся +примусов +черкаемой +ирисовая +передрался +казаком +органом +ермаком +заточат +половых +тамбуры +бронировавшему +свердловы +проблесковые +пойнтерах +потопите +кону +бухнувшими +изрешечено +сервировавши +скобленному +икавшею +ледниками +газирована +атласная +электроприводы +уильяму +екало +сдержите +кататонии +носовой +подпитым +складная +просыпавшая +отлитая +отпадавшем +стрелка +замыкаются +респираторному +украинца +строив +приближенным +запасною +планирующими +венке +строенными +баловавшую +икала +ложа +ауешником +вырезавший +прорезавшему +отмершие +проползающих +морщащем +осыпавши +подвижною +морщите +бензелям +излился +приволочены +отмели +батькам +екавшие +подростковым +начиненною +продвигавшим +перемкнут +груженною +стебле +кратка +перчившим +прямы +тепленном +разложите +расплатишься +осознаешь +тащим +запружено +попадает +прорезавшее +обрамленному +газирующую +подростковыми +размыкают +заторможена +евой +присыпавши +морячка +стержнями +пороха +поисковыми +измеряемся +садненный +писал +ебаною +закупите +бронированиями +раскрою +погоню +подрезавшими +боров +страстными +креплена +колков +она +стихах +полил +грубберами +кашицу +тупиковый +щавелю +струсивший +властна +изрешеченную +украинского +дек +отползать +даренный +абе +абджадом +просыпавшие +урезать +трефовою +строившего +вклинившем +сгрудившуюся +газирован +спроситесь +нажрался +доменной +нудила +рубите +очечниками +валка +протыкал +полдней +чавычей +питахайе +застегнут +кашлянула +знахарка +серели +лабой +пробитой +праотце +кровоточив +муфелями +забегаешь +козырным +мизерному +вклиненных +омбудсменам +нарезавший +ангара +бронированиях +счету +набухавшую +держитесь +скосим +рассыпался +тесла +налитом +матерщины +полисом +органах +диониса +отбегавшею +стене +полою +поселит +вылажу +гасящими +погоните +пушки +сенсорными +уменьшившая +извести +нормировавшие +пиццериях +баловавшемся +новорожденна +толщины +смените +зубрит +саднимая +пироги +зарядят +избегавшим +юркнула +подсыпали +хуевою +подаренном +инструктаже +восхитивших +замках +осознаетесь +вишневые +погруженного +обсыпавшего +перезагружены +радиоволнами +пешне +обрезаний +жара +старьевщица +таи +дохнувшей +предплюсны +пайку +прологам +громленной +позднее +взорвалось +посолят +размеряй +ворочающиеся +дроги +санями +налились +поду +перегруженного +мутите +поженитесь +расходитесь +шелковая +пущу +шелковые +паленная +бронирую +одновременными +узки +шпателях +балуемое +полутенях +лагеря +осыпалась +переводных +бела +танталово +размыкала +харассментом +кирки +прочертит +джентльмена +примерявшимися +чудного +выходят +кубов +грифелях +добрело +персей +оборвалось +слепленными +фольге +тикавшей +пещи +уменьшено +бойфрендам +бухающей +набухавшем +пылу +ужинавшего +гребла +проблесковых +западаете +набегай +кора +фонарище +чиненная +решетчатую +пугала +перегоните +черкавшею +золозах +гафелям +паршу +деньгою +крестному +приволоченным +строенные +хером +отгруженные +манено +александриях +выносил +лоскутный +джентльменах +усыпавшими +притупленною +подвигаем +нормированном +быту +флюгерам +фетишей +украинкой +политыми +глушат +стоящую +нитяной +черкающий +скриптами +сладите +пузырившемся +подорвалось +жереха +сазандарей +зацветшими +замке +относите +тесно +перегрузим +предвосхищенное +приносите +парящем +отделен +западают +абою +туплю +принялось +сгрудившемуся +саундтреках +вырезавшему +перегрузит +отруб +парилкою +стегнут +отворенных +язе +планируемого +балуемых +урезавших +запахнувшему +асимметрию +пересыпавший +хвора +разлилось +апофизами +екала +поем +батьками +посыпавшая +сиднея +копнами +щеку +ховеркрафта +загрузимся +обрамившему +добегавшею +теплившие +баловала +недобры +жаркими +нажитую +мокротою +бронировавший +узришь +фарерскую +копец +сервируемо +раздробленностью +воронами +посту +робившая +отпершимся +пузыритесь +смоляном +капицы +завозим +ноги +дубки +балуемом +теплимому +искусу +блесны +иванова +потупивши +ряженному +пыхнувших +берду +реку +газировать +цветовою +выносившихся +бомбовых +икавшую +морщишь +колотим +вещей +перебегавшее +изрешеченное +отмеряют +екающее +усыпавший +воспринялись +щавелях +нудивших +получасам +запихнут +бензелей +сладит +краин +вихре +копцам +соцобеспечениях +комплексная +короток +отсыпавшимся +присыпали +высыпавшегося +хуем +затворитесь +ракелей +мусорка +сверленном +стержней +примерявшую +копья +методу +отбытую +триселям +паришь +погрузится +запаху +сеченная +комплексном +селе +отбыл +затворишься +уменьшишь +тазу +выносила +павловский +перебегаем +засушите +поблескивают +бронируема +отмерявши +асан +муфелей +одновременная +слизнет +строит +бойфренды +весу +перерезавшая +зрела +правилам +колик +сбегается +переводному +кожуху +высыпавшей +целившем +джемперах +первым +уменьшенные +подпил +запахнут +органе +проползал +высыпавшеюся +благодарен +понтами +масла +размерял +подлитого +сосенкам +шипу +обегавшем +сорта +шипе +надорвалось +прорезали +обегали +вклинится +отрубите +калено +планировавшим +сорому +варим +налитым +морочные +разложитесь +размеряем +чухну +юркнувшая +раздвоены +поселится +пастилы +полутеням +шпателями +планированном +абашу +влилось +росла +посыпавшихся +измеряйся +примеряйся +валящего +сравненными +пристаешь +политрукам +апострофов +парилках +ирисам +соотноситесь +стрингеров +побаловать +разряженному +козлами +силен +подвозим +продвигавшему +взобрался +набегавши +бронируют +манят +мелком +муке +детдомами +соцобеспечения +румпелями +опорожнившую +черве +полноте +волоченный +оби +занятом +компасам +прорубях +дурново +блеклою +приманенную +обмершему +обатурам +богота +обеспечением +зарешеченный +лихтеров +сервированных +саднимым +хлопки +перевозим +ушке +неглубоки +ракушкой +колею +пекарей +кольца +перчили +повторенному +технорука +графы +чернобылю +пруженное +ворочайся +притащите +забегай +камфоре +поблескивать +летных +мумиях +добегавшими +креститесь +короба +кауперам +присыпавшая +досадите +облому +парису +недопитого +трапезу +подвигай +володею +обрезавшая +маненную +утопавшею +плиты +засечена +запружена +описавшего +настороженная +мускулистый +лососинах +попалим +икаю +попу +нашивавшим +истекшая +удали +усекший +турах +сукке +порта +слыло +судящим +слизните +бреши +стапелях +переселишься +решетишь +сползаешь +добегало +переводную +миловавши +теплена +(по)заснеженней +набеги +проскочите +блокпостами +сладившую +плачу +грозы +подвигавшеюся +глотками +пролитою +уменьшившуюся +садню +ранимым +шприце +обегавшие +маненного +подался +утками +опорожнило +шлица +отрубом +заклинившее +помыкать +выносившему +ирисом +нажитая +решетчатое +сушим +екавшее +отворен +кредиту +пастушках +пересыпавши +помочи +запасного +расплылись +стряхнут +подростковых +вселим +редакторам +девичьи +раздразните +робимых +дыхала +капицам +мышлении +нулевою +перепланировавший +маркер +робившего +заорем +бельм +путаны +продвигавши +чернобылям +блеклую +гастарбайтеру +тупленною +делите +перчащие +остротой +переводною +измерявшем +приманенном +осыпавшемся +искрящаяся +отмершую +перевернут +засеках +пробегавшею +бунгало +меху +спали +замыкают +нажитое +нормированиях +опер +аге +фухтеля +плюсны +куритесь +екающим +присыпало +призрим +абу +корпусов +горцы +оку +даренною +шалей +козлище +верши +ужинав +стрингерах +миловало +ломтя +недопитое +вычитаем +нормирующею +нажил +избегаем +тракторов +присели +цветшими +вылазившему +глазика +приучите +бухал +пропадающем +графу +тусой +бронируемое +искрящихся +уменьшены +отслужите +купинами +развозите +просыпавшею +златом +бухающее +дохнувши +переносите +сложенным +ужинала +нудящих +посудите +перелит +воротах +тунику +решетит +катарсисами +раздался +ухватитесь +ровня +наложите +заточен +маховою +передвигавшую +преуменьшить +анкеров +атлас +планируют +настороженною +зарезавшим +заточенном +зацепите +асимметриею +паспорта +боксерами +робя +поучитесь +парить +копящая +насыпавшей +семени +сяжках +манишь +ролями +батька +утыкавшему +отрезавши +пологи +селимся +обрезанию +уильямами +тандемом +виражах +скосят +трусило +утопаю +признает +софами +белящих +абазу +капице +заржавев +петле +тушу +зарешеченное +роговою +скоблено +горцу +ролей +жирки +нормируемо +проломите +предвосхищенных +перепадавшим +замыкалась +предвосхитившем +отбегавшим +посыпалась +соколам +серевший +бомбовая +скопленное +дождалось +лога +сгрузите +пересеченная +нинся +струсившем +отгруженному +мизерным +протыкало +бухнувших +обрамленную +отмеряю +пошевелите +сполохах +такой +струги +перчащим +дискурс +планированное +заселят +спряденное +вину +маркетинговым +изрезала +скоблит +абой +дионисы +строившую +украинцах +вывозившею +труженных +обмерявшей +заснеженном +кашицами +тонов +изогнут +обоснуемся +писались +добегали +перевалитесь +метила +катях +заросли +задвигай +порвана +бутом +взобрались +ворочалось +планирующее +удавите +кулинария +икавших +конфе +черкаемыми +уменьшит +обрамят +балующее +покормите +обмерявший +нарвала +груди +перезагруженных +мази +танталах +дохою +зову +добытому +симметрии +загружен +выводитесь +измерявшему +парилки +поклонитесь +обмерявшего +брюшку +апофиз +города +сервированный +векселей +выходившему +саднит +пастушками +лазаний +складную +перченная +нажрались +помершим +маховым +вентерями +восхитило +поторопитесь +затверженных +отмершая +початые +чиненную +раздвоена +танкерами +толкотней +проползав +чертящему +мускулистые +сволоченною +приближенными +газируемому +слаженных +избегавшая +позвоните +заучите +докатитесь +познаете +бухавшем +измеряйтесь +пробрался +отрезал +хмельном +фомиными +пайками +гастарбайтером +газируемою +виражам +обурило +плющу +екавшей +какая +ноздрей +киши +доишь +переводного +воле +притупим +заснеженной +физруков +маркетинговою +вклинившееся +кета +плутах +примеряется +катан +залитая +вольны +кредита +буев +опорожненное +выметавший +даренную +бомбовую +ряду +обману +ленящуюся +боями +спаленными +лимфодренажам +несильна +ужинавших +бухло +максимы +спряденные +задвигать +топселями +общины +бухнете +искринок +избегавших +обсыпавшую +шлепку +наползав +бутами +бесящую +плюсовому +ветфельдшеров +посыпавшею +отпитому +мокроте +перчи +сынов +рябиною +искуса +микроволны +задались +копящих +заснеженный +хмельная +перебегали +струсившую +сладившему +солнце +стенам +присыпавшему +сроднитесь +обурят +крыльца +полках +тупиков +всыпавших +клялось +звался +нормировать +проблесковой +повара +пруженным +киркой +накупите +отсыпавшем +проказившею +стремя +крутим +загружена +лаврового +задало +зарешетило +подлили +лужу +целящую +фухтелями +колонкам +сервированному +дембелями +кашицах +плутом +выносившеюся +урема +серевшая +подавите +рассердите +перегруженною +гасящим +забегавшем +нормированное +парником +перезагруженными +спалит +погрузит +хуе +усрались +пруду +находитесь +пропустите +комплексными +запруженную +матерен +сбегавшего +замершею +политрука +вертела +связных +переварите +разгруженным +милейковскою +угольными +бронях +чутье +приманен +давящие +садненную +балованную +ветчины +запахнувшем +световой +жарком +хитро +трефовую +солон +делящее +начиненных +измерявшееся +церквами +нормированному +сдружите +планируемую +отмеряйте +гребли +вороньем +поносило +перегружено +робимом +(по)грязней +мокрота +лесках +маневрам +ссудите +прожекторам +газируете +дискурсам +подрезавшая +запыхавшимся +жидовщиной +троичной +пересыпавшим +потопаешь +полился +замершая +вымпела +стапелей +замершем +упустите +населят +планированные +ужинает +запыхавшегося +кручен +драгою +ирис +баловав +предвосхитишь +фата +общину +фольгою +ладами +доите +забухавши +разлепите +бронями +пиздящий +тепленной +безобразное +пастушка +громлены +засеченными +дьяконам +вали +наряженной +заржавели +преуменьшивших +черкаемая +общинами +проползают +отсыпавшую +размерявшая +милован +матерщину +выношусь +сервируете +петельками +бухавших +тикаешь +выносившие +ржавеешь +перчимо +ведомое +обрамивши +летны +планирующей +сдался +аэропортами +дискурсе +разбегаться +тупленного +примерявшею +щелочном +операм +пятна +нашивал +сгрудившись +струсишь +петельку +теплишь +уставным +борзая +хлебов +балуя +личного +сбегала +бензеля +характерном +провидение +баловавшею +гвоздику +проблесковыми +тикая +сочив +всенощных +штемпелей +глоток +минусам +чинены +сползавшему +помнившее +газировавшему +избегавшему +сбегавшеюся +завесу +задвигайся +погрузишь +наварите +залепите +чекай +взвинтит +псалтырях +развернут +сралось +засучит +полюбите +перебегавшего +опорожню +брамселях +западней +асимптотою +пары +поселимся +стежку +кобзе +вору +вселятся +вихревыми +почту +ватерам +кровоточит +обеднею +недопиты +перепланируешь +интернационалы +отгруженной +килам +парке +отворятся +перепланируй +базиликах +помни +скорбуте +подкупите +шипом +платно +нагелях +крученным +(по)долей +вишневого +характерному +ужинавшая +дембелях +прокатитесь +веками +капица +заржавеет +запахнувших +пошутите +матерщине +делящих +утыкаешь +проползали +полка +прорезавшая +описался +атласную +выносившемся +перепадавши +недопитою +киликией +заряжено +забегавшей +путевою +описало +королева +погнался +измеряю +цедящий +связными +шабера +раздавите +наползало +щупла +зарины +веку +газирует +бензопроводов +краиной +дорвана +свердлову +досок +шелкового +закутке +секшему +цвету +фаты +опорожнившею +пояса +нарезавшей +чизелей +разобрался +отсыпавшего +патине +бухну +кирке +ворочая +захватите +нормирую +сравненных +громовая +восхитившую +путевую +прорвалось +забеги +зарешетила +барменов +сознаемся +ворочаю +груженного +фантом +каледиными +маастрихта +пережитые +новорожденные +издалось +джинсовые +ушками +нападав +тяжка +замшею +ложках +занятых +варвара +термину +сгрудится +штабеля +делящими +отпихнут +бухнувшие +пайках +строивших +навесная +сцепитесь +загрузятся +роженицей +пропадающее +подростков +допитою +приманите +асимптоты +парим +сладила +загружены +праотцами +отперлось +посыпавшись +раджу +задвигавшие +мускулиста +огородите +бухавшая +послужите +мехам +правила +черни +ткала +русофилиям +заждался +козлам +парилку +прислонят +кисам +хуевым +поисковая +рассыпав +сползало +робивших +письма +слаженным +бухнувшее +закружится +подвигавшихся +гордонах +подтеки +юнкерам +вылазит +засучат +описавших +юнкеров +полупусты +выметав +морщащую +дороги +западавших +дарим +описавшиеся +кирка +груженные +тупленный +омбудсмена +треплами +пруда +клоните +фонарищем +временщике +потупившая +мелки +целящее +бутах +духам +временному +зарешечен +вклините +учите +завесах +чухой +саднимых +садненном +забегу +ленящейся +мускулистого +перепоишь +обмерявшему +небом +добры +забухало +проходим +потупила +отвалите +округ +целя +дохнувшею +положитесь +восхвалите +чернобыле +гасящее +буккерами +перетрудитесь +неровни +покрутите +череслу +избрана +астроном +правил +внемля +уставную +джентльменом +перепланировали +роды +пересеченному +асимптота +кормим +допитому +саундтреками +ряженное +ирисами +сбегавшемуся +утрах +погрузятся +растащите +коноплей +початою +проклятым +искрись +задвигаться +закруженным +александрий +сползай +терпитесь +кожуха +скорою +спуститесь +прояснить +предвосхищенными +усыпавшая +хуевыми +снятого +перелили +пузырится +сервировавшего +питье +душите +примерялось +пробудитесь +морщащих +понты +дышите +питахайю +врезавшись +романтику +прожитой +камфоры +дожитый +сеченный +проползающей +затворенную +набегавшем +пешнями +маневре +заклинившие +джида +термины +пешня +павловским +прочертят +респираторные +признаю +войска +строившем +патинам +приходитесь +токами +паря +маржами +поблескивавшую +врезавшему +уильямам +нулевым +срались +хлестнут +искринках +росстанями +взвинтим +бухнув +задвигали +политое +замыкавшее +наползавших +крученной +мысы +внемлите +ховеркрафтов +запрете +всыпало +македонского +дружащим +хаос +вывозив +маржу +дохну +обжах +ужинайте +пузырящимся +кулинарией +преходите +обсадите +створенная +искрившеюся +реках +копящей +лудят +передвигавший +милейковского +хмельные +дохнувшую +очечнике +сложенною +былью +козлищах +образах +стопах +ломка +(по)мудреней +примеряли +милуемо +спешивший +наряженного +трусящем +полымя +притворится +попитою +тащите +тупима +запахнувшим +заклинившею +обрамленная +размыкавший +вылазившего +пробегал +девичьими +поднялись +ока +реперу +подвигавшиеся +вахтер +замерши +прорезавшееся +продвигавшею +пуков +честному +купине +доносим +вафля +строить +переносному +секшего +стоящее +чудную +мошке +пядей +звонит +железу +скопленные +ворочаемся +робленный +добытые +девице +лавров +избегавшую +сладив +заслонит +предвосхищена +кореша +сладившие +пристаням +всыпавшими +цедящем +кашлянув +раздана +кровоточивши +планируемою +шлихи +слеплены +колеса +подростковы +навесною +шиберов +рядит +сенсорную +протыкавшей +черкавшему +повалим +заклинивши +сверлены +сползавши +венец +хуев +перепланировавшее +шерсти +нигеры +осушите +потопав +копца +очечниках +наголо +возите +робимого +ворочаешь +болям +вырезавшею +бронировал +колка +сервированной +отворенном +обсыпавших +сравненный +приставе +плодоносите +расположитесь +слаженного +выносилось +манки +напоенных +передохнет +загруженных +избу +запруженными +попитых +пропитою +договор +тупиковые +запахнем +штуцера +кельнерах +обжитый +строчному +милуют +противоположите +газирующих +делец +королеве +саднившими +отсыпавшемуся +приподнялось +сокола +воронке +шафера +неводами +штыря +нормированною +узрят +перуну +окунем +заслуженною +тандемы +разобрались +рассыпавшая +баловавшеюся +закусите +замутят +сервированном +сполохом +щелях +бухает +одновременна +неловка +робящими +закруженная +варящего +писавшихся +разгромленная +ржавевшая +продвигавший +делящим +смиренною +заснеженною +плотны +фигней +переиздана +гулящей +худоба +передвигавшем +хутора +вырезавшей +битье +нудящего +держите +меду +обрамил +девицы +сползает +пекарями +воронка +белящими +нагруженную +фатах +строчную +ровнею +запил +балующиеся +жаркого +ворвалось +сервируемым +сива +паленному +прищурам +саднившую +соколами +облупите +челюстях +микрометре +образа +притупит +тепленное +слизни +нудившему +познают +газируемые +ворочало +секторами +научите +стеблях +асаны +поблескивало +разбегавшегося +бутиками +саднимые +слизнув +приподнята +издались +постами +задвигаюсь +обрамившего +комплексною +ранимо +помнил +пропадающую +врезавши +судьбы +насыпавшие +волоченному +носовым +создалось +труженном +корою +лазаньях +расплатятся +планировано +юркнувшие +конфу +ростовою +прострочит +спины +белящим +вывозят +броня +облупитесь +невысоко +посыпав +чинящий +целящая +прорезать +подвигаю +сгрудился +дразнящую +выходившую +векселям +доведи +ранимому +перелитые +дедами +поблескиваем +икающая +замутит +предвосхищенною +набухай +джентльмене +клаксоном +зенкеров +дорога +зашевелим +середнячка +сторожу +предвосхитившую +разбегаетесь +кобзами +притупленная +бухали +обводите +планируем +уткнут +штырю +попадавшие +лососинами +белки +подчеркнут +старьевщиков +изрезал +клаксонов +отползавшую +выходи +начало +прокрутите +загруженном +заточенную +познаю +начинено +притуплена +отеки +нормирующему +потны +замкнут +обрамившими +заселит +году +парящее +разрезать +точенный +временные +заслуженном +полосы +присыпавшими +челом +комплексный +первыми +сбегав +завалитесь +перепродана +оси +отгородим +подвигала +сосенкою +купинах +инструктажами +пленен +маневренностях +скачках +поучите +размыкал +добыло +погреб +назвался +треску +слизнул +рассыпавшими +глубоко +забегавшую +ржавевшие +подвижную +налитая +замыкавшееся +выносившимися +праотцам +перерезавшему +строги +голей +сенсорная +избегавшего +искрилось +панов +угольным +вклинившая +уменьшишься +душим +оторопей +утыкаем +набухавшая +подступитесь +шенкеля +зарешеченным +восхитивший +помните +перетерпите +перчат +стоящим +остроги +описалась +стихи +шкафу +харассментах +ломти +венцами +жидок +хаосах +опорожнивший +скобленных +псалтырям +набегало +проказив +подвигаться +взгонитесь +ворохами +пролило +строчит +балованных +методе +тепливший +труженною +бронируемые +избегать +оплачу +волнах +ролях +черкаемы +выходили +велесам +ебаном +травим +подлит +сдружим +глушим +катине +засучишь +избегало +усыпавшей +балуемся +слепит +терминах +асимптотой +застигать +копнах +чавыче +дожитая +разбегавшийся +капицу +напоенной +свердлов +души +передразнено +хорошей +зубкам +подрочите +преуменьшенными +мушкелях +заржавеют +сравненным +отсыпавший +писавшимся +притворитесь +брюшках +всыпали +черняка +глотки +тона +свойству +девичья +азах +дивчинах +копью +кирзовом +вклиненным +возим +наползали +приволоченной +потопал +сильны +призрите +переворотите +саднившая +маненные +перебегаешь +перегружен +сползавшего +шинки +серьгами +боготою +нормировавших +сгруженное +спешившими +мочитесь +округах +трусящий +вентеря +завесе +затверженные +симметриям +месим +дознаетесь +перезарядите +сеченными +обрамленное +китами +создана +тушите +пригоршне +кожанке +недвижимому +вилка +хрупка +дионисом +взялся +гендиректора +секторах +теплите +обурив +преуменьшенной +ястребами +осыпавшеюся +вклинившей +зубчатая +восхищен +сложенной +точит +нудящей +алфавита +жизнеобеспечение +искр +добегаешь +трефовые +газировала +бедны +патин +измерявшего +просветишь +руне +джентльменов +питахайях +затворенными +садненным +ии +обойму +ебаных +кисой +пошло +глухи +обоснуешь +целящими +описавшему +тендеров +бойфренда +замыкавшие +обосрались +астрономами +спряденным +жизнеобеспечений +описавшим +постелю +подкормите +крейсерами +дренажах +буккеров +пруженной +труженным +сполохов +милующий +желоба +токарях +америкофилиях +украинских +валящими +ватерах +сверленными +мизерными +политую +дразнящим +осознаю +катера +признаем +черных +подрались +затону +турков +репера +дренажи +изложите +мизерная +заточишь +иначе +трусим +джинсовую +сукку +забухали +вылазившие +маневренна +громленный +пропадающею +увился +целят +ростовых +прорвался +омутами +пошевелишься +передразнены +почтенною +сосенке +громового +высоты +серевшею +придана +доменными +паремиею +украинцам +повторена +приезжая +беготней +степ +отползали +корчем +скупятся +видны +бронированным +переселим +склепом +вывозивших +бирмингемов +сейнера +сбоев +изрезавшею +урезало +бухнувшая +стеки +молю +алфавитах +сравнена +закружишься +куры +робишь +прорезавшись +лете +лоскуте +сноуборды +подвигавши +рассадите +фрезерам +кубам +острогу +нужды +бури +ригелям +замершей +замыкались +фельдшерах +скачке +сапожками +хираганой +бухавшей +дросселей +растворишься +набухавши +протыкавшего +королеву +отпершееся +недвижимы +зарешетившая +перерезавшего +сволоченными +суперам +пахнувший +становитесь +телке +пролитого +трусивший +издержите +апофизы +бронирующую +шутите +стюардов +скобленным +дизелями +бойфрендах +отползаешь +ермаки +связная +проспана +растворенные +близки +задвигавшись +спешившим +уменьшимся +решетило +дразним +велеса +ебаный +базиликой +барменам +стрелку +слизнувшими +переносим +зарезало +нормируемом +заслуженную +слепят +тиши +залитые +физруки +пыхнувшею +загреб +веселы +зарезавшего +временщиков +сравненном +соткана +поблескивающем +попадавшая +находим +аншлюсах +продана +буера +пропадающими +примутся +клешней +отрубами +обрамленный +фонту +страстную +обрезавших +контрою +хоры +петелькою +вклинившеюся +развалите +подарена +маклаков +углем +педерастию +подтупите +прожитая +курой +саднимом +уильяме +проказившими +придался +пробудишься +уменьшивший +жнивье +смело +обучитесь +струсившей +клялись +отмерявшего +придал +сосками +задвигавшейся +планируемым +спаленный +ивановыми +заслуженное +ниппелях +респираторном +судьях +хорам +клялся +пережитого +кашица +пурпурно +проволочке +сходите +орденами +баловавшимися +разрезавшею +подвигать +задвигала +бервна +ленящаяся +зарешечены +недопитых +расамы +вафле +ржавеющему +прорезавшийся +цедящему +бирмингеме +берестах +отклоните +скирдах +перебегавшая +отмерявшем +обручи +прервала +милованную +помнивший +тупимую +мурманск +саднить +попадаешь +трудите +чиненной +чудною +искрился +хлопка +потопавшими +шелковицам +замыкай +мерил +отлил +разгромленные +суками +соцобеспечении +срезавшую +шпателям +велик +спрингера +респираторными +соскам +уставное +расплачусь +деньгой +наползавший +белящий +заселишься +облачен +расцветшего +стоящая +проводов +стартере +бегло +мурманску +венка +объем +отмерявших +козаками +александрией +газированною +украинец +перезагружен +петлей +парившее +делавэром +производитесь +перегружены +фраерах +заводи +вогнут +мастерскому +русофилией +провидения +абашами +допитые +планирующих +петельках +здорово! +задали +военруки +прудит +запахом +откупитесь +заклинившим +дохнул +дарена +джорджтауне +понятые +отгруженная +тупящий +цветовым +фиговом +жизнеобеспечении +ранимом +растворится +избегайте +бамперах +газируемы +безобразному +миловав +подпитых +передвигаешь +передвигал +дубляжах +нагружены +молочку +давите +даренному +респираторный +влился +чекавший +запыхайся +бороны +кружке +витому +размерявшего +леднике +метала +молодце +дурей +шибболетах +ебаным +перепаду +оплатитесь +ауешнике +копен +обрезавшими +маним +восприемли +интервьюеров +насыпавшее +присудите +склепе +поддалось +забухавшую +распродало +выходившей +газируя +плоду +ворочаемую +ряженными +износостойка +кашлянете +джорджтаунам +блага +золозе +допитой +катаканой +промокнешь +чухны +азе +трусившею +набегавшею +азы +пресны +екаю +болоны +поддержите +романтика +баловавши +начиненным +прервались +делитесь +размеряет +трусившему +продвигавшие +вклинился +пустыней +садненными +тупящее +хлебах +растворит +писавшаяся +снятому +грошами +целим +украинках +степами +пробегать +приволочено +всенощною +сползают +слепленным +искрится +набухавших +передвигавшими +зарезав +сервируешь +бухгалтерами +засыпавшей +джинсовых +вселится +засыпали +старшинству +размеряете +приволоченное +бухнула +унтерах +помершего +похороните +блокпоста +строчная +романтики +симметрию +сеченной +поманенном +травы +трусив +досадят +мутит +подвигавших +софах +залитое +пробегаю +подпитую +нападают +отопите +перепланировавшими +отпершиеся +бронируйте +винкеля +отлили +перелитых +спешит +отползают +опорожнивши +задавите +плуты +шлем +дыры +манках +метлы +пропадающим +мантах +нашивавшими +баловаться +мальцу +мышлениям +принудивший +милующем +чуче +раскатите +набухавшей +ворочающемся +перезагруженный +прижился +нажитым +феномене +подвигавший +нудящая +новорожденной +белящая +лопарь +палят +притупят +строку +пруженного +миловавшая +бочкам +старьевщик +змею +проблесковом +складной +вихревою +нормировавшее +лесками +цветшей +непрочна +разбегавшиеся +ложим +ебли +отлитою +западавшим +уменьшившемся +заклинило +баржа +пробитый +бесите +навесными +вести +пуловерам +хороним +мастера +любые +натолкнут +дрался +ведру +зарешетить +осыпавшая +спешивши +робящую +пиздящей +сбегаю +тандема +ряда +бралось +шлицах +венчанной +смиренного +парисом +ракелями +милуемым +киркам +газировавшим +поносим +мысах +соку +поблескивавшие +помнившим +отбегавшее +приближенного +изрезавшим +опорожнили +екавший +стезей +разузнаем +прикрутите +искусов +сервировавшею +застрелите +отмерши +жидовщину +наклоните +протыкает +пресек +преломите +просветите +налитого +повторенной +полете +жидовщина +помнившем +толстою +козлах +подлитому +свихнут +загруженными +накатите +заржавевшею +засыпавшего +раскрутитесь +переселите +ригелей +госпиталями +тупиковой +старьевщиками +строивши +дочушкам +подрезавшее +пыхнули +дыхало +закружите +икавши +пурпурную +жарких +китах +велесу +разгромленный +подростковое diff --git a/BERT/bene-ges/ru_g2p_ipa_bert_large/ru_g2p.nemo b/BERT/bene-ges/ru_g2p_ipa_bert_large/ru_g2p.nemo new file mode 100644 index 0000000000000000000000000000000000000000..dc8a0aa31196db1cab1e8622f32bd83f68c000cb --- /dev/null +++ b/BERT/bene-ges/ru_g2p_ipa_bert_large/ru_g2p.nemo @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:88c28441b02451a5ea75eb293cd92ec3903590d61685ae2d3fb1dcef56c7854f +size 719523840 diff --git a/BERT/bene-ges/ru_g2p_ipa_bert_large/source.txt b/BERT/bene-ges/ru_g2p_ipa_bert_large/source.txt new file mode 100644 index 0000000000000000000000000000000000000000..64cc0fd42ff0254a3a9fe60a7cc07be1b36c65d5 --- /dev/null +++ b/BERT/bene-ges/ru_g2p_ipa_bert_large/source.txt @@ -0,0 +1 @@ +https://huggingface.co/bene-ges/ru_g2p_ipa_bert_large \ No newline at end of file diff --git a/byT5/Charsiu/CharsiuG2P.zip b/byT5/Charsiu/CharsiuG2P.zip new file mode 100644 index 0000000000000000000000000000000000000000..94b2b46eac9a11981d1d8ee3a7e758406c23e4bf --- /dev/null +++ b/byT5/Charsiu/CharsiuG2P.zip @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:070970de2794f4efc9345b319398dcbe32fb1b799d8d65ec4b67407fba7443a2 +size 395041832 diff --git a/byT5/Charsiu/CharsiuG2P2 [fred33iferu] +3.zip b/byT5/Charsiu/CharsiuG2P2 [fred33iferu] +3.zip new file mode 100644 index 0000000000000000000000000000000000000000..b2f5f329f27f6ea956a056397562696d5bbc2a2b --- /dev/null +++ b/byT5/Charsiu/CharsiuG2P2 [fred33iferu] +3.zip @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:ad4c28cc150a97c6ce554e8a57b5bfcd7df95b23b79cb28e93b75ee99b93e991 +size 260025081 diff --git a/byT5/Charsiu/g2p_multilingual_byT5_small/.gitattributes b/byT5/Charsiu/g2p_multilingual_byT5_small/.gitattributes new file mode 100644 index 0000000000000000000000000000000000000000..ac481c8eb05e4d2496fbe076a38a7b4835dd733d --- /dev/null +++ b/byT5/Charsiu/g2p_multilingual_byT5_small/.gitattributes @@ -0,0 +1,27 @@ +*.7z filter=lfs diff=lfs merge=lfs -text +*.arrow filter=lfs diff=lfs merge=lfs -text +*.bin filter=lfs diff=lfs merge=lfs -text +*.bz2 filter=lfs diff=lfs merge=lfs -text +*.ftz filter=lfs diff=lfs merge=lfs -text +*.gz filter=lfs diff=lfs merge=lfs -text +*.h5 filter=lfs diff=lfs merge=lfs -text +*.joblib filter=lfs diff=lfs merge=lfs -text +*.lfs.* filter=lfs diff=lfs merge=lfs -text +*.model filter=lfs diff=lfs merge=lfs -text +*.msgpack filter=lfs diff=lfs merge=lfs -text +*.onnx filter=lfs diff=lfs merge=lfs -text +*.ot filter=lfs diff=lfs merge=lfs -text +*.parquet filter=lfs diff=lfs merge=lfs -text +*.pb filter=lfs diff=lfs merge=lfs -text +*.pt filter=lfs diff=lfs merge=lfs -text +*.pth filter=lfs diff=lfs merge=lfs -text +*.rar filter=lfs diff=lfs merge=lfs -text +saved_model/**/* filter=lfs diff=lfs merge=lfs -text +*.tar.* filter=lfs diff=lfs merge=lfs -text +*.tflite filter=lfs diff=lfs merge=lfs -text +*.tgz filter=lfs diff=lfs merge=lfs -text +*.wasm filter=lfs diff=lfs merge=lfs -text +*.xz filter=lfs diff=lfs merge=lfs -text +*.zip filter=lfs diff=lfs merge=lfs -text +*.zstandard filter=lfs diff=lfs merge=lfs -text +*tfevents* filter=lfs diff=lfs merge=lfs -text diff --git a/byT5/Charsiu/g2p_multilingual_byT5_small/config.json b/byT5/Charsiu/g2p_multilingual_byT5_small/config.json new file mode 100644 index 0000000000000000000000000000000000000000..6a6930db810c4f310b9a8e3863cb36771981bcf8 --- /dev/null +++ b/byT5/Charsiu/g2p_multilingual_byT5_small/config.json @@ -0,0 +1,29 @@ +{ + "_name_or_path": "google/byt5-small", + "architectures": [ + "T5ForConditionalGeneration" + ], + "d_ff": 3584, + "d_kv": 64, + "d_model": 1472, + "decoder_start_token_id": 0, + "dropout_rate": 0.1, + "eos_token_id": 1, + "feed_forward_proj": "gated-gelu", + "gradient_checkpointing": false, + "initializer_factor": 1.0, + "is_encoder_decoder": true, + "layer_norm_epsilon": 1e-06, + "model_type": "t5", + "num_decoder_layers": 4, + "num_heads": 6, + "num_layers": 12, + "pad_token_id": 0, + "relative_attention_num_buckets": 32, + "tie_word_embeddings": false, + "tokenizer_class": "ByT5Tokenizer", + "torch_dtype": "float32", + "transformers_version": "4.16.2", + "use_cache": true, + "vocab_size": 384 +} diff --git a/byT5/Charsiu/g2p_multilingual_byT5_small/pytorch_model.bin b/byT5/Charsiu/g2p_multilingual_byT5_small/pytorch_model.bin new file mode 100644 index 0000000000000000000000000000000000000000..e51f88127af5221ffff789937323500fca2800cb --- /dev/null +++ b/byT5/Charsiu/g2p_multilingual_byT5_small/pytorch_model.bin @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:e4ffba3b176a923b4c0d74b9eac65500b48f870cc65d0dee828392b8cd2da777 +size 1198627501 diff --git a/byT5/Charsiu/g2p_multilingual_byT5_small/source.txt b/byT5/Charsiu/g2p_multilingual_byT5_small/source.txt new file mode 100644 index 0000000000000000000000000000000000000000..8f4770a915b0a4b31e3793ecab1b43b04ad278b7 --- /dev/null +++ b/byT5/Charsiu/g2p_multilingual_byT5_small/source.txt @@ -0,0 +1 @@ +https://huggingface.co/charsiu/g2p_multilingual_byT5_small \ No newline at end of file diff --git a/byT5/Charsiu/g2p_multilingual_byT5_small/trainer_state.json b/byT5/Charsiu/g2p_multilingual_byT5_small/trainer_state.json new file mode 100644 index 0000000000000000000000000000000000000000..80a4badf0b712020b35e0cc16cb22e207804c1bc --- /dev/null +++ b/byT5/Charsiu/g2p_multilingual_byT5_small/trainer_state.json @@ -0,0 +1,1096 @@ +{ + "best_metric": 0.15353840099691743, + "best_model_checkpoint": "/scratch/lingjzhu_root/lingjzhu1/lingjzhu/g2p/byt5_small_finetuned_from_pretrained/checkpoint-5000", + "epoch": 9.646302250803858, + "global_step": 135000, + "is_hyper_param_search": false, + "is_local_process_zero": true, + "is_world_process_zero": true, + "log_history": [ + { + "epoch": 0.07, + "learning_rate": 0.0003, + "loss": 1.3832, + "step": 1000 + }, + { + "epoch": 0.14, + "learning_rate": 0.0002999616623572683, + "loss": 0.2586, + "step": 2000 + }, + { + "epoch": 0.21, + "learning_rate": 0.00029984666902607135, + "loss": 0.1824, + "step": 3000 + }, + { + "epoch": 0.29, + "learning_rate": 0.0002996550787873857, + "loss": 0.152, + "step": 4000 + }, + { + "epoch": 0.36, + "learning_rate": 0.0002993869895761197, + "loss": 0.1328, + "step": 5000 + }, + { + "epoch": 0.36, + "eval_cer": 0.15353840099691743, + "eval_loss": 0.16419939696788788, + "eval_runtime": 90.9116, + "eval_samples_per_second": 54.449, + "eval_steps_per_second": 0.429, + "eval_wer": 0.40606060606060607, + "step": 5000 + }, + { + "epoch": 0.43, + "learning_rate": 0.000299042538431052, + "loss": 0.1171, + "step": 6000 + }, + { + "epoch": 0.5, + "learning_rate": 0.00029862190142478177, + "loss": 0.1067, + "step": 7000 + }, + { + "epoch": 0.57, + "learning_rate": 0.00029812529357372587, + "loss": 0.0979, + "step": 8000 + }, + { + "epoch": 0.64, + "learning_rate": 0.00029755296872820933, + "loss": 0.0911, + "step": 9000 + }, + { + "epoch": 0.71, + "learning_rate": 0.0002969052194427048, + "loss": 0.0857, + "step": 10000 + }, + { + "epoch": 0.71, + "eval_cer": 0.1219912113858464, + "eval_loss": 0.10491432994604111, + "eval_runtime": 90.8023, + "eval_samples_per_second": 54.514, + "eval_steps_per_second": 0.43, + "eval_wer": 0.3408080808080808, + "step": 10000 + }, + { + "epoch": 0.79, + "learning_rate": 0.0002961823768262882, + "loss": 0.082, + "step": 11000 + }, + { + "epoch": 0.86, + "learning_rate": 0.0002953848103733858, + "loss": 0.0774, + "step": 12000 + }, + { + "epoch": 0.93, + "learning_rate": 0.00029451292777490066, + "loss": 0.0745, + "step": 13000 + }, + { + "epoch": 1.0, + "learning_rate": 0.0002935671747098137, + "loss": 0.0708, + "step": 14000 + }, + { + "epoch": 1.07, + "learning_rate": 0.00029254803461736643, + "loss": 0.0673, + "step": 15000 + }, + { + "epoch": 1.07, + "eval_cer": 0.11350866837192015, + "eval_loss": 0.08455779403448105, + "eval_runtime": 91.1047, + "eval_samples_per_second": 54.333, + "eval_steps_per_second": 0.428, + "eval_wer": 0.31757575757575757, + "step": 15000 + }, + { + "epoch": 1.14, + "learning_rate": 0.00029145602844994243, + "loss": 0.065, + "step": 16000 + }, + { + "epoch": 1.21, + "learning_rate": 0.0002902917144067724, + "loss": 0.0625, + "step": 17000 + }, + { + "epoch": 1.29, + "learning_rate": 0.00028905568764860047, + "loss": 0.0611, + "step": 18000 + }, + { + "epoch": 1.36, + "learning_rate": 0.00028774857999345685, + "loss": 0.0599, + "step": 19000 + }, + { + "epoch": 1.43, + "learning_rate": 0.0002863710595936922, + "loss": 0.0585, + "step": 20000 + }, + { + "epoch": 1.43, + "eval_cer": 0.10635972103801841, + "eval_loss": 0.0741606280207634, + "eval_runtime": 90.9345, + "eval_samples_per_second": 54.435, + "eval_steps_per_second": 0.429, + "eval_wer": 0.29757575757575755, + "step": 20000 + }, + { + "epoch": 1.5, + "learning_rate": 0.0002849238305944389, + "loss": 0.057, + "step": 21000 + }, + { + "epoch": 1.57, + "learning_rate": 0.00028340763277367477, + "loss": 0.0557, + "step": 22000 + }, + { + "epoch": 1.64, + "learning_rate": 0.0002818232411640713, + "loss": 0.0548, + "step": 23000 + }, + { + "epoch": 1.71, + "learning_rate": 0.00028017146565682144, + "loss": 0.0538, + "step": 24000 + }, + { + "epoch": 1.79, + "learning_rate": 0.00027845315058764886, + "loss": 0.0526, + "step": 25000 + }, + { + "epoch": 1.79, + "eval_cer": 0.10283990293172428, + "eval_loss": 0.06704817712306976, + "eval_runtime": 91.2941, + "eval_samples_per_second": 54.22, + "eval_steps_per_second": 0.427, + "eval_wer": 0.2898989898989899, + "step": 25000 + }, + { + "epoch": 1.86, + "learning_rate": 0.00027666917430520975, + "loss": 0.0519, + "step": 26000 + }, + { + "epoch": 1.93, + "learning_rate": 0.00027482044872210895, + "loss": 0.0506, + "step": 27000 + }, + { + "epoch": 2.0, + "learning_rate": 0.0002729079188487587, + "loss": 0.0498, + "step": 28000 + }, + { + "epoch": 2.07, + "learning_rate": 0.00027093256231031885, + "loss": 0.0468, + "step": 29000 + }, + { + "epoch": 2.14, + "learning_rate": 0.00026889538884696597, + "loss": 0.0463, + "step": 30000 + }, + { + "epoch": 2.14, + "eval_cer": 0.10310224962287663, + "eval_loss": 0.0634964108467102, + "eval_runtime": 91.3121, + "eval_samples_per_second": 54.21, + "eval_steps_per_second": 0.427, + "eval_wer": 0.2896969696969697, + "step": 30000 + }, + { + "epoch": 2.22, + "learning_rate": 0.0002667974397977457, + "loss": 0.0461, + "step": 31000 + }, + { + "epoch": 2.29, + "learning_rate": 0.0002646397875682729, + "loss": 0.0454, + "step": 32000 + }, + { + "epoch": 2.36, + "learning_rate": 0.00026242353508255185, + "loss": 0.0448, + "step": 33000 + }, + { + "epoch": 2.43, + "learning_rate": 0.0002601498152191957, + "loss": 0.0446, + "step": 34000 + }, + { + "epoch": 2.5, + "learning_rate": 0.0002578197902323352, + "loss": 0.0443, + "step": 35000 + }, + { + "epoch": 2.5, + "eval_cer": 0.1002382982444634, + "eval_loss": 0.06088022515177727, + "eval_runtime": 91.0524, + "eval_samples_per_second": 54.364, + "eval_steps_per_second": 0.428, + "eval_wer": 0.282020202020202, + "step": 35000 + }, + { + "epoch": 2.57, + "learning_rate": 0.00025543465115751026, + "loss": 0.0434, + "step": 36000 + }, + { + "epoch": 2.64, + "learning_rate": 0.0002529956172028505, + "loss": 0.0431, + "step": 37000 + }, + { + "epoch": 2.72, + "learning_rate": 0.0002505039351258541, + "loss": 0.0426, + "step": 38000 + }, + { + "epoch": 2.79, + "learning_rate": 0.0002479608785960846, + "loss": 0.0417, + "step": 39000 + }, + { + "epoch": 2.86, + "learning_rate": 0.0002453677475441111, + "loss": 0.0415, + "step": 40000 + }, + { + "epoch": 2.86, + "eval_cer": 0.09859863142476115, + "eval_loss": 0.05760909989476204, + "eval_runtime": 91.2335, + "eval_samples_per_second": 54.256, + "eval_steps_per_second": 0.427, + "eval_wer": 0.27494949494949494, + "step": 40000 + }, + { + "epoch": 2.93, + "learning_rate": 0.00024272586749702474, + "loss": 0.0411, + "step": 41000 + }, + { + "epoch": 3.0, + "learning_rate": 0.0002400365889008706, + "loss": 0.0408, + "step": 42000 + }, + { + "epoch": 3.07, + "learning_rate": 0.00023730128643034235, + "loss": 0.0377, + "step": 43000 + }, + { + "epoch": 3.14, + "learning_rate": 0.00023452135828609167, + "loss": 0.0381, + "step": 44000 + }, + { + "epoch": 3.22, + "learning_rate": 0.0002316982254800121, + "loss": 0.0379, + "step": 45000 + }, + { + "epoch": 3.22, + "eval_cer": 0.09984477820773485, + "eval_loss": 0.056990817189216614, + "eval_runtime": 91.2394, + "eval_samples_per_second": 54.253, + "eval_steps_per_second": 0.427, + "eval_wer": 0.27595959595959596, + "step": 45000 + }, + { + "epoch": 3.29, + "learning_rate": 0.00022883333110886237, + "loss": 0.0375, + "step": 46000 + }, + { + "epoch": 3.36, + "learning_rate": 0.00022592813961660067, + "loss": 0.0372, + "step": 47000 + }, + { + "epoch": 3.43, + "learning_rate": 0.00022298413604580696, + "loss": 0.037, + "step": 48000 + }, + { + "epoch": 3.5, + "learning_rate": 0.00022000282527857588, + "loss": 0.0367, + "step": 49000 + }, + { + "epoch": 3.57, + "learning_rate": 0.0002169857312672683, + "loss": 0.0366, + "step": 50000 + }, + { + "epoch": 3.57, + "eval_cer": 0.09800835136966835, + "eval_loss": 0.05443936586380005, + "eval_runtime": 91.3792, + "eval_samples_per_second": 54.17, + "eval_steps_per_second": 0.427, + "eval_wer": 0.27434343434343433, + "step": 50000 + }, + { + "epoch": 3.64, + "learning_rate": 0.00021393439625551483, + "loss": 0.0365, + "step": 51000 + }, + { + "epoch": 3.72, + "learning_rate": 0.00021085037998986924, + "loss": 0.036, + "step": 52000 + }, + { + "epoch": 3.79, + "learning_rate": 0.00020773525892251514, + "loss": 0.0361, + "step": 53000 + }, + { + "epoch": 3.86, + "learning_rate": 0.00020459062540543316, + "loss": 0.0358, + "step": 54000 + }, + { + "epoch": 3.93, + "learning_rate": 0.00020141808687644067, + "loss": 0.0355, + "step": 55000 + }, + { + "epoch": 3.93, + "eval_cer": 0.09678406681095734, + "eval_loss": 0.052644312381744385, + "eval_runtime": 91.3207, + "eval_samples_per_second": 54.205, + "eval_steps_per_second": 0.427, + "eval_wer": 0.27090909090909093, + "step": 55000 + }, + { + "epoch": 4.0, + "learning_rate": 0.00019821926503751995, + "loss": 0.0351, + "step": 56000 + }, + { + "epoch": 4.07, + "learning_rate": 0.00019499579502585537, + "loss": 0.0327, + "step": 57000 + }, + { + "epoch": 4.14, + "learning_rate": 0.00019174932457800242, + "loss": 0.0326, + "step": 58000 + }, + { + "epoch": 4.22, + "learning_rate": 0.0001884815131876167, + "loss": 0.0327, + "step": 59000 + }, + { + "epoch": 4.29, + "learning_rate": 0.00018519403125717278, + "loss": 0.0324, + "step": 60000 + }, + { + "epoch": 4.29, + "eval_cer": 0.09630309787717803, + "eval_loss": 0.05228239297866821, + "eval_runtime": 91.3618, + "eval_samples_per_second": 54.18, + "eval_steps_per_second": 0.427, + "eval_wer": 0.26686868686868687, + "step": 60000 + }, + { + "epoch": 4.36, + "learning_rate": 0.00018188855924410722, + "loss": 0.0326, + "step": 61000 + }, + { + "epoch": 4.43, + "learning_rate": 0.00017856678680182127, + "loss": 0.0323, + "step": 62000 + }, + { + "epoch": 4.5, + "learning_rate": 0.0001752304119159834, + "loss": 0.0322, + "step": 63000 + }, + { + "epoch": 4.57, + "learning_rate": 0.00017188114003657205, + "loss": 0.0323, + "step": 64000 + }, + { + "epoch": 4.64, + "learning_rate": 0.00016852068320610358, + "loss": 0.0316, + "step": 65000 + }, + { + "epoch": 4.64, + "eval_cer": 0.09446667103911152, + "eval_loss": 0.050846464931964874, + "eval_runtime": 91.2629, + "eval_samples_per_second": 54.239, + "eval_steps_per_second": 0.427, + "eval_wer": 0.2638383838383838, + "step": 65000 + }, + { + "epoch": 4.72, + "learning_rate": 0.00016515075918448972, + "loss": 0.0318, + "step": 66000 + }, + { + "epoch": 4.79, + "learning_rate": 0.00016177309057097285, + "loss": 0.0315, + "step": 67000 + }, + { + "epoch": 4.86, + "learning_rate": 0.00015838940392358722, + "loss": 0.0315, + "step": 68000 + }, + { + "epoch": 4.93, + "learning_rate": 0.00015500142887659688, + "loss": 0.0313, + "step": 69000 + }, + { + "epoch": 5.0, + "learning_rate": 0.00015161089725636095, + "loss": 0.0313, + "step": 70000 + }, + { + "epoch": 5.0, + "eval_cer": 0.09420432434795917, + "eval_loss": 0.048644062131643295, + "eval_runtime": 91.4526, + "eval_samples_per_second": 54.126, + "eval_steps_per_second": 0.426, + "eval_wer": 0.26141414141414143, + "step": 70000 + }, + { + "epoch": 5.07, + "learning_rate": 0.00014821954219607845, + "loss": 0.0289, + "step": 71000 + }, + { + "epoch": 5.14, + "learning_rate": 0.0001448290972498651, + "loss": 0.029, + "step": 72000 + }, + { + "epoch": 5.22, + "learning_rate": 0.00014144129550661485, + "loss": 0.0288, + "step": 73000 + }, + { + "epoch": 5.29, + "learning_rate": 0.0001380578687040995, + "loss": 0.0289, + "step": 74000 + }, + { + "epoch": 5.36, + "learning_rate": 0.00013468054634375843, + "loss": 0.0292, + "step": 75000 + }, + { + "epoch": 5.36, + "eval_cer": 0.0939638398810695, + "eval_loss": 0.049041230231523514, + "eval_runtime": 91.4249, + "eval_samples_per_second": 54.143, + "eval_steps_per_second": 0.427, + "eval_wer": 0.258989898989899, + "step": 75000 + }, + { + "epoch": 5.43, + "learning_rate": 0.00013131105480663235, + "loss": 0.0289, + "step": 76000 + }, + { + "epoch": 5.5, + "learning_rate": 0.000127951116470891, + "loss": 0.0288, + "step": 77000 + }, + { + "epoch": 5.57, + "learning_rate": 0.00012460244883140783, + "loss": 0.0287, + "step": 78000 + }, + { + "epoch": 5.64, + "learning_rate": 0.0001212667636218309, + "loss": 0.0284, + "step": 79000 + }, + { + "epoch": 5.72, + "learning_rate": 0.00011794576593959775, + "loss": 0.0283, + "step": 80000 + }, + { + "epoch": 5.72, + "eval_cer": 0.0939419776568068, + "eval_loss": 0.04810198023915291, + "eval_runtime": 91.3828, + "eval_samples_per_second": 54.168, + "eval_steps_per_second": 0.427, + "eval_wer": 0.2604040404040404, + "step": 80000 + }, + { + "epoch": 5.79, + "learning_rate": 0.00011464115337434394, + "loss": 0.029, + "step": 81000 + }, + { + "epoch": 5.86, + "learning_rate": 0.00011135461514014796, + "loss": 0.0289, + "step": 82000 + }, + { + "epoch": 5.93, + "learning_rate": 0.00010808783121205837, + "loss": 0.0285, + "step": 83000 + }, + { + "epoch": 6.0, + "learning_rate": 0.00010484247146734352, + "loss": 0.029, + "step": 84000 + }, + { + "epoch": 6.07, + "learning_rate": 0.00010162019483190237, + "loss": 0.0282, + "step": 85000 + }, + { + "epoch": 6.07, + "eval_cer": 0.09354845762007827, + "eval_loss": 0.048511628061532974, + "eval_runtime": 93.8707, + "eval_samples_per_second": 52.732, + "eval_steps_per_second": 0.415, + "eval_wer": 0.25696969696969696, + "step": 85000 + }, + { + "epoch": 6.15, + "learning_rate": 9.842264843227404e-05, + "loss": 0.0282, + "step": 86000 + }, + { + "epoch": 6.22, + "learning_rate": 9.52514667536784e-05, + "loss": 0.0281, + "step": 87000 + }, + { + "epoch": 6.29, + "learning_rate": 9.210827080451842e-05, + "loss": 0.0281, + "step": 88000 + }, + { + "epoch": 6.36, + "learning_rate": 8.899466728777203e-05, + "loss": 0.0279, + "step": 89000 + }, + { + "epoch": 6.43, + "learning_rate": 8.591224777969557e-05, + "loss": 0.028, + "step": 90000 + }, + { + "epoch": 6.43, + "eval_cer": 0.09381080431123062, + "eval_loss": 0.047929223626852036, + "eval_runtime": 93.5944, + "eval_samples_per_second": 52.888, + "eval_steps_per_second": 0.417, + "eval_wer": 0.2608080808080808, + "step": 90000 + }, + { + "epoch": 6.5, + "learning_rate": 8.286258791626041e-05, + "loss": 0.028, + "step": 91000 + }, + { + "epoch": 6.57, + "learning_rate": 7.984724658773716e-05, + "loss": 0.0276, + "step": 92000 + }, + { + "epoch": 6.65, + "learning_rate": 7.686776514184009e-05, + "loss": 0.0275, + "step": 93000 + }, + { + "epoch": 6.72, + "learning_rate": 7.392566659583846e-05, + "loss": 0.0274, + "step": 94000 + }, + { + "epoch": 6.79, + "learning_rate": 7.102245485803813e-05, + "loss": 0.0276, + "step": 95000 + }, + { + "epoch": 6.79, + "eval_cer": 0.09346100872302748, + "eval_loss": 0.04663492366671562, + "eval_runtime": 93.7458, + "eval_samples_per_second": 52.802, + "eval_steps_per_second": 0.416, + "eval_wer": 0.25737373737373737, + "step": 95000 + }, + { + "epoch": 6.86, + "learning_rate": 6.81596139590308e-05, + "loss": 0.0273, + "step": 96000 + }, + { + "epoch": 6.93, + "learning_rate": 6.533860729310434e-05, + "loss": 0.0275, + "step": 97000 + }, + { + "epoch": 7.0, + "learning_rate": 6.256087687020127e-05, + "loss": 0.0271, + "step": 98000 + }, + { + "epoch": 7.07, + "learning_rate": 5.98278425788092e-05, + "loss": 0.0256, + "step": 99000 + }, + { + "epoch": 7.15, + "learning_rate": 5.71409014601578e-05, + "loss": 0.0257, + "step": 100000 + }, + { + "epoch": 7.15, + "eval_cer": 0.09276141754662119, + "eval_loss": 0.04688685014843941, + "eval_runtime": 93.8485, + "eval_samples_per_second": 52.745, + "eval_steps_per_second": 0.416, + "eval_wer": 0.25696969696969696, + "step": 100000 + }, + { + "epoch": 7.22, + "learning_rate": 5.4501426994095876e-05, + "loss": 0.0261, + "step": 101000 + }, + { + "epoch": 7.29, + "learning_rate": 5.191076839701103e-05, + "loss": 0.0262, + "step": 102000 + }, + { + "epoch": 7.36, + "learning_rate": 4.9370249932153075e-05, + "loss": 0.0261, + "step": 103000 + }, + { + "epoch": 7.43, + "learning_rate": 4.6881170232712164e-05, + "loss": 0.0259, + "step": 104000 + }, + { + "epoch": 7.5, + "learning_rate": 4.444480163799822e-05, + "loss": 0.0261, + "step": 105000 + }, + { + "epoch": 7.5, + "eval_cer": 0.09184320412758794, + "eval_loss": 0.04592433199286461, + "eval_runtime": 93.414, + "eval_samples_per_second": 52.99, + "eval_steps_per_second": 0.417, + "eval_wer": 0.25515151515151513, + "step": 105000 + }, + { + "epoch": 7.57, + "learning_rate": 4.2062389543061265e-05, + "loss": 0.0257, + "step": 106000 + }, + { + "epoch": 7.65, + "learning_rate": 3.9735151762084384e-05, + "loss": 0.0258, + "step": 107000 + }, + { + "epoch": 7.72, + "learning_rate": 3.746427790587557e-05, + "loss": 0.0258, + "step": 108000 + }, + { + "epoch": 7.79, + "learning_rate": 3.525092877377602e-05, + "loss": 0.0258, + "step": 109000 + }, + { + "epoch": 7.86, + "learning_rate": 3.309623576029597e-05, + "loss": 0.0258, + "step": 110000 + }, + { + "epoch": 7.86, + "eval_cer": 0.09195251524890143, + "eval_loss": 0.04556591063737869, + "eval_runtime": 93.7142, + "eval_samples_per_second": 52.82, + "eval_steps_per_second": 0.416, + "eval_wer": 0.25333333333333335, + "step": 110000 + }, + { + "epoch": 7.93, + "learning_rate": 3.1001300276781274e-05, + "loss": 0.0258, + "step": 111000 + }, + { + "epoch": 8.0, + "learning_rate": 2.8967193188406938e-05, + "loss": 0.0255, + "step": 112000 + }, + { + "epoch": 8.07, + "learning_rate": 2.699495426678389e-05, + "loss": 0.0241, + "step": 113000 + }, + { + "epoch": 8.15, + "learning_rate": 2.5085591658461056e-05, + "loss": 0.0243, + "step": 114000 + }, + { + "epoch": 8.22, + "learning_rate": 2.3240081369591984e-05, + "loss": 0.0249, + "step": 115000 + }, + { + "epoch": 8.22, + "eval_cer": 0.09116547517544435, + "eval_loss": 0.04581727460026741, + "eval_runtime": 93.453, + "eval_samples_per_second": 52.968, + "eval_steps_per_second": 0.417, + "eval_wer": 0.25292929292929295, + "step": 115000 + }, + { + "epoch": 8.29, + "learning_rate": 2.1459366767031522e-05, + "loss": 0.0247, + "step": 116000 + }, + { + "epoch": 8.36, + "learning_rate": 1.9744358096116225e-05, + "loss": 0.0249, + "step": 117000 + }, + { + "epoch": 8.43, + "learning_rate": 1.8095932015375496e-05, + "loss": 0.0247, + "step": 118000 + }, + { + "epoch": 8.5, + "learning_rate": 1.65149311484114e-05, + "loss": 0.0246, + "step": 119000 + }, + { + "epoch": 8.57, + "learning_rate": 1.500216365317587e-05, + "loss": 0.025, + "step": 120000 + }, + { + "epoch": 8.57, + "eval_cer": 0.09134037296954592, + "eval_loss": 0.045206133276224136, + "eval_runtime": 93.5201, + "eval_samples_per_second": 52.93, + "eval_steps_per_second": 0.417, + "eval_wer": 0.25191919191919193, + "step": 120000 + }, + { + "epoch": 8.65, + "learning_rate": 1.355840280886582e-05, + "loss": 0.025, + "step": 121000 + }, + { + "epoch": 8.72, + "learning_rate": 1.2184386620647097e-05, + "loss": 0.0247, + "step": 122000 + }, + { + "epoch": 8.79, + "learning_rate": 1.0880817442409478e-05, + "loss": 0.0248, + "step": 123000 + }, + { + "epoch": 8.86, + "learning_rate": 9.648361617745371e-06, + "loss": 0.0248, + "step": 124000 + }, + { + "epoch": 8.93, + "learning_rate": 8.487649139335962e-06, + "loss": 0.0248, + "step": 125000 + }, + { + "epoch": 8.93, + "eval_cer": 0.09169016855774907, + "eval_loss": 0.04524415731430054, + "eval_runtime": 93.2177, + "eval_samples_per_second": 53.101, + "eval_steps_per_second": 0.418, + "eval_wer": 0.25292929292929295, + "step": 125000 + }, + { + "epoch": 9.0, + "learning_rate": 7.399273326918692e-06, + "loss": 0.0246, + "step": 126000 + }, + { + "epoch": 9.07, + "learning_rate": 6.383790524001009e-06, + "loss": 0.024, + "step": 127000 + }, + { + "epoch": 9.15, + "learning_rate": 5.441719813474849e-06, + "loss": 0.0241, + "step": 128000 + }, + { + "epoch": 9.22, + "learning_rate": 4.57354275227797e-06, + "loss": 0.0242, + "step": 129000 + }, + { + "epoch": 9.29, + "learning_rate": 3.7797031252369767e-06, + "loss": 0.0243, + "step": 130000 + }, + { + "epoch": 9.29, + "eval_cer": 0.09138409741807131, + "eval_loss": 0.0453341044485569, + "eval_runtime": 93.6155, + "eval_samples_per_second": 52.876, + "eval_steps_per_second": 0.417, + "eval_wer": 0.25212121212121213, + "step": 130000 + }, + { + "epoch": 9.36, + "learning_rate": 3.0606067182186776e-06, + "loss": 0.024, + "step": 131000 + }, + { + "epoch": 9.43, + "learning_rate": 2.4166211107049584e-06, + "loss": 0.0242, + "step": 132000 + }, + { + "epoch": 9.5, + "learning_rate": 1.8480754878977489e-06, + "loss": 0.0241, + "step": 133000 + }, + { + "epoch": 9.57, + "learning_rate": 1.3552604724498928e-06, + "loss": 0.0241, + "step": 134000 + }, + { + "epoch": 9.65, + "learning_rate": 9.384279759080127e-07, + "loss": 0.024, + "step": 135000 + }, + { + "epoch": 9.65, + "eval_cer": 0.09129664852102053, + "eval_loss": 0.04531262069940567, + "eval_runtime": 93.4097, + "eval_samples_per_second": 52.992, + "eval_steps_per_second": 0.418, + "eval_wer": 0.25212121212121213, + "step": 135000 + } + ], + "max_steps": 139950, + "num_train_epochs": 10, + "total_flos": 4.19385405764928e+18, + "trial_name": null, + "trial_params": null +} diff --git a/byT5/Charsiu/g2p_multilingual_byT5_small_100/.gitattributes b/byT5/Charsiu/g2p_multilingual_byT5_small_100/.gitattributes new file mode 100644 index 0000000000000000000000000000000000000000..78be8432e1148d0227370439dad9d9a818f08df4 --- /dev/null +++ b/byT5/Charsiu/g2p_multilingual_byT5_small_100/.gitattributes @@ -0,0 +1,31 @@ +*.7z filter=lfs diff=lfs merge=lfs -text +*.arrow filter=lfs diff=lfs merge=lfs -text +*.bin filter=lfs diff=lfs merge=lfs -text +*.bz2 filter=lfs diff=lfs merge=lfs -text +*.ftz filter=lfs diff=lfs merge=lfs -text +*.gz filter=lfs diff=lfs merge=lfs -text +*.h5 filter=lfs diff=lfs merge=lfs -text +*.joblib filter=lfs diff=lfs merge=lfs -text +*.lfs.* filter=lfs diff=lfs merge=lfs -text +*.model filter=lfs diff=lfs merge=lfs -text +*.msgpack filter=lfs diff=lfs merge=lfs -text +*.npy filter=lfs diff=lfs merge=lfs -text +*.npz filter=lfs diff=lfs merge=lfs -text +*.onnx filter=lfs diff=lfs merge=lfs -text +*.ot filter=lfs diff=lfs merge=lfs -text +*.parquet filter=lfs diff=lfs merge=lfs -text +*.pb filter=lfs diff=lfs merge=lfs -text +*.pickle filter=lfs diff=lfs merge=lfs -text +*.pkl filter=lfs diff=lfs merge=lfs -text +*.pt filter=lfs diff=lfs merge=lfs -text +*.pth filter=lfs diff=lfs merge=lfs -text +*.rar filter=lfs diff=lfs merge=lfs -text +saved_model/**/* filter=lfs diff=lfs merge=lfs -text +*.tar.* filter=lfs diff=lfs merge=lfs -text +*.tflite filter=lfs diff=lfs merge=lfs -text +*.tgz filter=lfs diff=lfs merge=lfs -text +*.wasm filter=lfs diff=lfs merge=lfs -text +*.xz filter=lfs diff=lfs merge=lfs -text +*.zip filter=lfs diff=lfs merge=lfs -text +*.zst filter=lfs diff=lfs merge=lfs -text +*tfevents* filter=lfs diff=lfs merge=lfs -text diff --git a/byT5/Charsiu/g2p_multilingual_byT5_small_100/charsiu_g2p_multilingual_byT5_small_100.onnx b/byT5/Charsiu/g2p_multilingual_byT5_small_100/charsiu_g2p_multilingual_byT5_small_100.onnx new file mode 100644 index 0000000000000000000000000000000000000000..a94c5efd789cc1468c68b4cb07f4d74f4b8b380e --- /dev/null +++ b/byT5/Charsiu/g2p_multilingual_byT5_small_100/charsiu_g2p_multilingual_byT5_small_100.onnx @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:082b8bcbe414728e20f46bf50e22e15db2c8b3487c96cf4afd9fbefe5d5f1d7f +size 1198914720 diff --git a/byT5/Charsiu/g2p_multilingual_byT5_small_100/config.json b/byT5/Charsiu/g2p_multilingual_byT5_small_100/config.json new file mode 100644 index 0000000000000000000000000000000000000000..15d10a7b7da6306bab36cf95b4bf2cf169a14da9 --- /dev/null +++ b/byT5/Charsiu/g2p_multilingual_byT5_small_100/config.json @@ -0,0 +1,32 @@ +{ + "_name_or_path": "google/byt5-small", + "architectures": [ + "T5ForConditionalGeneration" + ], + "d_ff": 3584, + "d_kv": 64, + "d_model": 1472, + "decoder_start_token_id": 0, + "dense_act_fn": "gelu_new", + "dropout_rate": 0.1, + "eos_token_id": 1, + "feed_forward_proj": "gated-gelu", + "gradient_checkpointing": false, + "initializer_factor": 1.0, + "is_encoder_decoder": true, + "is_gated_act": true, + "layer_norm_epsilon": 1e-06, + "model_type": "t5", + "num_decoder_layers": 4, + "num_heads": 6, + "num_layers": 12, + "pad_token_id": 0, + "relative_attention_max_distance": 128, + "relative_attention_num_buckets": 32, + "tie_word_embeddings": false, + "tokenizer_class": "ByT5Tokenizer", + "torch_dtype": "float32", + "transformers_version": "4.21.1", + "use_cache": true, + "vocab_size": 384 +} diff --git a/byT5/Charsiu/g2p_multilingual_byT5_small_100/pytorch_model.bin b/byT5/Charsiu/g2p_multilingual_byT5_small_100/pytorch_model.bin new file mode 100644 index 0000000000000000000000000000000000000000..46b4cac1adae17c35f0edc4df6237389971a00a8 --- /dev/null +++ b/byT5/Charsiu/g2p_multilingual_byT5_small_100/pytorch_model.bin @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:1ef4032409d33944e4249f959d028f78436f968e26b81cb6b0d508a6cf12ce6c +size 1198608045 diff --git a/byT5/Charsiu/g2p_multilingual_byT5_small_100/source.txt b/byT5/Charsiu/g2p_multilingual_byT5_small_100/source.txt new file mode 100644 index 0000000000000000000000000000000000000000..465f52c4c6fd977aaead0774f83d2562a4f82dea --- /dev/null +++ b/byT5/Charsiu/g2p_multilingual_byT5_small_100/source.txt @@ -0,0 +1,2 @@ +https://huggingface.co/charsiu/g2p_multilingual_byT5_small_100 +https://huggingface.co/Jarbas/charsiu_g2p_multilingual_byT5_small_100_onnx \ No newline at end of file diff --git a/byT5/Charsiu/g2p_multilingual_byT5_small_100/trainer_state.json b/byT5/Charsiu/g2p_multilingual_byT5_small_100/trainer_state.json new file mode 100644 index 0000000000000000000000000000000000000000..2bdf57176ce470c31416e59f0727c450470e5b49 --- /dev/null +++ b/byT5/Charsiu/g2p_multilingual_byT5_small_100/trainer_state.json @@ -0,0 +1,1136 @@ +{ + "best_metric": 0.04629843682050705, + "best_model_checkpoint": "/scratch/lingjzhu_root/lingjzhu1/lingjzhu/g2p/byt5_small_finetuned_from_pretrained/checkpoint-125000", + "epoch": 9.917799364213547, + "global_step": 140000, + "is_hyper_param_search": false, + "is_local_process_zero": true, + "is_world_process_zero": true, + "log_history": [ + { + "epoch": 0.07, + "learning_rate": 0.0003, + "loss": 1.3905, + "step": 1000 + }, + { + "epoch": 0.14, + "learning_rate": 0.0002999623214094654, + "loss": 0.2662, + "step": 2000 + }, + { + "epoch": 0.21, + "learning_rate": 0.0002998493045668776, + "loss": 0.185, + "step": 3000 + }, + { + "epoch": 0.28, + "learning_rate": 0.00029966100624977436, + "loss": 0.1523, + "step": 4000 + }, + { + "epoch": 0.35, + "learning_rate": 0.00029939752105569156, + "loss": 0.1309, + "step": 5000 + }, + { + "epoch": 0.35, + "eval_cer": 0.15177127579292352, + "eval_loss": 0.15828794240951538, + "eval_runtime": 99.5729, + "eval_samples_per_second": 50.214, + "eval_steps_per_second": 0.402, + "eval_wer": 0.4034, + "step": 5000 + }, + { + "epoch": 0.43, + "learning_rate": 0.00029905898135463893, + "loss": 0.1159, + "step": 6000 + }, + { + "epoch": 0.5, + "learning_rate": 0.0002986455572226002, + "loss": 0.1057, + "step": 7000 + }, + { + "epoch": 0.57, + "learning_rate": 0.00029815745635609, + "loss": 0.0972, + "step": 8000 + }, + { + "epoch": 0.64, + "learning_rate": 0.00029759492396781067, + "loss": 0.0899, + "step": 9000 + }, + { + "epoch": 0.71, + "learning_rate": 0.00029695824266346256, + "loss": 0.0849, + "step": 10000 + }, + { + "epoch": 0.71, + "eval_cer": 0.1211970935121499, + "eval_loss": 0.10069698095321655, + "eval_runtime": 99.7318, + "eval_samples_per_second": 50.134, + "eval_steps_per_second": 0.401, + "eval_wer": 0.3372, + "step": 10000 + }, + { + "epoch": 0.78, + "learning_rate": 0.000296247732299768, + "loss": 0.0804, + "step": 11000 + }, + { + "epoch": 0.85, + "learning_rate": 0.000295463749823781, + "loss": 0.0766, + "step": 12000 + }, + { + "epoch": 0.92, + "learning_rate": 0.0002946066890935644, + "loss": 0.0733, + "step": 13000 + }, + { + "epoch": 0.99, + "learning_rate": 0.0002936769806803222, + "loss": 0.0707, + "step": 14000 + }, + { + "epoch": 1.06, + "learning_rate": 0.00029267509165208945, + "loss": 0.0661, + "step": 15000 + }, + { + "epoch": 1.06, + "eval_cer": 0.11274499234567369, + "eval_loss": 0.08334551751613617, + "eval_runtime": 99.5349, + "eval_samples_per_second": 50.234, + "eval_steps_per_second": 0.402, + "eval_wer": 0.3146, + "step": 15000 + }, + { + "epoch": 1.13, + "learning_rate": 0.00029160152533908566, + "loss": 0.0642, + "step": 16000 + }, + { + "epoch": 1.2, + "learning_rate": 0.0002904568210808509, + "loss": 0.0624, + "step": 17000 + }, + { + "epoch": 1.28, + "learning_rate": 0.00028924155395529237, + "loss": 0.061, + "step": 18000 + }, + { + "epoch": 1.35, + "learning_rate": 0.00028795633448977547, + "loss": 0.0593, + "step": 19000 + }, + { + "epoch": 1.42, + "learning_rate": 0.0002866018083544069, + "loss": 0.0585, + "step": 20000 + }, + { + "epoch": 1.42, + "eval_cer": 0.10940296254770478, + "eval_loss": 0.07396863400936127, + "eval_runtime": 99.5625, + "eval_samples_per_second": 50.22, + "eval_steps_per_second": 0.402, + "eval_wer": 0.3024, + "step": 20000 + }, + { + "epoch": 1.49, + "learning_rate": 0.0002851786560376614, + "loss": 0.0568, + "step": 21000 + }, + { + "epoch": 1.56, + "learning_rate": 0.00028368759250451786, + "loss": 0.0552, + "step": 22000 + }, + { + "epoch": 1.63, + "learning_rate": 0.00028212936683727404, + "loss": 0.0542, + "step": 23000 + }, + { + "epoch": 1.7, + "learning_rate": 0.0002805047618592216, + "loss": 0.0532, + "step": 24000 + }, + { + "epoch": 1.77, + "learning_rate": 0.0002788145937413704, + "loss": 0.0526, + "step": 25000 + }, + { + "epoch": 1.77, + "eval_cer": 0.10444382155717027, + "eval_loss": 0.06628572195768356, + "eval_runtime": 99.5351, + "eval_samples_per_second": 50.234, + "eval_steps_per_second": 0.402, + "eval_wer": 0.293, + "step": 25000 + }, + { + "epoch": 1.84, + "learning_rate": 0.00027705971159241994, + "loss": 0.0515, + "step": 26000 + }, + { + "epoch": 1.91, + "learning_rate": 0.0002752409970321824, + "loss": 0.0505, + "step": 27000 + }, + { + "epoch": 1.98, + "learning_rate": 0.000273359363748674, + "loss": 0.0501, + "step": 28000 + }, + { + "epoch": 2.05, + "learning_rate": 0.0002714157570390952, + "loss": 0.0471, + "step": 29000 + }, + { + "epoch": 2.13, + "learning_rate": 0.0002694111533349308, + "loss": 0.0459, + "step": 30000 + }, + { + "epoch": 2.13, + "eval_cer": 0.10159770585825481, + "eval_loss": 0.06294897198677063, + "eval_runtime": 99.7848, + "eval_samples_per_second": 50.108, + "eval_steps_per_second": 0.401, + "eval_wer": 0.2848, + "step": 30000 + }, + { + "epoch": 2.2, + "learning_rate": 0.00026734655971140956, + "loss": 0.0455, + "step": 31000 + }, + { + "epoch": 2.27, + "learning_rate": 0.00026522301338156835, + "loss": 0.045, + "step": 32000 + }, + { + "epoch": 2.34, + "learning_rate": 0.00026304158117517563, + "loss": 0.0448, + "step": 33000 + }, + { + "epoch": 2.41, + "learning_rate": 0.0002608033590027766, + "loss": 0.0441, + "step": 34000 + }, + { + "epoch": 2.48, + "learning_rate": 0.000258509471305128, + "loss": 0.0436, + "step": 35000 + }, + { + "epoch": 2.48, + "eval_cer": 0.10114491472433644, + "eval_loss": 0.06108950078487396, + "eval_runtime": 99.5917, + "eval_samples_per_second": 50.205, + "eval_steps_per_second": 0.402, + "eval_wer": 0.2796, + "step": 35000 + }, + { + "epoch": 2.55, + "learning_rate": 0.00025616107048830045, + "loss": 0.0431, + "step": 36000 + }, + { + "epoch": 2.62, + "learning_rate": 0.0002537593363447311, + "loss": 0.043, + "step": 37000 + }, + { + "epoch": 2.69, + "learning_rate": 0.0002513054754605181, + "loss": 0.0427, + "step": 38000 + }, + { + "epoch": 2.76, + "learning_rate": 0.0002488007206092547, + "loss": 0.0418, + "step": 39000 + }, + { + "epoch": 2.83, + "learning_rate": 0.00024624633013270664, + "loss": 0.0417, + "step": 40000 + }, + { + "epoch": 2.83, + "eval_cer": 0.09972185687487872, + "eval_loss": 0.05735113471746445, + "eval_runtime": 99.9084, + "eval_samples_per_second": 50.046, + "eval_steps_per_second": 0.4, + "eval_wer": 0.2768, + "step": 40000 + }, + { + "epoch": 2.9, + "learning_rate": 0.0002436435873086449, + "loss": 0.0411, + "step": 41000 + }, + { + "epoch": 2.98, + "learning_rate": 0.00024099379970615137, + "loss": 0.0406, + "step": 42000 + }, + { + "epoch": 3.05, + "learning_rate": 0.00023829829852872037, + "loss": 0.0386, + "step": 43000 + }, + { + "epoch": 3.12, + "learning_rate": 0.00023555843794548724, + "loss": 0.0375, + "step": 44000 + }, + { + "epoch": 3.19, + "learning_rate": 0.00023277559441091917, + "loss": 0.0376, + "step": 45000 + }, + { + "epoch": 3.19, + "eval_cer": 0.09982966428771642, + "eval_loss": 0.05706231668591499, + "eval_runtime": 100.0238, + "eval_samples_per_second": 49.988, + "eval_steps_per_second": 0.4, + "eval_wer": 0.2766, + "step": 45000 + }, + { + "epoch": 3.26, + "learning_rate": 0.0002299511659733103, + "loss": 0.0373, + "step": 46000 + }, + { + "epoch": 3.33, + "learning_rate": 0.0002270865715724285, + "loss": 0.0371, + "step": 47000 + }, + { + "epoch": 3.4, + "learning_rate": 0.0002241832503266669, + "loss": 0.0368, + "step": 48000 + }, + { + "epoch": 3.47, + "learning_rate": 0.00022124266081005755, + "loss": 0.0366, + "step": 49000 + }, + { + "epoch": 3.54, + "learning_rate": 0.0002182662803195115, + "loss": 0.0364, + "step": 50000 + }, + { + "epoch": 3.54, + "eval_cer": 0.09832036050798854, + "eval_loss": 0.05559751018881798, + "eval_runtime": 100.1039, + "eval_samples_per_second": 49.948, + "eval_steps_per_second": 0.4, + "eval_wer": 0.2714, + "step": 50000 + }, + { + "epoch": 3.61, + "learning_rate": 0.00021525560413265246, + "loss": 0.0363, + "step": 51000 + }, + { + "epoch": 3.68, + "learning_rate": 0.00021221214475661745, + "loss": 0.0358, + "step": 52000 + }, + { + "epoch": 3.75, + "learning_rate": 0.00020913743116820165, + "loss": 0.0358, + "step": 53000 + }, + { + "epoch": 3.83, + "learning_rate": 0.00020603300804572917, + "loss": 0.0356, + "step": 54000 + }, + { + "epoch": 3.9, + "learning_rate": 0.00020290043499303573, + "loss": 0.0353, + "step": 55000 + }, + { + "epoch": 3.9, + "eval_cer": 0.09775976196123246, + "eval_loss": 0.053284887224435806, + "eval_runtime": 99.9875, + "eval_samples_per_second": 50.006, + "eval_steps_per_second": 0.4, + "eval_wer": 0.2718, + "step": 55000 + }, + { + "epoch": 3.97, + "learning_rate": 0.00019974128575595291, + "loss": 0.0349, + "step": 56000 + }, + { + "epoch": 4.04, + "learning_rate": 0.000196557147431688, + "loss": 0.0335, + "step": 57000 + }, + { + "epoch": 4.11, + "learning_rate": 0.00019334961967149597, + "loss": 0.0324, + "step": 58000 + }, + { + "epoch": 4.18, + "learning_rate": 0.00019012031387704483, + "loss": 0.0323, + "step": 59000 + }, + { + "epoch": 4.25, + "learning_rate": 0.00018687085239087786, + "loss": 0.0323, + "step": 60000 + }, + { + "epoch": 4.25, + "eval_cer": 0.0979969382694754, + "eval_loss": 0.05237960070371628, + "eval_runtime": 99.6271, + "eval_samples_per_second": 50.187, + "eval_steps_per_second": 0.401, + "eval_wer": 0.2696, + "step": 60000 + }, + { + "epoch": 4.32, + "learning_rate": 0.00018360286768137894, + "loss": 0.0322, + "step": 61000 + }, + { + "epoch": 4.39, + "learning_rate": 0.00018031800152265137, + "loss": 0.032, + "step": 62000 + }, + { + "epoch": 4.46, + "learning_rate": 0.00017701790416972107, + "loss": 0.0319, + "step": 63000 + }, + { + "epoch": 4.53, + "learning_rate": 0.00017370423352948002, + "loss": 0.0318, + "step": 64000 + }, + { + "epoch": 4.6, + "learning_rate": 0.00017037865432778442, + "loss": 0.0316, + "step": 65000 + }, + { + "epoch": 4.6, + "eval_cer": 0.09584079001272128, + "eval_loss": 0.052747271955013275, + "eval_runtime": 99.8825, + "eval_samples_per_second": 50.059, + "eval_steps_per_second": 0.4, + "eval_wer": 0.2678, + "step": 65000 + }, + { + "epoch": 4.68, + "learning_rate": 0.00016704283727312792, + "loss": 0.0315, + "step": 66000 + }, + { + "epoch": 4.75, + "learning_rate": 0.00016369845821730933, + "loss": 0.0314, + "step": 67000 + }, + { + "epoch": 4.82, + "learning_rate": 0.00016034719731351576, + "loss": 0.0314, + "step": 68000 + }, + { + "epoch": 4.89, + "learning_rate": 0.00015699073817224542, + "loss": 0.0312, + "step": 69000 + }, + { + "epoch": 4.96, + "learning_rate": 0.00015363076701549341, + "loss": 0.031, + "step": 70000 + }, + { + "epoch": 4.96, + "eval_cer": 0.09558205222191078, + "eval_loss": 0.05028079077601433, + "eval_runtime": 99.8117, + "eval_samples_per_second": 50.094, + "eval_steps_per_second": 0.401, + "eval_wer": 0.2664, + "step": 70000 + }, + { + "epoch": 5.03, + "learning_rate": 0.00015026897182962535, + "loss": 0.0303, + "step": 71000 + }, + { + "epoch": 5.1, + "learning_rate": 0.00014690704151736484, + "loss": 0.0286, + "step": 72000 + }, + { + "epoch": 5.17, + "learning_rate": 0.0001435466650493204, + "loss": 0.0287, + "step": 73000 + }, + { + "epoch": 5.24, + "learning_rate": 0.0001401895306154785, + "loss": 0.0284, + "step": 74000 + }, + { + "epoch": 5.31, + "learning_rate": 0.0001368373247770885, + "loss": 0.0287, + "step": 75000 + }, + { + "epoch": 5.31, + "eval_cer": 0.09566829815218095, + "eval_loss": 0.04991844296455383, + "eval_runtime": 99.6863, + "eval_samples_per_second": 50.157, + "eval_steps_per_second": 0.401, + "eval_wer": 0.2642, + "step": 75000 + }, + { + "epoch": 5.38, + "learning_rate": 0.00013349173161936601, + "loss": 0.0287, + "step": 76000 + }, + { + "epoch": 5.45, + "learning_rate": 0.00013015443190544018, + "loss": 0.0283, + "step": 77000 + }, + { + "epoch": 5.53, + "learning_rate": 0.00012682710223196978, + "loss": 0.0284, + "step": 78000 + }, + { + "epoch": 5.6, + "learning_rate": 0.00012351141418685273, + "loss": 0.0286, + "step": 79000 + }, + { + "epoch": 5.67, + "learning_rate": 0.00012020903350945151, + "loss": 0.0282, + "step": 80000 + }, + { + "epoch": 5.67, + "eval_cer": 0.09588391297785635, + "eval_loss": 0.04885885864496231, + "eval_runtime": 99.7588, + "eval_samples_per_second": 50.121, + "eval_steps_per_second": 0.401, + "eval_wer": 0.264, + "step": 80000 + }, + { + "epoch": 5.74, + "learning_rate": 0.00011692161925375738, + "loss": 0.0282, + "step": 81000 + }, + { + "epoch": 5.81, + "learning_rate": 0.00011365082295491233, + "loss": 0.0279, + "step": 82000 + }, + { + "epoch": 5.88, + "learning_rate": 0.00011039828779950928, + "loss": 0.0281, + "step": 83000 + }, + { + "epoch": 5.95, + "learning_rate": 0.0001071656478000858, + "loss": 0.028, + "step": 84000 + }, + { + "epoch": 6.02, + "learning_rate": 0.00010395452697422703, + "loss": 0.0275, + "step": 85000 + }, + { + "epoch": 6.02, + "eval_cer": 0.0948058388494793, + "eval_loss": 0.048800304532051086, + "eval_runtime": 99.8744, + "eval_samples_per_second": 50.063, + "eval_steps_per_second": 0.401, + "eval_wer": 0.2616, + "step": 85000 + }, + { + "epoch": 6.09, + "learning_rate": 0.00010076653852868962, + "loss": 0.026, + "step": 86000 + }, + { + "epoch": 6.16, + "learning_rate": 9.760328404895728e-05, + "loss": 0.0258, + "step": 87000 + }, + { + "epoch": 6.23, + "learning_rate": 9.446635269463389e-05, + "loss": 0.0258, + "step": 88000 + }, + { + "epoch": 6.3, + "learning_rate": 9.135732040107998e-05, + "loss": 0.026, + "step": 89000 + }, + { + "epoch": 6.38, + "learning_rate": 8.82777490876921e-05, + "loss": 0.0259, + "step": 90000 + }, + { + "epoch": 6.38, + "eval_cer": 0.09374932620366977, + "eval_loss": 0.0478358194231987, + "eval_runtime": 99.8791, + "eval_samples_per_second": 50.061, + "eval_steps_per_second": 0.4, + "eval_wer": 0.2608, + "step": 90000 + }, + { + "epoch": 6.45, + "learning_rate": 8.522918587322418e-05, + "loss": 0.0259, + "step": 91000 + }, + { + "epoch": 6.52, + "learning_rate": 8.22131622985438e-05, + "loss": 0.026, + "step": 92000 + }, + { + "epoch": 6.59, + "learning_rate": 7.923119355721526e-05, + "loss": 0.0259, + "step": 93000 + }, + { + "epoch": 6.66, + "learning_rate": 7.628477773429438e-05, + "loss": 0.0257, + "step": 94000 + }, + { + "epoch": 6.73, + "learning_rate": 7.3375395053719e-05, + "loss": 0.0257, + "step": 95000 + }, + { + "epoch": 6.73, + "eval_cer": 0.09379244916880485, + "eval_loss": 0.04708043858408928, + "eval_runtime": 99.9161, + "eval_samples_per_second": 50.042, + "eval_steps_per_second": 0.4, + "eval_wer": 0.259, + "step": 95000 + }, + { + "epoch": 6.8, + "learning_rate": 7.050450713467216e-05, + "loss": 0.0255, + "step": 96000 + }, + { + "epoch": 6.87, + "learning_rate": 6.767355625729215e-05, + "loss": 0.0255, + "step": 97000 + }, + { + "epoch": 6.94, + "learning_rate": 6.488396463809805e-05, + "loss": 0.0255, + "step": 98000 + }, + { + "epoch": 7.01, + "learning_rate": 6.213713371549497e-05, + "loss": 0.025, + "step": 99000 + }, + { + "epoch": 7.08, + "learning_rate": 5.943444344571755e-05, + "loss": 0.0238, + "step": 100000 + }, + { + "epoch": 7.08, + "eval_cer": 0.0940296254770478, + "eval_loss": 0.047569289803504944, + "eval_runtime": 99.6286, + "eval_samples_per_second": 50.186, + "eval_steps_per_second": 0.401, + "eval_wer": 0.2586, + "step": 100000 + }, + { + "epoch": 7.15, + "learning_rate": 5.6777251609566e-05, + "loss": 0.0242, + "step": 101000 + }, + { + "epoch": 7.23, + "learning_rate": 5.416689313028253e-05, + "loss": 0.0239, + "step": 102000 + }, + { + "epoch": 7.3, + "learning_rate": 5.1604679402911015e-05, + "loss": 0.024, + "step": 103000 + }, + { + "epoch": 7.37, + "learning_rate": 4.9091897635476726e-05, + "loss": 0.0242, + "step": 104000 + }, + { + "epoch": 7.44, + "learning_rate": 4.6629810202317166e-05, + "loss": 0.0239, + "step": 105000 + }, + { + "epoch": 7.44, + "eval_cer": 0.09372776472110222, + "eval_loss": 0.04707524552941322, + "eval_runtime": 99.582, + "eval_samples_per_second": 50.21, + "eval_steps_per_second": 0.402, + "eval_wer": 0.2576, + "step": 105000 + }, + { + "epoch": 7.51, + "learning_rate": 4.421965400988918e-05, + "loss": 0.0239, + "step": 106000 + }, + { + "epoch": 7.58, + "learning_rate": 4.1862639875370016e-05, + "loss": 0.024, + "step": 107000 + }, + { + "epoch": 7.65, + "learning_rate": 3.955995191836581e-05, + "loss": 0.0238, + "step": 108000 + }, + { + "epoch": 7.72, + "learning_rate": 3.731274696603201e-05, + "loss": 0.0239, + "step": 109000 + }, + { + "epoch": 7.79, + "learning_rate": 3.512215397190527e-05, + "loss": 0.0237, + "step": 110000 + }, + { + "epoch": 7.79, + "eval_cer": 0.09361995730826451, + "eval_loss": 0.046346429735422134, + "eval_runtime": 99.9122, + "eval_samples_per_second": 50.044, + "eval_steps_per_second": 0.4, + "eval_wer": 0.2564, + "step": 110000 + }, + { + "epoch": 7.86, + "learning_rate": 3.298927344873821e-05, + "loss": 0.0237, + "step": 111000 + }, + { + "epoch": 7.93, + "learning_rate": 3.091517691562284e-05, + "loss": 0.0237, + "step": 112000 + }, + { + "epoch": 8.01, + "learning_rate": 2.890090635967912e-05, + "loss": 0.024, + "step": 113000 + }, + { + "epoch": 8.08, + "learning_rate": 2.694747371258042e-05, + "loss": 0.0227, + "step": 114000 + }, + { + "epoch": 8.15, + "learning_rate": 2.505586034217802e-05, + "loss": 0.0226, + "step": 115000 + }, + { + "epoch": 8.15, + "eval_cer": 0.0940296254770478, + "eval_loss": 0.0467340350151062, + "eval_runtime": 100.0479, + "eval_samples_per_second": 49.976, + "eval_steps_per_second": 0.4, + "eval_wer": 0.2582, + "step": 115000 + }, + { + "epoch": 8.22, + "learning_rate": 2.3227016559480356e-05, + "loss": 0.0228, + "step": 116000 + }, + { + "epoch": 8.29, + "learning_rate": 2.1461861141234628e-05, + "loss": 0.0226, + "step": 117000 + }, + { + "epoch": 8.36, + "learning_rate": 1.9761280868350654e-05, + "loss": 0.0228, + "step": 118000 + }, + { + "epoch": 8.43, + "learning_rate": 1.8126130080398725e-05, + "loss": 0.0226, + "step": 119000 + }, + { + "epoch": 8.5, + "learning_rate": 1.655723024640553e-05, + "loss": 0.0228, + "step": 120000 + }, + { + "epoch": 8.5, + "eval_cer": 0.09323185062204878, + "eval_loss": 0.04636606574058533, + "eval_runtime": 99.8629, + "eval_samples_per_second": 50.069, + "eval_steps_per_second": 0.401, + "eval_wer": 0.255, + "step": 120000 + }, + { + "epoch": 8.57, + "learning_rate": 1.5055369552163509e-05, + "loss": 0.0228, + "step": 121000 + }, + { + "epoch": 8.64, + "learning_rate": 1.3621302504261194e-05, + "loss": 0.0229, + "step": 122000 + }, + { + "epoch": 8.71, + "learning_rate": 1.2255749551033205e-05, + "loss": 0.0227, + "step": 123000 + }, + { + "epoch": 8.78, + "learning_rate": 1.0959396720620555e-05, + "loss": 0.0226, + "step": 124000 + }, + { + "epoch": 8.86, + "learning_rate": 9.732895276323099e-06, + "loss": 0.0227, + "step": 125000 + }, + { + "epoch": 8.86, + "eval_cer": 0.0935552728605619, + "eval_loss": 0.04629843682050705, + "eval_runtime": 100.0662, + "eval_samples_per_second": 49.967, + "eval_steps_per_second": 0.4, + "eval_wer": 0.2578, + "step": 125000 + }, + { + "epoch": 8.93, + "learning_rate": 8.576861389416939e-06, + "loss": 0.0227, + "step": 126000 + }, + { + "epoch": 9.0, + "learning_rate": 7.4918758296016734e-06, + "loss": 0.0227, + "step": 127000 + }, + { + "epoch": 9.07, + "learning_rate": 6.478483673232537e-06, + "loss": 0.0223, + "step": 128000 + }, + { + "epoch": 9.14, + "learning_rate": 5.537194029484349e-06, + "loss": 0.0222, + "step": 129000 + }, + { + "epoch": 9.21, + "learning_rate": 4.668479784584583e-06, + "loss": 0.0221, + "step": 130000 + }, + { + "epoch": 9.21, + "eval_cer": 0.09361995730826451, + "eval_loss": 0.04640863090753555, + "eval_runtime": 99.7393, + "eval_samples_per_second": 50.131, + "eval_steps_per_second": 0.401, + "eval_wer": 0.2562, + "step": 130000 + }, + { + "epoch": 9.28, + "learning_rate": 3.872777364244245e-06, + "loss": 0.0223, + "step": 131000 + }, + { + "epoch": 9.35, + "learning_rate": 3.150486514405798e-06, + "loss": 0.0222, + "step": 132000 + }, + { + "epoch": 9.42, + "learning_rate": 2.50197010041826e-06, + "loss": 0.022, + "step": 133000 + }, + { + "epoch": 9.49, + "learning_rate": 1.9275539247405437e-06, + "loss": 0.0222, + "step": 134000 + }, + { + "epoch": 9.56, + "learning_rate": 1.4275265632643806e-06, + "loss": 0.0223, + "step": 135000 + }, + { + "epoch": 9.56, + "eval_cer": 0.09357683434312944, + "eval_loss": 0.046345390379428864, + "eval_runtime": 99.9431, + "eval_samples_per_second": 50.028, + "eval_steps_per_second": 0.4, + "eval_wer": 0.2564, + "step": 135000 + }, + { + "epoch": 9.63, + "learning_rate": 1.0021392203391932e-06, + "loss": 0.022, + "step": 136000 + }, + { + "epoch": 9.71, + "learning_rate": 6.516056025718585e-07, + "loss": 0.0221, + "step": 137000 + }, + { + "epoch": 9.78, + "learning_rate": 3.76101811464391e-07, + "loss": 0.0223, + "step": 138000 + }, + { + "epoch": 9.85, + "learning_rate": 1.7576625494392648e-07, + "loss": 0.0221, + "step": 139000 + }, + { + "epoch": 9.92, + "learning_rate": 5.0699577829210744e-08, + "loss": 0.0223, + "step": 140000 + }, + { + "epoch": 9.92, + "eval_cer": 0.0937708876862373, + "eval_loss": 0.046362996101379395, + "eval_runtime": 99.8262, + "eval_samples_per_second": 50.087, + "eval_steps_per_second": 0.401, + "eval_wer": 0.2566, + "step": 140000 + } + ], + "max_steps": 141160, + "num_train_epochs": 10, + "total_flos": 4.3451206845736243e+18, + "trial_name": null, + "trial_params": null +} diff --git a/byT5/Charsiu/g2p_multilingual_byT5_tiny_12_layers/.gitattributes b/byT5/Charsiu/g2p_multilingual_byT5_tiny_12_layers/.gitattributes new file mode 100644 index 0000000000000000000000000000000000000000..ac481c8eb05e4d2496fbe076a38a7b4835dd733d --- /dev/null +++ b/byT5/Charsiu/g2p_multilingual_byT5_tiny_12_layers/.gitattributes @@ -0,0 +1,27 @@ +*.7z filter=lfs diff=lfs merge=lfs -text +*.arrow filter=lfs diff=lfs merge=lfs -text +*.bin filter=lfs diff=lfs merge=lfs -text +*.bz2 filter=lfs diff=lfs merge=lfs -text +*.ftz filter=lfs diff=lfs merge=lfs -text +*.gz filter=lfs diff=lfs merge=lfs -text +*.h5 filter=lfs diff=lfs merge=lfs -text +*.joblib filter=lfs diff=lfs merge=lfs -text +*.lfs.* filter=lfs diff=lfs merge=lfs -text +*.model filter=lfs diff=lfs merge=lfs -text +*.msgpack filter=lfs diff=lfs merge=lfs -text +*.onnx filter=lfs diff=lfs merge=lfs -text +*.ot filter=lfs diff=lfs merge=lfs -text +*.parquet filter=lfs diff=lfs merge=lfs -text +*.pb filter=lfs diff=lfs merge=lfs -text +*.pt filter=lfs diff=lfs merge=lfs -text +*.pth filter=lfs diff=lfs merge=lfs -text +*.rar filter=lfs diff=lfs merge=lfs -text +saved_model/**/* filter=lfs diff=lfs merge=lfs -text +*.tar.* filter=lfs diff=lfs merge=lfs -text +*.tflite filter=lfs diff=lfs merge=lfs -text +*.tgz filter=lfs diff=lfs merge=lfs -text +*.wasm filter=lfs diff=lfs merge=lfs -text +*.xz filter=lfs diff=lfs merge=lfs -text +*.zip filter=lfs diff=lfs merge=lfs -text +*.zstandard filter=lfs diff=lfs merge=lfs -text +*tfevents* filter=lfs diff=lfs merge=lfs -text diff --git a/byT5/Charsiu/g2p_multilingual_byT5_tiny_12_layers/config.json b/byT5/Charsiu/g2p_multilingual_byT5_tiny_12_layers/config.json new file mode 100644 index 0000000000000000000000000000000000000000..d27187921dcb7691791fc5df4dce96ec3e7c77e7 --- /dev/null +++ b/byT5/Charsiu/g2p_multilingual_byT5_tiny_12_layers/config.json @@ -0,0 +1,29 @@ +{ + "_name_or_path": "/home/patrick/t5/byt5-small", + "architectures": [ + "T5ForConditionalGeneration" + ], + "d_ff": 1024, + "d_kv": 64, + "d_model": 256, + "decoder_start_token_id": 0, + "dropout_rate": 0.1, + "eos_token_id": 1, + "feed_forward_proj": "gated-gelu", + "gradient_checkpointing": false, + "initializer_factor": 1.0, + "is_encoder_decoder": true, + "layer_norm_epsilon": 1e-06, + "model_type": "t5", + "num_decoder_layers": 4, + "num_heads": 6, + "num_layers": 8, + "pad_token_id": 0, + "relative_attention_num_buckets": 32, + "tie_word_embeddings": false, + "tokenizer_class": "ByT5Tokenizer", + "torch_dtype": "float32", + "transformers_version": "4.16.2", + "use_cache": true, + "vocab_size": 384 +} diff --git a/byT5/Charsiu/g2p_multilingual_byT5_tiny_12_layers/pytorch_model.bin b/byT5/Charsiu/g2p_multilingual_byT5_tiny_12_layers/pytorch_model.bin new file mode 100644 index 0000000000000000000000000000000000000000..1faf94ffd09da8f985068a15d39f9deb609fdc17 --- /dev/null +++ b/byT5/Charsiu/g2p_multilingual_byT5_tiny_12_layers/pytorch_model.bin @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:bf8b9f8b869324c3377a9a61a1d7235f9361ef212cf96b00f8533f417564c84f +size 63793205 diff --git a/byT5/Charsiu/g2p_multilingual_byT5_tiny_12_layers/source.txt b/byT5/Charsiu/g2p_multilingual_byT5_tiny_12_layers/source.txt new file mode 100644 index 0000000000000000000000000000000000000000..44d34a6d8cd1a1f1a8cfa0f44ac705dfec23297a --- /dev/null +++ b/byT5/Charsiu/g2p_multilingual_byT5_tiny_12_layers/source.txt @@ -0,0 +1 @@ +https://huggingface.co/charsiu/g2p_multilingual_byT5_tiny_12_layers \ No newline at end of file diff --git a/byT5/Charsiu/g2p_multilingual_byT5_tiny_12_layers/trainer_state.json b/byT5/Charsiu/g2p_multilingual_byT5_tiny_12_layers/trainer_state.json new file mode 100644 index 0000000000000000000000000000000000000000..005fbaa69b6512cfdf585702dea5263e203692f8 --- /dev/null +++ b/byT5/Charsiu/g2p_multilingual_byT5_tiny_12_layers/trainer_state.json @@ -0,0 +1,1096 @@ +{ + "best_metric": 0.2115170197415885, + "best_model_checkpoint": "/scratch/lingjzhu_root/lingjzhu1/lingjzhu/g2p/byt5_12_layers_baseline/checkpoint-5000", + "epoch": 9.646302250803858, + "global_step": 135000, + "is_hyper_param_search": false, + "is_local_process_zero": true, + "is_world_process_zero": true, + "log_history": [ + { + "epoch": 0.07, + "learning_rate": 0.0003, + "loss": 2.113, + "step": 1000 + }, + { + "epoch": 0.14, + "learning_rate": 0.0002999616623572683, + "loss": 0.5915, + "step": 2000 + }, + { + "epoch": 0.21, + "learning_rate": 0.00029984666902607135, + "loss": 0.3074, + "step": 3000 + }, + { + "epoch": 0.29, + "learning_rate": 0.0002996550787873857, + "loss": 0.2407, + "step": 4000 + }, + { + "epoch": 0.36, + "learning_rate": 0.0002993869895761197, + "loss": 0.2091, + "step": 5000 + }, + { + "epoch": 0.36, + "eval_cer": 0.2115170197415885, + "eval_loss": 0.2637424170970917, + "eval_runtime": 81.6578, + "eval_samples_per_second": 60.619, + "eval_steps_per_second": 0.122, + "eval_wer": 0.5187878787878788, + "step": 5000 + }, + { + "epoch": 0.43, + "learning_rate": 0.000299042538431052, + "loss": 0.1885, + "step": 6000 + }, + { + "epoch": 0.5, + "learning_rate": 0.00029862190142478177, + "loss": 0.1748, + "step": 7000 + }, + { + "epoch": 0.57, + "learning_rate": 0.00029812529357372587, + "loss": 0.1637, + "step": 8000 + }, + { + "epoch": 0.64, + "learning_rate": 0.00029755296872820933, + "loss": 0.1547, + "step": 9000 + }, + { + "epoch": 0.71, + "learning_rate": 0.0002969052194427048, + "loss": 0.1471, + "step": 10000 + }, + { + "epoch": 0.71, + "eval_cer": 0.16525655320172275, + "eval_loss": 0.1778797060251236, + "eval_runtime": 81.5727, + "eval_samples_per_second": 60.682, + "eval_steps_per_second": 0.123, + "eval_wer": 0.4212121212121212, + "step": 10000 + }, + { + "epoch": 0.79, + "learning_rate": 0.0002961823768262882, + "loss": 0.1408, + "step": 11000 + }, + { + "epoch": 0.86, + "learning_rate": 0.0002953848103733858, + "loss": 0.1341, + "step": 12000 + }, + { + "epoch": 0.93, + "learning_rate": 0.00029451292777490066, + "loss": 0.1294, + "step": 13000 + }, + { + "epoch": 1.0, + "learning_rate": 0.0002935671747098137, + "loss": 0.1233, + "step": 14000 + }, + { + "epoch": 1.07, + "learning_rate": 0.00029254803461736643, + "loss": 0.1179, + "step": 15000 + }, + { + "epoch": 1.07, + "eval_cer": 0.1474607026518878, + "eval_loss": 0.14176948368549347, + "eval_runtime": 81.7933, + "eval_samples_per_second": 60.518, + "eval_steps_per_second": 0.122, + "eval_wer": 0.3838383838383838, + "step": 15000 + }, + { + "epoch": 1.14, + "learning_rate": 0.00029145602844994243, + "loss": 0.1143, + "step": 16000 + }, + { + "epoch": 1.21, + "learning_rate": 0.0002902917144067724, + "loss": 0.1107, + "step": 17000 + }, + { + "epoch": 1.29, + "learning_rate": 0.00028905568764860047, + "loss": 0.107, + "step": 18000 + }, + { + "epoch": 1.36, + "learning_rate": 0.00028774857999345685, + "loss": 0.1051, + "step": 19000 + }, + { + "epoch": 1.43, + "learning_rate": 0.0002863710595936922, + "loss": 0.1016, + "step": 20000 + }, + { + "epoch": 1.43, + "eval_cer": 0.1344308169913207, + "eval_loss": 0.1187734305858612, + "eval_runtime": 81.9499, + "eval_samples_per_second": 60.403, + "eval_steps_per_second": 0.122, + "eval_wer": 0.36404040404040405, + "step": 20000 + }, + { + "epoch": 1.5, + "learning_rate": 0.0002849238305944389, + "loss": 0.0988, + "step": 21000 + }, + { + "epoch": 1.57, + "learning_rate": 0.00028340763277367477, + "loss": 0.0972, + "step": 22000 + }, + { + "epoch": 1.64, + "learning_rate": 0.0002818232411640713, + "loss": 0.0953, + "step": 23000 + }, + { + "epoch": 1.71, + "learning_rate": 0.00028017146565682144, + "loss": 0.0933, + "step": 24000 + }, + { + "epoch": 1.79, + "learning_rate": 0.00027845315058764886, + "loss": 0.0904, + "step": 25000 + }, + { + "epoch": 1.79, + "eval_cer": 0.12669158960232615, + "eval_loss": 0.10707778483629227, + "eval_runtime": 81.9487, + "eval_samples_per_second": 60.404, + "eval_steps_per_second": 0.122, + "eval_wer": 0.3466666666666667, + "step": 25000 + }, + { + "epoch": 1.86, + "learning_rate": 0.00027666917430520975, + "loss": 0.089, + "step": 26000 + }, + { + "epoch": 1.93, + "learning_rate": 0.00027482044872210895, + "loss": 0.0869, + "step": 27000 + }, + { + "epoch": 2.0, + "learning_rate": 0.0002729079188487587, + "loss": 0.0856, + "step": 28000 + }, + { + "epoch": 2.07, + "learning_rate": 0.00027093256231031885, + "loss": 0.0827, + "step": 29000 + }, + { + "epoch": 2.14, + "learning_rate": 0.00026889538884696597, + "loss": 0.082, + "step": 30000 + }, + { + "epoch": 2.14, + "eval_cer": 0.1201110600992545, + "eval_loss": 0.09880149364471436, + "eval_runtime": 81.9937, + "eval_samples_per_second": 60.371, + "eval_steps_per_second": 0.122, + "eval_wer": 0.3375757575757576, + "step": 30000 + }, + { + "epoch": 2.22, + "learning_rate": 0.0002667974397977457, + "loss": 0.0803, + "step": 31000 + }, + { + "epoch": 2.29, + "learning_rate": 0.0002646397875682729, + "loss": 0.0794, + "step": 32000 + }, + { + "epoch": 2.36, + "learning_rate": 0.00026242353508255185, + "loss": 0.0783, + "step": 33000 + }, + { + "epoch": 2.43, + "learning_rate": 0.0002601498152191957, + "loss": 0.078, + "step": 34000 + }, + { + "epoch": 2.5, + "learning_rate": 0.0002578197902323352, + "loss": 0.0765, + "step": 35000 + }, + { + "epoch": 2.5, + "eval_cer": 0.11654751754443497, + "eval_loss": 0.09110759943723679, + "eval_runtime": 82.1822, + "eval_samples_per_second": 60.232, + "eval_steps_per_second": 0.122, + "eval_wer": 0.32545454545454544, + "step": 35000 + }, + { + "epoch": 2.57, + "learning_rate": 0.00025543465115751026, + "loss": 0.0749, + "step": 36000 + }, + { + "epoch": 2.64, + "learning_rate": 0.0002529956172028505, + "loss": 0.0743, + "step": 37000 + }, + { + "epoch": 2.72, + "learning_rate": 0.0002505039351258541, + "loss": 0.0732, + "step": 38000 + }, + { + "epoch": 2.79, + "learning_rate": 0.0002479608785960846, + "loss": 0.0722, + "step": 39000 + }, + { + "epoch": 2.86, + "learning_rate": 0.0002453677475441111, + "loss": 0.0716, + "step": 40000 + }, + { + "epoch": 2.86, + "eval_cer": 0.11418639732406376, + "eval_loss": 0.0829671323299408, + "eval_runtime": 81.5052, + "eval_samples_per_second": 60.732, + "eval_steps_per_second": 0.123, + "eval_wer": 0.3208080808080808, + "step": 40000 + }, + { + "epoch": 2.93, + "learning_rate": 0.00024272586749702474, + "loss": 0.0704, + "step": 41000 + }, + { + "epoch": 3.0, + "learning_rate": 0.0002400365889008706, + "loss": 0.0702, + "step": 42000 + }, + { + "epoch": 3.07, + "learning_rate": 0.00023730128643034235, + "loss": 0.0673, + "step": 43000 + }, + { + "epoch": 3.14, + "learning_rate": 0.00023452135828609167, + "loss": 0.0676, + "step": 44000 + }, + { + "epoch": 3.22, + "learning_rate": 0.0002316982254800121, + "loss": 0.0671, + "step": 45000 + }, + { + "epoch": 3.22, + "eval_cer": 0.11213134824337027, + "eval_loss": 0.08274847269058228, + "eval_runtime": 81.7806, + "eval_samples_per_second": 60.528, + "eval_steps_per_second": 0.122, + "eval_wer": 0.317979797979798, + "step": 45000 + }, + { + "epoch": 3.29, + "learning_rate": 0.00022883333110886237, + "loss": 0.066, + "step": 46000 + }, + { + "epoch": 3.36, + "learning_rate": 0.00022592813961660067, + "loss": 0.0656, + "step": 47000 + }, + { + "epoch": 3.43, + "learning_rate": 0.00022298413604580696, + "loss": 0.0646, + "step": 48000 + }, + { + "epoch": 3.5, + "learning_rate": 0.00022000282527857588, + "loss": 0.0643, + "step": 49000 + }, + { + "epoch": 3.57, + "learning_rate": 0.0002169857312672683, + "loss": 0.0638, + "step": 50000 + }, + { + "epoch": 3.57, + "eval_cer": 0.11206576157058219, + "eval_loss": 0.07710296660661697, + "eval_runtime": 81.5659, + "eval_samples_per_second": 60.687, + "eval_steps_per_second": 0.123, + "eval_wer": 0.3113131313131313, + "step": 50000 + }, + { + "epoch": 3.64, + "learning_rate": 0.00021393439625551483, + "loss": 0.0633, + "step": 51000 + }, + { + "epoch": 3.72, + "learning_rate": 0.00021085037998986924, + "loss": 0.0627, + "step": 52000 + }, + { + "epoch": 3.79, + "learning_rate": 0.00020773525892251514, + "loss": 0.0624, + "step": 53000 + }, + { + "epoch": 3.86, + "learning_rate": 0.00020459062540543316, + "loss": 0.0618, + "step": 54000 + }, + { + "epoch": 3.93, + "learning_rate": 0.00020141808687644067, + "loss": 0.0613, + "step": 55000 + }, + { + "epoch": 3.93, + "eval_cer": 0.10915808574364355, + "eval_loss": 0.07446856051683426, + "eval_runtime": 81.6128, + "eval_samples_per_second": 60.652, + "eval_steps_per_second": 0.123, + "eval_wer": 0.30626262626262624, + "step": 55000 + }, + { + "epoch": 4.0, + "learning_rate": 0.00019821926503751995, + "loss": 0.0604, + "step": 56000 + }, + { + "epoch": 4.07, + "learning_rate": 0.00019499579502585537, + "loss": 0.059, + "step": 57000 + }, + { + "epoch": 4.14, + "learning_rate": 0.00019174932457800242, + "loss": 0.0584, + "step": 58000 + }, + { + "epoch": 4.22, + "learning_rate": 0.0001884815131876167, + "loss": 0.0581, + "step": 59000 + }, + { + "epoch": 4.29, + "learning_rate": 0.00018519403125717278, + "loss": 0.0574, + "step": 60000 + }, + { + "epoch": 4.29, + "eval_cer": 0.1064034454865438, + "eval_loss": 0.07090297341346741, + "eval_runtime": 81.8166, + "eval_samples_per_second": 60.501, + "eval_steps_per_second": 0.122, + "eval_wer": 0.2991919191919192, + "step": 60000 + }, + { + "epoch": 4.36, + "learning_rate": 0.00018188855924410722, + "loss": 0.0576, + "step": 61000 + }, + { + "epoch": 4.43, + "learning_rate": 0.00017856678680182127, + "loss": 0.0569, + "step": 62000 + }, + { + "epoch": 4.5, + "learning_rate": 0.0001752304119159834, + "loss": 0.0568, + "step": 63000 + }, + { + "epoch": 4.57, + "learning_rate": 0.00017188114003657205, + "loss": 0.0566, + "step": 64000 + }, + { + "epoch": 4.64, + "learning_rate": 0.00016852068320610358, + "loss": 0.0561, + "step": 65000 + }, + { + "epoch": 4.64, + "eval_cer": 0.10653461883211998, + "eval_loss": 0.06934704631567001, + "eval_runtime": 81.8952, + "eval_samples_per_second": 60.443, + "eval_steps_per_second": 0.122, + "eval_wer": 0.298989898989899, + "step": 65000 + }, + { + "epoch": 4.72, + "learning_rate": 0.00016515075918448972, + "loss": 0.0555, + "step": 66000 + }, + { + "epoch": 4.79, + "learning_rate": 0.00016177309057097285, + "loss": 0.0548, + "step": 67000 + }, + { + "epoch": 4.86, + "learning_rate": 0.00015838940392358722, + "loss": 0.0548, + "step": 68000 + }, + { + "epoch": 4.93, + "learning_rate": 0.00015500142887659688, + "loss": 0.0543, + "step": 69000 + }, + { + "epoch": 5.0, + "learning_rate": 0.00015161089725636095, + "loss": 0.0542, + "step": 70000 + }, + { + "epoch": 5.0, + "eval_cer": 0.1039767385933845, + "eval_loss": 0.0671503096818924, + "eval_runtime": 81.8677, + "eval_samples_per_second": 60.463, + "eval_steps_per_second": 0.122, + "eval_wer": 0.2913131313131313, + "step": 70000 + }, + { + "epoch": 5.07, + "learning_rate": 0.00014821954219607845, + "loss": 0.0521, + "step": 71000 + }, + { + "epoch": 5.14, + "learning_rate": 0.0001448290972498651, + "loss": 0.0522, + "step": 72000 + }, + { + "epoch": 5.22, + "learning_rate": 0.00014144129550661485, + "loss": 0.0519, + "step": 73000 + }, + { + "epoch": 5.29, + "learning_rate": 0.0001380578687040995, + "loss": 0.0516, + "step": 74000 + }, + { + "epoch": 5.36, + "learning_rate": 0.00013468054634375843, + "loss": 0.0518, + "step": 75000 + }, + { + "epoch": 5.36, + "eval_cer": 0.1052228853763582, + "eval_loss": 0.06576833128929138, + "eval_runtime": 81.8774, + "eval_samples_per_second": 60.456, + "eval_steps_per_second": 0.122, + "eval_wer": 0.29555555555555557, + "step": 75000 + }, + { + "epoch": 5.43, + "learning_rate": 0.00013131105480663235, + "loss": 0.0511, + "step": 76000 + }, + { + "epoch": 5.5, + "learning_rate": 0.000127951116470891, + "loss": 0.0512, + "step": 77000 + }, + { + "epoch": 5.57, + "learning_rate": 0.00012460244883140783, + "loss": 0.0506, + "step": 78000 + }, + { + "epoch": 5.64, + "learning_rate": 0.0001212667636218309, + "loss": 0.0502, + "step": 79000 + }, + { + "epoch": 5.72, + "learning_rate": 0.00011794576593959775, + "loss": 0.05, + "step": 80000 + }, + { + "epoch": 5.72, + "eval_cer": 0.1032990096412409, + "eval_loss": 0.06467730551958084, + "eval_runtime": 81.823, + "eval_samples_per_second": 60.496, + "eval_steps_per_second": 0.122, + "eval_wer": 0.2901010101010101, + "step": 80000 + }, + { + "epoch": 5.79, + "learning_rate": 0.00011464115337434394, + "loss": 0.0501, + "step": 81000 + }, + { + "epoch": 5.86, + "learning_rate": 0.00011135461514014796, + "loss": 0.0492, + "step": 82000 + }, + { + "epoch": 5.93, + "learning_rate": 0.00010808783121205837, + "loss": 0.0494, + "step": 83000 + }, + { + "epoch": 6.0, + "learning_rate": 0.00010484247146734352, + "loss": 0.0491, + "step": 84000 + }, + { + "epoch": 6.07, + "learning_rate": 0.00010162019483190237, + "loss": 0.0472, + "step": 85000 + }, + { + "epoch": 6.07, + "eval_cer": 0.10340832076255438, + "eval_loss": 0.06243439018726349, + "eval_runtime": 82.0022, + "eval_samples_per_second": 60.364, + "eval_steps_per_second": 0.122, + "eval_wer": 0.2898989898989899, + "step": 85000 + }, + { + "epoch": 6.15, + "learning_rate": 9.842264843227404e-05, + "loss": 0.0476, + "step": 86000 + }, + { + "epoch": 6.22, + "learning_rate": 9.52514667536784e-05, + "loss": 0.0469, + "step": 87000 + }, + { + "epoch": 6.29, + "learning_rate": 9.210827080451842e-05, + "loss": 0.047, + "step": 88000 + }, + { + "epoch": 6.36, + "learning_rate": 8.899466728777203e-05, + "loss": 0.0474, + "step": 89000 + }, + { + "epoch": 6.43, + "learning_rate": 8.591224777969557e-05, + "loss": 0.0467, + "step": 90000 + }, + { + "epoch": 6.43, + "eval_cer": 0.10150630725169979, + "eval_loss": 0.061206888407468796, + "eval_runtime": 81.7254, + "eval_samples_per_second": 60.569, + "eval_steps_per_second": 0.122, + "eval_wer": 0.28929292929292927, + "step": 90000 + }, + { + "epoch": 6.5, + "learning_rate": 8.286258791626041e-05, + "loss": 0.0465, + "step": 91000 + }, + { + "epoch": 6.57, + "learning_rate": 7.984724658773716e-05, + "loss": 0.0464, + "step": 92000 + }, + { + "epoch": 6.65, + "learning_rate": 7.686776514184009e-05, + "loss": 0.0462, + "step": 93000 + }, + { + "epoch": 6.72, + "learning_rate": 7.392566659583846e-05, + "loss": 0.046, + "step": 94000 + }, + { + "epoch": 6.79, + "learning_rate": 7.102245485803813e-05, + "loss": 0.0461, + "step": 95000 + }, + { + "epoch": 6.79, + "eval_cer": 0.10109092499070856, + "eval_loss": 0.06065311282873154, + "eval_runtime": 82.0331, + "eval_samples_per_second": 60.342, + "eval_steps_per_second": 0.122, + "eval_wer": 0.28383838383838383, + "step": 95000 + }, + { + "epoch": 6.86, + "learning_rate": 6.81596139590308e-05, + "loss": 0.0457, + "step": 96000 + }, + { + "epoch": 6.93, + "learning_rate": 6.533860729310434e-05, + "loss": 0.0455, + "step": 97000 + }, + { + "epoch": 7.0, + "learning_rate": 6.256087687020127e-05, + "loss": 0.0454, + "step": 98000 + }, + { + "epoch": 7.07, + "learning_rate": 5.98278425788092e-05, + "loss": 0.044, + "step": 99000 + }, + { + "epoch": 7.15, + "learning_rate": 5.71409014601578e-05, + "loss": 0.0439, + "step": 100000 + }, + { + "epoch": 7.15, + "eval_cer": 0.10098161386939507, + "eval_loss": 0.05971471220254898, + "eval_runtime": 82.6482, + "eval_samples_per_second": 59.892, + "eval_steps_per_second": 0.121, + "eval_wer": 0.2804040404040404, + "step": 100000 + }, + { + "epoch": 7.22, + "learning_rate": 5.4501426994095876e-05, + "loss": 0.0436, + "step": 101000 + }, + { + "epoch": 7.29, + "learning_rate": 5.191076839701103e-05, + "loss": 0.0436, + "step": 102000 + }, + { + "epoch": 7.36, + "learning_rate": 4.9370249932153075e-05, + "loss": 0.0438, + "step": 103000 + }, + { + "epoch": 7.43, + "learning_rate": 4.6881170232712164e-05, + "loss": 0.0437, + "step": 104000 + }, + { + "epoch": 7.5, + "learning_rate": 4.444480163799822e-05, + "loss": 0.0435, + "step": 105000 + }, + { + "epoch": 7.5, + "eval_cer": 0.10120023611202204, + "eval_loss": 0.058374855667352676, + "eval_runtime": 81.7698, + "eval_samples_per_second": 60.536, + "eval_steps_per_second": 0.122, + "eval_wer": 0.28383838383838383, + "step": 105000 + }, + { + "epoch": 7.57, + "learning_rate": 4.2062389543061265e-05, + "loss": 0.0433, + "step": 106000 + }, + { + "epoch": 7.65, + "learning_rate": 3.9735151762084384e-05, + "loss": 0.0434, + "step": 107000 + }, + { + "epoch": 7.72, + "learning_rate": 3.746427790587557e-05, + "loss": 0.0428, + "step": 108000 + }, + { + "epoch": 7.79, + "learning_rate": 3.525092877377602e-05, + "loss": 0.0432, + "step": 109000 + }, + { + "epoch": 7.86, + "learning_rate": 3.309623576029597e-05, + "loss": 0.0427, + "step": 110000 + }, + { + "epoch": 7.86, + "eval_cer": 0.10012898712314991, + "eval_loss": 0.05760599672794342, + "eval_runtime": 81.886, + "eval_samples_per_second": 60.45, + "eval_steps_per_second": 0.122, + "eval_wer": 0.2804040404040404, + "step": 110000 + }, + { + "epoch": 7.93, + "learning_rate": 3.1001300276781274e-05, + "loss": 0.043, + "step": 111000 + }, + { + "epoch": 8.0, + "learning_rate": 2.8967193188406938e-05, + "loss": 0.0424, + "step": 112000 + }, + { + "epoch": 8.07, + "learning_rate": 2.699495426678389e-05, + "loss": 0.042, + "step": 113000 + }, + { + "epoch": 8.15, + "learning_rate": 2.5085591658461056e-05, + "loss": 0.0416, + "step": 114000 + }, + { + "epoch": 8.22, + "learning_rate": 2.3240081369591984e-05, + "loss": 0.0415, + "step": 115000 + }, + { + "epoch": 8.22, + "eval_cer": 0.10036947159003957, + "eval_loss": 0.05732354149222374, + "eval_runtime": 81.9536, + "eval_samples_per_second": 60.4, + "eval_steps_per_second": 0.122, + "eval_wer": 0.2797979797979798, + "step": 115000 + }, + { + "epoch": 8.29, + "learning_rate": 2.1459366767031522e-05, + "loss": 0.0417, + "step": 116000 + }, + { + "epoch": 8.36, + "learning_rate": 1.9744358096116225e-05, + "loss": 0.0414, + "step": 117000 + }, + { + "epoch": 8.43, + "learning_rate": 1.8095932015375496e-05, + "loss": 0.0412, + "step": 118000 + }, + { + "epoch": 8.5, + "learning_rate": 1.65149311484114e-05, + "loss": 0.0412, + "step": 119000 + }, + { + "epoch": 8.57, + "learning_rate": 1.500216365317587e-05, + "loss": 0.0412, + "step": 120000 + }, + { + "epoch": 8.57, + "eval_cer": 0.09988850265626024, + "eval_loss": 0.05689243599772453, + "eval_runtime": 81.8151, + "eval_samples_per_second": 60.502, + "eval_steps_per_second": 0.122, + "eval_wer": 0.2783838383838384, + "step": 120000 + }, + { + "epoch": 8.65, + "learning_rate": 1.355840280886582e-05, + "loss": 0.0414, + "step": 121000 + }, + { + "epoch": 8.72, + "learning_rate": 1.2184386620647097e-05, + "loss": 0.0416, + "step": 122000 + }, + { + "epoch": 8.79, + "learning_rate": 1.0880817442409478e-05, + "loss": 0.0413, + "step": 123000 + }, + { + "epoch": 8.86, + "learning_rate": 9.648361617745371e-06, + "loss": 0.0409, + "step": 124000 + }, + { + "epoch": 8.93, + "learning_rate": 8.487649139335962e-06, + "loss": 0.0412, + "step": 125000 + }, + { + "epoch": 8.93, + "eval_cer": 0.09986664043199756, + "eval_loss": 0.05683436617255211, + "eval_runtime": 82.2238, + "eval_samples_per_second": 60.202, + "eval_steps_per_second": 0.122, + "eval_wer": 0.2781818181818182, + "step": 125000 + }, + { + "epoch": 9.0, + "learning_rate": 7.399273326918692e-06, + "loss": 0.0411, + "step": 126000 + }, + { + "epoch": 9.07, + "learning_rate": 6.383790524001009e-06, + "loss": 0.0407, + "step": 127000 + }, + { + "epoch": 9.15, + "learning_rate": 5.441719813474849e-06, + "loss": 0.0406, + "step": 128000 + }, + { + "epoch": 9.22, + "learning_rate": 4.57354275227797e-06, + "loss": 0.0407, + "step": 129000 + }, + { + "epoch": 9.29, + "learning_rate": 3.7797031252369767e-06, + "loss": 0.0401, + "step": 130000 + }, + { + "epoch": 9.29, + "eval_cer": 0.09988850265626024, + "eval_loss": 0.05650737136602402, + "eval_runtime": 81.8641, + "eval_samples_per_second": 60.466, + "eval_steps_per_second": 0.122, + "eval_wer": 0.2777777777777778, + "step": 130000 + }, + { + "epoch": 9.36, + "learning_rate": 3.0606067182186776e-06, + "loss": 0.0403, + "step": 131000 + }, + { + "epoch": 9.43, + "learning_rate": 2.4166211107049584e-06, + "loss": 0.0406, + "step": 132000 + }, + { + "epoch": 9.5, + "learning_rate": 1.8480754878977489e-06, + "loss": 0.0406, + "step": 133000 + }, + { + "epoch": 9.57, + "learning_rate": 1.3552604724498928e-06, + "loss": 0.0406, + "step": 134000 + }, + { + "epoch": 9.65, + "learning_rate": 9.384279759080127e-07, + "loss": 0.0405, + "step": 135000 + }, + { + "epoch": 9.65, + "eval_cer": 0.09984477820773485, + "eval_loss": 0.056535448879003525, + "eval_runtime": 81.6573, + "eval_samples_per_second": 60.619, + "eval_steps_per_second": 0.122, + "eval_wer": 0.2781818181818182, + "step": 135000 + } + ], + "max_steps": 139950, + "num_train_epochs": 10, + "total_flos": 2.638176399703204e+17, + "trial_name": null, + "trial_params": null +} diff --git a/byT5/Charsiu/g2p_multilingual_byT5_tiny_12_layers_100/.gitattributes b/byT5/Charsiu/g2p_multilingual_byT5_tiny_12_layers_100/.gitattributes new file mode 100644 index 0000000000000000000000000000000000000000..78be8432e1148d0227370439dad9d9a818f08df4 --- /dev/null +++ b/byT5/Charsiu/g2p_multilingual_byT5_tiny_12_layers_100/.gitattributes @@ -0,0 +1,31 @@ +*.7z filter=lfs diff=lfs merge=lfs -text +*.arrow filter=lfs diff=lfs merge=lfs -text +*.bin filter=lfs diff=lfs merge=lfs -text +*.bz2 filter=lfs diff=lfs merge=lfs -text +*.ftz filter=lfs diff=lfs merge=lfs -text +*.gz filter=lfs diff=lfs merge=lfs -text +*.h5 filter=lfs diff=lfs merge=lfs -text +*.joblib filter=lfs diff=lfs merge=lfs -text +*.lfs.* filter=lfs diff=lfs merge=lfs -text +*.model filter=lfs diff=lfs merge=lfs -text +*.msgpack filter=lfs diff=lfs merge=lfs -text +*.npy filter=lfs diff=lfs merge=lfs -text +*.npz filter=lfs diff=lfs merge=lfs -text +*.onnx filter=lfs diff=lfs merge=lfs -text +*.ot filter=lfs diff=lfs merge=lfs -text +*.parquet filter=lfs diff=lfs merge=lfs -text +*.pb filter=lfs diff=lfs merge=lfs -text +*.pickle filter=lfs diff=lfs merge=lfs -text +*.pkl filter=lfs diff=lfs merge=lfs -text +*.pt filter=lfs diff=lfs merge=lfs -text +*.pth filter=lfs diff=lfs merge=lfs -text +*.rar filter=lfs diff=lfs merge=lfs -text +saved_model/**/* filter=lfs diff=lfs merge=lfs -text +*.tar.* filter=lfs diff=lfs merge=lfs -text +*.tflite filter=lfs diff=lfs merge=lfs -text +*.tgz filter=lfs diff=lfs merge=lfs -text +*.wasm filter=lfs diff=lfs merge=lfs -text +*.xz filter=lfs diff=lfs merge=lfs -text +*.zip filter=lfs diff=lfs merge=lfs -text +*.zst filter=lfs diff=lfs merge=lfs -text +*tfevents* filter=lfs diff=lfs merge=lfs -text diff --git a/byT5/Charsiu/g2p_multilingual_byT5_tiny_12_layers_100/charsiu_g2p_multilingual_byT5_tiny_12_layers_100.onnx b/byT5/Charsiu/g2p_multilingual_byT5_tiny_12_layers_100/charsiu_g2p_multilingual_byT5_tiny_12_layers_100.onnx new file mode 100644 index 0000000000000000000000000000000000000000..5e19787d773e724765917222b8a7d0006874d24d --- /dev/null +++ b/byT5/Charsiu/g2p_multilingual_byT5_tiny_12_layers_100/charsiu_g2p_multilingual_byT5_tiny_12_layers_100.onnx @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:212cebd08d94633bf0839bc5ea5b137e5a3374df3d5fea08214e9a37ce25426e +size 64030145 diff --git a/byT5/Charsiu/g2p_multilingual_byT5_tiny_12_layers_100/config.json b/byT5/Charsiu/g2p_multilingual_byT5_tiny_12_layers_100/config.json new file mode 100644 index 0000000000000000000000000000000000000000..c99e3f984cfc9a39c40da3930303564f2b1afd8c --- /dev/null +++ b/byT5/Charsiu/g2p_multilingual_byT5_tiny_12_layers_100/config.json @@ -0,0 +1,32 @@ +{ + "_name_or_path": "/home/patrick/t5/byt5-small", + "architectures": [ + "T5ForConditionalGeneration" + ], + "d_ff": 1024, + "d_kv": 64, + "d_model": 256, + "decoder_start_token_id": 0, + "dense_act_fn": "gelu_new", + "dropout_rate": 0.1, + "eos_token_id": 1, + "feed_forward_proj": "gated-gelu", + "gradient_checkpointing": false, + "initializer_factor": 1.0, + "is_encoder_decoder": true, + "is_gated_act": true, + "layer_norm_epsilon": 1e-06, + "model_type": "t5", + "num_decoder_layers": 4, + "num_heads": 6, + "num_layers": 8, + "pad_token_id": 0, + "relative_attention_max_distance": 128, + "relative_attention_num_buckets": 32, + "tie_word_embeddings": false, + "tokenizer_class": "ByT5Tokenizer", + "torch_dtype": "float32", + "transformers_version": "4.21.1", + "use_cache": true, + "vocab_size": 384 +} diff --git a/byT5/Charsiu/g2p_multilingual_byT5_tiny_12_layers_100/pytorch_model.bin b/byT5/Charsiu/g2p_multilingual_byT5_tiny_12_layers_100/pytorch_model.bin new file mode 100644 index 0000000000000000000000000000000000000000..fff726d43e33103b8ef4c8352177d692c46347d7 --- /dev/null +++ b/byT5/Charsiu/g2p_multilingual_byT5_tiny_12_layers_100/pytorch_model.bin @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:4b759f8e71c6b67904a2cc43475f4c99cbd88cbb5724aca8bc74eccbc055b7eb +size 63777973 diff --git a/byT5/Charsiu/g2p_multilingual_byT5_tiny_12_layers_100/source.txt b/byT5/Charsiu/g2p_multilingual_byT5_tiny_12_layers_100/source.txt new file mode 100644 index 0000000000000000000000000000000000000000..2715847f320f5e85b74feb67c32d19bf2ca6382d --- /dev/null +++ b/byT5/Charsiu/g2p_multilingual_byT5_tiny_12_layers_100/source.txt @@ -0,0 +1,2 @@ +https://huggingface.co/charsiu/g2p_multilingual_byT5_tiny_12_layers_100 +https://huggingface.co/Jarbas/charsiu_g2p_multilingual_byT5_tiny_12_layers_100_onnx \ No newline at end of file diff --git a/byT5/Charsiu/g2p_multilingual_byT5_tiny_12_layers_100/trainer_state.json b/byT5/Charsiu/g2p_multilingual_byT5_tiny_12_layers_100/trainer_state.json new file mode 100644 index 0000000000000000000000000000000000000000..131c21b852c3ab00eabd3e7a692413120d492db6 --- /dev/null +++ b/byT5/Charsiu/g2p_multilingual_byT5_tiny_12_layers_100/trainer_state.json @@ -0,0 +1,1136 @@ +{ + "best_metric": 0.05792941898107529, + "best_model_checkpoint": "/scratch/lingjzhu_root/lingjzhu1/lingjzhu/g2p/byt5_12_layers_baseline/checkpoint-135000", + "epoch": 9.917791237204689, + "global_step": 140000, + "is_hyper_param_search": false, + "is_local_process_zero": true, + "is_world_process_zero": true, + "log_history": [ + { + "epoch": 0.07, + "learning_rate": 0.0003, + "loss": 7.2226, + "step": 1000 + }, + { + "epoch": 0.14, + "learning_rate": 0.0002999623214094654, + "loss": 1.4006, + "step": 2000 + }, + { + "epoch": 0.21, + "learning_rate": 0.0002998493045668776, + "loss": 0.4781, + "step": 3000 + }, + { + "epoch": 0.28, + "learning_rate": 0.00029966100624977436, + "loss": 0.3172, + "step": 4000 + }, + { + "epoch": 0.35, + "learning_rate": 0.00029939752105569156, + "loss": 0.2595, + "step": 5000 + }, + { + "epoch": 0.35, + "eval_cer": 0.22637400547661657, + "eval_loss": 0.30229780077934265, + "eval_runtime": 79.8178, + "eval_samples_per_second": 62.643, + "eval_steps_per_second": 0.125, + "eval_wer": 0.5502, + "step": 5000 + }, + { + "epoch": 0.43, + "learning_rate": 0.00029905898135463893, + "loss": 0.2259, + "step": 6000 + }, + { + "epoch": 0.5, + "learning_rate": 0.0002986455572226002, + "loss": 0.206, + "step": 7000 + }, + { + "epoch": 0.57, + "learning_rate": 0.00029815745635609, + "loss": 0.1889, + "step": 8000 + }, + { + "epoch": 0.64, + "learning_rate": 0.00029759492396781067, + "loss": 0.1758, + "step": 9000 + }, + { + "epoch": 0.71, + "learning_rate": 0.00029695824266346256, + "loss": 0.1663, + "step": 10000 + }, + { + "epoch": 0.71, + "eval_cer": 0.17244873757519566, + "eval_loss": 0.19059504568576813, + "eval_runtime": 78.5038, + "eval_samples_per_second": 63.691, + "eval_steps_per_second": 0.127, + "eval_wer": 0.4426, + "step": 10000 + }, + { + "epoch": 0.78, + "learning_rate": 0.000296247732299768, + "loss": 0.1572, + "step": 11000 + }, + { + "epoch": 0.85, + "learning_rate": 0.000295463749823781, + "loss": 0.1501, + "step": 12000 + }, + { + "epoch": 0.92, + "learning_rate": 0.0002946066890935644, + "loss": 0.1429, + "step": 13000 + }, + { + "epoch": 0.99, + "learning_rate": 0.0002936769806803222, + "loss": 0.137, + "step": 14000 + }, + { + "epoch": 1.06, + "learning_rate": 0.00029267509165208945, + "loss": 0.1308, + "step": 15000 + }, + { + "epoch": 1.06, + "eval_cer": 0.15006791867008776, + "eval_loss": 0.15067286789417267, + "eval_runtime": 78.9896, + "eval_samples_per_second": 63.299, + "eval_steps_per_second": 0.127, + "eval_wer": 0.396, + "step": 15000 + }, + { + "epoch": 1.13, + "learning_rate": 0.00029160152533908566, + "loss": 0.126, + "step": 16000 + }, + { + "epoch": 1.2, + "learning_rate": 0.0002904568210808509, + "loss": 0.1221, + "step": 17000 + }, + { + "epoch": 1.28, + "learning_rate": 0.00028924155395529237, + "loss": 0.1179, + "step": 18000 + }, + { + "epoch": 1.35, + "learning_rate": 0.00028795633448977547, + "loss": 0.1145, + "step": 19000 + }, + { + "epoch": 1.42, + "learning_rate": 0.0002866018083544069, + "loss": 0.1118, + "step": 20000 + }, + { + "epoch": 1.42, + "eval_cer": 0.1389853166303715, + "eval_loss": 0.1269478052854538, + "eval_runtime": 78.7424, + "eval_samples_per_second": 63.498, + "eval_steps_per_second": 0.127, + "eval_wer": 0.3746, + "step": 20000 + }, + { + "epoch": 1.49, + "learning_rate": 0.0002851786560376614, + "loss": 0.1081, + "step": 21000 + }, + { + "epoch": 1.56, + "learning_rate": 0.00028368759250451786, + "loss": 0.1049, + "step": 22000 + }, + { + "epoch": 1.63, + "learning_rate": 0.00028212936683727404, + "loss": 0.1025, + "step": 23000 + }, + { + "epoch": 1.7, + "learning_rate": 0.0002805047618592216, + "loss": 0.0997, + "step": 24000 + }, + { + "epoch": 1.77, + "learning_rate": 0.0002788145937413704, + "loss": 0.0982, + "step": 25000 + }, + { + "epoch": 1.77, + "eval_cer": 0.13158972810970482, + "eval_loss": 0.11525362730026245, + "eval_runtime": 79.1705, + "eval_samples_per_second": 63.155, + "eval_steps_per_second": 0.126, + "eval_wer": 0.3582, + "step": 25000 + }, + { + "epoch": 1.84, + "learning_rate": 0.00027705971159241994, + "loss": 0.0962, + "step": 26000 + }, + { + "epoch": 1.91, + "learning_rate": 0.0002752409970321824, + "loss": 0.0936, + "step": 27000 + }, + { + "epoch": 1.98, + "learning_rate": 0.000273359363748674, + "loss": 0.0929, + "step": 28000 + }, + { + "epoch": 2.05, + "learning_rate": 0.0002714157570390952, + "loss": 0.0893, + "step": 29000 + }, + { + "epoch": 2.13, + "learning_rate": 0.0002694111533349308, + "loss": 0.0876, + "step": 30000 + }, + { + "epoch": 2.13, + "eval_cer": 0.12440975441471355, + "eval_loss": 0.09987597167491913, + "eval_runtime": 78.8157, + "eval_samples_per_second": 63.439, + "eval_steps_per_second": 0.127, + "eval_wer": 0.3406, + "step": 30000 + }, + { + "epoch": 2.2, + "learning_rate": 0.00026734655971140956, + "loss": 0.0863, + "step": 31000 + }, + { + "epoch": 2.27, + "learning_rate": 0.00026522301338156835, + "loss": 0.085, + "step": 32000 + }, + { + "epoch": 2.34, + "learning_rate": 0.00026304158117517563, + "loss": 0.0838, + "step": 33000 + }, + { + "epoch": 2.41, + "learning_rate": 0.0002608033590027766, + "loss": 0.0826, + "step": 34000 + }, + { + "epoch": 2.48, + "learning_rate": 0.000258509471305128, + "loss": 0.0812, + "step": 35000 + }, + { + "epoch": 2.48, + "eval_cer": 0.11850190819120723, + "eval_loss": 0.09199721366167068, + "eval_runtime": 78.9815, + "eval_samples_per_second": 63.306, + "eval_steps_per_second": 0.127, + "eval_wer": 0.3318, + "step": 35000 + }, + { + "epoch": 2.55, + "learning_rate": 0.00025616107048830045, + "loss": 0.0799, + "step": 36000 + }, + { + "epoch": 2.62, + "learning_rate": 0.0002537593363447311, + "loss": 0.0791, + "step": 37000 + }, + { + "epoch": 2.69, + "learning_rate": 0.0002513054754605181, + "loss": 0.0784, + "step": 38000 + }, + { + "epoch": 2.76, + "learning_rate": 0.0002488007206092547, + "loss": 0.0771, + "step": 39000 + }, + { + "epoch": 2.83, + "learning_rate": 0.00024624633013270664, + "loss": 0.0759, + "step": 40000 + }, + { + "epoch": 2.83, + "eval_cer": 0.11710041182431705, + "eval_loss": 0.08664757013320923, + "eval_runtime": 78.7555, + "eval_samples_per_second": 63.488, + "eval_steps_per_second": 0.127, + "eval_wer": 0.3278, + "step": 40000 + }, + { + "epoch": 2.9, + "learning_rate": 0.0002436435873086449, + "loss": 0.0753, + "step": 41000 + }, + { + "epoch": 2.98, + "learning_rate": 0.00024099379970615137, + "loss": 0.0745, + "step": 42000 + }, + { + "epoch": 3.05, + "learning_rate": 0.00023829829852872037, + "loss": 0.0724, + "step": 43000 + }, + { + "epoch": 3.12, + "learning_rate": 0.00023555843794548724, + "loss": 0.0714, + "step": 44000 + }, + { + "epoch": 3.19, + "learning_rate": 0.00023277559441091917, + "loss": 0.0706, + "step": 45000 + }, + { + "epoch": 3.19, + "eval_cer": 0.11453459539877962, + "eval_loss": 0.08330970257520676, + "eval_runtime": 79.5037, + "eval_samples_per_second": 62.89, + "eval_steps_per_second": 0.126, + "eval_wer": 0.324, + "step": 45000 + }, + { + "epoch": 3.26, + "learning_rate": 0.0002299511659733103, + "loss": 0.0699, + "step": 46000 + }, + { + "epoch": 3.33, + "learning_rate": 0.0002270865715724285, + "loss": 0.0694, + "step": 47000 + }, + { + "epoch": 3.4, + "learning_rate": 0.0002241832503266669, + "loss": 0.0689, + "step": 48000 + }, + { + "epoch": 3.47, + "learning_rate": 0.00022124266081005755, + "loss": 0.0683, + "step": 49000 + }, + { + "epoch": 3.54, + "learning_rate": 0.0002182662803195115, + "loss": 0.0678, + "step": 50000 + }, + { + "epoch": 3.54, + "eval_cer": 0.11179628711270187, + "eval_loss": 0.07958581298589706, + "eval_runtime": 79.3907, + "eval_samples_per_second": 62.98, + "eval_steps_per_second": 0.126, + "eval_wer": 0.3198, + "step": 50000 + }, + { + "epoch": 3.61, + "learning_rate": 0.00021525560413265246, + "loss": 0.0673, + "step": 51000 + }, + { + "epoch": 3.68, + "learning_rate": 0.00021221214475661745, + "loss": 0.0662, + "step": 52000 + }, + { + "epoch": 3.75, + "learning_rate": 0.00020913743116820165, + "loss": 0.0661, + "step": 53000 + }, + { + "epoch": 3.83, + "learning_rate": 0.00020603300804572917, + "loss": 0.0653, + "step": 54000 + }, + { + "epoch": 3.9, + "learning_rate": 0.00020290043499303573, + "loss": 0.065, + "step": 55000 + }, + { + "epoch": 3.9, + "eval_cer": 0.11030854481554152, + "eval_loss": 0.07400712370872498, + "eval_runtime": 78.8463, + "eval_samples_per_second": 63.414, + "eval_steps_per_second": 0.127, + "eval_wer": 0.3126, + "step": 55000 + }, + { + "epoch": 3.97, + "learning_rate": 0.00019974128575595291, + "loss": 0.064, + "step": 56000 + }, + { + "epoch": 4.04, + "learning_rate": 0.000196557147431688, + "loss": 0.0629, + "step": 57000 + }, + { + "epoch": 4.11, + "learning_rate": 0.00019334961967149597, + "loss": 0.062, + "step": 58000 + }, + { + "epoch": 4.18, + "learning_rate": 0.00019012031387704483, + "loss": 0.0612, + "step": 59000 + }, + { + "epoch": 4.25, + "learning_rate": 0.00018687085239087786, + "loss": 0.0612, + "step": 60000 + }, + { + "epoch": 4.25, + "eval_cer": 0.10946764699540741, + "eval_loss": 0.07309988141059875, + "eval_runtime": 78.4936, + "eval_samples_per_second": 63.7, + "eval_steps_per_second": 0.127, + "eval_wer": 0.3106, + "step": 60000 + }, + { + "epoch": 4.32, + "learning_rate": 0.00018360286768137894, + "loss": 0.0606, + "step": 61000 + }, + { + "epoch": 4.39, + "learning_rate": 0.00018031800152265137, + "loss": 0.0604, + "step": 62000 + }, + { + "epoch": 4.46, + "learning_rate": 0.00017701790416972107, + "loss": 0.0596, + "step": 63000 + }, + { + "epoch": 4.53, + "learning_rate": 0.00017370423352948002, + "loss": 0.0598, + "step": 64000 + }, + { + "epoch": 4.6, + "learning_rate": 0.00017037865432778442, + "loss": 0.0591, + "step": 65000 + }, + { + "epoch": 4.6, + "eval_cer": 0.1068587076047349, + "eval_loss": 0.07157264649868011, + "eval_runtime": 78.9704, + "eval_samples_per_second": 63.315, + "eval_steps_per_second": 0.127, + "eval_wer": 0.3004, + "step": 65000 + }, + { + "epoch": 4.68, + "learning_rate": 0.00016704283727312792, + "loss": 0.0585, + "step": 66000 + }, + { + "epoch": 4.75, + "learning_rate": 0.00016369845821730933, + "loss": 0.0585, + "step": 67000 + }, + { + "epoch": 4.82, + "learning_rate": 0.00016034719731351576, + "loss": 0.058, + "step": 68000 + }, + { + "epoch": 4.89, + "learning_rate": 0.00015699073817224542, + "loss": 0.0577, + "step": 69000 + }, + { + "epoch": 4.96, + "learning_rate": 0.00015363076701549341, + "loss": 0.0569, + "step": 70000 + }, + { + "epoch": 4.96, + "eval_cer": 0.10733306022122081, + "eval_loss": 0.0685366541147232, + "eval_runtime": 79.1043, + "eval_samples_per_second": 63.208, + "eval_steps_per_second": 0.126, + "eval_wer": 0.303, + "step": 70000 + }, + { + "epoch": 5.03, + "learning_rate": 0.00015026897182962535, + "loss": 0.0564, + "step": 71000 + }, + { + "epoch": 5.1, + "learning_rate": 0.00014690704151736484, + "loss": 0.0549, + "step": 72000 + }, + { + "epoch": 5.17, + "learning_rate": 0.0001435466650493204, + "loss": 0.0549, + "step": 73000 + }, + { + "epoch": 5.24, + "learning_rate": 0.0001401895306154785, + "loss": 0.0545, + "step": 74000 + }, + { + "epoch": 5.31, + "learning_rate": 0.0001368373247770885, + "loss": 0.0543, + "step": 75000 + }, + { + "epoch": 5.31, + "eval_cer": 0.10539252679014209, + "eval_loss": 0.06656810641288757, + "eval_runtime": 79.3205, + "eval_samples_per_second": 63.035, + "eval_steps_per_second": 0.126, + "eval_wer": 0.2982, + "step": 75000 + }, + { + "epoch": 5.38, + "learning_rate": 0.00013349173161936601, + "loss": 0.054, + "step": 76000 + }, + { + "epoch": 5.45, + "learning_rate": 0.00013015443190544018, + "loss": 0.0535, + "step": 77000 + }, + { + "epoch": 5.53, + "learning_rate": 0.00012682710223196978, + "loss": 0.0536, + "step": 78000 + }, + { + "epoch": 5.6, + "learning_rate": 0.00012351141418685273, + "loss": 0.0533, + "step": 79000 + }, + { + "epoch": 5.67, + "learning_rate": 0.00012020903350945151, + "loss": 0.053, + "step": 80000 + }, + { + "epoch": 5.67, + "eval_cer": 0.10621186312770867, + "eval_loss": 0.0656103640794754, + "eval_runtime": 78.8232, + "eval_samples_per_second": 63.433, + "eval_steps_per_second": 0.127, + "eval_wer": 0.298, + "step": 80000 + }, + { + "epoch": 5.74, + "learning_rate": 0.00011692161925375738, + "loss": 0.0527, + "step": 81000 + }, + { + "epoch": 5.81, + "learning_rate": 0.00011365082295491233, + "loss": 0.0523, + "step": 82000 + }, + { + "epoch": 5.88, + "learning_rate": 0.00011039828779950928, + "loss": 0.0522, + "step": 83000 + }, + { + "epoch": 5.95, + "learning_rate": 0.0001071656478000858, + "loss": 0.052, + "step": 84000 + }, + { + "epoch": 6.02, + "learning_rate": 0.00010395452697422703, + "loss": 0.0515, + "step": 85000 + }, + { + "epoch": 6.02, + "eval_cer": 0.1045085060048729, + "eval_loss": 0.06420928984880447, + "eval_runtime": 78.7185, + "eval_samples_per_second": 63.517, + "eval_steps_per_second": 0.127, + "eval_wer": 0.2958, + "step": 85000 + }, + { + "epoch": 6.09, + "learning_rate": 0.00010076653852868962, + "loss": 0.05, + "step": 86000 + }, + { + "epoch": 6.16, + "learning_rate": 9.760328404895728e-05, + "loss": 0.0498, + "step": 87000 + }, + { + "epoch": 6.23, + "learning_rate": 9.446635269463389e-05, + "loss": 0.0493, + "step": 88000 + }, + { + "epoch": 6.3, + "learning_rate": 9.135732040107998e-05, + "loss": 0.0495, + "step": 89000 + }, + { + "epoch": 6.38, + "learning_rate": 8.82777490876921e-05, + "loss": 0.0494, + "step": 90000 + }, + { + "epoch": 6.38, + "eval_cer": 0.10474568231311585, + "eval_loss": 0.06237434595823288, + "eval_runtime": 79.1368, + "eval_samples_per_second": 63.182, + "eval_steps_per_second": 0.126, + "eval_wer": 0.2926, + "step": 90000 + }, + { + "epoch": 6.45, + "learning_rate": 8.522918587322418e-05, + "loss": 0.0492, + "step": 91000 + }, + { + "epoch": 6.52, + "learning_rate": 8.22131622985438e-05, + "loss": 0.0492, + "step": 92000 + }, + { + "epoch": 6.59, + "learning_rate": 7.923119355721526e-05, + "loss": 0.049, + "step": 93000 + }, + { + "epoch": 6.66, + "learning_rate": 7.628477773429438e-05, + "loss": 0.0486, + "step": 94000 + }, + { + "epoch": 6.73, + "learning_rate": 7.3375395053719e-05, + "loss": 0.0486, + "step": 95000 + }, + { + "epoch": 6.73, + "eval_cer": 0.10392634597554928, + "eval_loss": 0.06150297820568085, + "eval_runtime": 78.9076, + "eval_samples_per_second": 63.365, + "eval_steps_per_second": 0.127, + "eval_wer": 0.2894, + "step": 95000 + }, + { + "epoch": 6.8, + "learning_rate": 7.050450713467216e-05, + "loss": 0.0482, + "step": 96000 + }, + { + "epoch": 6.87, + "learning_rate": 6.767355625729215e-05, + "loss": 0.0479, + "step": 97000 + }, + { + "epoch": 6.94, + "learning_rate": 6.488396463809805e-05, + "loss": 0.0477, + "step": 98000 + }, + { + "epoch": 7.01, + "learning_rate": 6.213713371549497e-05, + "loss": 0.0473, + "step": 99000 + }, + { + "epoch": 7.08, + "learning_rate": 5.943444344571755e-05, + "loss": 0.0462, + "step": 100000 + }, + { + "epoch": 7.08, + "eval_cer": 0.10289139481230729, + "eval_loss": 0.06110595166683197, + "eval_runtime": 78.8023, + "eval_samples_per_second": 63.45, + "eval_steps_per_second": 0.127, + "eval_wer": 0.289, + "step": 100000 + }, + { + "epoch": 7.15, + "learning_rate": 5.6777251609566e-05, + "loss": 0.0463, + "step": 101000 + }, + { + "epoch": 7.23, + "learning_rate": 5.416689313028253e-05, + "loss": 0.046, + "step": 102000 + }, + { + "epoch": 7.3, + "learning_rate": 5.1604679402911015e-05, + "loss": 0.046, + "step": 103000 + }, + { + "epoch": 7.37, + "learning_rate": 4.9091897635476726e-05, + "loss": 0.0459, + "step": 104000 + }, + { + "epoch": 7.44, + "learning_rate": 4.6629810202317166e-05, + "loss": 0.0459, + "step": 105000 + }, + { + "epoch": 7.44, + "eval_cer": 0.10291295629487483, + "eval_loss": 0.05981627106666565, + "eval_runtime": 78.8059, + "eval_samples_per_second": 63.447, + "eval_steps_per_second": 0.127, + "eval_wer": 0.289, + "step": 105000 + }, + { + "epoch": 7.51, + "learning_rate": 4.421965400988918e-05, + "loss": 0.0457, + "step": 106000 + }, + { + "epoch": 7.58, + "learning_rate": 4.1862639875370016e-05, + "loss": 0.0458, + "step": 107000 + }, + { + "epoch": 7.65, + "learning_rate": 3.955995191836581e-05, + "loss": 0.0456, + "step": 108000 + }, + { + "epoch": 7.72, + "learning_rate": 3.731274696603201e-05, + "loss": 0.0454, + "step": 109000 + }, + { + "epoch": 7.79, + "learning_rate": 3.512215397190527e-05, + "loss": 0.0451, + "step": 110000 + }, + { + "epoch": 7.79, + "eval_cer": 0.10304232519028009, + "eval_loss": 0.05932984501123428, + "eval_runtime": 79.019, + "eval_samples_per_second": 63.276, + "eval_steps_per_second": 0.127, + "eval_wer": 0.2862, + "step": 110000 + }, + { + "epoch": 7.86, + "learning_rate": 3.298927344873821e-05, + "loss": 0.045, + "step": 111000 + }, + { + "epoch": 7.93, + "learning_rate": 3.091517691562284e-05, + "loss": 0.0448, + "step": 112000 + }, + { + "epoch": 8.01, + "learning_rate": 2.890090635967912e-05, + "loss": 0.0454, + "step": 113000 + }, + { + "epoch": 8.08, + "learning_rate": 2.694747371258042e-05, + "loss": 0.0441, + "step": 114000 + }, + { + "epoch": 8.15, + "learning_rate": 2.505586034217802e-05, + "loss": 0.0436, + "step": 115000 + }, + { + "epoch": 8.15, + "eval_cer": 0.10248172664352401, + "eval_loss": 0.0589553639292717, + "eval_runtime": 79.3196, + "eval_samples_per_second": 63.036, + "eval_steps_per_second": 0.126, + "eval_wer": 0.2848, + "step": 115000 + }, + { + "epoch": 8.22, + "learning_rate": 2.3227016559480356e-05, + "loss": 0.0438, + "step": 116000 + }, + { + "epoch": 8.29, + "learning_rate": 2.1461861141234628e-05, + "loss": 0.044, + "step": 117000 + }, + { + "epoch": 8.36, + "learning_rate": 1.9761280868350654e-05, + "loss": 0.0437, + "step": 118000 + }, + { + "epoch": 8.43, + "learning_rate": 1.8126130080398725e-05, + "loss": 0.0438, + "step": 119000 + }, + { + "epoch": 8.5, + "learning_rate": 1.655723024640553e-05, + "loss": 0.0435, + "step": 120000 + }, + { + "epoch": 8.5, + "eval_cer": 0.10250328812609155, + "eval_loss": 0.05871221795678139, + "eval_runtime": 79.0526, + "eval_samples_per_second": 63.249, + "eval_steps_per_second": 0.126, + "eval_wer": 0.2844, + "step": 120000 + }, + { + "epoch": 8.57, + "learning_rate": 1.5055369552163509e-05, + "loss": 0.0435, + "step": 121000 + }, + { + "epoch": 8.64, + "learning_rate": 1.3621302504261194e-05, + "loss": 0.0436, + "step": 122000 + }, + { + "epoch": 8.71, + "learning_rate": 1.2255749551033205e-05, + "loss": 0.0435, + "step": 123000 + }, + { + "epoch": 8.78, + "learning_rate": 1.0959396720620555e-05, + "loss": 0.0435, + "step": 124000 + }, + { + "epoch": 8.86, + "learning_rate": 9.732895276323099e-06, + "loss": 0.0434, + "step": 125000 + }, + { + "epoch": 8.86, + "eval_cer": 0.10222298885271351, + "eval_loss": 0.058125074952840805, + "eval_runtime": 78.8946, + "eval_samples_per_second": 63.376, + "eval_steps_per_second": 0.127, + "eval_wer": 0.2842, + "step": 125000 + }, + { + "epoch": 8.93, + "learning_rate": 8.576861389416939e-06, + "loss": 0.0433, + "step": 126000 + }, + { + "epoch": 9.0, + "learning_rate": 7.4918758296016734e-06, + "loss": 0.0431, + "step": 127000 + }, + { + "epoch": 9.07, + "learning_rate": 6.478483673232537e-06, + "loss": 0.0431, + "step": 128000 + }, + { + "epoch": 9.14, + "learning_rate": 5.537194029484349e-06, + "loss": 0.0427, + "step": 129000 + }, + { + "epoch": 9.21, + "learning_rate": 4.668479784584583e-06, + "loss": 0.0424, + "step": 130000 + }, + { + "epoch": 9.21, + "eval_cer": 0.1017486362362276, + "eval_loss": 0.05813354626297951, + "eval_runtime": 78.9118, + "eval_samples_per_second": 63.362, + "eval_steps_per_second": 0.127, + "eval_wer": 0.283, + "step": 130000 + }, + { + "epoch": 9.28, + "learning_rate": 3.872777364244245e-06, + "loss": 0.0429, + "step": 131000 + }, + { + "epoch": 9.35, + "learning_rate": 3.150486514405798e-06, + "loss": 0.0426, + "step": 132000 + }, + { + "epoch": 9.42, + "learning_rate": 2.50197010041826e-06, + "loss": 0.0425, + "step": 133000 + }, + { + "epoch": 9.49, + "learning_rate": 1.9275539247405437e-06, + "loss": 0.0426, + "step": 134000 + }, + { + "epoch": 9.56, + "learning_rate": 1.4275265632643806e-06, + "loss": 0.0429, + "step": 135000 + }, + { + "epoch": 9.56, + "eval_cer": 0.10192112809676794, + "eval_loss": 0.05792941898107529, + "eval_runtime": 78.9437, + "eval_samples_per_second": 63.336, + "eval_steps_per_second": 0.127, + "eval_wer": 0.2832, + "step": 135000 + }, + { + "epoch": 9.63, + "learning_rate": 1.0021392203391932e-06, + "loss": 0.0423, + "step": 136000 + }, + { + "epoch": 9.71, + "learning_rate": 6.516056025718585e-07, + "loss": 0.0427, + "step": 137000 + }, + { + "epoch": 9.78, + "learning_rate": 3.76101811464391e-07, + "loss": 0.0428, + "step": 138000 + }, + { + "epoch": 9.85, + "learning_rate": 1.7576625494392648e-07, + "loss": 0.0428, + "step": 139000 + }, + { + "epoch": 9.92, + "learning_rate": 5.0699577829210744e-08, + "loss": 0.0428, + "step": 140000 + }, + { + "epoch": 9.92, + "eval_cer": 0.10161926734082236, + "eval_loss": 0.05793117731809616, + "eval_runtime": 79.0415, + "eval_samples_per_second": 63.258, + "eval_steps_per_second": 0.127, + "eval_wer": 0.2822, + "step": 140000 + } + ], + "max_steps": 141160, + "num_train_epochs": 10, + "total_flos": 2.733854879374295e+17, + "trial_name": null, + "trial_params": null +} diff --git a/byT5/Charsiu/g2p_multilingual_byT5_tiny_16_layers/.gitattributes b/byT5/Charsiu/g2p_multilingual_byT5_tiny_16_layers/.gitattributes new file mode 100644 index 0000000000000000000000000000000000000000..ac481c8eb05e4d2496fbe076a38a7b4835dd733d --- /dev/null +++ b/byT5/Charsiu/g2p_multilingual_byT5_tiny_16_layers/.gitattributes @@ -0,0 +1,27 @@ +*.7z filter=lfs diff=lfs merge=lfs -text +*.arrow filter=lfs diff=lfs merge=lfs -text +*.bin filter=lfs diff=lfs merge=lfs -text +*.bz2 filter=lfs diff=lfs merge=lfs -text +*.ftz filter=lfs diff=lfs merge=lfs -text +*.gz filter=lfs diff=lfs merge=lfs -text +*.h5 filter=lfs diff=lfs merge=lfs -text +*.joblib filter=lfs diff=lfs merge=lfs -text +*.lfs.* filter=lfs diff=lfs merge=lfs -text +*.model filter=lfs diff=lfs merge=lfs -text +*.msgpack filter=lfs diff=lfs merge=lfs -text +*.onnx filter=lfs diff=lfs merge=lfs -text +*.ot filter=lfs diff=lfs merge=lfs -text +*.parquet filter=lfs diff=lfs merge=lfs -text +*.pb filter=lfs diff=lfs merge=lfs -text +*.pt filter=lfs diff=lfs merge=lfs -text +*.pth filter=lfs diff=lfs merge=lfs -text +*.rar filter=lfs diff=lfs merge=lfs -text +saved_model/**/* filter=lfs diff=lfs merge=lfs -text +*.tar.* filter=lfs diff=lfs merge=lfs -text +*.tflite filter=lfs diff=lfs merge=lfs -text +*.tgz filter=lfs diff=lfs merge=lfs -text +*.wasm filter=lfs diff=lfs merge=lfs -text +*.xz filter=lfs diff=lfs merge=lfs -text +*.zip filter=lfs diff=lfs merge=lfs -text +*.zstandard filter=lfs diff=lfs merge=lfs -text +*tfevents* filter=lfs diff=lfs merge=lfs -text diff --git a/byT5/Charsiu/g2p_multilingual_byT5_tiny_16_layers/config.json b/byT5/Charsiu/g2p_multilingual_byT5_tiny_16_layers/config.json new file mode 100644 index 0000000000000000000000000000000000000000..96c72eaf19f38edcdbcb2f5b60c84ab363be8250 --- /dev/null +++ b/byT5/Charsiu/g2p_multilingual_byT5_tiny_16_layers/config.json @@ -0,0 +1,29 @@ +{ + "_name_or_path": "/home/patrick/t5/byt5-small", + "architectures": [ + "T5ForConditionalGeneration" + ], + "d_ff": 1024, + "d_kv": 64, + "d_model": 256, + "decoder_start_token_id": 0, + "dropout_rate": 0.1, + "eos_token_id": 1, + "feed_forward_proj": "gated-gelu", + "gradient_checkpointing": false, + "initializer_factor": 1.0, + "is_encoder_decoder": true, + "layer_norm_epsilon": 1e-06, + "model_type": "t5", + "num_decoder_layers": 4, + "num_heads": 6, + "num_layers": 12, + "pad_token_id": 0, + "relative_attention_num_buckets": 32, + "tie_word_embeddings": false, + "tokenizer_class": "ByT5Tokenizer", + "torch_dtype": "float32", + "transformers_version": "4.16.2", + "use_cache": true, + "vocab_size": 384 +} diff --git a/byT5/Charsiu/g2p_multilingual_byT5_tiny_16_layers/pytorch_model.bin b/byT5/Charsiu/g2p_multilingual_byT5_tiny_16_layers/pytorch_model.bin new file mode 100644 index 0000000000000000000000000000000000000000..020e8e79ac8271f32f767f39875b6507ceaa5b16 --- /dev/null +++ b/byT5/Charsiu/g2p_multilingual_byT5_tiny_16_layers/pytorch_model.bin @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:2a3699cd4ccf4ca53e3690cb001828bbd7cf1c583f474edf7e8e77995f1065fa +size 82692269 diff --git a/byT5/Charsiu/g2p_multilingual_byT5_tiny_16_layers/source.txt b/byT5/Charsiu/g2p_multilingual_byT5_tiny_16_layers/source.txt new file mode 100644 index 0000000000000000000000000000000000000000..8454b7ebb48494132627b243ce786c7f3d740d5e --- /dev/null +++ b/byT5/Charsiu/g2p_multilingual_byT5_tiny_16_layers/source.txt @@ -0,0 +1 @@ +https://huggingface.co/charsiu/g2p_multilingual_byT5_tiny_16_layers \ No newline at end of file diff --git a/byT5/Charsiu/g2p_multilingual_byT5_tiny_16_layers/trainer_state.json b/byT5/Charsiu/g2p_multilingual_byT5_tiny_16_layers/trainer_state.json new file mode 100644 index 0000000000000000000000000000000000000000..d89cdf1343de6755c399adb9127631207f1ca8f8 --- /dev/null +++ b/byT5/Charsiu/g2p_multilingual_byT5_tiny_16_layers/trainer_state.json @@ -0,0 +1,1096 @@ +{ + "best_metric": null, + "best_model_checkpoint": null, + "epoch": 9.646302250803858, + "global_step": 135000, + "is_hyper_param_search": false, + "is_local_process_zero": true, + "is_world_process_zero": true, + "log_history": [ + { + "epoch": 0.07, + "learning_rate": 0.0003, + "loss": 2.0973, + "step": 1000 + }, + { + "epoch": 0.14, + "learning_rate": 0.0002999616623572683, + "loss": 0.5502, + "step": 2000 + }, + { + "epoch": 0.21, + "learning_rate": 0.00029984666902607135, + "loss": 0.2896, + "step": 3000 + }, + { + "epoch": 0.29, + "learning_rate": 0.0002996550787873857, + "loss": 0.2299, + "step": 4000 + }, + { + "epoch": 0.36, + "learning_rate": 0.0002993869895761197, + "loss": 0.2005, + "step": 5000 + }, + { + "epoch": 0.36, + "eval_cer": 0.2034279967643908, + "eval_loss": 0.2542494535446167, + "eval_runtime": 84.4226, + "eval_samples_per_second": 58.634, + "eval_steps_per_second": 0.118, + "eval_wer": 0.5028282828282828, + "step": 5000 + }, + { + "epoch": 0.43, + "learning_rate": 0.000299042538431052, + "loss": 0.1818, + "step": 6000 + }, + { + "epoch": 0.5, + "learning_rate": 0.00029862190142478177, + "loss": 0.168, + "step": 7000 + }, + { + "epoch": 0.57, + "learning_rate": 0.00029812529357372587, + "loss": 0.1575, + "step": 8000 + }, + { + "epoch": 0.64, + "learning_rate": 0.00029755296872820933, + "loss": 0.1488, + "step": 9000 + }, + { + "epoch": 0.71, + "learning_rate": 0.0002969052194427048, + "loss": 0.1409, + "step": 10000 + }, + { + "epoch": 0.71, + "eval_cer": 0.15823877921339718, + "eval_loss": 0.17229020595550537, + "eval_runtime": 83.5893, + "eval_samples_per_second": 59.218, + "eval_steps_per_second": 0.12, + "eval_wer": 0.41454545454545455, + "step": 10000 + }, + { + "epoch": 0.79, + "learning_rate": 0.0002961823768262882, + "loss": 0.1342, + "step": 11000 + }, + { + "epoch": 0.86, + "learning_rate": 0.0002953848103733858, + "loss": 0.128, + "step": 12000 + }, + { + "epoch": 0.93, + "learning_rate": 0.00029451292777490066, + "loss": 0.1221, + "step": 13000 + }, + { + "epoch": 1.0, + "learning_rate": 0.0002935671747098137, + "loss": 0.1175, + "step": 14000 + }, + { + "epoch": 1.07, + "learning_rate": 0.00029254803461736643, + "loss": 0.1114, + "step": 15000 + }, + { + "epoch": 1.07, + "eval_cer": 0.1419514221376883, + "eval_loss": 0.13527829945087433, + "eval_runtime": 83.6072, + "eval_samples_per_second": 59.205, + "eval_steps_per_second": 0.12, + "eval_wer": 0.37757575757575756, + "step": 15000 + }, + { + "epoch": 1.14, + "learning_rate": 0.00029145602844994243, + "loss": 0.1085, + "step": 16000 + }, + { + "epoch": 1.21, + "learning_rate": 0.0002902917144067724, + "loss": 0.1043, + "step": 17000 + }, + { + "epoch": 1.29, + "learning_rate": 0.00028905568764860047, + "loss": 0.1012, + "step": 18000 + }, + { + "epoch": 1.36, + "learning_rate": 0.00028774857999345685, + "loss": 0.099, + "step": 19000 + }, + { + "epoch": 1.43, + "learning_rate": 0.0002863710595936922, + "loss": 0.096, + "step": 20000 + }, + { + "epoch": 1.43, + "eval_cer": 0.13088913666076388, + "eval_loss": 0.11353930085897446, + "eval_runtime": 83.6733, + "eval_samples_per_second": 59.159, + "eval_steps_per_second": 0.12, + "eval_wer": 0.35434343434343435, + "step": 20000 + }, + { + "epoch": 1.5, + "learning_rate": 0.0002849238305944389, + "loss": 0.0934, + "step": 21000 + }, + { + "epoch": 1.57, + "learning_rate": 0.00028340763277367477, + "loss": 0.0916, + "step": 22000 + }, + { + "epoch": 1.64, + "learning_rate": 0.0002818232411640713, + "loss": 0.0891, + "step": 23000 + }, + { + "epoch": 1.71, + "learning_rate": 0.00028017146565682144, + "loss": 0.0882, + "step": 24000 + }, + { + "epoch": 1.79, + "learning_rate": 0.00027845315058764886, + "loss": 0.0852, + "step": 25000 + }, + { + "epoch": 1.79, + "eval_cer": 0.12312804704750661, + "eval_loss": 0.10132956504821777, + "eval_runtime": 83.2401, + "eval_samples_per_second": 59.467, + "eval_steps_per_second": 0.12, + "eval_wer": 0.3373737373737374, + "step": 25000 + }, + { + "epoch": 1.86, + "learning_rate": 0.00027666917430520975, + "loss": 0.0836, + "step": 26000 + }, + { + "epoch": 1.93, + "learning_rate": 0.00027482044872210895, + "loss": 0.0819, + "step": 27000 + }, + { + "epoch": 2.0, + "learning_rate": 0.0002729079188487587, + "loss": 0.0806, + "step": 28000 + }, + { + "epoch": 2.07, + "learning_rate": 0.00027093256231031885, + "loss": 0.0773, + "step": 29000 + }, + { + "epoch": 2.14, + "learning_rate": 0.00026889538884696597, + "loss": 0.0769, + "step": 30000 + }, + { + "epoch": 2.14, + "eval_cer": 0.1182309088126626, + "eval_loss": 0.09128542244434357, + "eval_runtime": 83.8171, + "eval_samples_per_second": 59.057, + "eval_steps_per_second": 0.119, + "eval_wer": 0.3333333333333333, + "step": 30000 + }, + { + "epoch": 2.22, + "learning_rate": 0.0002667974397977457, + "loss": 0.0757, + "step": 31000 + }, + { + "epoch": 2.29, + "learning_rate": 0.0002646397875682729, + "loss": 0.0745, + "step": 32000 + }, + { + "epoch": 2.36, + "learning_rate": 0.00026242353508255185, + "loss": 0.0737, + "step": 33000 + }, + { + "epoch": 2.43, + "learning_rate": 0.0002601498152191957, + "loss": 0.073, + "step": 34000 + }, + { + "epoch": 2.5, + "learning_rate": 0.0002578197902323352, + "loss": 0.072, + "step": 35000 + }, + { + "epoch": 2.5, + "eval_cer": 0.11523578408867319, + "eval_loss": 0.0870400071144104, + "eval_runtime": 83.456, + "eval_samples_per_second": 59.313, + "eval_steps_per_second": 0.12, + "eval_wer": 0.32666666666666666, + "step": 35000 + }, + { + "epoch": 2.57, + "learning_rate": 0.00025543465115751026, + "loss": 0.0707, + "step": 36000 + }, + { + "epoch": 2.64, + "learning_rate": 0.0002529956172028505, + "loss": 0.07, + "step": 37000 + }, + { + "epoch": 2.72, + "learning_rate": 0.0002505039351258541, + "loss": 0.0692, + "step": 38000 + }, + { + "epoch": 2.79, + "learning_rate": 0.0002479608785960846, + "loss": 0.0682, + "step": 39000 + }, + { + "epoch": 2.86, + "learning_rate": 0.0002453677475441111, + "loss": 0.0672, + "step": 40000 + }, + { + "epoch": 2.86, + "eval_cer": 0.11036050807809186, + "eval_loss": 0.08000758290290833, + "eval_runtime": 84.1634, + "eval_samples_per_second": 58.814, + "eval_steps_per_second": 0.119, + "eval_wer": 0.31292929292929295, + "step": 40000 + }, + { + "epoch": 2.93, + "learning_rate": 0.00024272586749702474, + "loss": 0.0666, + "step": 41000 + }, + { + "epoch": 3.0, + "learning_rate": 0.0002400365889008706, + "loss": 0.0662, + "step": 42000 + }, + { + "epoch": 3.07, + "learning_rate": 0.00023730128643034235, + "loss": 0.0631, + "step": 43000 + }, + { + "epoch": 3.14, + "learning_rate": 0.00023452135828609167, + "loss": 0.0635, + "step": 44000 + }, + { + "epoch": 3.22, + "learning_rate": 0.0002316982254800121, + "loss": 0.0625, + "step": 45000 + }, + { + "epoch": 3.22, + "eval_cer": 0.10987953914431255, + "eval_loss": 0.0780956819653511, + "eval_runtime": 83.8176, + "eval_samples_per_second": 59.057, + "eval_steps_per_second": 0.119, + "eval_wer": 0.30646464646464644, + "step": 45000 + }, + { + "epoch": 3.29, + "learning_rate": 0.00022883333110886237, + "loss": 0.0622, + "step": 46000 + }, + { + "epoch": 3.36, + "learning_rate": 0.00022592813961660067, + "loss": 0.0615, + "step": 47000 + }, + { + "epoch": 3.43, + "learning_rate": 0.00022298413604580696, + "loss": 0.0608, + "step": 48000 + }, + { + "epoch": 3.5, + "learning_rate": 0.00022000282527857588, + "loss": 0.0604, + "step": 49000 + }, + { + "epoch": 3.57, + "learning_rate": 0.0002169857312672683, + "loss": 0.0597, + "step": 50000 + }, + { + "epoch": 3.57, + "eval_cer": 0.108261734548873, + "eval_loss": 0.07320722192525864, + "eval_runtime": 84.043, + "eval_samples_per_second": 58.898, + "eval_steps_per_second": 0.119, + "eval_wer": 0.30484848484848487, + "step": 50000 + }, + { + "epoch": 3.64, + "learning_rate": 0.00021393439625551483, + "loss": 0.0598, + "step": 51000 + }, + { + "epoch": 3.72, + "learning_rate": 0.00021085037998986924, + "loss": 0.0588, + "step": 52000 + }, + { + "epoch": 3.79, + "learning_rate": 0.00020773525892251514, + "loss": 0.0587, + "step": 53000 + }, + { + "epoch": 3.86, + "learning_rate": 0.00020459062540543316, + "loss": 0.0582, + "step": 54000 + }, + { + "epoch": 3.93, + "learning_rate": 0.00020141808687644067, + "loss": 0.0572, + "step": 55000 + }, + { + "epoch": 3.93, + "eval_cer": 0.10843663234297457, + "eval_loss": 0.0711025819182396, + "eval_runtime": 83.6072, + "eval_samples_per_second": 59.205, + "eval_steps_per_second": 0.12, + "eval_wer": 0.30262626262626263, + "step": 55000 + }, + { + "epoch": 4.0, + "learning_rate": 0.00019821926503751995, + "loss": 0.0568, + "step": 56000 + }, + { + "epoch": 4.07, + "learning_rate": 0.00019499579502585537, + "loss": 0.0549, + "step": 57000 + }, + { + "epoch": 4.14, + "learning_rate": 0.00019174932457800242, + "loss": 0.0544, + "step": 58000 + }, + { + "epoch": 4.22, + "learning_rate": 0.0001884815131876167, + "loss": 0.0542, + "step": 59000 + }, + { + "epoch": 4.29, + "learning_rate": 0.00018519403125717278, + "loss": 0.0537, + "step": 60000 + }, + { + "epoch": 4.29, + "eval_cer": 0.10559454318882402, + "eval_loss": 0.06793416291475296, + "eval_runtime": 83.7622, + "eval_samples_per_second": 59.096, + "eval_steps_per_second": 0.119, + "eval_wer": 0.29474747474747476, + "step": 60000 + }, + { + "epoch": 4.36, + "learning_rate": 0.00018188855924410722, + "loss": 0.0539, + "step": 61000 + }, + { + "epoch": 4.43, + "learning_rate": 0.00017856678680182127, + "loss": 0.0534, + "step": 62000 + }, + { + "epoch": 4.5, + "learning_rate": 0.0001752304119159834, + "loss": 0.053, + "step": 63000 + }, + { + "epoch": 4.57, + "learning_rate": 0.00017188114003657205, + "loss": 0.0528, + "step": 64000 + }, + { + "epoch": 4.64, + "learning_rate": 0.00016852068320610358, + "loss": 0.052, + "step": 65000 + }, + { + "epoch": 4.64, + "eval_cer": 0.10421722306027416, + "eval_loss": 0.06535057723522186, + "eval_runtime": 83.4596, + "eval_samples_per_second": 59.31, + "eval_steps_per_second": 0.12, + "eval_wer": 0.2911111111111111, + "step": 65000 + }, + { + "epoch": 4.72, + "learning_rate": 0.00016515075918448972, + "loss": 0.0519, + "step": 66000 + }, + { + "epoch": 4.79, + "learning_rate": 0.00016177309057097285, + "loss": 0.0511, + "step": 67000 + }, + { + "epoch": 4.86, + "learning_rate": 0.00015838940392358722, + "loss": 0.0512, + "step": 68000 + }, + { + "epoch": 4.93, + "learning_rate": 0.00015500142887659688, + "loss": 0.0506, + "step": 69000 + }, + { + "epoch": 5.0, + "learning_rate": 0.00015161089725636095, + "loss": 0.0506, + "step": 70000 + }, + { + "epoch": 5.0, + "eval_cer": 0.10323342296845281, + "eval_loss": 0.06469610333442688, + "eval_runtime": 83.521, + "eval_samples_per_second": 59.267, + "eval_steps_per_second": 0.12, + "eval_wer": 0.2909090909090909, + "step": 70000 + }, + { + "epoch": 5.07, + "learning_rate": 0.00014821954219607845, + "loss": 0.0483, + "step": 71000 + }, + { + "epoch": 5.14, + "learning_rate": 0.0001448290972498651, + "loss": 0.0483, + "step": 72000 + }, + { + "epoch": 5.22, + "learning_rate": 0.00014144129550661485, + "loss": 0.048, + "step": 73000 + }, + { + "epoch": 5.29, + "learning_rate": 0.0001380578687040995, + "loss": 0.0478, + "step": 74000 + }, + { + "epoch": 5.36, + "learning_rate": 0.00013468054634375843, + "loss": 0.0481, + "step": 75000 + }, + { + "epoch": 5.36, + "eval_cer": 0.10148444502743709, + "eval_loss": 0.06252569705247879, + "eval_runtime": 83.6066, + "eval_samples_per_second": 59.206, + "eval_steps_per_second": 0.12, + "eval_wer": 0.2886868686868687, + "step": 75000 + }, + { + "epoch": 5.43, + "learning_rate": 0.00013131105480663235, + "loss": 0.0476, + "step": 76000 + }, + { + "epoch": 5.5, + "learning_rate": 0.000127951116470891, + "loss": 0.0472, + "step": 77000 + }, + { + "epoch": 5.57, + "learning_rate": 0.00012460244883140783, + "loss": 0.0469, + "step": 78000 + }, + { + "epoch": 5.64, + "learning_rate": 0.0001212667636218309, + "loss": 0.0465, + "step": 79000 + }, + { + "epoch": 5.72, + "learning_rate": 0.00011794576593959775, + "loss": 0.0462, + "step": 80000 + }, + { + "epoch": 5.72, + "eval_cer": 0.10179051616711485, + "eval_loss": 0.06165655702352524, + "eval_runtime": 83.7971, + "eval_samples_per_second": 59.071, + "eval_steps_per_second": 0.119, + "eval_wer": 0.28383838383838383, + "step": 80000 + }, + { + "epoch": 5.79, + "learning_rate": 0.00011464115337434394, + "loss": 0.0463, + "step": 81000 + }, + { + "epoch": 5.86, + "learning_rate": 0.00011135461514014796, + "loss": 0.0456, + "step": 82000 + }, + { + "epoch": 5.93, + "learning_rate": 0.00010808783121205837, + "loss": 0.0456, + "step": 83000 + }, + { + "epoch": 6.0, + "learning_rate": 0.00010484247146734352, + "loss": 0.0454, + "step": 84000 + }, + { + "epoch": 6.07, + "learning_rate": 0.00010162019483190237, + "loss": 0.0433, + "step": 85000 + }, + { + "epoch": 6.07, + "eval_cer": 0.10122209833628473, + "eval_loss": 0.05922077223658562, + "eval_runtime": 83.6915, + "eval_samples_per_second": 59.146, + "eval_steps_per_second": 0.119, + "eval_wer": 0.2824242424242424, + "step": 85000 + }, + { + "epoch": 6.15, + "learning_rate": 9.842264843227404e-05, + "loss": 0.0439, + "step": 86000 + }, + { + "epoch": 6.22, + "learning_rate": 9.52514667536784e-05, + "loss": 0.043, + "step": 87000 + }, + { + "epoch": 6.29, + "learning_rate": 9.210827080451842e-05, + "loss": 0.0431, + "step": 88000 + }, + { + "epoch": 6.36, + "learning_rate": 8.899466728777203e-05, + "loss": 0.0434, + "step": 89000 + }, + { + "epoch": 6.43, + "learning_rate": 8.591224777969557e-05, + "loss": 0.0428, + "step": 90000 + }, + { + "epoch": 6.43, + "eval_cer": 0.0995168448437944, + "eval_loss": 0.05855976790189743, + "eval_runtime": 83.8689, + "eval_samples_per_second": 59.021, + "eval_steps_per_second": 0.119, + "eval_wer": 0.2791919191919192, + "step": 90000 + }, + { + "epoch": 6.5, + "learning_rate": 8.286258791626041e-05, + "loss": 0.0428, + "step": 91000 + }, + { + "epoch": 6.57, + "learning_rate": 7.984724658773716e-05, + "loss": 0.0427, + "step": 92000 + }, + { + "epoch": 6.65, + "learning_rate": 7.686776514184009e-05, + "loss": 0.0424, + "step": 93000 + }, + { + "epoch": 6.72, + "learning_rate": 7.392566659583846e-05, + "loss": 0.0422, + "step": 94000 + }, + { + "epoch": 6.79, + "learning_rate": 7.102245485803813e-05, + "loss": 0.0421, + "step": 95000 + }, + { + "epoch": 6.79, + "eval_cer": 0.10063181828119193, + "eval_loss": 0.05791032314300537, + "eval_runtime": 83.4355, + "eval_samples_per_second": 59.327, + "eval_steps_per_second": 0.12, + "eval_wer": 0.2822222222222222, + "step": 95000 + }, + { + "epoch": 6.86, + "learning_rate": 6.81596139590308e-05, + "loss": 0.042, + "step": 96000 + }, + { + "epoch": 6.93, + "learning_rate": 6.533860729310434e-05, + "loss": 0.0416, + "step": 97000 + }, + { + "epoch": 7.0, + "learning_rate": 6.256087687020127e-05, + "loss": 0.0416, + "step": 98000 + }, + { + "epoch": 7.07, + "learning_rate": 5.98278425788092e-05, + "loss": 0.0402, + "step": 99000 + }, + { + "epoch": 7.15, + "learning_rate": 5.71409014601578e-05, + "loss": 0.0399, + "step": 100000 + }, + { + "epoch": 7.15, + "eval_cer": 0.09980105375920946, + "eval_loss": 0.05731820687651634, + "eval_runtime": 83.6985, + "eval_samples_per_second": 59.141, + "eval_steps_per_second": 0.119, + "eval_wer": 0.2775757575757576, + "step": 100000 + }, + { + "epoch": 7.22, + "learning_rate": 5.4501426994095876e-05, + "loss": 0.0397, + "step": 101000 + }, + { + "epoch": 7.29, + "learning_rate": 5.191076839701103e-05, + "loss": 0.0397, + "step": 102000 + }, + { + "epoch": 7.36, + "learning_rate": 4.9370249932153075e-05, + "loss": 0.0398, + "step": 103000 + }, + { + "epoch": 7.43, + "learning_rate": 4.6881170232712164e-05, + "loss": 0.0397, + "step": 104000 + }, + { + "epoch": 7.5, + "learning_rate": 4.444480163799822e-05, + "loss": 0.0396, + "step": 105000 + }, + { + "epoch": 7.5, + "eval_cer": 0.0988828403401762, + "eval_loss": 0.05615651234984398, + "eval_runtime": 84.0673, + "eval_samples_per_second": 58.881, + "eval_steps_per_second": 0.119, + "eval_wer": 0.27656565656565657, + "step": 105000 + }, + { + "epoch": 7.57, + "learning_rate": 4.2062389543061265e-05, + "loss": 0.0395, + "step": 106000 + }, + { + "epoch": 7.65, + "learning_rate": 3.9735151762084384e-05, + "loss": 0.0394, + "step": 107000 + }, + { + "epoch": 7.72, + "learning_rate": 3.746427790587557e-05, + "loss": 0.0389, + "step": 108000 + }, + { + "epoch": 7.79, + "learning_rate": 3.525092877377602e-05, + "loss": 0.0392, + "step": 109000 + }, + { + "epoch": 7.86, + "learning_rate": 3.309623576029597e-05, + "loss": 0.0388, + "step": 110000 + }, + { + "epoch": 7.86, + "eval_cer": 0.09962615596510789, + "eval_loss": 0.05532450973987579, + "eval_runtime": 83.843, + "eval_samples_per_second": 59.039, + "eval_steps_per_second": 0.119, + "eval_wer": 0.281010101010101, + "step": 110000 + }, + { + "epoch": 7.93, + "learning_rate": 3.1001300276781274e-05, + "loss": 0.039, + "step": 111000 + }, + { + "epoch": 8.0, + "learning_rate": 2.8967193188406938e-05, + "loss": 0.0386, + "step": 112000 + }, + { + "epoch": 8.07, + "learning_rate": 2.699495426678389e-05, + "loss": 0.0379, + "step": 113000 + }, + { + "epoch": 8.15, + "learning_rate": 2.5085591658461056e-05, + "loss": 0.0376, + "step": 114000 + }, + { + "epoch": 8.22, + "learning_rate": 2.3240081369591984e-05, + "loss": 0.0375, + "step": 115000 + }, + { + "epoch": 8.22, + "eval_cer": 0.09870794254607464, + "eval_loss": 0.055045340210199356, + "eval_runtime": 83.5002, + "eval_samples_per_second": 59.281, + "eval_steps_per_second": 0.12, + "eval_wer": 0.27636363636363637, + "step": 115000 + }, + { + "epoch": 8.29, + "learning_rate": 2.1459366767031522e-05, + "loss": 0.0377, + "step": 116000 + }, + { + "epoch": 8.36, + "learning_rate": 1.9744358096116225e-05, + "loss": 0.0375, + "step": 117000 + }, + { + "epoch": 8.43, + "learning_rate": 1.8095932015375496e-05, + "loss": 0.0374, + "step": 118000 + }, + { + "epoch": 8.5, + "learning_rate": 1.65149311484114e-05, + "loss": 0.0373, + "step": 119000 + }, + { + "epoch": 8.57, + "learning_rate": 1.500216365317587e-05, + "loss": 0.0372, + "step": 120000 + }, + { + "epoch": 8.57, + "eval_cer": 0.09803021359393105, + "eval_loss": 0.05470244958996773, + "eval_runtime": 83.9735, + "eval_samples_per_second": 58.947, + "eval_steps_per_second": 0.119, + "eval_wer": 0.27454545454545454, + "step": 120000 + }, + { + "epoch": 8.65, + "learning_rate": 1.355840280886582e-05, + "loss": 0.0374, + "step": 121000 + }, + { + "epoch": 8.72, + "learning_rate": 1.2184386620647097e-05, + "loss": 0.0375, + "step": 122000 + }, + { + "epoch": 8.79, + "learning_rate": 1.0880817442409478e-05, + "loss": 0.0374, + "step": 123000 + }, + { + "epoch": 8.86, + "learning_rate": 9.648361617745371e-06, + "loss": 0.0372, + "step": 124000 + }, + { + "epoch": 8.93, + "learning_rate": 8.487649139335962e-06, + "loss": 0.0373, + "step": 125000 + }, + { + "epoch": 8.93, + "eval_cer": 0.09853304475197307, + "eval_loss": 0.054629139602184296, + "eval_runtime": 83.9435, + "eval_samples_per_second": 58.968, + "eval_steps_per_second": 0.119, + "eval_wer": 0.27575757575757576, + "step": 125000 + }, + { + "epoch": 9.0, + "learning_rate": 7.399273326918692e-06, + "loss": 0.0372, + "step": 126000 + }, + { + "epoch": 9.07, + "learning_rate": 6.383790524001009e-06, + "loss": 0.0367, + "step": 127000 + }, + { + "epoch": 9.15, + "learning_rate": 5.441719813474849e-06, + "loss": 0.0367, + "step": 128000 + }, + { + "epoch": 9.22, + "learning_rate": 4.57354275227797e-06, + "loss": 0.0366, + "step": 129000 + }, + { + "epoch": 9.29, + "learning_rate": 3.7797031252369767e-06, + "loss": 0.0363, + "step": 130000 + }, + { + "epoch": 9.29, + "eval_cer": 0.09787717802409217, + "eval_loss": 0.05455449968576431, + "eval_runtime": 83.6734, + "eval_samples_per_second": 59.159, + "eval_steps_per_second": 0.12, + "eval_wer": 0.2739393939393939, + "step": 130000 + }, + { + "epoch": 9.36, + "learning_rate": 3.0606067182186776e-06, + "loss": 0.0362, + "step": 131000 + }, + { + "epoch": 9.43, + "learning_rate": 2.4166211107049584e-06, + "loss": 0.0365, + "step": 132000 + }, + { + "epoch": 9.5, + "learning_rate": 1.8480754878977489e-06, + "loss": 0.0365, + "step": 133000 + }, + { + "epoch": 9.57, + "learning_rate": 1.3552604724498928e-06, + "loss": 0.0366, + "step": 134000 + }, + { + "epoch": 9.65, + "learning_rate": 9.384279759080127e-07, + "loss": 0.0366, + "step": 135000 + }, + { + "epoch": 9.65, + "eval_cer": 0.09768041800572791, + "eval_loss": 0.05442119389772415, + "eval_runtime": 83.7582, + "eval_samples_per_second": 59.099, + "eval_steps_per_second": 0.119, + "eval_wer": 0.2719191919191919, + "step": 135000 + } + ], + "max_steps": 139950, + "num_train_epochs": 10, + "total_flos": 3.424533742064886e+17, + "trial_name": null, + "trial_params": null +} diff --git a/byT5/Charsiu/g2p_multilingual_byT5_tiny_16_layers_100/.gitattributes b/byT5/Charsiu/g2p_multilingual_byT5_tiny_16_layers_100/.gitattributes new file mode 100644 index 0000000000000000000000000000000000000000..78be8432e1148d0227370439dad9d9a818f08df4 --- /dev/null +++ b/byT5/Charsiu/g2p_multilingual_byT5_tiny_16_layers_100/.gitattributes @@ -0,0 +1,31 @@ +*.7z filter=lfs diff=lfs merge=lfs -text +*.arrow filter=lfs diff=lfs merge=lfs -text +*.bin filter=lfs diff=lfs merge=lfs -text +*.bz2 filter=lfs diff=lfs merge=lfs -text +*.ftz filter=lfs diff=lfs merge=lfs -text +*.gz filter=lfs diff=lfs merge=lfs -text +*.h5 filter=lfs diff=lfs merge=lfs -text +*.joblib filter=lfs diff=lfs merge=lfs -text +*.lfs.* filter=lfs diff=lfs merge=lfs -text +*.model filter=lfs diff=lfs merge=lfs -text +*.msgpack filter=lfs diff=lfs merge=lfs -text +*.npy filter=lfs diff=lfs merge=lfs -text +*.npz filter=lfs diff=lfs merge=lfs -text +*.onnx filter=lfs diff=lfs merge=lfs -text +*.ot filter=lfs diff=lfs merge=lfs -text +*.parquet filter=lfs diff=lfs merge=lfs -text +*.pb filter=lfs diff=lfs merge=lfs -text +*.pickle filter=lfs diff=lfs merge=lfs -text +*.pkl filter=lfs diff=lfs merge=lfs -text +*.pt filter=lfs diff=lfs merge=lfs -text +*.pth filter=lfs diff=lfs merge=lfs -text +*.rar filter=lfs diff=lfs merge=lfs -text +saved_model/**/* filter=lfs diff=lfs merge=lfs -text +*.tar.* filter=lfs diff=lfs merge=lfs -text +*.tflite filter=lfs diff=lfs merge=lfs -text +*.tgz filter=lfs diff=lfs merge=lfs -text +*.wasm filter=lfs diff=lfs merge=lfs -text +*.xz filter=lfs diff=lfs merge=lfs -text +*.zip filter=lfs diff=lfs merge=lfs -text +*.zst filter=lfs diff=lfs merge=lfs -text +*tfevents* filter=lfs diff=lfs merge=lfs -text diff --git a/byT5/Charsiu/g2p_multilingual_byT5_tiny_16_layers_100/charsiu_g2p_multilingual_byT5_tiny_16_layers_100.onnx b/byT5/Charsiu/g2p_multilingual_byT5_tiny_16_layers_100/charsiu_g2p_multilingual_byT5_tiny_16_layers_100.onnx new file mode 100644 index 0000000000000000000000000000000000000000..dcc8cfba50482047d1476a0d39c3c5ade08dccb5 --- /dev/null +++ b/byT5/Charsiu/g2p_multilingual_byT5_tiny_16_layers_100/charsiu_g2p_multilingual_byT5_tiny_16_layers_100.onnx @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:e2d602a71a0acff018a675538b5ac78619fccdd30dcc17c9d0d411f25f46c53c +size 82979227 diff --git a/byT5/Charsiu/g2p_multilingual_byT5_tiny_16_layers_100/config.json b/byT5/Charsiu/g2p_multilingual_byT5_tiny_16_layers_100/config.json new file mode 100644 index 0000000000000000000000000000000000000000..109f642b78b4193e740398c32664235827ae03b1 --- /dev/null +++ b/byT5/Charsiu/g2p_multilingual_byT5_tiny_16_layers_100/config.json @@ -0,0 +1,32 @@ +{ + "_name_or_path": "/home/patrick/t5/byt5-small", + "architectures": [ + "T5ForConditionalGeneration" + ], + "d_ff": 1024, + "d_kv": 64, + "d_model": 256, + "decoder_start_token_id": 0, + "dense_act_fn": "gelu_new", + "dropout_rate": 0.1, + "eos_token_id": 1, + "feed_forward_proj": "gated-gelu", + "gradient_checkpointing": false, + "initializer_factor": 1.0, + "is_encoder_decoder": true, + "is_gated_act": true, + "layer_norm_epsilon": 1e-06, + "model_type": "t5", + "num_decoder_layers": 4, + "num_heads": 6, + "num_layers": 12, + "pad_token_id": 0, + "relative_attention_max_distance": 128, + "relative_attention_num_buckets": 32, + "tie_word_embeddings": false, + "tokenizer_class": "ByT5Tokenizer", + "torch_dtype": "float32", + "transformers_version": "4.21.1", + "use_cache": true, + "vocab_size": 384 +} diff --git a/byT5/Charsiu/g2p_multilingual_byT5_tiny_16_layers_100/pytorch_model.bin b/byT5/Charsiu/g2p_multilingual_byT5_tiny_16_layers_100/pytorch_model.bin new file mode 100644 index 0000000000000000000000000000000000000000..963167d7230f894a46026f85a2b6e2f136ba7427 --- /dev/null +++ b/byT5/Charsiu/g2p_multilingual_byT5_tiny_16_layers_100/pytorch_model.bin @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:1fdf8971dd0386d1d4a0da95d538a7cce1477cf2754587f818e5ba039a7cf130 +size 82672813 diff --git a/byT5/Charsiu/g2p_multilingual_byT5_tiny_16_layers_100/source.txt b/byT5/Charsiu/g2p_multilingual_byT5_tiny_16_layers_100/source.txt new file mode 100644 index 0000000000000000000000000000000000000000..a340f1f60a2b152ec4150b2298f368195359f2f5 --- /dev/null +++ b/byT5/Charsiu/g2p_multilingual_byT5_tiny_16_layers_100/source.txt @@ -0,0 +1,2 @@ +https://huggingface.co/charsiu/g2p_multilingual_byT5_tiny_16_layers_100 +https://huggingface.co/Jarbas/charsiu_g2p_multilingual_byT5_tiny_16_layers_100_onnx \ No newline at end of file diff --git a/byT5/Charsiu/g2p_multilingual_byT5_tiny_16_layers_100/trainer_state.json b/byT5/Charsiu/g2p_multilingual_byT5_tiny_16_layers_100/trainer_state.json new file mode 100644 index 0000000000000000000000000000000000000000..0b2d2a39db58254af457c5d276e1bacc86cd835d --- /dev/null +++ b/byT5/Charsiu/g2p_multilingual_byT5_tiny_16_layers_100/trainer_state.json @@ -0,0 +1,1136 @@ +{ + "best_metric": 0.05459373816847801, + "best_model_checkpoint": "/scratch/lingjzhu_root/lingjzhu1/lingjzhu/g2p/byt5_16_layers_baseline/checkpoint-140000", + "epoch": 9.917791237204689, + "global_step": 140000, + "is_hyper_param_search": false, + "is_local_process_zero": true, + "is_world_process_zero": true, + "log_history": [ + { + "epoch": 0.07, + "learning_rate": 0.0003, + "loss": 7.0422, + "step": 1000 + }, + { + "epoch": 0.14, + "learning_rate": 0.0002999623214094654, + "loss": 1.3957, + "step": 2000 + }, + { + "epoch": 0.21, + "learning_rate": 0.0002998493045668776, + "loss": 0.4792, + "step": 3000 + }, + { + "epoch": 0.28, + "learning_rate": 0.00029966100624977436, + "loss": 0.304, + "step": 4000 + }, + { + "epoch": 0.35, + "learning_rate": 0.00029939752105569156, + "loss": 0.2449, + "step": 5000 + }, + { + "epoch": 0.35, + "eval_cer": 0.21979775329351647, + "eval_loss": 0.2839755415916443, + "eval_runtime": 80.4341, + "eval_samples_per_second": 62.163, + "eval_steps_per_second": 0.124, + "eval_wer": 0.5296, + "step": 5000 + }, + { + "epoch": 0.43, + "learning_rate": 0.00029905898135463893, + "loss": 0.2141, + "step": 6000 + }, + { + "epoch": 0.5, + "learning_rate": 0.0002986455572226002, + "loss": 0.1944, + "step": 7000 + }, + { + "epoch": 0.57, + "learning_rate": 0.00029815745635609, + "loss": 0.1791, + "step": 8000 + }, + { + "epoch": 0.64, + "learning_rate": 0.00029759492396781067, + "loss": 0.1669, + "step": 9000 + }, + { + "epoch": 0.71, + "learning_rate": 0.00029695824266346256, + "loss": 0.1574, + "step": 10000 + }, + { + "epoch": 0.71, + "eval_cer": 0.16565687056642014, + "eval_loss": 0.1845117211341858, + "eval_runtime": 79.5791, + "eval_samples_per_second": 62.831, + "eval_steps_per_second": 0.126, + "eval_wer": 0.4346, + "step": 10000 + }, + { + "epoch": 0.78, + "learning_rate": 0.000296247732299768, + "loss": 0.1486, + "step": 11000 + }, + { + "epoch": 0.85, + "learning_rate": 0.000295463749823781, + "loss": 0.1411, + "step": 12000 + }, + { + "epoch": 0.92, + "learning_rate": 0.0002946066890935644, + "loss": 0.1339, + "step": 13000 + }, + { + "epoch": 0.99, + "learning_rate": 0.0002936769806803222, + "loss": 0.1287, + "step": 14000 + }, + { + "epoch": 1.06, + "learning_rate": 0.00029267509165208945, + "loss": 0.1215, + "step": 15000 + }, + { + "epoch": 1.06, + "eval_cer": 0.14532439250522866, + "eval_loss": 0.1390569657087326, + "eval_runtime": 79.7847, + "eval_samples_per_second": 62.669, + "eval_steps_per_second": 0.125, + "eval_wer": 0.3858, + "step": 15000 + }, + { + "epoch": 1.13, + "learning_rate": 0.00029160152533908566, + "loss": 0.1181, + "step": 16000 + }, + { + "epoch": 1.2, + "learning_rate": 0.0002904568210808509, + "loss": 0.1137, + "step": 17000 + }, + { + "epoch": 1.28, + "learning_rate": 0.00028924155395529237, + "loss": 0.11, + "step": 18000 + }, + { + "epoch": 1.35, + "learning_rate": 0.00028795633448977547, + "loss": 0.1067, + "step": 19000 + }, + { + "epoch": 1.42, + "learning_rate": 0.0002866018083544069, + "loss": 0.1042, + "step": 20000 + }, + { + "epoch": 1.42, + "eval_cer": 0.1343495978783501, + "eval_loss": 0.11732806265354156, + "eval_runtime": 79.7707, + "eval_samples_per_second": 62.68, + "eval_steps_per_second": 0.125, + "eval_wer": 0.3624, + "step": 20000 + }, + { + "epoch": 1.49, + "learning_rate": 0.0002851786560376614, + "loss": 0.101, + "step": 21000 + }, + { + "epoch": 1.56, + "learning_rate": 0.00028368759250451786, + "loss": 0.0983, + "step": 22000 + }, + { + "epoch": 1.63, + "learning_rate": 0.00028212936683727404, + "loss": 0.0954, + "step": 23000 + }, + { + "epoch": 1.7, + "learning_rate": 0.0002805047618592216, + "loss": 0.0933, + "step": 24000 + }, + { + "epoch": 1.77, + "learning_rate": 0.0002788145937413704, + "loss": 0.0917, + "step": 25000 + }, + { + "epoch": 1.77, + "eval_cer": 0.1251644063045775, + "eval_loss": 0.10654760897159576, + "eval_runtime": 79.786, + "eval_samples_per_second": 62.668, + "eval_steps_per_second": 0.125, + "eval_wer": 0.3488, + "step": 25000 + }, + { + "epoch": 1.84, + "learning_rate": 0.00027705971159241994, + "loss": 0.0898, + "step": 26000 + }, + { + "epoch": 1.91, + "learning_rate": 0.0002752409970321824, + "loss": 0.0881, + "step": 27000 + }, + { + "epoch": 1.98, + "learning_rate": 0.000273359363748674, + "loss": 0.0865, + "step": 28000 + }, + { + "epoch": 2.05, + "learning_rate": 0.0002714157570390952, + "loss": 0.0834, + "step": 29000 + }, + { + "epoch": 2.13, + "learning_rate": 0.0002694111533349308, + "loss": 0.0821, + "step": 30000 + }, + { + "epoch": 2.13, + "eval_cer": 0.11837253929580198, + "eval_loss": 0.09495185315608978, + "eval_runtime": 79.9216, + "eval_samples_per_second": 62.561, + "eval_steps_per_second": 0.125, + "eval_wer": 0.3354, + "step": 30000 + }, + { + "epoch": 2.2, + "learning_rate": 0.00026734655971140956, + "loss": 0.0806, + "step": 31000 + }, + { + "epoch": 2.27, + "learning_rate": 0.00026522301338156835, + "loss": 0.0791, + "step": 32000 + }, + { + "epoch": 2.34, + "learning_rate": 0.00026304158117517563, + "loss": 0.0785, + "step": 33000 + }, + { + "epoch": 2.41, + "learning_rate": 0.0002608033590027766, + "loss": 0.0773, + "step": 34000 + }, + { + "epoch": 2.48, + "learning_rate": 0.000258509471305128, + "loss": 0.0762, + "step": 35000 + }, + { + "epoch": 2.48, + "eval_cer": 0.1154617391491839, + "eval_loss": 0.08647703379392624, + "eval_runtime": 79.5904, + "eval_samples_per_second": 62.822, + "eval_steps_per_second": 0.126, + "eval_wer": 0.3272, + "step": 35000 + }, + { + "epoch": 2.55, + "learning_rate": 0.00025616107048830045, + "loss": 0.0747, + "step": 36000 + }, + { + "epoch": 2.62, + "learning_rate": 0.0002537593363447311, + "loss": 0.0741, + "step": 37000 + }, + { + "epoch": 2.69, + "learning_rate": 0.0002513054754605181, + "loss": 0.0734, + "step": 38000 + }, + { + "epoch": 2.76, + "learning_rate": 0.0002488007206092547, + "loss": 0.0724, + "step": 39000 + }, + { + "epoch": 2.83, + "learning_rate": 0.00024624633013270664, + "loss": 0.0715, + "step": 40000 + }, + { + "epoch": 2.83, + "eval_cer": 0.11341339830526748, + "eval_loss": 0.08288487792015076, + "eval_runtime": 79.5687, + "eval_samples_per_second": 62.839, + "eval_steps_per_second": 0.126, + "eval_wer": 0.3176, + "step": 40000 + }, + { + "epoch": 2.9, + "learning_rate": 0.0002436435873086449, + "loss": 0.0708, + "step": 41000 + }, + { + "epoch": 2.98, + "learning_rate": 0.00024099379970615137, + "loss": 0.0695, + "step": 42000 + }, + { + "epoch": 3.05, + "learning_rate": 0.00023829829852872037, + "loss": 0.0677, + "step": 43000 + }, + { + "epoch": 3.12, + "learning_rate": 0.00023555843794548724, + "loss": 0.0666, + "step": 44000 + }, + { + "epoch": 3.19, + "learning_rate": 0.00023277559441091917, + "loss": 0.0661, + "step": 45000 + }, + { + "epoch": 3.19, + "eval_cer": 0.11099851225770284, + "eval_loss": 0.07811947166919708, + "eval_runtime": 79.5629, + "eval_samples_per_second": 62.843, + "eval_steps_per_second": 0.126, + "eval_wer": 0.316, + "step": 45000 + }, + { + "epoch": 3.26, + "learning_rate": 0.0002299511659733103, + "loss": 0.0655, + "step": 46000 + }, + { + "epoch": 3.33, + "learning_rate": 0.0002270865715724285, + "loss": 0.0651, + "step": 47000 + }, + { + "epoch": 3.4, + "learning_rate": 0.0002241832503266669, + "loss": 0.0645, + "step": 48000 + }, + { + "epoch": 3.47, + "learning_rate": 0.00022124266081005755, + "loss": 0.0641, + "step": 49000 + }, + { + "epoch": 3.54, + "learning_rate": 0.0002182662803195115, + "loss": 0.0636, + "step": 50000 + }, + { + "epoch": 3.54, + "eval_cer": 0.10931671661743461, + "eval_loss": 0.07468874752521515, + "eval_runtime": 80.209, + "eval_samples_per_second": 62.337, + "eval_steps_per_second": 0.125, + "eval_wer": 0.3074, + "step": 50000 + }, + { + "epoch": 3.61, + "learning_rate": 0.00021525560413265246, + "loss": 0.0629, + "step": 51000 + }, + { + "epoch": 3.68, + "learning_rate": 0.00021221214475661745, + "loss": 0.0619, + "step": 52000 + }, + { + "epoch": 3.75, + "learning_rate": 0.00020913743116820165, + "loss": 0.0619, + "step": 53000 + }, + { + "epoch": 3.83, + "learning_rate": 0.00020603300804572917, + "loss": 0.0608, + "step": 54000 + }, + { + "epoch": 3.9, + "learning_rate": 0.00020290043499303573, + "loss": 0.061, + "step": 55000 + }, + { + "epoch": 3.9, + "eval_cer": 0.11015761443756873, + "eval_loss": 0.07217952609062195, + "eval_runtime": 79.9934, + "eval_samples_per_second": 62.505, + "eval_steps_per_second": 0.125, + "eval_wer": 0.3086, + "step": 55000 + }, + { + "epoch": 3.97, + "learning_rate": 0.00019974128575595291, + "loss": 0.06, + "step": 56000 + }, + { + "epoch": 4.04, + "learning_rate": 0.000196557147431688, + "loss": 0.0585, + "step": 57000 + }, + { + "epoch": 4.11, + "learning_rate": 0.00019334961967149597, + "loss": 0.0577, + "step": 58000 + }, + { + "epoch": 4.18, + "learning_rate": 0.00019012031387704483, + "loss": 0.0574, + "step": 59000 + }, + { + "epoch": 4.25, + "learning_rate": 0.00018687085239087786, + "loss": 0.0569, + "step": 60000 + }, + { + "epoch": 4.25, + "eval_cer": 0.10580219495892537, + "eval_loss": 0.06902794539928436, + "eval_runtime": 79.9992, + "eval_samples_per_second": 62.501, + "eval_steps_per_second": 0.125, + "eval_wer": 0.2988, + "step": 60000 + }, + { + "epoch": 4.32, + "learning_rate": 0.00018360286768137894, + "loss": 0.0567, + "step": 61000 + }, + { + "epoch": 4.39, + "learning_rate": 0.00018031800152265137, + "loss": 0.0561, + "step": 62000 + }, + { + "epoch": 4.46, + "learning_rate": 0.00017701790416972107, + "loss": 0.0558, + "step": 63000 + }, + { + "epoch": 4.53, + "learning_rate": 0.00017370423352948002, + "loss": 0.0557, + "step": 64000 + }, + { + "epoch": 4.6, + "learning_rate": 0.00017037865432778442, + "loss": 0.0552, + "step": 65000 + }, + { + "epoch": 4.6, + "eval_cer": 0.10578063347635784, + "eval_loss": 0.06745224446058273, + "eval_runtime": 79.5425, + "eval_samples_per_second": 62.859, + "eval_steps_per_second": 0.126, + "eval_wer": 0.2978, + "step": 65000 + }, + { + "epoch": 4.68, + "learning_rate": 0.00016704283727312792, + "loss": 0.0546, + "step": 66000 + }, + { + "epoch": 4.75, + "learning_rate": 0.00016369845821730933, + "loss": 0.0544, + "step": 67000 + }, + { + "epoch": 4.82, + "learning_rate": 0.00016034719731351576, + "loss": 0.0541, + "step": 68000 + }, + { + "epoch": 4.89, + "learning_rate": 0.00015699073817224542, + "loss": 0.0537, + "step": 69000 + }, + { + "epoch": 4.96, + "learning_rate": 0.00015363076701549341, + "loss": 0.0531, + "step": 70000 + }, + { + "epoch": 4.96, + "eval_cer": 0.10444382155717027, + "eval_loss": 0.06512928009033203, + "eval_runtime": 79.8169, + "eval_samples_per_second": 62.643, + "eval_steps_per_second": 0.125, + "eval_wer": 0.2962, + "step": 70000 + }, + { + "epoch": 5.03, + "learning_rate": 0.00015026897182962535, + "loss": 0.0525, + "step": 71000 + }, + { + "epoch": 5.1, + "learning_rate": 0.00014690704151736484, + "loss": 0.0509, + "step": 72000 + }, + { + "epoch": 5.17, + "learning_rate": 0.0001435466650493204, + "loss": 0.0509, + "step": 73000 + }, + { + "epoch": 5.24, + "learning_rate": 0.0001401895306154785, + "loss": 0.0504, + "step": 74000 + }, + { + "epoch": 5.31, + "learning_rate": 0.0001368373247770885, + "loss": 0.0504, + "step": 75000 + }, + { + "epoch": 5.31, + "eval_cer": 0.10291295629487483, + "eval_loss": 0.06379809230566025, + "eval_runtime": 79.7333, + "eval_samples_per_second": 62.709, + "eval_steps_per_second": 0.125, + "eval_wer": 0.2864, + "step": 75000 + }, + { + "epoch": 5.38, + "learning_rate": 0.00013349173161936601, + "loss": 0.0502, + "step": 76000 + }, + { + "epoch": 5.45, + "learning_rate": 0.00013015443190544018, + "loss": 0.0495, + "step": 77000 + }, + { + "epoch": 5.53, + "learning_rate": 0.00012682710223196978, + "loss": 0.0494, + "step": 78000 + }, + { + "epoch": 5.6, + "learning_rate": 0.00012351141418685273, + "loss": 0.0496, + "step": 79000 + }, + { + "epoch": 5.67, + "learning_rate": 0.00012020903350945151, + "loss": 0.0492, + "step": 80000 + }, + { + "epoch": 5.67, + "eval_cer": 0.10310700963798271, + "eval_loss": 0.06157052516937256, + "eval_runtime": 79.8007, + "eval_samples_per_second": 62.656, + "eval_steps_per_second": 0.125, + "eval_wer": 0.2888, + "step": 80000 + }, + { + "epoch": 5.74, + "learning_rate": 0.00011692161925375738, + "loss": 0.0485, + "step": 81000 + }, + { + "epoch": 5.81, + "learning_rate": 0.00011365082295491233, + "loss": 0.0484, + "step": 82000 + }, + { + "epoch": 5.88, + "learning_rate": 0.00011039828779950928, + "loss": 0.0481, + "step": 83000 + }, + { + "epoch": 5.95, + "learning_rate": 0.0001071656478000858, + "loss": 0.048, + "step": 84000 + }, + { + "epoch": 6.02, + "learning_rate": 0.00010395452697422703, + "loss": 0.0474, + "step": 85000 + }, + { + "epoch": 6.02, + "eval_cer": 0.10228767330041613, + "eval_loss": 0.06011258438229561, + "eval_runtime": 80.0834, + "eval_samples_per_second": 62.435, + "eval_steps_per_second": 0.125, + "eval_wer": 0.2868, + "step": 85000 + }, + { + "epoch": 6.09, + "learning_rate": 0.00010076653852868962, + "loss": 0.0459, + "step": 86000 + }, + { + "epoch": 6.16, + "learning_rate": 9.760328404895728e-05, + "loss": 0.0457, + "step": 87000 + }, + { + "epoch": 6.23, + "learning_rate": 9.446635269463389e-05, + "loss": 0.0453, + "step": 88000 + }, + { + "epoch": 6.3, + "learning_rate": 9.135732040107998e-05, + "loss": 0.0456, + "step": 89000 + }, + { + "epoch": 6.38, + "learning_rate": 8.82777490876921e-05, + "loss": 0.0453, + "step": 90000 + }, + { + "epoch": 6.38, + "eval_cer": 0.1022661118178486, + "eval_loss": 0.05900218337774277, + "eval_runtime": 79.8035, + "eval_samples_per_second": 62.654, + "eval_steps_per_second": 0.125, + "eval_wer": 0.284, + "step": 90000 + }, + { + "epoch": 6.45, + "learning_rate": 8.522918587322418e-05, + "loss": 0.0452, + "step": 91000 + }, + { + "epoch": 6.52, + "learning_rate": 8.22131622985438e-05, + "loss": 0.0451, + "step": 92000 + }, + { + "epoch": 6.59, + "learning_rate": 7.923119355721526e-05, + "loss": 0.045, + "step": 93000 + }, + { + "epoch": 6.66, + "learning_rate": 7.628477773429438e-05, + "loss": 0.0448, + "step": 94000 + }, + { + "epoch": 6.73, + "learning_rate": 7.3375395053719e-05, + "loss": 0.0446, + "step": 95000 + }, + { + "epoch": 6.73, + "eval_cer": 0.10045494728217512, + "eval_loss": 0.05785335227847099, + "eval_runtime": 79.8939, + "eval_samples_per_second": 62.583, + "eval_steps_per_second": 0.125, + "eval_wer": 0.2766, + "step": 95000 + }, + { + "epoch": 6.8, + "learning_rate": 7.050450713467216e-05, + "loss": 0.0439, + "step": 96000 + }, + { + "epoch": 6.87, + "learning_rate": 6.767355625729215e-05, + "loss": 0.0439, + "step": 97000 + }, + { + "epoch": 6.94, + "learning_rate": 6.488396463809805e-05, + "loss": 0.0438, + "step": 98000 + }, + { + "epoch": 7.01, + "learning_rate": 6.213713371549497e-05, + "loss": 0.0434, + "step": 99000 + }, + { + "epoch": 7.08, + "learning_rate": 5.943444344571755e-05, + "loss": 0.042, + "step": 100000 + }, + { + "epoch": 7.08, + "eval_cer": 0.09978654132258134, + "eval_loss": 0.05739114433526993, + "eval_runtime": 79.8794, + "eval_samples_per_second": 62.594, + "eval_steps_per_second": 0.125, + "eval_wer": 0.277, + "step": 100000 + }, + { + "epoch": 7.15, + "learning_rate": 5.6777251609566e-05, + "loss": 0.042, + "step": 101000 + }, + { + "epoch": 7.23, + "learning_rate": 5.416689313028253e-05, + "loss": 0.0421, + "step": 102000 + }, + { + "epoch": 7.3, + "learning_rate": 5.1604679402911015e-05, + "loss": 0.0419, + "step": 103000 + }, + { + "epoch": 7.37, + "learning_rate": 4.9091897635476726e-05, + "loss": 0.0418, + "step": 104000 + }, + { + "epoch": 7.44, + "learning_rate": 4.6629810202317166e-05, + "loss": 0.0417, + "step": 105000 + }, + { + "epoch": 7.44, + "eval_cer": 0.09941999611893314, + "eval_loss": 0.056080542504787445, + "eval_runtime": 79.81, + "eval_samples_per_second": 62.649, + "eval_steps_per_second": 0.125, + "eval_wer": 0.2742, + "step": 105000 + }, + { + "epoch": 7.51, + "learning_rate": 4.421965400988918e-05, + "loss": 0.0416, + "step": 106000 + }, + { + "epoch": 7.58, + "learning_rate": 4.1862639875370016e-05, + "loss": 0.0417, + "step": 107000 + }, + { + "epoch": 7.65, + "learning_rate": 3.955995191836581e-05, + "loss": 0.0414, + "step": 108000 + }, + { + "epoch": 7.72, + "learning_rate": 3.731274696603201e-05, + "loss": 0.0414, + "step": 109000 + }, + { + "epoch": 7.79, + "learning_rate": 3.512215397190527e-05, + "loss": 0.0411, + "step": 110000 + }, + { + "epoch": 7.79, + "eval_cer": 0.1000237176308243, + "eval_loss": 0.0557967908680439, + "eval_runtime": 79.8362, + "eval_samples_per_second": 62.628, + "eval_steps_per_second": 0.125, + "eval_wer": 0.2756, + "step": 110000 + }, + { + "epoch": 7.86, + "learning_rate": 3.298927344873821e-05, + "loss": 0.0407, + "step": 111000 + }, + { + "epoch": 7.93, + "learning_rate": 3.091517691562284e-05, + "loss": 0.0407, + "step": 112000 + }, + { + "epoch": 8.01, + "learning_rate": 2.890090635967912e-05, + "loss": 0.0412, + "step": 113000 + }, + { + "epoch": 8.08, + "learning_rate": 2.694747371258042e-05, + "loss": 0.0398, + "step": 114000 + }, + { + "epoch": 8.15, + "learning_rate": 2.505586034217802e-05, + "loss": 0.0394, + "step": 115000 + }, + { + "epoch": 8.15, + "eval_cer": 0.09991591021798658, + "eval_loss": 0.05538313463330269, + "eval_runtime": 79.9108, + "eval_samples_per_second": 62.57, + "eval_steps_per_second": 0.125, + "eval_wer": 0.2758, + "step": 115000 + }, + { + "epoch": 8.22, + "learning_rate": 2.3227016559480356e-05, + "loss": 0.0396, + "step": 116000 + }, + { + "epoch": 8.29, + "learning_rate": 2.1461861141234628e-05, + "loss": 0.0396, + "step": 117000 + }, + { + "epoch": 8.36, + "learning_rate": 1.9761280868350654e-05, + "loss": 0.0397, + "step": 118000 + }, + { + "epoch": 8.43, + "learning_rate": 1.8126130080398725e-05, + "loss": 0.0395, + "step": 119000 + }, + { + "epoch": 8.5, + "learning_rate": 1.655723024640553e-05, + "loss": 0.0394, + "step": 120000 + }, + { + "epoch": 8.5, + "eval_cer": 0.09993747170055413, + "eval_loss": 0.05500805750489235, + "eval_runtime": 79.8857, + "eval_samples_per_second": 62.589, + "eval_steps_per_second": 0.125, + "eval_wer": 0.275, + "step": 120000 + }, + { + "epoch": 8.57, + "learning_rate": 1.5055369552163509e-05, + "loss": 0.0394, + "step": 121000 + }, + { + "epoch": 8.64, + "learning_rate": 1.3621302504261194e-05, + "loss": 0.0395, + "step": 122000 + }, + { + "epoch": 8.71, + "learning_rate": 1.2255749551033205e-05, + "loss": 0.0393, + "step": 123000 + }, + { + "epoch": 8.78, + "learning_rate": 1.0959396720620555e-05, + "loss": 0.0393, + "step": 124000 + }, + { + "epoch": 8.86, + "learning_rate": 9.732895276323099e-06, + "loss": 0.0392, + "step": 125000 + }, + { + "epoch": 8.86, + "eval_cer": 0.09957092649690592, + "eval_loss": 0.054800018668174744, + "eval_runtime": 80.1483, + "eval_samples_per_second": 62.384, + "eval_steps_per_second": 0.125, + "eval_wer": 0.2756, + "step": 125000 + }, + { + "epoch": 8.93, + "learning_rate": 8.576861389416939e-06, + "loss": 0.0391, + "step": 126000 + }, + { + "epoch": 9.0, + "learning_rate": 7.4918758296016734e-06, + "loss": 0.039, + "step": 127000 + }, + { + "epoch": 9.07, + "learning_rate": 6.478483673232537e-06, + "loss": 0.0388, + "step": 128000 + }, + { + "epoch": 9.14, + "learning_rate": 5.537194029484349e-06, + "loss": 0.0383, + "step": 129000 + }, + { + "epoch": 9.21, + "learning_rate": 4.668479784584583e-06, + "loss": 0.0383, + "step": 130000 + }, + { + "epoch": 9.21, + "eval_cer": 0.09931218870609543, + "eval_loss": 0.054751720279455185, + "eval_runtime": 80.4739, + "eval_samples_per_second": 62.132, + "eval_steps_per_second": 0.124, + "eval_wer": 0.2748, + "step": 130000 + }, + { + "epoch": 9.28, + "learning_rate": 3.872777364244245e-06, + "loss": 0.0387, + "step": 131000 + }, + { + "epoch": 9.35, + "learning_rate": 3.150486514405798e-06, + "loss": 0.0385, + "step": 132000 + }, + { + "epoch": 9.42, + "learning_rate": 2.50197010041826e-06, + "loss": 0.0385, + "step": 133000 + }, + { + "epoch": 9.49, + "learning_rate": 1.9275539247405437e-06, + "loss": 0.0384, + "step": 134000 + }, + { + "epoch": 9.56, + "learning_rate": 1.4275265632643806e-06, + "loss": 0.0386, + "step": 135000 + }, + { + "epoch": 9.56, + "eval_cer": 0.09924750425839281, + "eval_loss": 0.05460319668054581, + "eval_runtime": 80.404, + "eval_samples_per_second": 62.186, + "eval_steps_per_second": 0.124, + "eval_wer": 0.2752, + "step": 135000 + }, + { + "epoch": 9.63, + "learning_rate": 1.0021392203391932e-06, + "loss": 0.0383, + "step": 136000 + }, + { + "epoch": 9.71, + "learning_rate": 6.516056025718585e-07, + "loss": 0.0383, + "step": 137000 + }, + { + "epoch": 9.78, + "learning_rate": 3.76101811464391e-07, + "loss": 0.0383, + "step": 138000 + }, + { + "epoch": 9.85, + "learning_rate": 1.7576625494392648e-07, + "loss": 0.0384, + "step": 139000 + }, + { + "epoch": 9.92, + "learning_rate": 5.0699577829210744e-08, + "loss": 0.0387, + "step": 140000 + }, + { + "epoch": 9.92, + "eval_cer": 0.09937687315379806, + "eval_loss": 0.05459373816847801, + "eval_runtime": 80.3513, + "eval_samples_per_second": 62.227, + "eval_steps_per_second": 0.124, + "eval_wer": 0.2752, + "step": 140000 + } + ], + "max_steps": 141160, + "num_train_epochs": 10, + "total_flos": 3.547844813555835e+17, + "trial_name": null, + "trial_params": null +} diff --git a/byT5/Charsiu/g2p_multilingual_byT5_tiny_8_layers/.gitattributes b/byT5/Charsiu/g2p_multilingual_byT5_tiny_8_layers/.gitattributes new file mode 100644 index 0000000000000000000000000000000000000000..ac481c8eb05e4d2496fbe076a38a7b4835dd733d --- /dev/null +++ b/byT5/Charsiu/g2p_multilingual_byT5_tiny_8_layers/.gitattributes @@ -0,0 +1,27 @@ +*.7z filter=lfs diff=lfs merge=lfs -text +*.arrow filter=lfs diff=lfs merge=lfs -text +*.bin filter=lfs diff=lfs merge=lfs -text +*.bz2 filter=lfs diff=lfs merge=lfs -text +*.ftz filter=lfs diff=lfs merge=lfs -text +*.gz filter=lfs diff=lfs merge=lfs -text +*.h5 filter=lfs diff=lfs merge=lfs -text +*.joblib filter=lfs diff=lfs merge=lfs -text +*.lfs.* filter=lfs diff=lfs merge=lfs -text +*.model filter=lfs diff=lfs merge=lfs -text +*.msgpack filter=lfs diff=lfs merge=lfs -text +*.onnx filter=lfs diff=lfs merge=lfs -text +*.ot filter=lfs diff=lfs merge=lfs -text +*.parquet filter=lfs diff=lfs merge=lfs -text +*.pb filter=lfs diff=lfs merge=lfs -text +*.pt filter=lfs diff=lfs merge=lfs -text +*.pth filter=lfs diff=lfs merge=lfs -text +*.rar filter=lfs diff=lfs merge=lfs -text +saved_model/**/* filter=lfs diff=lfs merge=lfs -text +*.tar.* filter=lfs diff=lfs merge=lfs -text +*.tflite filter=lfs diff=lfs merge=lfs -text +*.tgz filter=lfs diff=lfs merge=lfs -text +*.wasm filter=lfs diff=lfs merge=lfs -text +*.xz filter=lfs diff=lfs merge=lfs -text +*.zip filter=lfs diff=lfs merge=lfs -text +*.zstandard filter=lfs diff=lfs merge=lfs -text +*tfevents* filter=lfs diff=lfs merge=lfs -text diff --git a/byT5/Charsiu/g2p_multilingual_byT5_tiny_8_layers/config.json b/byT5/Charsiu/g2p_multilingual_byT5_tiny_8_layers/config.json new file mode 100644 index 0000000000000000000000000000000000000000..f6efe0373d40229566cd5db25159e2f363bc97dc --- /dev/null +++ b/byT5/Charsiu/g2p_multilingual_byT5_tiny_8_layers/config.json @@ -0,0 +1,29 @@ +{ + "_name_or_path": "/home/patrick/t5/byt5-small", + "architectures": [ + "T5ForConditionalGeneration" + ], + "d_ff": 512, + "d_kv": 64, + "d_model": 256, + "decoder_start_token_id": 0, + "dropout_rate": 0.1, + "eos_token_id": 1, + "feed_forward_proj": "gated-gelu", + "gradient_checkpointing": false, + "initializer_factor": 1.0, + "is_encoder_decoder": true, + "layer_norm_epsilon": 1e-06, + "model_type": "t5", + "num_decoder_layers": 2, + "num_heads": 6, + "num_layers": 6, + "pad_token_id": 0, + "relative_attention_num_buckets": 32, + "tie_word_embeddings": false, + "tokenizer_class": "ByT5Tokenizer", + "torch_dtype": "float32", + "transformers_version": "4.16.2", + "use_cache": true, + "vocab_size": 384 +} diff --git a/byT5/Charsiu/g2p_multilingual_byT5_tiny_8_layers/pytorch_model.bin b/byT5/Charsiu/g2p_multilingual_byT5_tiny_8_layers/pytorch_model.bin new file mode 100644 index 0000000000000000000000000000000000000000..25fbd0a26352f3e96ef3d2c2215d1af4c9ec306a --- /dev/null +++ b/byT5/Charsiu/g2p_multilingual_byT5_tiny_8_layers/pytorch_model.bin @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:fa6384833adad3313930a29e2fd80c8366fe1132a1a314cee15f5ca1f0b81b06 +size 29159133 diff --git a/byT5/Charsiu/g2p_multilingual_byT5_tiny_8_layers/source.txt b/byT5/Charsiu/g2p_multilingual_byT5_tiny_8_layers/source.txt new file mode 100644 index 0000000000000000000000000000000000000000..3a573a2f5c8a3e2fb8fae3212840e730bf9b76d9 --- /dev/null +++ b/byT5/Charsiu/g2p_multilingual_byT5_tiny_8_layers/source.txt @@ -0,0 +1 @@ +https://huggingface.co/charsiu/g2p_multilingual_byT5_tiny_8_layers \ No newline at end of file diff --git a/byT5/Charsiu/g2p_multilingual_byT5_tiny_8_layers/trainer_state.json b/byT5/Charsiu/g2p_multilingual_byT5_tiny_8_layers/trainer_state.json new file mode 100644 index 0000000000000000000000000000000000000000..3505735705148b124d49995e5f8d7d190dfa604b --- /dev/null +++ b/byT5/Charsiu/g2p_multilingual_byT5_tiny_8_layers/trainer_state.json @@ -0,0 +1,1096 @@ +{ + "best_metric": 0.2446382894995737, + "best_model_checkpoint": "/scratch/lingjzhu_root/lingjzhu1/lingjzhu/g2p/byt5_8_layers_baseline/checkpoint-5000", + "epoch": 9.646302250803858, + "global_step": 135000, + "is_hyper_param_search": false, + "is_local_process_zero": true, + "is_world_process_zero": true, + "log_history": [ + { + "epoch": 0.07, + "learning_rate": 0.0003, + "loss": 2.3019, + "step": 1000 + }, + { + "epoch": 0.14, + "learning_rate": 0.0002999616623572683, + "loss": 0.7533, + "step": 2000 + }, + { + "epoch": 0.21, + "learning_rate": 0.00029984666902607135, + "loss": 0.4132, + "step": 3000 + }, + { + "epoch": 0.29, + "learning_rate": 0.0002996550787873857, + "loss": 0.3262, + "step": 4000 + }, + { + "epoch": 0.36, + "learning_rate": 0.0002993869895761197, + "loss": 0.2811, + "step": 5000 + }, + { + "epoch": 0.36, + "eval_cer": 0.2446382894995737, + "eval_loss": 0.3433528244495392, + "eval_runtime": 78.9346, + "eval_samples_per_second": 62.71, + "eval_steps_per_second": 0.127, + "eval_wer": 0.5844444444444444, + "step": 5000 + }, + { + "epoch": 0.43, + "learning_rate": 0.000299042538431052, + "loss": 0.2505, + "step": 6000 + }, + { + "epoch": 0.5, + "learning_rate": 0.00029862190142478177, + "loss": 0.2294, + "step": 7000 + }, + { + "epoch": 0.57, + "learning_rate": 0.00029812529357372587, + "loss": 0.2141, + "step": 8000 + }, + { + "epoch": 0.64, + "learning_rate": 0.00029755296872820933, + "loss": 0.2021, + "step": 9000 + }, + { + "epoch": 0.71, + "learning_rate": 0.0002969052194427048, + "loss": 0.193, + "step": 10000 + }, + { + "epoch": 0.71, + "eval_cer": 0.1929341291182965, + "eval_loss": 0.23424917459487915, + "eval_runtime": 78.954, + "eval_samples_per_second": 62.695, + "eval_steps_per_second": 0.127, + "eval_wer": 0.4892929292929293, + "step": 10000 + }, + { + "epoch": 0.79, + "learning_rate": 0.0002961823768262882, + "loss": 0.1847, + "step": 11000 + }, + { + "epoch": 0.86, + "learning_rate": 0.0002953848103733858, + "loss": 0.1772, + "step": 12000 + }, + { + "epoch": 0.93, + "learning_rate": 0.00029451292777490066, + "loss": 0.1716, + "step": 13000 + }, + { + "epoch": 1.0, + "learning_rate": 0.0002935671747098137, + "loss": 0.165, + "step": 14000 + }, + { + "epoch": 1.07, + "learning_rate": 0.00029254803461736643, + "loss": 0.1599, + "step": 15000 + }, + { + "epoch": 1.07, + "eval_cer": 0.17201198049889596, + "eval_loss": 0.18778055906295776, + "eval_runtime": 78.8177, + "eval_samples_per_second": 62.803, + "eval_steps_per_second": 0.127, + "eval_wer": 0.43212121212121213, + "step": 15000 + }, + { + "epoch": 1.14, + "learning_rate": 0.00029145602844994243, + "loss": 0.1555, + "step": 16000 + }, + { + "epoch": 1.21, + "learning_rate": 0.0002902917144067724, + "loss": 0.151, + "step": 17000 + }, + { + "epoch": 1.29, + "learning_rate": 0.00028905568764860047, + "loss": 0.1469, + "step": 18000 + }, + { + "epoch": 1.36, + "learning_rate": 0.00028774857999345685, + "loss": 0.144, + "step": 19000 + }, + { + "epoch": 1.43, + "learning_rate": 0.0002863710595936922, + "loss": 0.1406, + "step": 20000 + }, + { + "epoch": 1.43, + "eval_cer": 0.15764849915830437, + "eval_loss": 0.16295142471790314, + "eval_runtime": 79.2207, + "eval_samples_per_second": 62.484, + "eval_steps_per_second": 0.126, + "eval_wer": 0.41353535353535353, + "step": 20000 + }, + { + "epoch": 1.5, + "learning_rate": 0.0002849238305944389, + "loss": 0.1368, + "step": 21000 + }, + { + "epoch": 1.57, + "learning_rate": 0.00028340763277367477, + "loss": 0.1345, + "step": 22000 + }, + { + "epoch": 1.64, + "learning_rate": 0.0002818232411640713, + "loss": 0.132, + "step": 23000 + }, + { + "epoch": 1.71, + "learning_rate": 0.00028017146565682144, + "loss": 0.1303, + "step": 24000 + }, + { + "epoch": 1.79, + "learning_rate": 0.00027845315058764886, + "loss": 0.1261, + "step": 25000 + }, + { + "epoch": 1.79, + "eval_cer": 0.14901292057453924, + "eval_loss": 0.14625480771064758, + "eval_runtime": 78.8658, + "eval_samples_per_second": 62.765, + "eval_steps_per_second": 0.127, + "eval_wer": 0.39636363636363636, + "step": 25000 + }, + { + "epoch": 1.86, + "learning_rate": 0.00027666917430520975, + "loss": 0.1243, + "step": 26000 + }, + { + "epoch": 1.93, + "learning_rate": 0.00027482044872210895, + "loss": 0.1218, + "step": 27000 + }, + { + "epoch": 2.0, + "learning_rate": 0.0002729079188487587, + "loss": 0.1196, + "step": 28000 + }, + { + "epoch": 2.07, + "learning_rate": 0.00027093256231031885, + "loss": 0.1174, + "step": 29000 + }, + { + "epoch": 2.14, + "learning_rate": 0.00026889538884696597, + "loss": 0.116, + "step": 30000 + }, + { + "epoch": 2.14, + "eval_cer": 0.1407708620275027, + "eval_loss": 0.1319253146648407, + "eval_runtime": 79.0974, + "eval_samples_per_second": 62.581, + "eval_steps_per_second": 0.126, + "eval_wer": 0.37696969696969695, + "step": 30000 + }, + { + "epoch": 2.22, + "learning_rate": 0.0002667974397977457, + "loss": 0.114, + "step": 31000 + }, + { + "epoch": 2.29, + "learning_rate": 0.0002646397875682729, + "loss": 0.1122, + "step": 32000 + }, + { + "epoch": 2.36, + "learning_rate": 0.00026242353508255185, + "loss": 0.111, + "step": 33000 + }, + { + "epoch": 2.43, + "learning_rate": 0.0002601498152191957, + "loss": 0.1099, + "step": 34000 + }, + { + "epoch": 2.5, + "learning_rate": 0.0002578197902323352, + "loss": 0.1089, + "step": 35000 + }, + { + "epoch": 2.5, + "eval_cer": 0.13464943923394765, + "eval_loss": 0.12354536354541779, + "eval_runtime": 79.0393, + "eval_samples_per_second": 62.627, + "eval_steps_per_second": 0.127, + "eval_wer": 0.36505050505050507, + "step": 35000 + }, + { + "epoch": 2.57, + "learning_rate": 0.00025543465115751026, + "loss": 0.1067, + "step": 36000 + }, + { + "epoch": 2.64, + "learning_rate": 0.0002529956172028505, + "loss": 0.1058, + "step": 37000 + }, + { + "epoch": 2.72, + "learning_rate": 0.0002505039351258541, + "loss": 0.1043, + "step": 38000 + }, + { + "epoch": 2.79, + "learning_rate": 0.0002479608785960846, + "loss": 0.1033, + "step": 39000 + }, + { + "epoch": 2.86, + "learning_rate": 0.0002453677475441111, + "loss": 0.1017, + "step": 40000 + }, + { + "epoch": 2.86, + "eval_cer": 0.1299927854659933, + "eval_loss": 0.11381864547729492, + "eval_runtime": 79.0365, + "eval_samples_per_second": 62.629, + "eval_steps_per_second": 0.127, + "eval_wer": 0.3557575757575758, + "step": 40000 + }, + { + "epoch": 2.93, + "learning_rate": 0.00024272586749702474, + "loss": 0.1001, + "step": 41000 + }, + { + "epoch": 3.0, + "learning_rate": 0.0002400365889008706, + "loss": 0.1001, + "step": 42000 + }, + { + "epoch": 3.07, + "learning_rate": 0.00023730128643034235, + "loss": 0.0972, + "step": 43000 + }, + { + "epoch": 3.14, + "learning_rate": 0.00023452135828609167, + "loss": 0.0974, + "step": 44000 + }, + { + "epoch": 3.22, + "learning_rate": 0.0002316982254800121, + "loss": 0.0963, + "step": 45000 + }, + { + "epoch": 3.22, + "eval_cer": 0.12660414070527534, + "eval_loss": 0.10989916324615479, + "eval_runtime": 79.0323, + "eval_samples_per_second": 62.633, + "eval_steps_per_second": 0.127, + "eval_wer": 0.3470707070707071, + "step": 45000 + }, + { + "epoch": 3.29, + "learning_rate": 0.00022883333110886237, + "loss": 0.0957, + "step": 46000 + }, + { + "epoch": 3.36, + "learning_rate": 0.00022592813961660067, + "loss": 0.0944, + "step": 47000 + }, + { + "epoch": 3.43, + "learning_rate": 0.00022298413604580696, + "loss": 0.0934, + "step": 48000 + }, + { + "epoch": 3.5, + "learning_rate": 0.00022000282527857588, + "loss": 0.093, + "step": 49000 + }, + { + "epoch": 3.57, + "learning_rate": 0.0002169857312672683, + "loss": 0.0919, + "step": 50000 + }, + { + "epoch": 3.57, + "eval_cer": 0.12306246037471852, + "eval_loss": 0.10183772444725037, + "eval_runtime": 79.0109, + "eval_samples_per_second": 62.65, + "eval_steps_per_second": 0.127, + "eval_wer": 0.3395959595959596, + "step": 50000 + }, + { + "epoch": 3.64, + "learning_rate": 0.00021393439625551483, + "loss": 0.0916, + "step": 51000 + }, + { + "epoch": 3.72, + "learning_rate": 0.00021085037998986924, + "loss": 0.0908, + "step": 52000 + }, + { + "epoch": 3.79, + "learning_rate": 0.00020773525892251514, + "loss": 0.0902, + "step": 53000 + }, + { + "epoch": 3.86, + "learning_rate": 0.00020459062540543316, + "loss": 0.0891, + "step": 54000 + }, + { + "epoch": 3.93, + "learning_rate": 0.00020141808687644067, + "loss": 0.0885, + "step": 55000 + }, + { + "epoch": 3.93, + "eval_cer": 0.12083251349992348, + "eval_loss": 0.09825348109006882, + "eval_runtime": 79.07, + "eval_samples_per_second": 62.603, + "eval_steps_per_second": 0.126, + "eval_wer": 0.33090909090909093, + "step": 55000 + }, + { + "epoch": 4.0, + "learning_rate": 0.00019821926503751995, + "loss": 0.0878, + "step": 56000 + }, + { + "epoch": 4.07, + "learning_rate": 0.00019499579502585537, + "loss": 0.0867, + "step": 57000 + }, + { + "epoch": 4.14, + "learning_rate": 0.00019174932457800242, + "loss": 0.0856, + "step": 58000 + }, + { + "epoch": 4.22, + "learning_rate": 0.0001884815131876167, + "loss": 0.0855, + "step": 59000 + }, + { + "epoch": 4.29, + "learning_rate": 0.00018519403125717278, + "loss": 0.0843, + "step": 60000 + }, + { + "epoch": 4.29, + "eval_cer": 0.11809973546708642, + "eval_loss": 0.09398272633552551, + "eval_runtime": 79.1077, + "eval_samples_per_second": 62.573, + "eval_steps_per_second": 0.126, + "eval_wer": 0.32525252525252524, + "step": 60000 + }, + { + "epoch": 4.36, + "learning_rate": 0.00018188855924410722, + "loss": 0.0846, + "step": 61000 + }, + { + "epoch": 4.43, + "learning_rate": 0.00017856678680182127, + "loss": 0.0836, + "step": 62000 + }, + { + "epoch": 4.5, + "learning_rate": 0.0001752304119159834, + "loss": 0.0832, + "step": 63000 + }, + { + "epoch": 4.57, + "learning_rate": 0.00017188114003657205, + "loss": 0.0828, + "step": 64000 + }, + { + "epoch": 4.64, + "learning_rate": 0.00016852068320610358, + "loss": 0.0823, + "step": 65000 + }, + { + "epoch": 4.64, + "eval_cer": 0.11665682866574845, + "eval_loss": 0.09152530878782272, + "eval_runtime": 79.2818, + "eval_samples_per_second": 62.435, + "eval_steps_per_second": 0.126, + "eval_wer": 0.32484848484848483, + "step": 65000 + }, + { + "epoch": 4.72, + "learning_rate": 0.00016515075918448972, + "loss": 0.0818, + "step": 66000 + }, + { + "epoch": 4.79, + "learning_rate": 0.00016177309057097285, + "loss": 0.0806, + "step": 67000 + }, + { + "epoch": 4.86, + "learning_rate": 0.00015838940392358722, + "loss": 0.0807, + "step": 68000 + }, + { + "epoch": 4.93, + "learning_rate": 0.00015500142887659688, + "loss": 0.0799, + "step": 69000 + }, + { + "epoch": 5.0, + "learning_rate": 0.00015161089725636095, + "loss": 0.0795, + "step": 70000 + }, + { + "epoch": 5.0, + "eval_cer": 0.11567302857392711, + "eval_loss": 0.08921054005622864, + "eval_runtime": 79.061, + "eval_samples_per_second": 62.61, + "eval_steps_per_second": 0.126, + "eval_wer": 0.321010101010101, + "step": 70000 + }, + { + "epoch": 5.07, + "learning_rate": 0.00014821954219607845, + "loss": 0.0783, + "step": 71000 + }, + { + "epoch": 5.14, + "learning_rate": 0.0001448290972498651, + "loss": 0.0784, + "step": 72000 + }, + { + "epoch": 5.22, + "learning_rate": 0.00014144129550661485, + "loss": 0.0778, + "step": 73000 + }, + { + "epoch": 5.29, + "learning_rate": 0.0001380578687040995, + "loss": 0.0773, + "step": 74000 + }, + { + "epoch": 5.36, + "learning_rate": 0.00013468054634375843, + "loss": 0.0772, + "step": 75000 + }, + { + "epoch": 5.36, + "eval_cer": 0.11359611726897094, + "eval_loss": 0.08604130893945694, + "eval_runtime": 79.1221, + "eval_samples_per_second": 62.562, + "eval_steps_per_second": 0.126, + "eval_wer": 0.31777777777777777, + "step": 75000 + }, + { + "epoch": 5.43, + "learning_rate": 0.00013131105480663235, + "loss": 0.0767, + "step": 76000 + }, + { + "epoch": 5.5, + "learning_rate": 0.000127951116470891, + "loss": 0.0766, + "step": 77000 + }, + { + "epoch": 5.57, + "learning_rate": 0.00012460244883140783, + "loss": 0.0757, + "step": 78000 + }, + { + "epoch": 5.64, + "learning_rate": 0.0001212667636218309, + "loss": 0.0753, + "step": 79000 + }, + { + "epoch": 5.72, + "learning_rate": 0.00011794576593959775, + "loss": 0.075, + "step": 80000 + }, + { + "epoch": 5.72, + "eval_cer": 0.11416453509980105, + "eval_loss": 0.08475763350725174, + "eval_runtime": 79.0104, + "eval_samples_per_second": 62.65, + "eval_steps_per_second": 0.127, + "eval_wer": 0.317979797979798, + "step": 80000 + }, + { + "epoch": 5.79, + "learning_rate": 0.00011464115337434394, + "loss": 0.075, + "step": 81000 + }, + { + "epoch": 5.86, + "learning_rate": 0.00011135461514014796, + "loss": 0.0742, + "step": 82000 + }, + { + "epoch": 5.93, + "learning_rate": 0.00010808783121205837, + "loss": 0.0743, + "step": 83000 + }, + { + "epoch": 6.0, + "learning_rate": 0.00010484247146734352, + "loss": 0.0736, + "step": 84000 + }, + { + "epoch": 6.07, + "learning_rate": 0.00010162019483190237, + "loss": 0.0725, + "step": 85000 + }, + { + "epoch": 6.07, + "eval_cer": 0.11407708620275027, + "eval_loss": 0.081719771027565, + "eval_runtime": 79.1888, + "eval_samples_per_second": 62.509, + "eval_steps_per_second": 0.126, + "eval_wer": 0.31373737373737376, + "step": 85000 + }, + { + "epoch": 6.15, + "learning_rate": 9.842264843227404e-05, + "loss": 0.0727, + "step": 86000 + }, + { + "epoch": 6.22, + "learning_rate": 9.52514667536784e-05, + "loss": 0.0718, + "step": 87000 + }, + { + "epoch": 6.29, + "learning_rate": 9.210827080451842e-05, + "loss": 0.0719, + "step": 88000 + }, + { + "epoch": 6.36, + "learning_rate": 8.899466728777203e-05, + "loss": 0.0718, + "step": 89000 + }, + { + "epoch": 6.43, + "learning_rate": 8.591224777969557e-05, + "loss": 0.0713, + "step": 90000 + }, + { + "epoch": 6.43, + "eval_cer": 0.11197831267353141, + "eval_loss": 0.08096928149461746, + "eval_runtime": 78.7279, + "eval_samples_per_second": 62.875, + "eval_steps_per_second": 0.127, + "eval_wer": 0.31353535353535356, + "step": 90000 + }, + { + "epoch": 6.5, + "learning_rate": 8.286258791626041e-05, + "loss": 0.071, + "step": 91000 + }, + { + "epoch": 6.57, + "learning_rate": 7.984724658773716e-05, + "loss": 0.071, + "step": 92000 + }, + { + "epoch": 6.65, + "learning_rate": 7.686776514184009e-05, + "loss": 0.0708, + "step": 93000 + }, + { + "epoch": 6.72, + "learning_rate": 7.392566659583846e-05, + "loss": 0.0705, + "step": 94000 + }, + { + "epoch": 6.79, + "learning_rate": 7.102245485803813e-05, + "loss": 0.07, + "step": 95000 + }, + { + "epoch": 6.79, + "eval_cer": 0.11123499704859972, + "eval_loss": 0.07890674471855164, + "eval_runtime": 79.0377, + "eval_samples_per_second": 62.628, + "eval_steps_per_second": 0.127, + "eval_wer": 0.3103030303030303, + "step": 95000 + }, + { + "epoch": 6.86, + "learning_rate": 6.81596139590308e-05, + "loss": 0.0701, + "step": 96000 + }, + { + "epoch": 6.93, + "learning_rate": 6.533860729310434e-05, + "loss": 0.0698, + "step": 97000 + }, + { + "epoch": 7.0, + "learning_rate": 6.256087687020127e-05, + "loss": 0.0698, + "step": 98000 + }, + { + "epoch": 7.07, + "learning_rate": 5.98278425788092e-05, + "loss": 0.0687, + "step": 99000 + }, + { + "epoch": 7.15, + "learning_rate": 5.71409014601578e-05, + "loss": 0.0682, + "step": 100000 + }, + { + "epoch": 7.15, + "eval_cer": 0.11134430816991321, + "eval_loss": 0.07869766652584076, + "eval_runtime": 78.9978, + "eval_samples_per_second": 62.66, + "eval_steps_per_second": 0.127, + "eval_wer": 0.3088888888888889, + "step": 100000 + }, + { + "epoch": 7.22, + "learning_rate": 5.4501426994095876e-05, + "loss": 0.0682, + "step": 101000 + }, + { + "epoch": 7.29, + "learning_rate": 5.191076839701103e-05, + "loss": 0.0681, + "step": 102000 + }, + { + "epoch": 7.36, + "learning_rate": 4.9370249932153075e-05, + "loss": 0.0681, + "step": 103000 + }, + { + "epoch": 7.43, + "learning_rate": 4.6881170232712164e-05, + "loss": 0.0682, + "step": 104000 + }, + { + "epoch": 7.5, + "learning_rate": 4.444480163799822e-05, + "loss": 0.0681, + "step": 105000 + }, + { + "epoch": 7.5, + "eval_cer": 0.11066657921776962, + "eval_loss": 0.07721372693777084, + "eval_runtime": 79.1073, + "eval_samples_per_second": 62.573, + "eval_steps_per_second": 0.126, + "eval_wer": 0.30808080808080807, + "step": 105000 + }, + { + "epoch": 7.57, + "learning_rate": 4.2062389543061265e-05, + "loss": 0.0673, + "step": 106000 + }, + { + "epoch": 7.65, + "learning_rate": 3.9735151762084384e-05, + "loss": 0.0674, + "step": 107000 + }, + { + "epoch": 7.72, + "learning_rate": 3.746427790587557e-05, + "loss": 0.0666, + "step": 108000 + }, + { + "epoch": 7.79, + "learning_rate": 3.525092877377602e-05, + "loss": 0.0674, + "step": 109000 + }, + { + "epoch": 7.86, + "learning_rate": 3.309623576029597e-05, + "loss": 0.0666, + "step": 110000 + }, + { + "epoch": 7.86, + "eval_cer": 0.11116941037581164, + "eval_loss": 0.07652007043361664, + "eval_runtime": 78.7656, + "eval_samples_per_second": 62.845, + "eval_steps_per_second": 0.127, + "eval_wer": 0.30686868686868685, + "step": 110000 + }, + { + "epoch": 7.93, + "learning_rate": 3.1001300276781274e-05, + "loss": 0.0668, + "step": 111000 + }, + { + "epoch": 8.0, + "learning_rate": 2.8967193188406938e-05, + "loss": 0.0663, + "step": 112000 + }, + { + "epoch": 8.07, + "learning_rate": 2.699495426678389e-05, + "loss": 0.066, + "step": 113000 + }, + { + "epoch": 8.15, + "learning_rate": 2.5085591658461056e-05, + "loss": 0.0658, + "step": 114000 + }, + { + "epoch": 8.22, + "learning_rate": 2.3240081369591984e-05, + "loss": 0.0656, + "step": 115000 + }, + { + "epoch": 8.22, + "eval_cer": 0.11088520146039658, + "eval_loss": 0.07624918967485428, + "eval_runtime": 78.9004, + "eval_samples_per_second": 62.737, + "eval_steps_per_second": 0.127, + "eval_wer": 0.30727272727272725, + "step": 115000 + }, + { + "epoch": 8.29, + "learning_rate": 2.1459366767031522e-05, + "loss": 0.0656, + "step": 116000 + }, + { + "epoch": 8.36, + "learning_rate": 1.9744358096116225e-05, + "loss": 0.0654, + "step": 117000 + }, + { + "epoch": 8.43, + "learning_rate": 1.8095932015375496e-05, + "loss": 0.0655, + "step": 118000 + }, + { + "epoch": 8.5, + "learning_rate": 1.65149311484114e-05, + "loss": 0.0651, + "step": 119000 + }, + { + "epoch": 8.57, + "learning_rate": 1.500216365317587e-05, + "loss": 0.0655, + "step": 120000 + }, + { + "epoch": 8.57, + "eval_cer": 0.11158479263680286, + "eval_loss": 0.07576470077037811, + "eval_runtime": 79.0474, + "eval_samples_per_second": 62.621, + "eval_steps_per_second": 0.127, + "eval_wer": 0.30808080808080807, + "step": 120000 + }, + { + "epoch": 8.65, + "learning_rate": 1.355840280886582e-05, + "loss": 0.0652, + "step": 121000 + }, + { + "epoch": 8.72, + "learning_rate": 1.2184386620647097e-05, + "loss": 0.0656, + "step": 122000 + }, + { + "epoch": 8.79, + "learning_rate": 1.0880817442409478e-05, + "loss": 0.0655, + "step": 123000 + }, + { + "epoch": 8.86, + "learning_rate": 9.648361617745371e-06, + "loss": 0.0651, + "step": 124000 + }, + { + "epoch": 8.93, + "learning_rate": 8.487649139335962e-06, + "loss": 0.0652, + "step": 125000 + }, + { + "epoch": 8.93, + "eval_cer": 0.1107321658905577, + "eval_loss": 0.07536973804235458, + "eval_runtime": 79.0386, + "eval_samples_per_second": 62.628, + "eval_steps_per_second": 0.127, + "eval_wer": 0.30707070707070705, + "step": 125000 + }, + { + "epoch": 9.0, + "learning_rate": 7.399273326918692e-06, + "loss": 0.065, + "step": 126000 + }, + { + "epoch": 9.07, + "learning_rate": 6.383790524001009e-06, + "loss": 0.0645, + "step": 127000 + }, + { + "epoch": 9.15, + "learning_rate": 5.441719813474849e-06, + "loss": 0.0647, + "step": 128000 + }, + { + "epoch": 9.22, + "learning_rate": 4.57354275227797e-06, + "loss": 0.0649, + "step": 129000 + }, + { + "epoch": 9.29, + "learning_rate": 3.7797031252369767e-06, + "loss": 0.0642, + "step": 130000 + }, + { + "epoch": 9.29, + "eval_cer": 0.11057913032071882, + "eval_loss": 0.07509743422269821, + "eval_runtime": 78.953, + "eval_samples_per_second": 62.695, + "eval_steps_per_second": 0.127, + "eval_wer": 0.30747474747474746, + "step": 130000 + }, + { + "epoch": 9.36, + "learning_rate": 3.0606067182186776e-06, + "loss": 0.0642, + "step": 131000 + }, + { + "epoch": 9.43, + "learning_rate": 2.4166211107049584e-06, + "loss": 0.0644, + "step": 132000 + }, + { + "epoch": 9.5, + "learning_rate": 1.8480754878977489e-06, + "loss": 0.0644, + "step": 133000 + }, + { + "epoch": 9.57, + "learning_rate": 1.3552604724498928e-06, + "loss": 0.0648, + "step": 134000 + }, + { + "epoch": 9.65, + "learning_rate": 9.384279759080127e-07, + "loss": 0.0645, + "step": 135000 + }, + { + "epoch": 9.65, + "eval_cer": 0.1107758903390831, + "eval_loss": 0.07504051923751831, + "eval_runtime": 78.9794, + "eval_samples_per_second": 62.675, + "eval_steps_per_second": 0.127, + "eval_wer": 0.30787878787878786, + "step": 135000 + } + ], + "max_steps": 139950, + "num_train_epochs": 10, + "total_flos": 1.1962625697651917e+17, + "trial_name": null, + "trial_params": null +} diff --git a/byT5/Charsiu/g2p_multilingual_byT5_tiny_8_layers_100/.gitattributes b/byT5/Charsiu/g2p_multilingual_byT5_tiny_8_layers_100/.gitattributes new file mode 100644 index 0000000000000000000000000000000000000000..78be8432e1148d0227370439dad9d9a818f08df4 --- /dev/null +++ b/byT5/Charsiu/g2p_multilingual_byT5_tiny_8_layers_100/.gitattributes @@ -0,0 +1,31 @@ +*.7z filter=lfs diff=lfs merge=lfs -text +*.arrow filter=lfs diff=lfs merge=lfs -text +*.bin filter=lfs diff=lfs merge=lfs -text +*.bz2 filter=lfs diff=lfs merge=lfs -text +*.ftz filter=lfs diff=lfs merge=lfs -text +*.gz filter=lfs diff=lfs merge=lfs -text +*.h5 filter=lfs diff=lfs merge=lfs -text +*.joblib filter=lfs diff=lfs merge=lfs -text +*.lfs.* filter=lfs diff=lfs merge=lfs -text +*.model filter=lfs diff=lfs merge=lfs -text +*.msgpack filter=lfs diff=lfs merge=lfs -text +*.npy filter=lfs diff=lfs merge=lfs -text +*.npz filter=lfs diff=lfs merge=lfs -text +*.onnx filter=lfs diff=lfs merge=lfs -text +*.ot filter=lfs diff=lfs merge=lfs -text +*.parquet filter=lfs diff=lfs merge=lfs -text +*.pb filter=lfs diff=lfs merge=lfs -text +*.pickle filter=lfs diff=lfs merge=lfs -text +*.pkl filter=lfs diff=lfs merge=lfs -text +*.pt filter=lfs diff=lfs merge=lfs -text +*.pth filter=lfs diff=lfs merge=lfs -text +*.rar filter=lfs diff=lfs merge=lfs -text +saved_model/**/* filter=lfs diff=lfs merge=lfs -text +*.tar.* filter=lfs diff=lfs merge=lfs -text +*.tflite filter=lfs diff=lfs merge=lfs -text +*.tgz filter=lfs diff=lfs merge=lfs -text +*.wasm filter=lfs diff=lfs merge=lfs -text +*.xz filter=lfs diff=lfs merge=lfs -text +*.zip filter=lfs diff=lfs merge=lfs -text +*.zst filter=lfs diff=lfs merge=lfs -text +*tfevents* filter=lfs diff=lfs merge=lfs -text diff --git a/byT5/Charsiu/g2p_multilingual_byT5_tiny_8_layers_100/charsiu_g2p_multilingual_byT5_tiny_8_layers_100.onnx b/byT5/Charsiu/g2p_multilingual_byT5_tiny_8_layers_100/charsiu_g2p_multilingual_byT5_tiny_8_layers_100.onnx new file mode 100644 index 0000000000000000000000000000000000000000..bc4b23de1cd5df4cc68a90e459c2b20b009d69bc --- /dev/null +++ b/byT5/Charsiu/g2p_multilingual_byT5_tiny_8_layers_100/charsiu_g2p_multilingual_byT5_tiny_8_layers_100.onnx @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:02d4a4b6f25012be4ede2be4ddcc41d31e5b1b8554c67aac802d84aba0c9e131 +size 29327602 diff --git a/byT5/Charsiu/g2p_multilingual_byT5_tiny_8_layers_100/config.json b/byT5/Charsiu/g2p_multilingual_byT5_tiny_8_layers_100/config.json new file mode 100644 index 0000000000000000000000000000000000000000..89b5ddb48879913d842d09b71ed0f48f985d33fc --- /dev/null +++ b/byT5/Charsiu/g2p_multilingual_byT5_tiny_8_layers_100/config.json @@ -0,0 +1,32 @@ +{ + "_name_or_path": "/home/patrick/t5/byt5-small", + "architectures": [ + "T5ForConditionalGeneration" + ], + "d_ff": 512, + "d_kv": 64, + "d_model": 256, + "decoder_start_token_id": 0, + "dense_act_fn": "gelu_new", + "dropout_rate": 0.1, + "eos_token_id": 1, + "feed_forward_proj": "gated-gelu", + "gradient_checkpointing": false, + "initializer_factor": 1.0, + "is_encoder_decoder": true, + "is_gated_act": true, + "layer_norm_epsilon": 1e-06, + "model_type": "t5", + "num_decoder_layers": 2, + "num_heads": 6, + "num_layers": 6, + "pad_token_id": 0, + "relative_attention_max_distance": 128, + "relative_attention_num_buckets": 32, + "tie_word_embeddings": false, + "tokenizer_class": "ByT5Tokenizer", + "torch_dtype": "float32", + "transformers_version": "4.21.1", + "use_cache": true, + "vocab_size": 384 +} diff --git a/byT5/Charsiu/g2p_multilingual_byT5_tiny_8_layers_100/pytorch_model.bin b/byT5/Charsiu/g2p_multilingual_byT5_tiny_8_layers_100/pytorch_model.bin new file mode 100644 index 0000000000000000000000000000000000000000..5dd8738eadfa3fde46135747ba983674e9bf1d8b --- /dev/null +++ b/byT5/Charsiu/g2p_multilingual_byT5_tiny_8_layers_100/pytorch_model.bin @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:f99c71101b772bdb4d5e93c4033f0b7c878bbbdb9b95c41f97aa42140963b389 +size 29149085 diff --git a/byT5/Charsiu/g2p_multilingual_byT5_tiny_8_layers_100/source.txt b/byT5/Charsiu/g2p_multilingual_byT5_tiny_8_layers_100/source.txt new file mode 100644 index 0000000000000000000000000000000000000000..28a2652e7f94824068fdf3fe5f8f9665317757c7 --- /dev/null +++ b/byT5/Charsiu/g2p_multilingual_byT5_tiny_8_layers_100/source.txt @@ -0,0 +1,2 @@ +https://huggingface.co/charsiu/g2p_multilingual_byT5_tiny_8_layers_100 +https://huggingface.co/Jarbas/charsiu_g2p_multilingual_byT5_tiny_8_layers_100_onnx \ No newline at end of file diff --git a/byT5/Charsiu/g2p_multilingual_byT5_tiny_8_layers_100/trainer_state.json b/byT5/Charsiu/g2p_multilingual_byT5_tiny_8_layers_100/trainer_state.json new file mode 100644 index 0000000000000000000000000000000000000000..3594bade4786c93a18d15ed2b2a9af592f0e71fd --- /dev/null +++ b/byT5/Charsiu/g2p_multilingual_byT5_tiny_8_layers_100/trainer_state.json @@ -0,0 +1,1136 @@ +{ + "best_metric": 0.07587812840938568, + "best_model_checkpoint": "/scratch/lingjzhu_root/lingjzhu1/lingjzhu/g2p/byt5_8_layers_baseline/checkpoint-135000", + "epoch": 9.917791237204689, + "global_step": 140000, + "is_hyper_param_search": false, + "is_local_process_zero": true, + "is_world_process_zero": true, + "log_history": [ + { + "epoch": 0.07, + "learning_rate": 0.0003, + "loss": 8.3596, + "step": 1000 + }, + { + "epoch": 0.14, + "learning_rate": 0.0002999623214094654, + "loss": 1.7981, + "step": 2000 + }, + { + "epoch": 0.21, + "learning_rate": 0.0002998493045668776, + "loss": 0.7044, + "step": 3000 + }, + { + "epoch": 0.28, + "learning_rate": 0.00029966100624977436, + "loss": 0.4284, + "step": 4000 + }, + { + "epoch": 0.35, + "learning_rate": 0.00029939752105569156, + "loss": 0.3384, + "step": 5000 + }, + { + "epoch": 0.35, + "eval_cer": 0.2570559951702279, + "eval_loss": 0.38358163833618164, + "eval_runtime": 77.3539, + "eval_samples_per_second": 64.638, + "eval_steps_per_second": 0.129, + "eval_wer": 0.5968, + "step": 5000 + }, + { + "epoch": 0.43, + "learning_rate": 0.00029905898135463893, + "loss": 0.2935, + "step": 6000 + }, + { + "epoch": 0.5, + "learning_rate": 0.0002986455572226002, + "loss": 0.2654, + "step": 7000 + }, + { + "epoch": 0.57, + "learning_rate": 0.00029815745635609, + "loss": 0.2443, + "step": 8000 + }, + { + "epoch": 0.64, + "learning_rate": 0.00029759492396781067, + "loss": 0.229, + "step": 9000 + }, + { + "epoch": 0.71, + "learning_rate": 0.00029695824266346256, + "loss": 0.2169, + "step": 10000 + }, + { + "epoch": 0.71, + "eval_cer": 0.1943552038638177, + "eval_loss": 0.24924039840698242, + "eval_runtime": 76.8393, + "eval_samples_per_second": 65.071, + "eval_steps_per_second": 0.13, + "eval_wer": 0.4916, + "step": 10000 + }, + { + "epoch": 0.78, + "learning_rate": 0.000296247732299768, + "loss": 0.2066, + "step": 11000 + }, + { + "epoch": 0.85, + "learning_rate": 0.000295463749823781, + "loss": 0.1979, + "step": 12000 + }, + { + "epoch": 0.92, + "learning_rate": 0.0002946066890935644, + "loss": 0.1906, + "step": 13000 + }, + { + "epoch": 0.99, + "learning_rate": 0.0002936769806803222, + "loss": 0.184, + "step": 14000 + }, + { + "epoch": 1.06, + "learning_rate": 0.00029267509165208945, + "loss": 0.1769, + "step": 15000 + }, + { + "epoch": 1.06, + "eval_cer": 0.1750576769658682, + "eval_loss": 0.19950397312641144, + "eval_runtime": 77.3025, + "eval_samples_per_second": 64.681, + "eval_steps_per_second": 0.129, + "eval_wer": 0.4484, + "step": 15000 + }, + { + "epoch": 1.13, + "learning_rate": 0.00029160152533908566, + "loss": 0.1726, + "step": 16000 + }, + { + "epoch": 1.2, + "learning_rate": 0.0002904568210808509, + "loss": 0.1676, + "step": 17000 + }, + { + "epoch": 1.28, + "learning_rate": 0.00028924155395529237, + "loss": 0.1627, + "step": 18000 + }, + { + "epoch": 1.35, + "learning_rate": 0.00028795633448977547, + "loss": 0.1583, + "step": 19000 + }, + { + "epoch": 1.42, + "learning_rate": 0.0002866018083544069, + "loss": 0.1559, + "step": 20000 + }, + { + "epoch": 1.42, + "eval_cer": 0.15757131460359214, + "eval_loss": 0.1710461676120758, + "eval_runtime": 77.109, + "eval_samples_per_second": 64.843, + "eval_steps_per_second": 0.13, + "eval_wer": 0.4136, + "step": 20000 + }, + { + "epoch": 1.49, + "learning_rate": 0.0002851786560376614, + "loss": 0.1511, + "step": 21000 + }, + { + "epoch": 1.56, + "learning_rate": 0.00028368759250451786, + "loss": 0.1473, + "step": 22000 + }, + { + "epoch": 1.63, + "learning_rate": 0.00028212936683727404, + "loss": 0.1443, + "step": 23000 + }, + { + "epoch": 1.7, + "learning_rate": 0.0002805047618592216, + "loss": 0.1414, + "step": 24000 + }, + { + "epoch": 1.77, + "learning_rate": 0.0002788145937413704, + "loss": 0.1387, + "step": 25000 + }, + { + "epoch": 1.77, + "eval_cer": 0.1498307423618448, + "eval_loss": 0.15107452869415283, + "eval_runtime": 76.8475, + "eval_samples_per_second": 65.064, + "eval_steps_per_second": 0.13, + "eval_wer": 0.4002, + "step": 25000 + }, + { + "epoch": 1.84, + "learning_rate": 0.00027705971159241994, + "loss": 0.1363, + "step": 26000 + }, + { + "epoch": 1.91, + "learning_rate": 0.0002752409970321824, + "loss": 0.1339, + "step": 27000 + }, + { + "epoch": 1.98, + "learning_rate": 0.000273359363748674, + "loss": 0.132, + "step": 28000 + }, + { + "epoch": 2.05, + "learning_rate": 0.0002714157570390952, + "loss": 0.1284, + "step": 29000 + }, + { + "epoch": 2.13, + "learning_rate": 0.0002694111533349308, + "loss": 0.126, + "step": 30000 + }, + { + "epoch": 2.13, + "eval_cer": 0.14055930485780202, + "eval_loss": 0.13569805026054382, + "eval_runtime": 77.0438, + "eval_samples_per_second": 64.898, + "eval_steps_per_second": 0.13, + "eval_wer": 0.3784, + "step": 30000 + }, + { + "epoch": 2.2, + "learning_rate": 0.00026734655971140956, + "loss": 0.1241, + "step": 31000 + }, + { + "epoch": 2.27, + "learning_rate": 0.00026522301338156835, + "loss": 0.1221, + "step": 32000 + }, + { + "epoch": 2.34, + "learning_rate": 0.00026304158117517563, + "loss": 0.1207, + "step": 33000 + }, + { + "epoch": 2.41, + "learning_rate": 0.0002608033590027766, + "loss": 0.1195, + "step": 34000 + }, + { + "epoch": 2.48, + "learning_rate": 0.000258509471305128, + "loss": 0.1173, + "step": 35000 + }, + { + "epoch": 2.48, + "eval_cer": 0.13616076241402358, + "eval_loss": 0.12640255689620972, + "eval_runtime": 76.9784, + "eval_samples_per_second": 64.953, + "eval_steps_per_second": 0.13, + "eval_wer": 0.369, + "step": 35000 + }, + { + "epoch": 2.55, + "learning_rate": 0.00025616107048830045, + "loss": 0.1156, + "step": 36000 + }, + { + "epoch": 2.62, + "learning_rate": 0.0002537593363447311, + "loss": 0.1141, + "step": 37000 + }, + { + "epoch": 2.69, + "learning_rate": 0.0002513054754605181, + "loss": 0.113, + "step": 38000 + }, + { + "epoch": 2.76, + "learning_rate": 0.0002488007206092547, + "loss": 0.1116, + "step": 39000 + }, + { + "epoch": 2.83, + "learning_rate": 0.00024624633013270664, + "loss": 0.1101, + "step": 40000 + }, + { + "epoch": 2.83, + "eval_cer": 0.13396149119213438, + "eval_loss": 0.1196521520614624, + "eval_runtime": 77.1165, + "eval_samples_per_second": 64.837, + "eval_steps_per_second": 0.13, + "eval_wer": 0.3636, + "step": 40000 + }, + { + "epoch": 2.9, + "learning_rate": 0.0002436435873086449, + "loss": 0.1091, + "step": 41000 + }, + { + "epoch": 2.98, + "learning_rate": 0.00024099379970615137, + "loss": 0.1073, + "step": 42000 + }, + { + "epoch": 3.05, + "learning_rate": 0.00023829829852872037, + "loss": 0.1057, + "step": 43000 + }, + { + "epoch": 3.12, + "learning_rate": 0.00023555843794548724, + "loss": 0.1046, + "step": 44000 + }, + { + "epoch": 3.19, + "learning_rate": 0.00023277559441091917, + "loss": 0.1035, + "step": 45000 + }, + { + "epoch": 3.19, + "eval_cer": 0.1291748420621402, + "eval_loss": 0.11245186626911163, + "eval_runtime": 77.1099, + "eval_samples_per_second": 64.843, + "eval_steps_per_second": 0.13, + "eval_wer": 0.3536, + "step": 45000 + }, + { + "epoch": 3.26, + "learning_rate": 0.0002299511659733103, + "loss": 0.102, + "step": 46000 + }, + { + "epoch": 3.33, + "learning_rate": 0.0002270865715724285, + "loss": 0.1011, + "step": 47000 + }, + { + "epoch": 3.4, + "learning_rate": 0.0002241832503266669, + "loss": 0.101, + "step": 48000 + }, + { + "epoch": 3.47, + "learning_rate": 0.00022124266081005755, + "loss": 0.0999, + "step": 49000 + }, + { + "epoch": 3.54, + "learning_rate": 0.0002182662803195115, + "loss": 0.0993, + "step": 50000 + }, + { + "epoch": 3.54, + "eval_cer": 0.12630716488065719, + "eval_loss": 0.10715476423501968, + "eval_runtime": 77.1106, + "eval_samples_per_second": 64.842, + "eval_steps_per_second": 0.13, + "eval_wer": 0.3478, + "step": 50000 + }, + { + "epoch": 3.61, + "learning_rate": 0.00021525560413265246, + "loss": 0.0975, + "step": 51000 + }, + { + "epoch": 3.68, + "learning_rate": 0.00021221214475661745, + "loss": 0.0968, + "step": 52000 + }, + { + "epoch": 3.75, + "learning_rate": 0.00020913743116820165, + "loss": 0.0966, + "step": 53000 + }, + { + "epoch": 3.83, + "learning_rate": 0.00020603300804572917, + "loss": 0.0955, + "step": 54000 + }, + { + "epoch": 3.9, + "learning_rate": 0.00020290043499303573, + "loss": 0.0949, + "step": 55000 + }, + { + "epoch": 3.9, + "eval_cer": 0.12458224627525388, + "eval_loss": 0.10156673938035965, + "eval_runtime": 77.2608, + "eval_samples_per_second": 64.716, + "eval_steps_per_second": 0.129, + "eval_wer": 0.3422, + "step": 55000 + }, + { + "epoch": 3.97, + "learning_rate": 0.00019974128575595291, + "loss": 0.0937, + "step": 56000 + }, + { + "epoch": 4.04, + "learning_rate": 0.000196557147431688, + "loss": 0.0925, + "step": 57000 + }, + { + "epoch": 4.11, + "learning_rate": 0.00019334961967149597, + "loss": 0.0917, + "step": 58000 + }, + { + "epoch": 4.18, + "learning_rate": 0.00019012031387704483, + "loss": 0.091, + "step": 59000 + }, + { + "epoch": 4.25, + "learning_rate": 0.00018687085239087786, + "loss": 0.0905, + "step": 60000 + }, + { + "epoch": 4.25, + "eval_cer": 0.12152051575066301, + "eval_loss": 0.09692572802305222, + "eval_runtime": 77.031, + "eval_samples_per_second": 64.909, + "eval_steps_per_second": 0.13, + "eval_wer": 0.3398, + "step": 60000 + }, + { + "epoch": 4.32, + "learning_rate": 0.00018360286768137894, + "loss": 0.0898, + "step": 61000 + }, + { + "epoch": 4.39, + "learning_rate": 0.00018031800152265137, + "loss": 0.0886, + "step": 62000 + }, + { + "epoch": 4.46, + "learning_rate": 0.00017701790416972107, + "loss": 0.0886, + "step": 63000 + }, + { + "epoch": 4.53, + "learning_rate": 0.00017370423352948002, + "loss": 0.0882, + "step": 64000 + }, + { + "epoch": 4.6, + "learning_rate": 0.00017037865432778442, + "loss": 0.0875, + "step": 65000 + }, + { + "epoch": 4.6, + "eval_cer": 0.12011901938377283, + "eval_loss": 0.09379537403583527, + "eval_runtime": 77.3356, + "eval_samples_per_second": 64.653, + "eval_steps_per_second": 0.129, + "eval_wer": 0.3314, + "step": 65000 + }, + { + "epoch": 4.68, + "learning_rate": 0.00016704283727312792, + "loss": 0.0867, + "step": 66000 + }, + { + "epoch": 4.75, + "learning_rate": 0.00016369845821730933, + "loss": 0.0865, + "step": 67000 + }, + { + "epoch": 4.82, + "learning_rate": 0.00016034719731351576, + "loss": 0.0858, + "step": 68000 + }, + { + "epoch": 4.89, + "learning_rate": 0.00015699073817224542, + "loss": 0.0854, + "step": 69000 + }, + { + "epoch": 4.96, + "learning_rate": 0.00015363076701549341, + "loss": 0.0849, + "step": 70000 + }, + { + "epoch": 4.96, + "eval_cer": 0.11830785484809936, + "eval_loss": 0.09131144732236862, + "eval_runtime": 77.6068, + "eval_samples_per_second": 64.427, + "eval_steps_per_second": 0.129, + "eval_wer": 0.3296, + "step": 70000 + }, + { + "epoch": 5.03, + "learning_rate": 0.00015026897182962535, + "loss": 0.0841, + "step": 71000 + }, + { + "epoch": 5.1, + "learning_rate": 0.00014690704151736484, + "loss": 0.0825, + "step": 72000 + }, + { + "epoch": 5.17, + "learning_rate": 0.0001435466650493204, + "loss": 0.0822, + "step": 73000 + }, + { + "epoch": 5.24, + "learning_rate": 0.0001401895306154785, + "loss": 0.082, + "step": 74000 + }, + { + "epoch": 5.31, + "learning_rate": 0.0001368373247770885, + "loss": 0.082, + "step": 75000 + }, + { + "epoch": 5.31, + "eval_cer": 0.11716509627201967, + "eval_loss": 0.08901260048151016, + "eval_runtime": 77.1989, + "eval_samples_per_second": 64.768, + "eval_steps_per_second": 0.13, + "eval_wer": 0.328, + "step": 75000 + }, + { + "epoch": 5.38, + "learning_rate": 0.00013349173161936601, + "loss": 0.0814, + "step": 76000 + }, + { + "epoch": 5.45, + "learning_rate": 0.00013015443190544018, + "loss": 0.0806, + "step": 77000 + }, + { + "epoch": 5.53, + "learning_rate": 0.00012682710223196978, + "loss": 0.0804, + "step": 78000 + }, + { + "epoch": 5.6, + "learning_rate": 0.00012351141418685273, + "loss": 0.0802, + "step": 79000 + }, + { + "epoch": 5.67, + "learning_rate": 0.00012020903350945151, + "loss": 0.0795, + "step": 80000 + }, + { + "epoch": 5.67, + "eval_cer": 0.11610858362621014, + "eval_loss": 0.08586645126342773, + "eval_runtime": 77.3472, + "eval_samples_per_second": 64.644, + "eval_steps_per_second": 0.129, + "eval_wer": 0.323, + "step": 80000 + }, + { + "epoch": 5.74, + "learning_rate": 0.00011692161925375738, + "loss": 0.0796, + "step": 81000 + }, + { + "epoch": 5.81, + "learning_rate": 0.00011365082295491233, + "loss": 0.079, + "step": 82000 + }, + { + "epoch": 5.88, + "learning_rate": 0.00011039828779950928, + "loss": 0.0786, + "step": 83000 + }, + { + "epoch": 5.95, + "learning_rate": 0.0001071656478000858, + "loss": 0.0785, + "step": 84000 + }, + { + "epoch": 6.02, + "learning_rate": 0.00010395452697422703, + "loss": 0.0778, + "step": 85000 + }, + { + "epoch": 6.02, + "eval_cer": 0.11559110804458915, + "eval_loss": 0.08337103575468063, + "eval_runtime": 77.0153, + "eval_samples_per_second": 64.922, + "eval_steps_per_second": 0.13, + "eval_wer": 0.322, + "step": 85000 + }, + { + "epoch": 6.09, + "learning_rate": 0.00010076653852868962, + "loss": 0.0766, + "step": 86000 + }, + { + "epoch": 6.16, + "learning_rate": 9.760328404895728e-05, + "loss": 0.0762, + "step": 87000 + }, + { + "epoch": 6.23, + "learning_rate": 9.446635269463389e-05, + "loss": 0.0759, + "step": 88000 + }, + { + "epoch": 6.3, + "learning_rate": 9.135732040107998e-05, + "loss": 0.0759, + "step": 89000 + }, + { + "epoch": 6.38, + "learning_rate": 8.82777490876921e-05, + "loss": 0.0755, + "step": 90000 + }, + { + "epoch": 6.38, + "eval_cer": 0.11524612432350849, + "eval_loss": 0.08183012902736664, + "eval_runtime": 77.0479, + "eval_samples_per_second": 64.895, + "eval_steps_per_second": 0.13, + "eval_wer": 0.3196, + "step": 90000 + }, + { + "epoch": 6.45, + "learning_rate": 8.522918587322418e-05, + "loss": 0.0752, + "step": 91000 + }, + { + "epoch": 6.52, + "learning_rate": 8.22131622985438e-05, + "loss": 0.0754, + "step": 92000 + }, + { + "epoch": 6.59, + "learning_rate": 7.923119355721526e-05, + "loss": 0.0752, + "step": 93000 + }, + { + "epoch": 6.66, + "learning_rate": 7.628477773429438e-05, + "loss": 0.0745, + "step": 94000 + }, + { + "epoch": 6.73, + "learning_rate": 7.3375395053719e-05, + "loss": 0.0747, + "step": 95000 + }, + { + "epoch": 6.73, + "eval_cer": 0.11298216865391664, + "eval_loss": 0.0807877779006958, + "eval_runtime": 77.4517, + "eval_samples_per_second": 64.556, + "eval_steps_per_second": 0.129, + "eval_wer": 0.318, + "step": 95000 + }, + { + "epoch": 6.8, + "learning_rate": 7.050450713467216e-05, + "loss": 0.0737, + "step": 96000 + }, + { + "epoch": 6.87, + "learning_rate": 6.767355625729215e-05, + "loss": 0.0735, + "step": 97000 + }, + { + "epoch": 6.94, + "learning_rate": 6.488396463809805e-05, + "loss": 0.0736, + "step": 98000 + }, + { + "epoch": 7.01, + "learning_rate": 6.213713371549497e-05, + "loss": 0.0729, + "step": 99000 + }, + { + "epoch": 7.08, + "learning_rate": 5.943444344571755e-05, + "loss": 0.0717, + "step": 100000 + }, + { + "epoch": 7.08, + "eval_cer": 0.11276655382824123, + "eval_loss": 0.07980009913444519, + "eval_runtime": 77.3354, + "eval_samples_per_second": 64.653, + "eval_steps_per_second": 0.129, + "eval_wer": 0.3174, + "step": 100000 + }, + { + "epoch": 7.15, + "learning_rate": 5.6777251609566e-05, + "loss": 0.0722, + "step": 101000 + }, + { + "epoch": 7.23, + "learning_rate": 5.416689313028253e-05, + "loss": 0.0717, + "step": 102000 + }, + { + "epoch": 7.3, + "learning_rate": 5.1604679402911015e-05, + "loss": 0.0717, + "step": 103000 + }, + { + "epoch": 7.37, + "learning_rate": 4.9091897635476726e-05, + "loss": 0.0716, + "step": 104000 + }, + { + "epoch": 7.44, + "learning_rate": 4.6629810202317166e-05, + "loss": 0.0716, + "step": 105000 + }, + { + "epoch": 7.44, + "eval_cer": 0.11278811531080878, + "eval_loss": 0.07881917804479599, + "eval_runtime": 77.1771, + "eval_samples_per_second": 64.786, + "eval_steps_per_second": 0.13, + "eval_wer": 0.3126, + "step": 105000 + }, + { + "epoch": 7.51, + "learning_rate": 4.421965400988918e-05, + "loss": 0.0713, + "step": 106000 + }, + { + "epoch": 7.58, + "learning_rate": 4.1862639875370016e-05, + "loss": 0.0712, + "step": 107000 + }, + { + "epoch": 7.65, + "learning_rate": 3.955995191836581e-05, + "loss": 0.0713, + "step": 108000 + }, + { + "epoch": 7.72, + "learning_rate": 3.731274696603201e-05, + "loss": 0.071, + "step": 109000 + }, + { + "epoch": 7.79, + "learning_rate": 3.512215397190527e-05, + "loss": 0.0707, + "step": 110000 + }, + { + "epoch": 7.79, + "eval_cer": 0.11227063972918779, + "eval_loss": 0.07775964587926865, + "eval_runtime": 77.2915, + "eval_samples_per_second": 64.69, + "eval_steps_per_second": 0.129, + "eval_wer": 0.3126, + "step": 110000 + }, + { + "epoch": 7.86, + "learning_rate": 3.298927344873821e-05, + "loss": 0.0703, + "step": 111000 + }, + { + "epoch": 7.93, + "learning_rate": 3.091517691562284e-05, + "loss": 0.0703, + "step": 112000 + }, + { + "epoch": 8.01, + "learning_rate": 2.890090635967912e-05, + "loss": 0.0708, + "step": 113000 + }, + { + "epoch": 8.08, + "learning_rate": 2.694747371258042e-05, + "loss": 0.0694, + "step": 114000 + }, + { + "epoch": 8.15, + "learning_rate": 2.505586034217802e-05, + "loss": 0.069, + "step": 115000 + }, + { + "epoch": 8.15, + "eval_cer": 0.11177472563013433, + "eval_loss": 0.07695135474205017, + "eval_runtime": 77.144, + "eval_samples_per_second": 64.814, + "eval_steps_per_second": 0.13, + "eval_wer": 0.3118, + "step": 115000 + }, + { + "epoch": 8.22, + "learning_rate": 2.3227016559480356e-05, + "loss": 0.0695, + "step": 116000 + }, + { + "epoch": 8.29, + "learning_rate": 2.1461861141234628e-05, + "loss": 0.0693, + "step": 117000 + }, + { + "epoch": 8.36, + "learning_rate": 1.9761280868350654e-05, + "loss": 0.0692, + "step": 118000 + }, + { + "epoch": 8.43, + "learning_rate": 1.8126130080398725e-05, + "loss": 0.0693, + "step": 119000 + }, + { + "epoch": 8.5, + "learning_rate": 1.655723024640553e-05, + "loss": 0.069, + "step": 120000 + }, + { + "epoch": 8.5, + "eval_cer": 0.11201190193837729, + "eval_loss": 0.0767173245549202, + "eval_runtime": 77.276, + "eval_samples_per_second": 64.703, + "eval_steps_per_second": 0.129, + "eval_wer": 0.315, + "step": 120000 + }, + { + "epoch": 8.57, + "learning_rate": 1.5055369552163509e-05, + "loss": 0.0689, + "step": 121000 + }, + { + "epoch": 8.64, + "learning_rate": 1.3621302504261194e-05, + "loss": 0.0687, + "step": 122000 + }, + { + "epoch": 8.71, + "learning_rate": 1.2255749551033205e-05, + "loss": 0.0686, + "step": 123000 + }, + { + "epoch": 8.78, + "learning_rate": 1.0959396720620555e-05, + "loss": 0.0688, + "step": 124000 + }, + { + "epoch": 8.86, + "learning_rate": 9.732895276323099e-06, + "loss": 0.0686, + "step": 125000 + }, + { + "epoch": 8.86, + "eval_cer": 0.11177472563013433, + "eval_loss": 0.07622109353542328, + "eval_runtime": 77.3587, + "eval_samples_per_second": 64.634, + "eval_steps_per_second": 0.129, + "eval_wer": 0.3114, + "step": 125000 + }, + { + "epoch": 8.93, + "learning_rate": 8.576861389416939e-06, + "loss": 0.0683, + "step": 126000 + }, + { + "epoch": 9.0, + "learning_rate": 7.4918758296016734e-06, + "loss": 0.0684, + "step": 127000 + }, + { + "epoch": 9.07, + "learning_rate": 6.478483673232537e-06, + "loss": 0.0682, + "step": 128000 + }, + { + "epoch": 9.14, + "learning_rate": 5.537194029484349e-06, + "loss": 0.0677, + "step": 129000 + }, + { + "epoch": 9.21, + "learning_rate": 4.668479784584583e-06, + "loss": 0.0677, + "step": 130000 + }, + { + "epoch": 9.21, + "eval_cer": 0.1117100411824317, + "eval_loss": 0.07608392089605331, + "eval_runtime": 77.3029, + "eval_samples_per_second": 64.681, + "eval_steps_per_second": 0.129, + "eval_wer": 0.312, + "step": 130000 + }, + { + "epoch": 9.28, + "learning_rate": 3.872777364244245e-06, + "loss": 0.0683, + "step": 131000 + }, + { + "epoch": 9.35, + "learning_rate": 3.150486514405798e-06, + "loss": 0.068, + "step": 132000 + }, + { + "epoch": 9.42, + "learning_rate": 2.50197010041826e-06, + "loss": 0.0679, + "step": 133000 + }, + { + "epoch": 9.49, + "learning_rate": 1.9275539247405437e-06, + "loss": 0.0677, + "step": 134000 + }, + { + "epoch": 9.56, + "learning_rate": 1.4275265632643806e-06, + "loss": 0.0686, + "step": 135000 + }, + { + "epoch": 9.56, + "eval_cer": 0.11110631967054055, + "eval_loss": 0.07587812840938568, + "eval_runtime": 77.3541, + "eval_samples_per_second": 64.638, + "eval_steps_per_second": 0.129, + "eval_wer": 0.3122, + "step": 135000 + }, + { + "epoch": 9.63, + "learning_rate": 1.0021392203391932e-06, + "loss": 0.0674, + "step": 136000 + }, + { + "epoch": 9.71, + "learning_rate": 6.516056025718585e-07, + "loss": 0.0679, + "step": 137000 + }, + { + "epoch": 9.78, + "learning_rate": 3.76101811464391e-07, + "loss": 0.0679, + "step": 138000 + }, + { + "epoch": 9.85, + "learning_rate": 1.7576625494392648e-07, + "loss": 0.0683, + "step": 139000 + }, + { + "epoch": 9.92, + "learning_rate": 5.0699577829210744e-08, + "loss": 0.0683, + "step": 140000 + }, + { + "epoch": 9.92, + "eval_cer": 0.11117100411824317, + "eval_loss": 0.07590720802545547, + "eval_runtime": 76.9386, + "eval_samples_per_second": 64.987, + "eval_steps_per_second": 0.13, + "eval_wer": 0.312, + "step": 140000 + } + ], + "max_steps": 141160, + "num_train_epochs": 10, + "total_flos": 1.2397348217772442e+17, + "trial_name": null, + "trial_params": null +} diff --git a/byT5/Charsiu/g2p_multilingual_mT5_small/.gitattributes b/byT5/Charsiu/g2p_multilingual_mT5_small/.gitattributes new file mode 100644 index 0000000000000000000000000000000000000000..ac481c8eb05e4d2496fbe076a38a7b4835dd733d --- /dev/null +++ b/byT5/Charsiu/g2p_multilingual_mT5_small/.gitattributes @@ -0,0 +1,27 @@ +*.7z filter=lfs diff=lfs merge=lfs -text +*.arrow filter=lfs diff=lfs merge=lfs -text +*.bin filter=lfs diff=lfs merge=lfs -text +*.bz2 filter=lfs diff=lfs merge=lfs -text +*.ftz filter=lfs diff=lfs merge=lfs -text +*.gz filter=lfs diff=lfs merge=lfs -text +*.h5 filter=lfs diff=lfs merge=lfs -text +*.joblib filter=lfs diff=lfs merge=lfs -text +*.lfs.* filter=lfs diff=lfs merge=lfs -text +*.model filter=lfs diff=lfs merge=lfs -text +*.msgpack filter=lfs diff=lfs merge=lfs -text +*.onnx filter=lfs diff=lfs merge=lfs -text +*.ot filter=lfs diff=lfs merge=lfs -text +*.parquet filter=lfs diff=lfs merge=lfs -text +*.pb filter=lfs diff=lfs merge=lfs -text +*.pt filter=lfs diff=lfs merge=lfs -text +*.pth filter=lfs diff=lfs merge=lfs -text +*.rar filter=lfs diff=lfs merge=lfs -text +saved_model/**/* filter=lfs diff=lfs merge=lfs -text +*.tar.* filter=lfs diff=lfs merge=lfs -text +*.tflite filter=lfs diff=lfs merge=lfs -text +*.tgz filter=lfs diff=lfs merge=lfs -text +*.wasm filter=lfs diff=lfs merge=lfs -text +*.xz filter=lfs diff=lfs merge=lfs -text +*.zip filter=lfs diff=lfs merge=lfs -text +*.zstandard filter=lfs diff=lfs merge=lfs -text +*tfevents* filter=lfs diff=lfs merge=lfs -text diff --git a/byT5/Charsiu/g2p_multilingual_mT5_small/config.json b/byT5/Charsiu/g2p_multilingual_mT5_small/config.json new file mode 100644 index 0000000000000000000000000000000000000000..9c5cf02fac2b211a8b84f80c5c69a58cd044a5b4 --- /dev/null +++ b/byT5/Charsiu/g2p_multilingual_mT5_small/config.json @@ -0,0 +1,28 @@ +{ + "_name_or_path": "google/mt5-small", + "architectures": [ + "T5ForConditionalGeneration" + ], + "d_ff": 1024, + "d_kv": 64, + "d_model": 512, + "decoder_start_token_id": 0, + "dropout_rate": 0.1, + "eos_token_id": 1, + "feed_forward_proj": "gated-gelu", + "initializer_factor": 1.0, + "is_encoder_decoder": true, + "layer_norm_epsilon": 1e-06, + "model_type": "t5", + "num_decoder_layers": 8, + "num_heads": 6, + "num_layers": 8, + "pad_token_id": 0, + "relative_attention_num_buckets": 32, + "tie_word_embeddings": false, + "tokenizer_class": "T5Tokenizer", + "torch_dtype": "float32", + "transformers_version": "4.16.2", + "use_cache": true, + "vocab_size": 250112 +} diff --git a/byT5/Charsiu/g2p_multilingual_mT5_small/pytorch_model.bin b/byT5/Charsiu/g2p_multilingual_mT5_small/pytorch_model.bin new file mode 100644 index 0000000000000000000000000000000000000000..6dec408e8b351c4367e6d85a025d2bbe3fceda08 --- /dev/null +++ b/byT5/Charsiu/g2p_multilingual_mT5_small/pytorch_model.bin @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:8571dd4cfcf034fa7248a93552149b6576c54ecfb6fc8c8e1d283d131c924b2b +size 1200792197 diff --git a/byT5/Charsiu/g2p_multilingual_mT5_small/source.txt b/byT5/Charsiu/g2p_multilingual_mT5_small/source.txt new file mode 100644 index 0000000000000000000000000000000000000000..7b1794d23f44fdedadfc32b1b3c2ce2477bf8ef9 --- /dev/null +++ b/byT5/Charsiu/g2p_multilingual_mT5_small/source.txt @@ -0,0 +1 @@ +https://huggingface.co/charsiu/g2p_multilingual_mT5_small \ No newline at end of file diff --git a/byT5/Charsiu/g2p_multilingual_mT5_small/trainer_state.json b/byT5/Charsiu/g2p_multilingual_mT5_small/trainer_state.json new file mode 100644 index 0000000000000000000000000000000000000000..c740eb1880a255eb002920f0655ec70b7ccf0fbf --- /dev/null +++ b/byT5/Charsiu/g2p_multilingual_mT5_small/trainer_state.json @@ -0,0 +1,1096 @@ +{ + "best_metric": 0.4174646901919629, + "best_model_checkpoint": "/scratch/lingjzhu_root/lingjzhu1/lingjzhu/g2p/mt5_small_finetuned_from_pretrained/checkpoint-5000", + "epoch": 9.646302250803858, + "global_step": 135000, + "is_hyper_param_search": false, + "is_local_process_zero": true, + "is_world_process_zero": true, + "log_history": [ + { + "epoch": 0.07, + "learning_rate": 0.0003, + "loss": 6.4541, + "step": 1000 + }, + { + "epoch": 0.14, + "learning_rate": 0.0002999616623572683, + "loss": 2.0742, + "step": 2000 + }, + { + "epoch": 0.21, + "learning_rate": 0.00029984666902607135, + "loss": 1.6562, + "step": 3000 + }, + { + "epoch": 0.29, + "learning_rate": 0.0002996550787873857, + "loss": 1.4386, + "step": 4000 + }, + { + "epoch": 0.36, + "learning_rate": 0.0002993869895761197, + "loss": 1.2918, + "step": 5000 + }, + { + "epoch": 0.36, + "eval_cer": 0.4174646901919629, + "eval_loss": 1.3500438928604126, + "eval_runtime": 51.1023, + "eval_samples_per_second": 96.864, + "eval_steps_per_second": 0.763, + "eval_wer": 0.8442424242424242, + "step": 5000 + }, + { + "epoch": 0.43, + "learning_rate": 0.000299042538431052, + "loss": 1.1816, + "step": 6000 + }, + { + "epoch": 0.5, + "learning_rate": 0.00029862190142478177, + "loss": 1.0922, + "step": 7000 + }, + { + "epoch": 0.57, + "learning_rate": 0.00029812529357372587, + "loss": 1.0252, + "step": 8000 + }, + { + "epoch": 0.64, + "learning_rate": 0.00029755296872820933, + "loss": 0.9679, + "step": 9000 + }, + { + "epoch": 0.71, + "learning_rate": 0.0002969052194427048, + "loss": 0.9178, + "step": 10000 + }, + { + "epoch": 0.71, + "eval_cer": 0.327889282434737, + "eval_loss": 1.0114015340805054, + "eval_runtime": 50.1773, + "eval_samples_per_second": 98.65, + "eval_steps_per_second": 0.777, + "eval_wer": 0.7397979797979798, + "step": 10000 + }, + { + "epoch": 0.79, + "learning_rate": 0.0002961823768262882, + "loss": 0.8744, + "step": 11000 + }, + { + "epoch": 0.86, + "learning_rate": 0.0002953848103733858, + "loss": 0.8375, + "step": 12000 + }, + { + "epoch": 0.93, + "learning_rate": 0.00029451292777490066, + "loss": 0.8037, + "step": 13000 + }, + { + "epoch": 1.0, + "learning_rate": 0.0002935671747098137, + "loss": 0.7722, + "step": 14000 + }, + { + "epoch": 1.07, + "learning_rate": 0.00029254803461736643, + "loss": 0.7378, + "step": 15000 + }, + { + "epoch": 1.07, + "eval_cer": 0.28204119113210024, + "eval_loss": 0.8321653008460999, + "eval_runtime": 50.1597, + "eval_samples_per_second": 98.685, + "eval_steps_per_second": 0.778, + "eval_wer": 0.6737373737373737, + "step": 15000 + }, + { + "epoch": 1.14, + "learning_rate": 0.00029145602844994243, + "loss": 0.7151, + "step": 16000 + }, + { + "epoch": 1.21, + "learning_rate": 0.0002902917144067724, + "loss": 0.6922, + "step": 17000 + }, + { + "epoch": 1.29, + "learning_rate": 0.00028905568764860047, + "loss": 0.6723, + "step": 18000 + }, + { + "epoch": 1.36, + "learning_rate": 0.00028774857999345685, + "loss": 0.6533, + "step": 19000 + }, + { + "epoch": 1.43, + "learning_rate": 0.0002863710595936922, + "loss": 0.6377, + "step": 20000 + }, + { + "epoch": 1.43, + "eval_cer": 0.24406401679128953, + "eval_loss": 0.7227747440338135, + "eval_runtime": 49.3788, + "eval_samples_per_second": 100.245, + "eval_steps_per_second": 0.79, + "eval_wer": 0.623030303030303, + "step": 20000 + }, + { + "epoch": 1.5, + "learning_rate": 0.0002849238305944389, + "loss": 0.618, + "step": 21000 + }, + { + "epoch": 1.57, + "learning_rate": 0.00028340763277367477, + "loss": 0.6064, + "step": 22000 + }, + { + "epoch": 1.64, + "learning_rate": 0.0002818232411640713, + "loss": 0.5906, + "step": 23000 + }, + { + "epoch": 1.71, + "learning_rate": 0.00028017146565682144, + "loss": 0.5806, + "step": 24000 + }, + { + "epoch": 1.79, + "learning_rate": 0.00027845315058764886, + "loss": 0.5641, + "step": 25000 + }, + { + "epoch": 1.79, + "eval_cer": 0.22388386024749662, + "eval_loss": 0.6477043032646179, + "eval_runtime": 49.7718, + "eval_samples_per_second": 99.454, + "eval_steps_per_second": 0.784, + "eval_wer": 0.5822222222222222, + "step": 25000 + }, + { + "epoch": 1.86, + "learning_rate": 0.00027666917430520975, + "loss": 0.5522, + "step": 26000 + }, + { + "epoch": 1.93, + "learning_rate": 0.00027482044872210895, + "loss": 0.5415, + "step": 27000 + }, + { + "epoch": 2.0, + "learning_rate": 0.0002729079188487587, + "loss": 0.5308, + "step": 28000 + }, + { + "epoch": 2.07, + "learning_rate": 0.00027093256231031885, + "loss": 0.5134, + "step": 29000 + }, + { + "epoch": 2.14, + "learning_rate": 0.00026889538884696597, + "loss": 0.5042, + "step": 30000 + }, + { + "epoch": 2.14, + "eval_cer": 0.20149547422274694, + "eval_loss": 0.593482494354248, + "eval_runtime": 50.469, + "eval_samples_per_second": 98.08, + "eval_steps_per_second": 0.773, + "eval_wer": 0.5438383838383838, + "step": 30000 + }, + { + "epoch": 2.22, + "learning_rate": 0.0002667974397977457, + "loss": 0.496, + "step": 31000 + }, + { + "epoch": 2.29, + "learning_rate": 0.0002646397875682729, + "loss": 0.4864, + "step": 32000 + }, + { + "epoch": 2.36, + "learning_rate": 0.00026242353508255185, + "loss": 0.4802, + "step": 33000 + }, + { + "epoch": 2.43, + "learning_rate": 0.0002601498152191957, + "loss": 0.4743, + "step": 34000 + }, + { + "epoch": 2.5, + "learning_rate": 0.0002578197902323352, + "loss": 0.4677, + "step": 35000 + }, + { + "epoch": 2.5, + "eval_cer": 0.18538195810923083, + "eval_loss": 0.5494824051856995, + "eval_runtime": 49.5862, + "eval_samples_per_second": 99.826, + "eval_steps_per_second": 0.787, + "eval_wer": 0.5167676767676768, + "step": 35000 + }, + { + "epoch": 2.57, + "learning_rate": 0.00025543465115751026, + "loss": 0.4599, + "step": 36000 + }, + { + "epoch": 2.64, + "learning_rate": 0.0002529956172028505, + "loss": 0.4532, + "step": 37000 + }, + { + "epoch": 2.72, + "learning_rate": 0.0002505039351258541, + "loss": 0.4471, + "step": 38000 + }, + { + "epoch": 2.79, + "learning_rate": 0.0002479608785960846, + "loss": 0.4414, + "step": 39000 + }, + { + "epoch": 2.86, + "learning_rate": 0.0002453677475441111, + "loss": 0.4346, + "step": 40000 + }, + { + "epoch": 2.86, + "eval_cer": 0.17329135510953692, + "eval_loss": 0.5157131552696228, + "eval_runtime": 49.3694, + "eval_samples_per_second": 100.265, + "eval_steps_per_second": 0.79, + "eval_wer": 0.4888888888888889, + "step": 40000 + }, + { + "epoch": 2.93, + "learning_rate": 0.00024272586749702474, + "loss": 0.4295, + "step": 41000 + }, + { + "epoch": 3.0, + "learning_rate": 0.0002400365889008706, + "loss": 0.4248, + "step": 42000 + }, + { + "epoch": 3.07, + "learning_rate": 0.00023730128643034235, + "loss": 0.4108, + "step": 43000 + }, + { + "epoch": 3.14, + "learning_rate": 0.00023452135828609167, + "loss": 0.4082, + "step": 44000 + }, + { + "epoch": 3.22, + "learning_rate": 0.0002316982254800121, + "loss": 0.4023, + "step": 45000 + }, + { + "epoch": 3.22, + "eval_cer": 0.1658139839958022, + "eval_loss": 0.48504093289375305, + "eval_runtime": 49.7275, + "eval_samples_per_second": 99.543, + "eval_steps_per_second": 0.784, + "eval_wer": 0.47333333333333333, + "step": 45000 + }, + { + "epoch": 3.29, + "learning_rate": 0.00022883333110886237, + "loss": 0.3987, + "step": 46000 + }, + { + "epoch": 3.36, + "learning_rate": 0.00022592813961660067, + "loss": 0.3942, + "step": 47000 + }, + { + "epoch": 3.43, + "learning_rate": 0.00022298413604580696, + "loss": 0.3901, + "step": 48000 + }, + { + "epoch": 3.5, + "learning_rate": 0.00022000282527857588, + "loss": 0.3865, + "step": 49000 + }, + { + "epoch": 3.57, + "learning_rate": 0.0002169857312672683, + "loss": 0.3832, + "step": 50000 + }, + { + "epoch": 3.57, + "eval_cer": 0.15555992828720103, + "eval_loss": 0.46218162775039673, + "eval_runtime": 49.258, + "eval_samples_per_second": 100.491, + "eval_steps_per_second": 0.792, + "eval_wer": 0.45656565656565656, + "step": 50000 + }, + { + "epoch": 3.64, + "learning_rate": 0.00021393439625551483, + "loss": 0.3814, + "step": 51000 + }, + { + "epoch": 3.72, + "learning_rate": 0.00021085037998986924, + "loss": 0.3766, + "step": 52000 + }, + { + "epoch": 3.79, + "learning_rate": 0.00020773525892251514, + "loss": 0.3733, + "step": 53000 + }, + { + "epoch": 3.86, + "learning_rate": 0.00020459062540543316, + "loss": 0.3704, + "step": 54000 + }, + { + "epoch": 3.93, + "learning_rate": 0.00020141808687644067, + "loss": 0.3679, + "step": 55000 + }, + { + "epoch": 3.93, + "eval_cer": 0.14858542131269403, + "eval_loss": 0.4401688873767853, + "eval_runtime": 49.2401, + "eval_samples_per_second": 100.528, + "eval_steps_per_second": 0.792, + "eval_wer": 0.44161616161616163, + "step": 55000 + }, + { + "epoch": 4.0, + "learning_rate": 0.00019821926503751995, + "loss": 0.3642, + "step": 56000 + }, + { + "epoch": 4.07, + "learning_rate": 0.00019499579502585537, + "loss": 0.3541, + "step": 57000 + }, + { + "epoch": 4.14, + "learning_rate": 0.00019174932457800242, + "loss": 0.3519, + "step": 58000 + }, + { + "epoch": 4.22, + "learning_rate": 0.0001884815131876167, + "loss": 0.3489, + "step": 59000 + }, + { + "epoch": 4.29, + "learning_rate": 0.00018519403125717278, + "loss": 0.3449, + "step": 60000 + }, + { + "epoch": 4.29, + "eval_cer": 0.1472080108443745, + "eval_loss": 0.42405223846435547, + "eval_runtime": 49.3556, + "eval_samples_per_second": 100.292, + "eval_steps_per_second": 0.79, + "eval_wer": 0.4298989898989899, + "step": 60000 + }, + { + "epoch": 4.36, + "learning_rate": 0.00018188855924410722, + "loss": 0.3446, + "step": 61000 + }, + { + "epoch": 4.43, + "learning_rate": 0.00017856678680182127, + "loss": 0.3427, + "step": 62000 + }, + { + "epoch": 4.5, + "learning_rate": 0.0001752304119159834, + "loss": 0.3398, + "step": 63000 + }, + { + "epoch": 4.57, + "learning_rate": 0.00017188114003657205, + "loss": 0.3389, + "step": 64000 + }, + { + "epoch": 4.64, + "learning_rate": 0.00016852068320610358, + "loss": 0.3356, + "step": 65000 + }, + { + "epoch": 4.64, + "eval_cer": 0.1398399580217762, + "eval_loss": 0.41292211413383484, + "eval_runtime": 50.0206, + "eval_samples_per_second": 98.959, + "eval_steps_per_second": 0.78, + "eval_wer": 0.4202020202020202, + "step": 65000 + }, + { + "epoch": 4.72, + "learning_rate": 0.00016515075918448972, + "loss": 0.334, + "step": 66000 + }, + { + "epoch": 4.79, + "learning_rate": 0.00016177309057097285, + "loss": 0.3314, + "step": 67000 + }, + { + "epoch": 4.86, + "learning_rate": 0.00015838940392358722, + "loss": 0.3287, + "step": 68000 + }, + { + "epoch": 4.93, + "learning_rate": 0.00015500142887659688, + "loss": 0.3268, + "step": 69000 + }, + { + "epoch": 5.0, + "learning_rate": 0.00015161089725636095, + "loss": 0.3248, + "step": 70000 + }, + { + "epoch": 5.0, + "eval_cer": 0.13376186103458831, + "eval_loss": 0.39875853061676025, + "eval_runtime": 50.019, + "eval_samples_per_second": 98.962, + "eval_steps_per_second": 0.78, + "eval_wer": 0.40969696969696967, + "step": 70000 + }, + { + "epoch": 5.07, + "learning_rate": 0.00014821954219607845, + "loss": 0.3166, + "step": 71000 + }, + { + "epoch": 5.14, + "learning_rate": 0.0001448290972498651, + "loss": 0.3157, + "step": 72000 + }, + { + "epoch": 5.22, + "learning_rate": 0.00014144129550661485, + "loss": 0.3147, + "step": 73000 + }, + { + "epoch": 5.29, + "learning_rate": 0.0001380578687040995, + "loss": 0.3128, + "step": 74000 + }, + { + "epoch": 5.36, + "learning_rate": 0.00013468054634375843, + "loss": 0.3136, + "step": 75000 + }, + { + "epoch": 5.36, + "eval_cer": 0.13196904105995014, + "eval_loss": 0.3886343240737915, + "eval_runtime": 50.1519, + "eval_samples_per_second": 98.7, + "eval_steps_per_second": 0.778, + "eval_wer": 0.4026262626262626, + "step": 75000 + }, + { + "epoch": 5.43, + "learning_rate": 0.00013131105480663235, + "loss": 0.3104, + "step": 76000 + }, + { + "epoch": 5.5, + "learning_rate": 0.000127951116470891, + "loss": 0.3102, + "step": 77000 + }, + { + "epoch": 5.57, + "learning_rate": 0.00012460244883140783, + "loss": 0.3076, + "step": 78000 + }, + { + "epoch": 5.64, + "learning_rate": 0.0001212667636218309, + "loss": 0.3068, + "step": 79000 + }, + { + "epoch": 5.72, + "learning_rate": 0.00011794576593959775, + "loss": 0.3054, + "step": 80000 + }, + { + "epoch": 5.72, + "eval_cer": 0.12906117451571997, + "eval_loss": 0.38137927651405334, + "eval_runtime": 50.2174, + "eval_samples_per_second": 98.571, + "eval_steps_per_second": 0.777, + "eval_wer": 0.39656565656565657, + "step": 80000 + }, + { + "epoch": 5.79, + "learning_rate": 0.00011464115337434394, + "loss": 0.304, + "step": 81000 + }, + { + "epoch": 5.86, + "learning_rate": 0.00011135461514014796, + "loss": 0.3026, + "step": 82000 + }, + { + "epoch": 5.93, + "learning_rate": 0.00010808783121205837, + "loss": 0.3019, + "step": 83000 + }, + { + "epoch": 6.0, + "learning_rate": 0.00010484247146734352, + "loss": 0.3013, + "step": 84000 + }, + { + "epoch": 6.07, + "learning_rate": 0.00010162019483190237, + "loss": 0.2939, + "step": 85000 + }, + { + "epoch": 6.07, + "eval_cer": 0.12759630941449124, + "eval_loss": 0.37229374051094055, + "eval_runtime": 49.9246, + "eval_samples_per_second": 99.149, + "eval_steps_per_second": 0.781, + "eval_wer": 0.39111111111111113, + "step": 85000 + }, + { + "epoch": 6.15, + "learning_rate": 9.842264843227404e-05, + "loss": 0.2946, + "step": 86000 + }, + { + "epoch": 6.22, + "learning_rate": 9.52514667536784e-05, + "loss": 0.2929, + "step": 87000 + }, + { + "epoch": 6.29, + "learning_rate": 9.210827080451842e-05, + "loss": 0.2915, + "step": 88000 + }, + { + "epoch": 6.36, + "learning_rate": 8.899466728777203e-05, + "loss": 0.2911, + "step": 89000 + }, + { + "epoch": 6.43, + "learning_rate": 8.591224777969557e-05, + "loss": 0.2896, + "step": 90000 + }, + { + "epoch": 6.43, + "eval_cer": 0.12425116970571516, + "eval_loss": 0.36660394072532654, + "eval_runtime": 49.8757, + "eval_samples_per_second": 99.247, + "eval_steps_per_second": 0.782, + "eval_wer": 0.3882828282828283, + "step": 90000 + }, + { + "epoch": 6.5, + "learning_rate": 8.286258791626041e-05, + "loss": 0.289, + "step": 91000 + }, + { + "epoch": 6.57, + "learning_rate": 7.984724658773716e-05, + "loss": 0.2888, + "step": 92000 + }, + { + "epoch": 6.65, + "learning_rate": 7.686776514184009e-05, + "loss": 0.2871, + "step": 93000 + }, + { + "epoch": 6.72, + "learning_rate": 7.392566659583846e-05, + "loss": 0.2869, + "step": 94000 + }, + { + "epoch": 6.79, + "learning_rate": 7.102245485803813e-05, + "loss": 0.2858, + "step": 95000 + }, + { + "epoch": 6.79, + "eval_cer": 0.1241199877563514, + "eval_loss": 0.3614996075630188, + "eval_runtime": 50.0083, + "eval_samples_per_second": 98.984, + "eval_steps_per_second": 0.78, + "eval_wer": 0.38303030303030305, + "step": 95000 + }, + { + "epoch": 6.86, + "learning_rate": 6.81596139590308e-05, + "loss": 0.285, + "step": 96000 + }, + { + "epoch": 6.93, + "learning_rate": 6.533860729310434e-05, + "loss": 0.2844, + "step": 97000 + }, + { + "epoch": 7.0, + "learning_rate": 6.256087687020127e-05, + "loss": 0.2837, + "step": 98000 + }, + { + "epoch": 7.07, + "learning_rate": 5.98278425788092e-05, + "loss": 0.2838, + "step": 99000 + }, + { + "epoch": 7.15, + "learning_rate": 5.71409014601578e-05, + "loss": 0.2825, + "step": 100000 + }, + { + "epoch": 7.15, + "eval_cer": 0.12335475971839609, + "eval_loss": 0.357832670211792, + "eval_runtime": 51.2963, + "eval_samples_per_second": 96.498, + "eval_steps_per_second": 0.76, + "eval_wer": 0.3808080808080808, + "step": 100000 + }, + { + "epoch": 7.22, + "learning_rate": 5.4501426994095876e-05, + "loss": 0.2818, + "step": 101000 + }, + { + "epoch": 7.29, + "learning_rate": 5.191076839701103e-05, + "loss": 0.2801, + "step": 102000 + }, + { + "epoch": 7.36, + "learning_rate": 4.9370249932153075e-05, + "loss": 0.2808, + "step": 103000 + }, + { + "epoch": 7.43, + "learning_rate": 4.6881170232712164e-05, + "loss": 0.2799, + "step": 104000 + }, + { + "epoch": 7.5, + "learning_rate": 4.444480163799822e-05, + "loss": 0.2792, + "step": 105000 + }, + { + "epoch": 7.5, + "eval_cer": 0.11998775635139272, + "eval_loss": 0.35440635681152344, + "eval_runtime": 51.3774, + "eval_samples_per_second": 96.346, + "eval_steps_per_second": 0.759, + "eval_wer": 0.37535353535353533, + "step": 105000 + }, + { + "epoch": 7.57, + "learning_rate": 4.2062389543061265e-05, + "loss": 0.28, + "step": 106000 + }, + { + "epoch": 7.65, + "learning_rate": 3.9735151762084384e-05, + "loss": 0.2783, + "step": 107000 + }, + { + "epoch": 7.72, + "learning_rate": 3.746427790587557e-05, + "loss": 0.2787, + "step": 108000 + }, + { + "epoch": 7.79, + "learning_rate": 3.525092877377602e-05, + "loss": 0.2765, + "step": 109000 + }, + { + "epoch": 7.86, + "learning_rate": 3.309623576029597e-05, + "loss": 0.277, + "step": 110000 + }, + { + "epoch": 7.86, + "eval_cer": 0.12156193974375792, + "eval_loss": 0.35234031081199646, + "eval_runtime": 51.2794, + "eval_samples_per_second": 96.53, + "eval_steps_per_second": 0.761, + "eval_wer": 0.37737373737373736, + "step": 110000 + }, + { + "epoch": 7.93, + "learning_rate": 3.1001300276781274e-05, + "loss": 0.2759, + "step": 111000 + }, + { + "epoch": 8.0, + "learning_rate": 2.8967193188406938e-05, + "loss": 0.2759, + "step": 112000 + }, + { + "epoch": 8.07, + "learning_rate": 2.699495426678389e-05, + "loss": 0.2733, + "step": 113000 + }, + { + "epoch": 8.15, + "learning_rate": 2.5085591658461056e-05, + "loss": 0.2731, + "step": 114000 + }, + { + "epoch": 8.22, + "learning_rate": 2.3240081369591984e-05, + "loss": 0.273, + "step": 115000 + }, + { + "epoch": 8.22, + "eval_cer": 0.12014080195898377, + "eval_loss": 0.3501618802547455, + "eval_runtime": 51.2122, + "eval_samples_per_second": 96.657, + "eval_steps_per_second": 0.762, + "eval_wer": 0.37353535353535355, + "step": 115000 + }, + { + "epoch": 8.29, + "learning_rate": 2.1459366767031522e-05, + "loss": 0.2727, + "step": 116000 + }, + { + "epoch": 8.36, + "learning_rate": 1.9744358096116225e-05, + "loss": 0.2741, + "step": 117000 + }, + { + "epoch": 8.43, + "learning_rate": 1.8095932015375496e-05, + "loss": 0.2728, + "step": 118000 + }, + { + "epoch": 8.5, + "learning_rate": 1.65149311484114e-05, + "loss": 0.2724, + "step": 119000 + }, + { + "epoch": 8.57, + "learning_rate": 1.500216365317587e-05, + "loss": 0.2714, + "step": 120000 + }, + { + "epoch": 8.57, + "eval_cer": 0.11911321002230094, + "eval_loss": 0.3485568165779114, + "eval_runtime": 52.142, + "eval_samples_per_second": 94.933, + "eval_steps_per_second": 0.748, + "eval_wer": 0.3713131313131313, + "step": 120000 + }, + { + "epoch": 8.65, + "learning_rate": 1.355840280886582e-05, + "loss": 0.2723, + "step": 121000 + }, + { + "epoch": 8.72, + "learning_rate": 1.2184386620647097e-05, + "loss": 0.2718, + "step": 122000 + }, + { + "epoch": 8.79, + "learning_rate": 1.0880817442409478e-05, + "loss": 0.272, + "step": 123000 + }, + { + "epoch": 8.86, + "learning_rate": 9.648361617745371e-06, + "loss": 0.2714, + "step": 124000 + }, + { + "epoch": 8.93, + "learning_rate": 8.487649139335962e-06, + "loss": 0.2715, + "step": 125000 + }, + { + "epoch": 8.93, + "eval_cer": 0.11834798198434562, + "eval_loss": 0.34796079993247986, + "eval_runtime": 50.1634, + "eval_samples_per_second": 98.678, + "eval_steps_per_second": 0.777, + "eval_wer": 0.37232323232323233, + "step": 125000 + }, + { + "epoch": 9.0, + "learning_rate": 7.399273326918692e-06, + "loss": 0.2725, + "step": 126000 + }, + { + "epoch": 9.07, + "learning_rate": 6.383790524001009e-06, + "loss": 0.2692, + "step": 127000 + }, + { + "epoch": 9.15, + "learning_rate": 5.441719813474849e-06, + "loss": 0.271, + "step": 128000 + }, + { + "epoch": 9.22, + "learning_rate": 4.57354275227797e-06, + "loss": 0.2699, + "step": 129000 + }, + { + "epoch": 9.29, + "learning_rate": 3.7797031252369767e-06, + "loss": 0.2691, + "step": 130000 + }, + { + "epoch": 9.29, + "eval_cer": 0.11874152783243692, + "eval_loss": 0.3474748134613037, + "eval_runtime": 50.5688, + "eval_samples_per_second": 97.887, + "eval_steps_per_second": 0.771, + "eval_wer": 0.37353535353535355, + "step": 130000 + }, + { + "epoch": 9.36, + "learning_rate": 3.0606067182186776e-06, + "loss": 0.2689, + "step": 131000 + }, + { + "epoch": 9.43, + "learning_rate": 2.4166211107049584e-06, + "loss": 0.2692, + "step": 132000 + }, + { + "epoch": 9.5, + "learning_rate": 1.8480754878977489e-06, + "loss": 0.269, + "step": 133000 + }, + { + "epoch": 9.57, + "learning_rate": 1.3552604724498928e-06, + "loss": 0.2695, + "step": 134000 + }, + { + "epoch": 9.65, + "learning_rate": 9.384279759080127e-07, + "loss": 0.269, + "step": 135000 + }, + { + "epoch": 9.65, + "eval_cer": 0.11850102759193669, + "eval_loss": 0.347343772649765, + "eval_runtime": 49.946, + "eval_samples_per_second": 99.107, + "eval_steps_per_second": 0.781, + "eval_wer": 0.37232323232323233, + "step": 135000 + } + ], + "max_steps": 139950, + "num_train_epochs": 10, + "total_flos": 9.106275040360243e+17, + "trial_name": null, + "trial_params": null +} diff --git a/byT5/Eftekhari/ByT5_Persian_G2P/.gitattributes b/byT5/Eftekhari/ByT5_Persian_G2P/.gitattributes new file mode 100644 index 0000000000000000000000000000000000000000..a6344aac8c09253b3b630fb776ae94478aa0275b --- /dev/null +++ b/byT5/Eftekhari/ByT5_Persian_G2P/.gitattributes @@ -0,0 +1,35 @@ +*.7z filter=lfs diff=lfs merge=lfs -text +*.arrow filter=lfs diff=lfs merge=lfs -text +*.bin filter=lfs diff=lfs merge=lfs -text +*.bz2 filter=lfs diff=lfs merge=lfs -text +*.ckpt filter=lfs diff=lfs merge=lfs -text +*.ftz filter=lfs diff=lfs merge=lfs -text +*.gz filter=lfs diff=lfs merge=lfs -text +*.h5 filter=lfs diff=lfs merge=lfs -text +*.joblib filter=lfs diff=lfs merge=lfs -text +*.lfs.* filter=lfs diff=lfs merge=lfs -text +*.mlmodel filter=lfs diff=lfs merge=lfs -text +*.model filter=lfs diff=lfs merge=lfs -text +*.msgpack filter=lfs diff=lfs merge=lfs -text +*.npy filter=lfs diff=lfs merge=lfs -text +*.npz filter=lfs diff=lfs merge=lfs -text +*.onnx filter=lfs diff=lfs merge=lfs -text +*.ot filter=lfs diff=lfs merge=lfs -text +*.parquet filter=lfs diff=lfs merge=lfs -text +*.pb filter=lfs diff=lfs merge=lfs -text +*.pickle filter=lfs diff=lfs merge=lfs -text +*.pkl filter=lfs diff=lfs merge=lfs -text +*.pt filter=lfs diff=lfs merge=lfs -text +*.pth filter=lfs diff=lfs merge=lfs -text +*.rar filter=lfs diff=lfs merge=lfs -text +*.safetensors filter=lfs diff=lfs merge=lfs -text +saved_model/**/* filter=lfs diff=lfs merge=lfs -text +*.tar.* filter=lfs diff=lfs merge=lfs -text +*.tar filter=lfs diff=lfs merge=lfs -text +*.tflite filter=lfs diff=lfs merge=lfs -text +*.tgz filter=lfs diff=lfs merge=lfs -text +*.wasm filter=lfs diff=lfs merge=lfs -text +*.xz filter=lfs diff=lfs merge=lfs -text +*.zip filter=lfs diff=lfs merge=lfs -text +*.zst filter=lfs diff=lfs merge=lfs -text +*tfevents* filter=lfs diff=lfs merge=lfs -text diff --git a/byT5/Eftekhari/ByT5_Persian_G2P/added_tokens.json b/byT5/Eftekhari/ByT5_Persian_G2P/added_tokens.json new file mode 100644 index 0000000000000000000000000000000000000000..ee47a943415ebc564d625fc0f1b85ef26d2e6efb --- /dev/null +++ b/byT5/Eftekhari/ByT5_Persian_G2P/added_tokens.json @@ -0,0 +1,127 @@ +{ + "": 259, + "": 359, + "": 360, + "": 361, + "": 362, + "": 363, + "": 364, + "": 365, + "": 366, + "": 367, + "": 368, + "": 269, + "": 369, + "": 370, + "": 371, + "": 372, + "": 373, + "": 374, + "": 375, + "": 376, + "": 377, + "": 378, + "": 270, + "": 379, + "": 380, + "": 381, + "": 382, + "": 383, + "": 271, + "": 272, + "": 273, + "": 274, + "": 275, + "": 276, + "": 277, + "": 278, + "": 260, + "": 279, + "": 280, + "": 281, + "": 282, + "": 283, + "": 284, + "": 285, + "": 286, + "": 287, + "": 288, + "": 261, + "": 289, + "": 290, + "": 291, + "": 292, + "": 293, + "": 294, + "": 295, + "": 296, + "": 297, + "": 298, + "": 262, + "": 299, + "": 300, + "": 301, + "": 302, + "": 303, + "": 304, + "": 305, + "": 306, + "": 307, + "": 308, + "": 263, + "": 309, + "": 310, + "": 311, + "": 312, + "": 313, + "": 314, + "": 315, + "": 316, + "": 317, + "": 318, + "": 264, + "": 319, + "": 320, + "": 321, + "": 322, + "": 323, + "": 324, + "": 325, + "": 326, + "": 327, + "": 328, + "": 265, + "": 329, + "": 330, + "": 331, + "": 332, + "": 333, + "": 334, + "": 335, + "": 336, + "": 337, + "": 338, + "": 266, + "": 339, + "": 340, + "": 341, + "": 342, + "": 343, + "": 344, + "": 345, + "": 346, + "": 347, + "": 348, + "": 267, + "": 349, + "": 350, + "": 351, + "": 352, + "": 353, + "": 354, + "": 355, + "": 356, + "": 357, + "": 358, + "": 268 +} diff --git a/byT5/Eftekhari/ByT5_Persian_G2P/config.json b/byT5/Eftekhari/ByT5_Persian_G2P/config.json new file mode 100644 index 0000000000000000000000000000000000000000..9ac2c8ea31689d6658c1df4ecfdd9b6c68a9de5b --- /dev/null +++ b/byT5/Eftekhari/ByT5_Persian_G2P/config.json @@ -0,0 +1,34 @@ +{ + "_name_or_path": "google/byt5-base", + "architectures": [ + "T5ForConditionalGeneration" + ], + "classifier_dropout": 0.0, + "d_ff": 3968, + "d_kv": 64, + "d_model": 1536, + "decoder_start_token_id": 0, + "dense_act_fn": "gelu_new", + "dropout_rate": 0.1, + "eos_token_id": 1, + "feed_forward_proj": "gated-gelu", + "gradient_checkpointing": false, + "initializer_factor": 1.0, + "is_encoder_decoder": true, + "is_gated_act": true, + "layer_norm_epsilon": 1e-06, + "model_type": "t5", + "num_decoder_layers": 6, + "num_heads": 12, + "num_layers": 18, + "output_past": true, + "pad_token_id": 0, + "relative_attention_max_distance": 128, + "relative_attention_num_buckets": 32, + "tie_word_embeddings": false, + "tokenizer_class": "ByT5Tokenizer", + "torch_dtype": "float32", + "transformers_version": "4.44.2", + "use_cache": true, + "vocab_size": 384 +} diff --git a/byT5/Eftekhari/ByT5_Persian_G2P/generation_config.json b/byT5/Eftekhari/ByT5_Persian_G2P/generation_config.json new file mode 100644 index 0000000000000000000000000000000000000000..834a2e5d36c9b1ca4993048979b798ca4b628d65 --- /dev/null +++ b/byT5/Eftekhari/ByT5_Persian_G2P/generation_config.json @@ -0,0 +1,7 @@ +{ + "_from_model_config": true, + "decoder_start_token_id": 0, + "eos_token_id": 1, + "pad_token_id": 0, + "transformers_version": "4.44.2" +} diff --git a/byT5/Eftekhari/ByT5_Persian_G2P/model.safetensors b/byT5/Eftekhari/ByT5_Persian_G2P/model.safetensors new file mode 100644 index 0000000000000000000000000000000000000000..0678f4b51777bb6f1967903d55407de42242119e --- /dev/null +++ b/byT5/Eftekhari/ByT5_Persian_G2P/model.safetensors @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:201d4730b1d69f0ccc6c0501618a85de8607b570ddb35ad9c78f8a9258856e43 +size 2326643632 diff --git a/byT5/Eftekhari/ByT5_Persian_G2P/source.txt b/byT5/Eftekhari/ByT5_Persian_G2P/source.txt new file mode 100644 index 0000000000000000000000000000000000000000..b93134500c15469711d3e88a6622c8ad648ef0fd --- /dev/null +++ b/byT5/Eftekhari/ByT5_Persian_G2P/source.txt @@ -0,0 +1 @@ +https://huggingface.co/Aliw7979/ByT5_Persian_G2P \ No newline at end of file diff --git a/byT5/Eftekhari/ByT5_Persian_G2P/special_tokens_map.json b/byT5/Eftekhari/ByT5_Persian_G2P/special_tokens_map.json new file mode 100644 index 0000000000000000000000000000000000000000..e29d5f73be73824cab6d252be1fb5e18c269d329 --- /dev/null +++ b/byT5/Eftekhari/ByT5_Persian_G2P/special_tokens_map.json @@ -0,0 +1,150 @@ +{ + "additional_special_tokens": [ + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "" + ], + "eos_token": { + "content": "", + "lstrip": false, + "normalized": true, + "rstrip": false, + "single_word": false + }, + "pad_token": { + "content": "", + "lstrip": false, + "normalized": true, + "rstrip": false, + "single_word": false + }, + "unk_token": { + "content": "", + "lstrip": false, + "normalized": true, + "rstrip": false, + "single_word": false + } +} diff --git a/byT5/Eftekhari/ByT5_Persian_G2P/tokenizer_config.json b/byT5/Eftekhari/ByT5_Persian_G2P/tokenizer_config.json new file mode 100644 index 0000000000000000000000000000000000000000..efd7ec863f8a2ee93001001baf2bff9829f2da1a --- /dev/null +++ b/byT5/Eftekhari/ByT5_Persian_G2P/tokenizer_config.json @@ -0,0 +1,1162 @@ +{ + "added_tokens_decoder": { + "0": { + "content": "", + "lstrip": false, + "normalized": true, + "rstrip": false, + "single_word": false, + "special": true + }, + "1": { + "content": "", + "lstrip": false, + "normalized": true, + "rstrip": false, + "single_word": false, + "special": true + }, + "2": { + "content": "", + "lstrip": false, + "normalized": true, + "rstrip": false, + "single_word": false, + "special": true + }, + "259": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "260": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "261": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "262": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "263": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "264": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "265": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "266": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "267": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "268": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "269": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "270": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "271": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "272": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "273": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "274": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "275": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "276": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "277": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "278": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "279": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "280": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "281": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "282": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "283": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "284": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "285": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "286": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "287": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "288": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "289": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "290": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "291": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "292": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "293": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "294": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "295": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "296": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "297": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "298": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "299": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "300": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "301": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "302": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "303": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "304": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "305": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "306": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "307": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "308": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "309": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "310": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "311": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "312": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "313": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "314": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "315": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "316": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "317": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "318": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "319": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "320": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "321": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "322": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "323": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "324": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "325": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "326": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "327": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "328": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "329": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "330": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "331": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "332": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "333": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "334": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "335": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "336": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "337": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "338": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "339": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "340": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "341": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "342": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "343": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "344": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "345": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "346": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "347": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "348": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "349": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "350": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "351": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "352": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "353": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "354": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "355": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "356": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "357": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "358": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "359": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "360": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "361": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "362": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "363": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "364": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "365": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "366": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "367": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "368": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "369": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "370": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "371": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "372": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "373": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "374": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "375": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "376": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "377": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "378": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "379": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "380": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "381": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "382": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "383": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + } + }, + "additional_special_tokens": [ + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "" + ], + "clean_up_tokenization_spaces": true, + "eos_token": "", + "extra_ids": 0, + "model_max_length": 1000000000000000019884624838656, + "pad_token": "", + "tokenizer_class": "ByT5Tokenizer", + "unk_token": "" +} diff --git a/byT5/OpenVoiceOS/g2p-mbyt5-12l-ipa-childes-espeak-onnx/.gitattributes b/byT5/OpenVoiceOS/g2p-mbyt5-12l-ipa-childes-espeak-onnx/.gitattributes new file mode 100644 index 0000000000000000000000000000000000000000..a6344aac8c09253b3b630fb776ae94478aa0275b --- /dev/null +++ b/byT5/OpenVoiceOS/g2p-mbyt5-12l-ipa-childes-espeak-onnx/.gitattributes @@ -0,0 +1,35 @@ +*.7z filter=lfs diff=lfs merge=lfs -text +*.arrow filter=lfs diff=lfs merge=lfs -text +*.bin filter=lfs diff=lfs merge=lfs -text +*.bz2 filter=lfs diff=lfs merge=lfs -text +*.ckpt filter=lfs diff=lfs merge=lfs -text +*.ftz filter=lfs diff=lfs merge=lfs -text +*.gz filter=lfs diff=lfs merge=lfs -text +*.h5 filter=lfs diff=lfs merge=lfs -text +*.joblib filter=lfs diff=lfs merge=lfs -text +*.lfs.* filter=lfs diff=lfs merge=lfs -text +*.mlmodel filter=lfs diff=lfs merge=lfs -text +*.model filter=lfs diff=lfs merge=lfs -text +*.msgpack filter=lfs diff=lfs merge=lfs -text +*.npy filter=lfs diff=lfs merge=lfs -text +*.npz filter=lfs diff=lfs merge=lfs -text +*.onnx filter=lfs diff=lfs merge=lfs -text +*.ot filter=lfs diff=lfs merge=lfs -text +*.parquet filter=lfs diff=lfs merge=lfs -text +*.pb filter=lfs diff=lfs merge=lfs -text +*.pickle filter=lfs diff=lfs merge=lfs -text +*.pkl filter=lfs diff=lfs merge=lfs -text +*.pt filter=lfs diff=lfs merge=lfs -text +*.pth filter=lfs diff=lfs merge=lfs -text +*.rar filter=lfs diff=lfs merge=lfs -text +*.safetensors filter=lfs diff=lfs merge=lfs -text +saved_model/**/* filter=lfs diff=lfs merge=lfs -text +*.tar.* filter=lfs diff=lfs merge=lfs -text +*.tar filter=lfs diff=lfs merge=lfs -text +*.tflite filter=lfs diff=lfs merge=lfs -text +*.tgz filter=lfs diff=lfs merge=lfs -text +*.wasm filter=lfs diff=lfs merge=lfs -text +*.xz filter=lfs diff=lfs merge=lfs -text +*.zip filter=lfs diff=lfs merge=lfs -text +*.zst filter=lfs diff=lfs merge=lfs -text +*tfevents* filter=lfs diff=lfs merge=lfs -text diff --git a/byT5/OpenVoiceOS/g2p-mbyt5-12l-ipa-childes-espeak-onnx/README.md b/byT5/OpenVoiceOS/g2p-mbyt5-12l-ipa-childes-espeak-onnx/README.md new file mode 100644 index 0000000000000000000000000000000000000000..dc4c5900b9998214215c06e2fe07883f05362632 --- /dev/null +++ b/byT5/OpenVoiceOS/g2p-mbyt5-12l-ipa-childes-espeak-onnx/README.md @@ -0,0 +1,134 @@ +--- +language: +- multilingual +- ca +- cy +- da +- de +- en +- es +- et +- eu +- fa +- fr +- ga +- hr +- hu +- id +- is +- it +- ja +- ko +- nl +- 'no' +- pl +- pt +- qu +- ro +- sr +- sv +- tr +- zh +- yue +base_model: +- fdemelo/g2p-mbyt5-12l-ipa-childes-espeak +pipeline_tag: text-generation +datasets: +- fdemelo/ipa-childes-split +--- + +this model should be usable as a drop-in replacement for espeak + +onnx version of [fdemelo/g2p-mbyt5-12l-ipa-childes-espeak](https://huggingface.co/fdemelo/g2p-mbyt5-12l-ipa-childes-espeak) + + +inference example + +```python +from transformers import AutoTokenizer +import onnxruntime +import numpy as np + + +def infer_onnx(text: str, lang: str, onnx_model_path: str = "byt5_g2p_model.onnx"): + """ + Exports the ByT5 model to ONNX format and then performs inference using ONNX Runtime. + + Args: + text (str): The input text to convert to phonemes. + lang (str): The language tag (e.g., "en"). + onnx_model_path (str): The path to save/load the ONNX model. + """ + model_name = 'fdemelo/g2p-multilingual-byt5-tiny-8l-ipa-childes' + tokenizer = AutoTokenizer.from_pretrained(model_name) + + # --- Step 2: Perform Inference with ONNX Runtime --- + print("\n--- Performing inference with ONNX Runtime ---") + + # Create an ONNX Runtime session + try: + session = onnxruntime.InferenceSession(onnx_model_path, providers=['CPUExecutionProvider']) + except Exception as e: + print(f"Error loading ONNX model: {e}") + return + + # Get input and output names from the ONNX model + onnx_input_names = [inp.name for inp in session.get_inputs()] + onnx_output_names = [out.name for out in session.get_outputs()] + + # Prepare actual input for ONNX inference + input_text_for_onnx = f"<{lang}>: {text}" + inputs_for_onnx = tokenizer([input_text_for_onnx], return_tensors="pt", add_special_tokens=False) + + input_ids_np = inputs_for_onnx["input_ids"].cpu().numpy() + attention_mask_np = inputs_for_onnx["attention_mask"].cpu().numpy() + + # Manual greedy decoding loop for ONNX Runtime + # This simulates the 'generate' method's greedy decoding. + generated_ids = [] + # T5 models typically use pad_token_id as the initial token for generation + # or a specific decoder_start_token_id. + # For T5, the decoder_start_token_id is usually the pad_token_id. + current_decoder_input_id = tokenizer.pad_token_id if tokenizer.pad_token_id is not None else 0 + + # Ensure it's a batch of 1 + decoder_input_ids_np = np.array([[current_decoder_input_id]]) + + max_length = 512 # Same as in the original predict_byt5 + + # Store encoder outputs if needed for cross-attention in decoder (T5 does this) + # When exporting the full T5 model's forward pass, the encoder_hidden_states + # are implicitly handled within the graph. We just need to feed the decoder_input_ids. + + for _ in range(max_length): + # Prepare inputs for the current step + onnx_inputs = { + "input_ids": input_ids_np, + "attention_mask": attention_mask_np, + "decoder_input_ids": decoder_input_ids_np + } + + # Run inference + outputs = session.run(onnx_output_names, onnx_inputs) + logits = outputs[0] # Get the logits + + # Get the logits for the last token in the sequence + next_token_logits = logits[0, -1, :] # Batch 0, last token, all vocab logits + + # Greedy decoding: pick the token with the highest logit + next_token_id = np.argmax(next_token_logits) + generated_ids.append(next_token_id) + + # Check for end-of-sequence token + if next_token_id == tokenizer.eos_token_id: + break + + # Update decoder input for the next step + # Append the new token to the decoder input sequence + decoder_input_ids_np = np.concatenate((decoder_input_ids_np, np.array([[next_token_id]])), axis=1) + + # Decode the generated ONNX phoneme IDs + onnx_phones = tokenizer.batch_decode([generated_ids], skip_special_tokens=True) + print(f"ONNX Runtime Inference: {onnx_phones}") + return onnx_phones +`` \ No newline at end of file diff --git a/byT5/OpenVoiceOS/g2p-mbyt5-12l-ipa-childes-espeak-onnx/fdemelo_g2p-mbyt5-12l-ipa-childes-espeak.onnx b/byT5/OpenVoiceOS/g2p-mbyt5-12l-ipa-childes-espeak-onnx/fdemelo_g2p-mbyt5-12l-ipa-childes-espeak.onnx new file mode 100644 index 0000000000000000000000000000000000000000..df81725788e9d1744a7436a7a8bbe87282652a45 --- /dev/null +++ b/byT5/OpenVoiceOS/g2p-mbyt5-12l-ipa-childes-espeak-onnx/fdemelo_g2p-mbyt5-12l-ipa-childes-espeak.onnx @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:67f7dd6fed1742193e475a2fe9d060df315d9a6f434b966b15aec69fc2ed966c +size 48326712 diff --git a/byT5/OpenVoiceOS/g2p-mbyt5-12l-ipa-childes-espeak-onnx/source.txt b/byT5/OpenVoiceOS/g2p-mbyt5-12l-ipa-childes-espeak-onnx/source.txt new file mode 100644 index 0000000000000000000000000000000000000000..7e13b57b80133b678822bf4abe2723624fb18715 --- /dev/null +++ b/byT5/OpenVoiceOS/g2p-mbyt5-12l-ipa-childes-espeak-onnx/source.txt @@ -0,0 +1 @@ +https://huggingface.co/OpenVoiceOS/g2p-mbyt5-12l-ipa-childes-espeak-onnx \ No newline at end of file diff --git a/byT5/OpenVoiceOS/g2p-multilingual-byt5-tiny-8l-ipa-childes-onnx/.gitattributes b/byT5/OpenVoiceOS/g2p-multilingual-byt5-tiny-8l-ipa-childes-onnx/.gitattributes new file mode 100644 index 0000000000000000000000000000000000000000..a6344aac8c09253b3b630fb776ae94478aa0275b --- /dev/null +++ b/byT5/OpenVoiceOS/g2p-multilingual-byt5-tiny-8l-ipa-childes-onnx/.gitattributes @@ -0,0 +1,35 @@ +*.7z filter=lfs diff=lfs merge=lfs -text +*.arrow filter=lfs diff=lfs merge=lfs -text +*.bin filter=lfs diff=lfs merge=lfs -text +*.bz2 filter=lfs diff=lfs merge=lfs -text +*.ckpt filter=lfs diff=lfs merge=lfs -text +*.ftz filter=lfs diff=lfs merge=lfs -text +*.gz filter=lfs diff=lfs merge=lfs -text +*.h5 filter=lfs diff=lfs merge=lfs -text +*.joblib filter=lfs diff=lfs merge=lfs -text +*.lfs.* filter=lfs diff=lfs merge=lfs -text +*.mlmodel filter=lfs diff=lfs merge=lfs -text +*.model filter=lfs diff=lfs merge=lfs -text +*.msgpack filter=lfs diff=lfs merge=lfs -text +*.npy filter=lfs diff=lfs merge=lfs -text +*.npz filter=lfs diff=lfs merge=lfs -text +*.onnx filter=lfs diff=lfs merge=lfs -text +*.ot filter=lfs diff=lfs merge=lfs -text +*.parquet filter=lfs diff=lfs merge=lfs -text +*.pb filter=lfs diff=lfs merge=lfs -text +*.pickle filter=lfs diff=lfs merge=lfs -text +*.pkl filter=lfs diff=lfs merge=lfs -text +*.pt filter=lfs diff=lfs merge=lfs -text +*.pth filter=lfs diff=lfs merge=lfs -text +*.rar filter=lfs diff=lfs merge=lfs -text +*.safetensors filter=lfs diff=lfs merge=lfs -text +saved_model/**/* filter=lfs diff=lfs merge=lfs -text +*.tar.* filter=lfs diff=lfs merge=lfs -text +*.tar filter=lfs diff=lfs merge=lfs -text +*.tflite filter=lfs diff=lfs merge=lfs -text +*.tgz filter=lfs diff=lfs merge=lfs -text +*.wasm filter=lfs diff=lfs merge=lfs -text +*.xz filter=lfs diff=lfs merge=lfs -text +*.zip filter=lfs diff=lfs merge=lfs -text +*.zst filter=lfs diff=lfs merge=lfs -text +*tfevents* filter=lfs diff=lfs merge=lfs -text diff --git a/byT5/OpenVoiceOS/g2p-multilingual-byt5-tiny-8l-ipa-childes-onnx/README.md b/byT5/OpenVoiceOS/g2p-multilingual-byt5-tiny-8l-ipa-childes-onnx/README.md new file mode 100644 index 0000000000000000000000000000000000000000..76966303fc609d2d0ed4fdd69c066b7fe150584a --- /dev/null +++ b/byT5/OpenVoiceOS/g2p-multilingual-byt5-tiny-8l-ipa-childes-onnx/README.md @@ -0,0 +1,132 @@ +--- +base_model: +- fdemelo/g2p-multilingual-byt5-tiny-8l-ipa-childes +language: +- multilingual +- ca +- cy +- da +- de +- en +- es +- et +- eu +- fa +- fr +- ga +- hr +- hu +- id +- is +- it +- ja +- ko +- nl +- 'no' +- pl +- pt +- qu +- ro +- sr +- sv +- tr +- zh +- yue +datasets: +- fdemelo/ipa-childes-split +license: apache-2.0 +pipeline_tag: text-generation +--- + +onnx version of [fdemelo/g2p-multilingual-byt5-tiny-8l-ipa-childes](https://huggingface.co/fdemelo/g2p-multilingual-byt5-tiny-8l-ipa-childes) + +inference example + +```python +from transformers import AutoTokenizer +import onnxruntime +import numpy as np + + +def infer_onnx(text: str, lang: str, onnx_model_path: str = "byt5_g2p_model.onnx"): + """ + Exports the ByT5 model to ONNX format and then performs inference using ONNX Runtime. + + Args: + text (str): The input text to convert to phonemes. + lang (str): The language tag (e.g., "en"). + onnx_model_path (str): The path to save/load the ONNX model. + """ + model_name = 'fdemelo/g2p-multilingual-byt5-tiny-8l-ipa-childes' + tokenizer = AutoTokenizer.from_pretrained(model_name) + + # --- Step 2: Perform Inference with ONNX Runtime --- + print("\n--- Performing inference with ONNX Runtime ---") + + # Create an ONNX Runtime session + try: + session = onnxruntime.InferenceSession(onnx_model_path, providers=['CPUExecutionProvider']) + except Exception as e: + print(f"Error loading ONNX model: {e}") + return + + # Get input and output names from the ONNX model + onnx_input_names = [inp.name for inp in session.get_inputs()] + onnx_output_names = [out.name for out in session.get_outputs()] + + # Prepare actual input for ONNX inference + input_text_for_onnx = f"<{lang}>: {text}" + inputs_for_onnx = tokenizer([input_text_for_onnx], return_tensors="pt", add_special_tokens=False) + + input_ids_np = inputs_for_onnx["input_ids"].cpu().numpy() + attention_mask_np = inputs_for_onnx["attention_mask"].cpu().numpy() + + # Manual greedy decoding loop for ONNX Runtime + # This simulates the 'generate' method's greedy decoding. + generated_ids = [] + # T5 models typically use pad_token_id as the initial token for generation + # or a specific decoder_start_token_id. + # For T5, the decoder_start_token_id is usually the pad_token_id. + current_decoder_input_id = tokenizer.pad_token_id if tokenizer.pad_token_id is not None else 0 + + # Ensure it's a batch of 1 + decoder_input_ids_np = np.array([[current_decoder_input_id]]) + + max_length = 512 # Same as in the original predict_byt5 + + # Store encoder outputs if needed for cross-attention in decoder (T5 does this) + # When exporting the full T5 model's forward pass, the encoder_hidden_states + # are implicitly handled within the graph. We just need to feed the decoder_input_ids. + + for _ in range(max_length): + # Prepare inputs for the current step + onnx_inputs = { + "input_ids": input_ids_np, + "attention_mask": attention_mask_np, + "decoder_input_ids": decoder_input_ids_np + } + + # Run inference + outputs = session.run(onnx_output_names, onnx_inputs) + logits = outputs[0] # Get the logits + + # Get the logits for the last token in the sequence + next_token_logits = logits[0, -1, :] # Batch 0, last token, all vocab logits + + # Greedy decoding: pick the token with the highest logit + next_token_id = np.argmax(next_token_logits) + generated_ids.append(next_token_id) + + # Check for end-of-sequence token + if next_token_id == tokenizer.eos_token_id: + break + + # Update decoder input for the next step + # Append the new token to the decoder input sequence + decoder_input_ids_np = np.concatenate((decoder_input_ids_np, np.array([[next_token_id]])), axis=1) + + # Decode the generated ONNX phoneme IDs + onnx_phones = tokenizer.batch_decode([generated_ids], skip_special_tokens=True) + print(f"ONNX Runtime Inference: {onnx_phones}") + return onnx_phones +`` \ No newline at end of file diff --git a/byT5/OpenVoiceOS/g2p-multilingual-byt5-tiny-8l-ipa-childes-onnx/byt5_g2p_model.onnx b/byT5/OpenVoiceOS/g2p-multilingual-byt5-tiny-8l-ipa-childes-onnx/byt5_g2p_model.onnx new file mode 100644 index 0000000000000000000000000000000000000000..2b972a6384a43435d1e6cbd39dd5215d468b14bd --- /dev/null +++ b/byT5/OpenVoiceOS/g2p-multilingual-byt5-tiny-8l-ipa-childes-onnx/byt5_g2p_model.onnx @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:c41536a3fd937dfe65df58d582c5b0c2bd2d7ddb8814cfee6777c49c0bc44f56 +size 29327602 diff --git a/byT5/OpenVoiceOS/g2p-multilingual-byt5-tiny-8l-ipa-childes-onnx/source.txt b/byT5/OpenVoiceOS/g2p-multilingual-byt5-tiny-8l-ipa-childes-onnx/source.txt new file mode 100644 index 0000000000000000000000000000000000000000..a6c6c35beb569091503fe7a7efc97f0b217e4c82 --- /dev/null +++ b/byT5/OpenVoiceOS/g2p-multilingual-byt5-tiny-8l-ipa-childes-onnx/source.txt @@ -0,0 +1 @@ +https://huggingface.co/OpenVoiceOS/g2p-multilingual-byt5-tiny-8l-ipa-childes-onnx \ No newline at end of file diff --git a/byT5/OpenVoiceOS/g2p-multilingual-byt5-tiny-8l-ipa-childes-onnx/tokenizer_config.json b/byT5/OpenVoiceOS/g2p-multilingual-byt5-tiny-8l-ipa-childes-onnx/tokenizer_config.json new file mode 100644 index 0000000000000000000000000000000000000000..5b1fe24c1b1962f69a7754a26e6770ae7bcb7764 --- /dev/null +++ b/byT5/OpenVoiceOS/g2p-multilingual-byt5-tiny-8l-ipa-childes-onnx/tokenizer_config.json @@ -0,0 +1,1163 @@ +{ + "added_tokens_decoder": { + "0": { + "content": "", + "lstrip": false, + "normalized": true, + "rstrip": false, + "single_word": false, + "special": true + }, + "1": { + "content": "", + "lstrip": false, + "normalized": true, + "rstrip": false, + "single_word": false, + "special": true + }, + "2": { + "content": "", + "lstrip": false, + "normalized": true, + "rstrip": false, + "single_word": false, + "special": true + }, + "259": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "260": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "261": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "262": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "263": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "264": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "265": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "266": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "267": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "268": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "269": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "270": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "271": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "272": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "273": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "274": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "275": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "276": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "277": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "278": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "279": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "280": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "281": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "282": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "283": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "284": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "285": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "286": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "287": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "288": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "289": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "290": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "291": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "292": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "293": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "294": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "295": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "296": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "297": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "298": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "299": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "300": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "301": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "302": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "303": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "304": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "305": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "306": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "307": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "308": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "309": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "310": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "311": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "312": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "313": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "314": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "315": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "316": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "317": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "318": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "319": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "320": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "321": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "322": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "323": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "324": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "325": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "326": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "327": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "328": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "329": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "330": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "331": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "332": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "333": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "334": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "335": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "336": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "337": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "338": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "339": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "340": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "341": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "342": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "343": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "344": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "345": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "346": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "347": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "348": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "349": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "350": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "351": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "352": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "353": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "354": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "355": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "356": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "357": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "358": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "359": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "360": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "361": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "362": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "363": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "364": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "365": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "366": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "367": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "368": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "369": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "370": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "371": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "372": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "373": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "374": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "375": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "376": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "377": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "378": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "379": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "380": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "381": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "382": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "383": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + } + }, + "additional_special_tokens": [ + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "" + ], + "clean_up_tokenization_spaces": false, + "eos_token": "", + "extra_ids": 0, + "extra_special_tokens": {}, + "model_max_length": 1000000000000000019884624838656, + "pad_token": "", + "tokenizer_class": "ByT5Tokenizer", + "unk_token": "" +} diff --git a/byT5/fdemelo/g2p-mbyt5-12l-ipa-childes-espeak/.gitattributes b/byT5/fdemelo/g2p-mbyt5-12l-ipa-childes-espeak/.gitattributes new file mode 100644 index 0000000000000000000000000000000000000000..a6344aac8c09253b3b630fb776ae94478aa0275b --- /dev/null +++ b/byT5/fdemelo/g2p-mbyt5-12l-ipa-childes-espeak/.gitattributes @@ -0,0 +1,35 @@ +*.7z filter=lfs diff=lfs merge=lfs -text +*.arrow filter=lfs diff=lfs merge=lfs -text +*.bin filter=lfs diff=lfs merge=lfs -text +*.bz2 filter=lfs diff=lfs merge=lfs -text +*.ckpt filter=lfs diff=lfs merge=lfs -text +*.ftz filter=lfs diff=lfs merge=lfs -text +*.gz filter=lfs diff=lfs merge=lfs -text +*.h5 filter=lfs diff=lfs merge=lfs -text +*.joblib filter=lfs diff=lfs merge=lfs -text +*.lfs.* filter=lfs diff=lfs merge=lfs -text +*.mlmodel filter=lfs diff=lfs merge=lfs -text +*.model filter=lfs diff=lfs merge=lfs -text +*.msgpack filter=lfs diff=lfs merge=lfs -text +*.npy filter=lfs diff=lfs merge=lfs -text +*.npz filter=lfs diff=lfs merge=lfs -text +*.onnx filter=lfs diff=lfs merge=lfs -text +*.ot filter=lfs diff=lfs merge=lfs -text +*.parquet filter=lfs diff=lfs merge=lfs -text +*.pb filter=lfs diff=lfs merge=lfs -text +*.pickle filter=lfs diff=lfs merge=lfs -text +*.pkl filter=lfs diff=lfs merge=lfs -text +*.pt filter=lfs diff=lfs merge=lfs -text +*.pth filter=lfs diff=lfs merge=lfs -text +*.rar filter=lfs diff=lfs merge=lfs -text +*.safetensors filter=lfs diff=lfs merge=lfs -text +saved_model/**/* filter=lfs diff=lfs merge=lfs -text +*.tar.* filter=lfs diff=lfs merge=lfs -text +*.tar filter=lfs diff=lfs merge=lfs -text +*.tflite filter=lfs diff=lfs merge=lfs -text +*.tgz filter=lfs diff=lfs merge=lfs -text +*.wasm filter=lfs diff=lfs merge=lfs -text +*.xz filter=lfs diff=lfs merge=lfs -text +*.zip filter=lfs diff=lfs merge=lfs -text +*.zst filter=lfs diff=lfs merge=lfs -text +*tfevents* filter=lfs diff=lfs merge=lfs -text diff --git a/byT5/fdemelo/g2p-mbyt5-12l-ipa-childes-espeak/README.md b/byT5/fdemelo/g2p-mbyt5-12l-ipa-childes-espeak/README.md new file mode 100644 index 0000000000000000000000000000000000000000..da4cb05bb11c733e01386a62c2b282b9a0ce768c --- /dev/null +++ b/byT5/fdemelo/g2p-mbyt5-12l-ipa-childes-espeak/README.md @@ -0,0 +1,127 @@ +--- +language: +- multilingual +- ca +- cy +- da +- de +- en +- es +- et +- eu +- fa +- fr +- ga +- hr +- hu +- id +- is +- it +- ja +- ko +- nl +- no +- pl +- pt +- qu +- ro +- sr +- sv +- tr +- zh +- yue + +datasets: +- ipa-childes-split + +license: apache-2.0 +--- + +# G2P Multilingual ByT5 (12 layers) - IPA CHILDES - Espeak-ng + +This model is a sequence-to-sequence model based on [Google's ByT5](https://huggingface.co/google/byt5-small), fine-tuned on the [IPA CHILDES (split) dataset](https://huggingface.co/datasets/fdemelo/ipa-childes-split) +to convert grapheme to phonemes over a context of 512 tokens for 31 languages. The target phonemes were generated by the [espeak-ng](https://github.com/espeak-ng/espeak-ng) backend. + +ByT5 is a tokenizer-free version of [Google's T5](https://ai.googleblog.com/2020/02/exploring-transfer-learning-with-t5.html) and generally follows the architecture of [MT5](https://huggingface.co/google/mt5-small). + +ByT5 was only pre-trained on [mC4](https://www.tensorflow.org/datasets/catalog/c4#c4multilingual) excluding any supervised training with an average span-mask of 20 UTF-8 characters. + +## Language tags + +The following language tags can be used for prefixing the model input: + +| Tag | Language | +| ---- | -------------------------- | +| ca-ES | Catalan | +| cy-GB | Welsh | +| da-DK | Danish | +| de-DE | German | +| en-US | English (North America) | +| en-GB | English (United Kingdom) | +| es-ES | Spanish | +| et-EE | Estonian | +| eu-ES | Basque | +| fa-IR | Farsi/Persian | +| fr-FR | French | +| ga-IE | Irish | +| hr-HR | Croatian | +| hu-HU | Hungarian | +| id-ID | Indonesian | +| is-IS | Icelandic | +| it-IT | Italian | +| ja-JP | Japanese | +| ko-KR | Korean | +| nb-NO | Norwegian | +| nl-NL | Dutch | +| pl-PL | Polish | +| pt-BR | Portuguese (Brazil) | +| pt-PT | Portuguese | +| qu-PE | Quechua | +| ro-RO | Romanian | +| sr-RS | Serbian | +| sv-SE | Swedish | +| tr-TR | Turkish | +|yue-CN | Cantonese | +| zh-CN | Chinese | + +The tag must be prepended to the prompt as a prefix using the format `<{tag}>: ` (e.g., `: `). +**Note:** a space between the prefix colon (`:`) and the beginning of the text is mandatory. + +## Example 1: inference with tokenizer + +For batched inference & training it is recommended using a tokenizer class for handling padding, truncation and additional tokens: + +```python +from transformers import T5ForConditionalGeneration, AutoTokenizer + +model = T5ForConditionalGeneration.from_pretrained('fdemelo/g2p-mbyt5-12l-ipa-childes-espeak') +tokenizer = AutoTokenizer.from_pretrained('fdemelo/g2p-mbyt5-12l-ipa-childes-espeak') + +model_inputs = tokenizer([": Life is like a box of chocolates."], max_length=512, padding=True, truncation=True, add_special_tokens=False, return_tensors="pt") +preds = model.generate(**model_inputs, num_beams=1, max_length=512) # We do not find beam search helpful. Greedy decoding is enough. +phones = tokenizer.batch_decode(preds.tolist(), skip_special_tokens=True) +print(phones) +# ['laɪf ɪz laɪk ɐ bɑːks ʌv tʃɑːkləts'] +``` + +## Example 2: inference without tokenizer + +For standalone inference, the decoding without the tokenizer reads as + +```python +import torch +import json +from transformers import T5ForConditionalGeneration +model = T5ForConditionalGeneration.from_pretrained('fdemelo/g2p-mbyt5-12l-ipa-childes-espeak') +input_ids = torch.tensor([list(": Life is like a box of chocolates.".encode("utf-8"))]) + 3 # add shift to account for special tokens , , +preds = model.generate(input_ids=input_ids, num_beams=1, max_length=512) +# Simplified version of the decoding process (discarding special/added tokens) +with open("tokenizer_config.json", "r") as f: + added_tokens = json.load(f).get("added_tokens_decoder", {}) +phone_bytes = [ + bytes([token - 3]) for token in preds[0].tolist() if str(token) not in added_tokens +] +phones = b''.join(phone_bytes).decode("utf-8", errors="ignore") +print(phones) +# 'laɪf ɪz laɪk ɐ bɑːks ʌv tʃɑːkləts' +``` diff --git a/byT5/fdemelo/g2p-mbyt5-12l-ipa-childes-espeak/added_tokens.json b/byT5/fdemelo/g2p-mbyt5-12l-ipa-childes-espeak/added_tokens.json new file mode 100644 index 0000000000000000000000000000000000000000..93c190b5690dd55aac16723222a9909e2be0faec --- /dev/null +++ b/byT5/fdemelo/g2p-mbyt5-12l-ipa-childes-espeak/added_tokens.json @@ -0,0 +1,127 @@ +{ + "": 259, + "": 359, + "": 360, + "": 361, + "": 362, + "": 363, + "": 364, + "": 365, + "": 366, + "": 367, + "": 368, + "": 269, + "": 369, + "": 370, + "": 371, + "": 372, + "": 373, + "": 374, + "": 375, + "": 376, + "": 377, + "": 378, + "": 270, + "": 379, + "": 380, + "": 381, + "": 382, + "": 383, + "": 271, + "": 272, + "": 273, + "": 274, + "": 275, + "": 276, + "": 277, + "": 278, + "": 260, + "": 279, + "": 280, + "": 281, + "": 282, + "": 283, + "": 284, + "": 285, + "": 286, + "": 287, + "": 288, + "": 261, + "": 289, + "": 290, + "": 291, + "": 292, + "": 293, + "": 294, + "": 295, + "": 296, + "": 297, + "": 298, + "": 262, + "": 299, + "": 300, + "": 301, + "": 302, + "": 303, + "": 304, + "": 305, + "": 306, + "": 307, + "": 308, + "": 263, + "": 309, + "": 310, + "": 311, + "": 312, + "": 313, + "": 314, + "": 315, + "": 316, + "": 317, + "": 318, + "": 264, + "": 319, + "": 320, + "": 321, + "": 322, + "": 323, + "": 324, + "": 325, + "": 326, + "": 327, + "": 328, + "": 265, + "": 329, + "": 330, + "": 331, + "": 332, + "": 333, + "": 334, + "": 335, + "": 336, + "": 337, + "": 338, + "": 266, + "": 339, + "": 340, + "": 341, + "": 342, + "": 343, + "": 344, + "": 345, + "": 346, + "": 347, + "": 348, + "": 267, + "": 349, + "": 350, + "": 351, + "": 352, + "": 353, + "": 354, + "": 355, + "": 356, + "": 357, + "": 358, + "": 268 +} diff --git a/byT5/fdemelo/g2p-mbyt5-12l-ipa-childes-espeak/config.json b/byT5/fdemelo/g2p-mbyt5-12l-ipa-childes-espeak/config.json new file mode 100644 index 0000000000000000000000000000000000000000..ca8636d18cd66feaa338283c4b4f077e51502563 --- /dev/null +++ b/byT5/fdemelo/g2p-mbyt5-12l-ipa-childes-espeak/config.json @@ -0,0 +1,32 @@ +{ + "architectures": [ + "T5ForConditionalGeneration" + ], + "classifier_dropout": 0.0, + "d_ff": 512, + "d_kv": 64, + "d_model": 256, + "decoder_start_token_id": 0, + "dense_act_fn": "gelu_new", + "dropout_rate": 0.1, + "eos_token_id": 1, + "feed_forward_proj": "gated-gelu", + "gradient_checkpointing": false, + "initializer_factor": 1.0, + "is_encoder_decoder": true, + "is_gated_act": true, + "layer_norm_epsilon": 1e-06, + "model_type": "t5", + "num_decoder_layers": 6, + "num_heads": 6, + "num_layers": 6, + "pad_token_id": 0, + "relative_attention_max_distance": 128, + "relative_attention_num_buckets": 32, + "tie_word_embeddings": false, + "tokenizer_class": "ByT5Tokenizer", + "torch_dtype": "float32", + "transformers_version": "4.51.3", + "use_cache": true, + "vocab_size": 384 +} diff --git a/byT5/fdemelo/g2p-mbyt5-12l-ipa-childes-espeak/generation_config.json b/byT5/fdemelo/g2p-mbyt5-12l-ipa-childes-espeak/generation_config.json new file mode 100644 index 0000000000000000000000000000000000000000..9b9cc5e2c5444c5d63246104c17b992d6801f61b --- /dev/null +++ b/byT5/fdemelo/g2p-mbyt5-12l-ipa-childes-espeak/generation_config.json @@ -0,0 +1,6 @@ +{ + "decoder_start_token_id": 0, + "eos_token_id": 1, + "pad_token_id": 0, + "transformers_version": "4.51.3" +} diff --git a/byT5/fdemelo/g2p-mbyt5-12l-ipa-childes-espeak/model.safetensors b/byT5/fdemelo/g2p-mbyt5-12l-ipa-childes-espeak/model.safetensors new file mode 100644 index 0000000000000000000000000000000000000000..9c56d9b9f7f3258dcbd9387bfd10e93748135c24 --- /dev/null +++ b/byT5/fdemelo/g2p-mbyt5-12l-ipa-childes-espeak/model.safetensors @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:22d8bc02276960d85c85864ca792e16b84fd2d450383c87bec65221bb067191a +size 48023456 diff --git a/byT5/fdemelo/g2p-mbyt5-12l-ipa-childes-espeak/source.txt b/byT5/fdemelo/g2p-mbyt5-12l-ipa-childes-espeak/source.txt new file mode 100644 index 0000000000000000000000000000000000000000..7a545840620bcc55215e7bf79baf44b5e3a8ecd9 --- /dev/null +++ b/byT5/fdemelo/g2p-mbyt5-12l-ipa-childes-espeak/source.txt @@ -0,0 +1 @@ +https://huggingface.co/fdemelo/g2p-mbyt5-12l-ipa-childes-espeak \ No newline at end of file diff --git a/byT5/fdemelo/g2p-mbyt5-12l-ipa-childes-espeak/special_tokens_map.json b/byT5/fdemelo/g2p-mbyt5-12l-ipa-childes-espeak/special_tokens_map.json new file mode 100644 index 0000000000000000000000000000000000000000..04fd58b5fbf6a36fda564a656b14c137ef045689 --- /dev/null +++ b/byT5/fdemelo/g2p-mbyt5-12l-ipa-childes-espeak/special_tokens_map.json @@ -0,0 +1,150 @@ +{ + "additional_special_tokens": [ + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "" + ], + "eos_token": { + "content": "", + "lstrip": false, + "normalized": true, + "rstrip": false, + "single_word": false + }, + "pad_token": { + "content": "", + "lstrip": false, + "normalized": true, + "rstrip": false, + "single_word": false + }, + "unk_token": { + "content": "", + "lstrip": false, + "normalized": true, + "rstrip": false, + "single_word": false + } +} diff --git a/byT5/fdemelo/g2p-mbyt5-12l-ipa-childes-espeak/tokenizer_config.json b/byT5/fdemelo/g2p-mbyt5-12l-ipa-childes-espeak/tokenizer_config.json new file mode 100644 index 0000000000000000000000000000000000000000..5b1fe24c1b1962f69a7754a26e6770ae7bcb7764 --- /dev/null +++ b/byT5/fdemelo/g2p-mbyt5-12l-ipa-childes-espeak/tokenizer_config.json @@ -0,0 +1,1163 @@ +{ + "added_tokens_decoder": { + "0": { + "content": "", + "lstrip": false, + "normalized": true, + "rstrip": false, + "single_word": false, + "special": true + }, + "1": { + "content": "", + "lstrip": false, + "normalized": true, + "rstrip": false, + "single_word": false, + "special": true + }, + "2": { + "content": "", + "lstrip": false, + "normalized": true, + "rstrip": false, + "single_word": false, + "special": true + }, + "259": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "260": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "261": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "262": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "263": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "264": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "265": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "266": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "267": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "268": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "269": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "270": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "271": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "272": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "273": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "274": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "275": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "276": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "277": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "278": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "279": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "280": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "281": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "282": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "283": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "284": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "285": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "286": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "287": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "288": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "289": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "290": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "291": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "292": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "293": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "294": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "295": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "296": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "297": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "298": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "299": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "300": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "301": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "302": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "303": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "304": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "305": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "306": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "307": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "308": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "309": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "310": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "311": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "312": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "313": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "314": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "315": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "316": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "317": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "318": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "319": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "320": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "321": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "322": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "323": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "324": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "325": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "326": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "327": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "328": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "329": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "330": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "331": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "332": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "333": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "334": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "335": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "336": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "337": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "338": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "339": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "340": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "341": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "342": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "343": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "344": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "345": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "346": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "347": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "348": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "349": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "350": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "351": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "352": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "353": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "354": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "355": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "356": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "357": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "358": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "359": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "360": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "361": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "362": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "363": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "364": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "365": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "366": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "367": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "368": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "369": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "370": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "371": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "372": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "373": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "374": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "375": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "376": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "377": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "378": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "379": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "380": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "381": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "382": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "383": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + } + }, + "additional_special_tokens": [ + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "" + ], + "clean_up_tokenization_spaces": false, + "eos_token": "", + "extra_ids": 0, + "extra_special_tokens": {}, + "model_max_length": 1000000000000000019884624838656, + "pad_token": "", + "tokenizer_class": "ByT5Tokenizer", + "unk_token": "" +} diff --git a/byT5/fdemelo/g2p-mbyt5-12l-ipa-childes-espeak/training_args.bin b/byT5/fdemelo/g2p-mbyt5-12l-ipa-childes-espeak/training_args.bin new file mode 100644 index 0000000000000000000000000000000000000000..82bda8dcae6f328ecd641ed5f36224b2d3492496 --- /dev/null +++ b/byT5/fdemelo/g2p-mbyt5-12l-ipa-childes-espeak/training_args.bin @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:897dca1e4eb9048e75d1de46f0ccf493040a932e630a00ffaaff5d8fe708bff5 +size 5432 diff --git a/byT5/fdemelo/g2p-multilingual-byt5-tiny-8l-ipa-childes/.gitattributes b/byT5/fdemelo/g2p-multilingual-byt5-tiny-8l-ipa-childes/.gitattributes new file mode 100644 index 0000000000000000000000000000000000000000..a6344aac8c09253b3b630fb776ae94478aa0275b --- /dev/null +++ b/byT5/fdemelo/g2p-multilingual-byt5-tiny-8l-ipa-childes/.gitattributes @@ -0,0 +1,35 @@ +*.7z filter=lfs diff=lfs merge=lfs -text +*.arrow filter=lfs diff=lfs merge=lfs -text +*.bin filter=lfs diff=lfs merge=lfs -text +*.bz2 filter=lfs diff=lfs merge=lfs -text +*.ckpt filter=lfs diff=lfs merge=lfs -text +*.ftz filter=lfs diff=lfs merge=lfs -text +*.gz filter=lfs diff=lfs merge=lfs -text +*.h5 filter=lfs diff=lfs merge=lfs -text +*.joblib filter=lfs diff=lfs merge=lfs -text +*.lfs.* filter=lfs diff=lfs merge=lfs -text +*.mlmodel filter=lfs diff=lfs merge=lfs -text +*.model filter=lfs diff=lfs merge=lfs -text +*.msgpack filter=lfs diff=lfs merge=lfs -text +*.npy filter=lfs diff=lfs merge=lfs -text +*.npz filter=lfs diff=lfs merge=lfs -text +*.onnx filter=lfs diff=lfs merge=lfs -text +*.ot filter=lfs diff=lfs merge=lfs -text +*.parquet filter=lfs diff=lfs merge=lfs -text +*.pb filter=lfs diff=lfs merge=lfs -text +*.pickle filter=lfs diff=lfs merge=lfs -text +*.pkl filter=lfs diff=lfs merge=lfs -text +*.pt filter=lfs diff=lfs merge=lfs -text +*.pth filter=lfs diff=lfs merge=lfs -text +*.rar filter=lfs diff=lfs merge=lfs -text +*.safetensors filter=lfs diff=lfs merge=lfs -text +saved_model/**/* filter=lfs diff=lfs merge=lfs -text +*.tar.* filter=lfs diff=lfs merge=lfs -text +*.tar filter=lfs diff=lfs merge=lfs -text +*.tflite filter=lfs diff=lfs merge=lfs -text +*.tgz filter=lfs diff=lfs merge=lfs -text +*.wasm filter=lfs diff=lfs merge=lfs -text +*.xz filter=lfs diff=lfs merge=lfs -text +*.zip filter=lfs diff=lfs merge=lfs -text +*.zst filter=lfs diff=lfs merge=lfs -text +*tfevents* filter=lfs diff=lfs merge=lfs -text diff --git a/byT5/fdemelo/g2p-multilingual-byt5-tiny-8l-ipa-childes/README.md b/byT5/fdemelo/g2p-multilingual-byt5-tiny-8l-ipa-childes/README.md new file mode 100644 index 0000000000000000000000000000000000000000..2e77f0b25ff024bf3d139b54d7f3bc7ed7facaa8 --- /dev/null +++ b/byT5/fdemelo/g2p-multilingual-byt5-tiny-8l-ipa-childes/README.md @@ -0,0 +1,127 @@ +--- +language: +- multilingual +- ca +- cy +- da +- de +- en +- es +- et +- eu +- fa +- fr +- ga +- hr +- hu +- id +- is +- it +- ja +- ko +- nl +- no +- pl +- pt +- qu +- ro +- sr +- sv +- tr +- zh +- yue + +datasets: +- ipa-childes-split + +license: apache-2.0 +--- + +# G2P Multilingual ByT5 Tiny (8 layers) - IPA CHILDES + +This model is a sequence-to-sequence model based on [Google's ByT5](https://huggingface.co/google/byt5-small), fine-tuned on the [IPA CHILDES (split) dataset](https://huggingface.co/datasets/fdemelo/ipa-childes-split) +to convert grapheme to phonemes over a context of 512 tokens for 31 languages. + +ByT5 is a tokenizer-free version of [Google's T5](https://ai.googleblog.com/2020/02/exploring-transfer-learning-with-t5.html) and generally follows the architecture of [MT5](https://huggingface.co/google/mt5-small). + +ByT5 was only pre-trained on [mC4](https://www.tensorflow.org/datasets/catalog/c4#c4multilingual) excluding any supervised training with an average span-mask of 20 UTF-8 characters. Therefore, this model has to be fine-tuned before it is useable on a downstream task. + +## Language tags + +The following language tags can be used for prefixing the model input: + +| Tag | Language | +| ---- | -------------------------- | +| ca | Catalan | +| cy | Welsh | +| da | Danish | +| de | German | +| en-na| English (North America) | +| en-uk| English (United Kingdom) | +| es | Spanish | +| et | Estonian | +| eu | Basque | +| fa | Persian | +| fr | French | +| ga | Irish | +| hr | Croatian | +| hu | Hungarian | +| id | Indonesian | +| is | Icelandic | +| it | Italian | +| ja | Japanese | +| ko | Korean | +| nl | Dutch | +| no | Norwegian | +| pl | Polish | +| pt | Portuguese | +| pt-br| Portuguese (Brazil) | +| qu | Quechua | +| ro | Romanian | +| sr | Serbian | +| sv | Swedish | +| tr | Turkish | +| zh | Chinese | +|zh-yue| Cantonese | + +The tag must be prepended to the prompt as a prefix using the format `<{tag}>: ` (e.g., `: `). +**Note:** a space between the prefix colon (`:`) and the beginning of the text is mandatory. + +## Example 1: inference with tokenizer + +For batched inference & training it is recommended using a tokenizer class for handling padding, truncation and additional tokens: + +```python +from transformers import T5ForConditionalGeneration, AutoTokenizer + +model = T5ForConditionalGeneration.from_pretrained('fdemelo/g2p-multilingual-byt5-tiny-8l-ipa-childes') +tokenizer = AutoTokenizer.from_pretrained('fdemelo/g2p-multilingual-byt5-tiny-8l-ipa-childes') + +model_inputs = tokenizer([": Life is like a box of chocolates."], max_length=512, padding=True, truncation=True, add_special_tokens=False, return_tensors="pt") +preds = model.generate(**model_inputs, num_beams=1, max_length=512) # We do not find beam search helpful. Greedy decoding is enough. +phones = tokenizer.batch_decode(preds.tolist(), skip_special_tokens=True) +print(phones) +# ['laɪf ɪz laɪk ʌ bɑks ʌv t̠ʃɑkləts'] +``` + +## Example 2: inference without tokenizer + +For standalone inference, the decoding without the tokenizer reads as + +```python +import torch +import json +from transformers import T5ForConditionalGeneration +model = T5ForConditionalGeneration.from_pretrained('fdemelo/g2p-multilingual-byt5-tiny-8l-ipa-childes') +input_ids = torch.tensor([list(": Life is like a box of chocolates.".encode("utf-8"))]) + 3 # add shift to account for special tokens , , +preds = model.generate(input_ids=input_ids, num_beams=1, max_length=512) +# Simplified version of the decoding process (discarding special/added tokens) +with open("tokenizer_config.json", "r") as f: + added_tokens = json.load(f).get("added_tokens_decoder", {}) +phone_bytes = [ + bytes([token - 3]) for token in preds[0].tolist() if str(token) not in added_tokens +] +phones = b''.join(phone_bytes).decode("utf-8", errors="ignore") +print(phones) +# 'laɪf ɪz laɪk ʌ bɑks ʌv t̠ʃɑkləts' +``` diff --git a/byT5/fdemelo/g2p-multilingual-byt5-tiny-8l-ipa-childes/added_tokens.json b/byT5/fdemelo/g2p-multilingual-byt5-tiny-8l-ipa-childes/added_tokens.json new file mode 100644 index 0000000000000000000000000000000000000000..93c190b5690dd55aac16723222a9909e2be0faec --- /dev/null +++ b/byT5/fdemelo/g2p-multilingual-byt5-tiny-8l-ipa-childes/added_tokens.json @@ -0,0 +1,127 @@ +{ + "": 259, + "": 359, + "": 360, + "": 361, + "": 362, + "": 363, + "": 364, + "": 365, + "": 366, + "": 367, + "": 368, + "": 269, + "": 369, + "": 370, + "": 371, + "": 372, + "": 373, + "": 374, + "": 375, + "": 376, + "": 377, + "": 378, + "": 270, + "": 379, + "": 380, + "": 381, + "": 382, + "": 383, + "": 271, + "": 272, + "": 273, + "": 274, + "": 275, + "": 276, + "": 277, + "": 278, + "": 260, + "": 279, + "": 280, + "": 281, + "": 282, + "": 283, + "": 284, + "": 285, + "": 286, + "": 287, + "": 288, + "": 261, + "": 289, + "": 290, + "": 291, + "": 292, + "": 293, + "": 294, + "": 295, + "": 296, + "": 297, + "": 298, + "": 262, + "": 299, + "": 300, + "": 301, + "": 302, + "": 303, + "": 304, + "": 305, + "": 306, + "": 307, + "": 308, + "": 263, + "": 309, + "": 310, + "": 311, + "": 312, + "": 313, + "": 314, + "": 315, + "": 316, + "": 317, + "": 318, + "": 264, + "": 319, + "": 320, + "": 321, + "": 322, + "": 323, + "": 324, + "": 325, + "": 326, + "": 327, + "": 328, + "": 265, + "": 329, + "": 330, + "": 331, + "": 332, + "": 333, + "": 334, + "": 335, + "": 336, + "": 337, + "": 338, + "": 266, + "": 339, + "": 340, + "": 341, + "": 342, + "": 343, + "": 344, + "": 345, + "": 346, + "": 347, + "": 348, + "": 267, + "": 349, + "": 350, + "": 351, + "": 352, + "": 353, + "": 354, + "": 355, + "": 356, + "": 357, + "": 358, + "": 268 +} diff --git a/byT5/fdemelo/g2p-multilingual-byt5-tiny-8l-ipa-childes/config.json b/byT5/fdemelo/g2p-multilingual-byt5-tiny-8l-ipa-childes/config.json new file mode 100644 index 0000000000000000000000000000000000000000..9b6d80956b665cc9273bb8cd2cb4677bf5543a56 --- /dev/null +++ b/byT5/fdemelo/g2p-multilingual-byt5-tiny-8l-ipa-childes/config.json @@ -0,0 +1,32 @@ +{ + "architectures": [ + "T5ForConditionalGeneration" + ], + "classifier_dropout": 0.0, + "d_ff": 512, + "d_kv": 64, + "d_model": 256, + "decoder_start_token_id": 0, + "dense_act_fn": "gelu_new", + "dropout_rate": 0.1, + "eos_token_id": 1, + "feed_forward_proj": "gated-gelu", + "gradient_checkpointing": false, + "initializer_factor": 1.0, + "is_encoder_decoder": true, + "is_gated_act": true, + "layer_norm_epsilon": 1e-06, + "model_type": "t5", + "num_decoder_layers": 2, + "num_heads": 6, + "num_layers": 6, + "pad_token_id": 0, + "relative_attention_max_distance": 128, + "relative_attention_num_buckets": 32, + "tie_word_embeddings": false, + "tokenizer_class": "ByT5Tokenizer", + "torch_dtype": "float32", + "transformers_version": "4.51.3", + "use_cache": true, + "vocab_size": 384 +} diff --git a/byT5/fdemelo/g2p-multilingual-byt5-tiny-8l-ipa-childes/generation_config.json b/byT5/fdemelo/g2p-multilingual-byt5-tiny-8l-ipa-childes/generation_config.json new file mode 100644 index 0000000000000000000000000000000000000000..9b9cc5e2c5444c5d63246104c17b992d6801f61b --- /dev/null +++ b/byT5/fdemelo/g2p-multilingual-byt5-tiny-8l-ipa-childes/generation_config.json @@ -0,0 +1,6 @@ +{ + "decoder_start_token_id": 0, + "eos_token_id": 1, + "pad_token_id": 0, + "transformers_version": "4.51.3" +} diff --git a/byT5/fdemelo/g2p-multilingual-byt5-tiny-8l-ipa-childes/model.safetensors b/byT5/fdemelo/g2p-multilingual-byt5-tiny-8l-ipa-childes/model.safetensors new file mode 100644 index 0000000000000000000000000000000000000000..35777b76af381398e766e02ef1d5d11db8991aed --- /dev/null +++ b/byT5/fdemelo/g2p-multilingual-byt5-tiny-8l-ipa-childes/model.safetensors @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:e763466dfee2ab13a74da0820a8ca7907ef2ace7e80e14bef4a88248856053ea +size 29130224 diff --git a/byT5/fdemelo/g2p-multilingual-byt5-tiny-8l-ipa-childes/source.txt b/byT5/fdemelo/g2p-multilingual-byt5-tiny-8l-ipa-childes/source.txt new file mode 100644 index 0000000000000000000000000000000000000000..02693ad8422caba1df75d670fe072e554fb9d667 --- /dev/null +++ b/byT5/fdemelo/g2p-multilingual-byt5-tiny-8l-ipa-childes/source.txt @@ -0,0 +1 @@ +https://huggingface.co/fdemelo/g2p-multilingual-byt5-tiny-8l-ipa-childes \ No newline at end of file diff --git a/byT5/fdemelo/g2p-multilingual-byt5-tiny-8l-ipa-childes/special_tokens_map.json b/byT5/fdemelo/g2p-multilingual-byt5-tiny-8l-ipa-childes/special_tokens_map.json new file mode 100644 index 0000000000000000000000000000000000000000..04fd58b5fbf6a36fda564a656b14c137ef045689 --- /dev/null +++ b/byT5/fdemelo/g2p-multilingual-byt5-tiny-8l-ipa-childes/special_tokens_map.json @@ -0,0 +1,150 @@ +{ + "additional_special_tokens": [ + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "" + ], + "eos_token": { + "content": "", + "lstrip": false, + "normalized": true, + "rstrip": false, + "single_word": false + }, + "pad_token": { + "content": "", + "lstrip": false, + "normalized": true, + "rstrip": false, + "single_word": false + }, + "unk_token": { + "content": "", + "lstrip": false, + "normalized": true, + "rstrip": false, + "single_word": false + } +} diff --git a/byT5/fdemelo/g2p-multilingual-byt5-tiny-8l-ipa-childes/tokenizer_config.json b/byT5/fdemelo/g2p-multilingual-byt5-tiny-8l-ipa-childes/tokenizer_config.json new file mode 100644 index 0000000000000000000000000000000000000000..5b1fe24c1b1962f69a7754a26e6770ae7bcb7764 --- /dev/null +++ b/byT5/fdemelo/g2p-multilingual-byt5-tiny-8l-ipa-childes/tokenizer_config.json @@ -0,0 +1,1163 @@ +{ + "added_tokens_decoder": { + "0": { + "content": "", + "lstrip": false, + "normalized": true, + "rstrip": false, + "single_word": false, + "special": true + }, + "1": { + "content": "", + "lstrip": false, + "normalized": true, + "rstrip": false, + "single_word": false, + "special": true + }, + "2": { + "content": "", + "lstrip": false, + "normalized": true, + "rstrip": false, + "single_word": false, + "special": true + }, + "259": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "260": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "261": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "262": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "263": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "264": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "265": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "266": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "267": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "268": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "269": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "270": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "271": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "272": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "273": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "274": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "275": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "276": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "277": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "278": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "279": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "280": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "281": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "282": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "283": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "284": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "285": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "286": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "287": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "288": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "289": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "290": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "291": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "292": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "293": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "294": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "295": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "296": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "297": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "298": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "299": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "300": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "301": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "302": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "303": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "304": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "305": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "306": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "307": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "308": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "309": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "310": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "311": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "312": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "313": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "314": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "315": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "316": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "317": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "318": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "319": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "320": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "321": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "322": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "323": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "324": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "325": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "326": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "327": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "328": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "329": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "330": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "331": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "332": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "333": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "334": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "335": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "336": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "337": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "338": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "339": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "340": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "341": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "342": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "343": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "344": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "345": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "346": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "347": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "348": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "349": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "350": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "351": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "352": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "353": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "354": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "355": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "356": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "357": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "358": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "359": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "360": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "361": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "362": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "363": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "364": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "365": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "366": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "367": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "368": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "369": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "370": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "371": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "372": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "373": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "374": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "375": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "376": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "377": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "378": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "379": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "380": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "381": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "382": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "383": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + } + }, + "additional_special_tokens": [ + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "", + "" + ], + "clean_up_tokenization_spaces": false, + "eos_token": "", + "extra_ids": 0, + "extra_special_tokens": {}, + "model_max_length": 1000000000000000019884624838656, + "pad_token": "", + "tokenizer_class": "ByT5Tokenizer", + "unk_token": "" +} diff --git a/byT5/fdemelo/g2p-multilingual-byt5-tiny-8l-ipa-childes/training_args.bin b/byT5/fdemelo/g2p-multilingual-byt5-tiny-8l-ipa-childes/training_args.bin new file mode 100644 index 0000000000000000000000000000000000000000..cd55edae27566c78677a862bbbe44daa3295f904 --- /dev/null +++ b/byT5/fdemelo/g2p-multilingual-byt5-tiny-8l-ipa-childes/training_args.bin @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:2098690782c52789b58af73dd2764daa01eacf3ba54b5c188470eab950ef96bf +size 5432